BanglaDiaHallu: Hallucinations of large language models and the effect of guideline-grounded retrieval-augmented generation in Bangla diabetes question answering
Cette étude démontre que si les grands modèles de langage présentent des taux d'hallucination importants dans le domaine du questionnement médical sur le diabète en bengali, l'ancrage d'un modèle déployable localement avec la Directive Nationale sur le Diabète Mellitus du Bangladesh via la génération augmentée par récupération améliore considérablement la précision et la sécurité médicales, bien qu'une supervision clinique demeure essentielle car aucune configuration n'est entièrement exempte d'erreurs.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Dans le monde moderne, les gens se tournent de plus en plus vers l'intelligence artificielle pour obtenir des réponses sur leur santé, espérant des conseils rapides et fiables. Ces programmes informatiques, connus sous le nom de grands modèles de langage, sont entraînés sur de vastes quantités de texte et peuvent parler couramment de nombreuses langues, dont le bengali, qui est parlé par des centaines de millions de personnes. Cependant, ces systèmes présentent un défaut bien connu : ils peuvent paraître parfaitement confiants tout en affirmant des choses qui sont tout simplement fausses. Dans le domaine médical, où un mot erroné peut conduire à des choix dangereux, cette tendance à inventer des faits est appelée une hallucination. C'est une préoccupation particulière dans des langues comme le bengali, où les données d'entraînement de ces programmes informatiques sont souvent plus maigres et moins fiables qu'en anglais. Pour des millions de personnes vivant avec le diabète au Bangladesh, obtenir des conseils précis et sûrs dans leur propre langue n'est pas seulement une commodité ; c'est un besoin critique, surtout lorsque les hôpitaux locaux sont souvent surchargés et que les consultations à distance deviennent la norme.
Une équipe de chercheurs s'est donné pour mission de mesurer la fréquence à laquelle ces programmes informatiques inventent des faits médicaux lorsqu'ils sont interrogés sur le diabète en bengali, et de voir si le fait de les connecter à une source de confiance pouvait stopper les erreurs. Ils ont rassemblé quarante questions courantes que les patients pourraient poser, couvrant des sujets allant de l'alimentation et des médicaments à la gestion de la maladie pendant la grossesse ou le jeûne religieux. Ils ont ensuite demandé à quatre modèles informatiques open-source différents de répondre à ces questions. Ces modèles variaient en taille et en conception, certains étant des outils à usage général et d'autres spécifiquement adaptés pour la langue bengali. Les chercheurs ont également construit un système spécial qui forçait l'un des modèles à consulter la Ligne Directrice Nationale officielle sur le Diabète Mellitus pour le Bangladesh avant de parler, une méthode connue sous le nom de génération augmentée par récupération. Deux médecins ont ensuite lu chaque réponse, les évaluant sur l'exactitude, la sécurité et la clarté, et marquant toute réponse contenant une affirmation médicale fausse ou non étayée comme une hallucination.
Les résultats ont révélé une différence frappante entre les modèles. Le modèle à usage général le plus avancé a inventé des faits dans seulement 2,5 % de ses réponses, tandis qu'un modèle conçu spécifiquement pour le bengali mais non pour la médecine a performé presque aussi bien. Cependant, l'un des modèles généraux, plus petit et moins spécialisé, a halluciné dans un taux stupéfiant de 77,5 % de ses réponses. Il a inventé des aliments qui n'existent pas au Bangladesh, suggéré des changements dangereux dans la médication et offert des conseils qui pourraient nuire à un patient. Cela a montré que le simple fait d'avoir un modèle qui parle la langue ne suffit pas ; l'intelligence sous-jacente du modèle compte tout autant que la langue qu'il utilise.
Les chercheurs ont ensuite testé si l'ancrage du modèle le plus faible dans les directives nationales officielles pouvait corriger ses problèmes. Ils ont donné au modèle accès aux règles médicales correctes et lui ont ordonné de répondre uniquement à partir de ce texte. L'amélioration fut spectaculaire. Le taux d'hallucinations est passé de 77,5 % à 11,3 %. Les réponses sont devenues beaucoup plus précises, complètes et sûres, et la performance du modèle a atteint ou même dépassé celle du modèle adapté au bengali sur la plupart des critères, bien qu'il soit resté en dessous du modèle le plus performant en termes de sécurité, de lisibilité et de fiabilité. Le système a réussi à transformer un outil dangereusement peu fiable en un assistant beaucoup plus sûr pour les patients.
Pourtien, l'étude a également constaté que la solution n'était pas parfaite. Même avec les directives officielles, le modèle commettait encore des erreurs dans environ une réponse sur neuf. Ces erreurs restantes étaient particulièrement préoccupantes car elles n'étaient pas des absurdités évidentes. Au lieu de cela, il s'agissait de phrases fluides et bien structurées qui contenaient des conseils spécifiques, confiants et potentiellement nocifs, comme dire à un patient d'arrêter l'insuline ou d'utiliser un dispositif médical inexistant. Le modèle citait parfois même les directives officielles pour appuyer ces fausses affirmations, rendant les erreurs plus difficiles à détecter. Cela suggère que, bien que la connexion d'un ordinateur à une source de confiance aide énormément, elle n'élimine pas entièrement le risque. Les chercheurs ont conclu que pour que ces outils soient sûrs pour les patients, ils doivent être construits sur un modèle de base solide, ancrés dans des directives officielles, et toujours vérifiés par un médecin humain avant d'être utilisés pour donner des conseils médicaux. Ce travail offre une voie claire pour créer des assistants de santé qui soient à la fois accessibles et dignes de confiance pour des millions de locuteurs du bengali.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.