BanglaDiaHallu: Hallucinations of large language models and the effect of guideline-grounded retrieval-augmented generation in Bangla diabetes question answering
Diese Studie zeigt, dass große Sprachmodelle zwar erhebliche Halluzinationsraten bei der Beantwortung von Fragen zu Diabetes auf Bengalisch aufweisen, die Verankerung eines lokal einsetzbaren Modells mittels Retrieval-Augmented Generation mit den nationalen Leitlinien für Diabetes mellitus aus Bangladesch die medizinische Genauigkeit und Sicherheit jedoch erheblich verbessert, wenngleich eine klinische Aufsicht unerlässlich bleibt, da keine Konfiguration gänzlich fehlerfrei ist.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
In der modernen Welt wenden sich Menschen zunehmend an künstliche Intelligenz, um Antworten zu ihrer Gesundheit zu erhalten, in der Hoffnung auf schnelle, zuverlässige Orientierungshilfe. Diese Computerprogramme, bekannt als große Sprachmodelle, werden mit riesigen Mengen an Text trainiert und können fließend in vielen Sprachen sprechen, einschließlich Bangla, das von Hunderten Millionen Menschen gesprochen wird. Diese Systeme haben jedoch einen bekannten Makel: Sie können vollkommen selbstbewusst klingen, während sie Dinge behaupten, die schlichtweg nicht wahr sind. Im medizinischen Bereich, in dem ein falsches Wort zu gefährlichen Entscheidungen führen kann, wird diese Tendenz, Fakten zu erfinden, als Halluzination bezeichnet. Dies ist eine besondere Sorge in Sprachen wie Bangla, für die die Trainingsdaten dieser Computerprogramme oft dünner und weniger zuverlässig sind als auf Englisch. Für Millionen von Menschen, die in Bangladesch mit Diabetes leben, ist der Erhalt genauer, sicherer Ratschläge in ihrer eigenen Sprache nicht nur ein Komfort; es ist eine kritische Notwendigkeit, insbesondere da lokale Krankenhäuser oft überlastet sind und Fernkonsultationen zur Norm werden.
Ein Team von Forschern setzte sich zum Ziel zu messen, wie oft diese Computerprogramme medizinische Fakten erfinden, wenn sie auf Bangla nach Diabetes gefragt werden, und um zu sehen, ob die Verbindung sie mit einer vertrauenswürdigen Quelle stoppen könnte. Sie sammelten vierzig häufige Fragen, die Patienten stellen könnten, die Themen von Ernährung und Medikation bis hin zum Management der Krankheit während der Schwangerschaft oder religiösen Fastens abdeckten. Dann baten sie vier verschiedene Open-Source-Computermodelle, diese Fragen zu beantworten. Diese Modelle variierten in Größe und Design, wobei einige allgemeine Werkzeuge waren und andere speziell auf die Sprache Bangla abgestimmt wurden. Die Forscher entwickelten auch ein spezielles System, das eines der Modelle dazu zwang, Antworten in der offiziellen Nationalen Leitlinie für Diabetes Mellitus für Bangladesch nachzuschlagen, bevor es sprach – eine Methode, die als Retrieval-Augmented Generation bekannt ist. Zwei Ärzte lasen daraufhin jede einzelne Antwort, bewerteten sie hinsichtlich Genauigkeit, Sicherheit und Klarheit und markierten jede Antwort, die eine falsche oder ungestützte medizinische Behauptung enthielt, als Halluzination.
Die Ergebnisse zeigten einen erschreckenden Unterschied zwischen den Modellen. Das fortschrittlichste allgemeine Modell erfand nur in 2,5 % seiner Antworten Fakten, während ein speziell für Bangla entwickeltes, aber nicht für Medizin optimiertes Modell fast ebenso gut abschnitt. Eines der allgemeinen Modelle jedoch, das kleiner und weniger spezialisiert war, halluzinierte in einer erschütternden Quote von 77,5 % seiner Antworten. Es erfand Lebensmittel, die es in Bangladesch nicht gibt, schlug gefährliche Änderungen an der Medikation vor und gab Ratschläge, die einem Patienten schaden könnten. Dies zeigte, dass es nicht ausreicht, lediglich ein Modell zu haben, das die Sprache spricht; die zugrunde liegende Intelligenz des Modells ist genauso wichtig wie die Sprache, die es verwendet.
Die Forscher testeten daraufhin, ob die Bindung des schwächsten Modells an die offiziellen nationalen Leitlinien seine Probleme lösen könnte. Sie gaben dem Modell Zugang zu den korrekten medizinischen Regeln und wiesen es an, nur aus diesem Text zu antworten. Die Verbesserung war dramatisch. Die Rate der Halluzinationen sank von 77,5 % auf 11,3 %. Die Antworten wurden viel genauer, vollständiger und sicherer, und die Leistung des Modells stieg an, sodass es in den meisten Kriterien das auf Bangla angepasste Modell erreichte oder sogar übertraf, wenngleich es in Bezug auf Sicherheit, Lesbarkeit und Zuverlässigkeit unter dem leistungsfähigsten Modell blieb. Das System verwandelte erfolgreich ein gefährlich unzuverlässiges Werkzeug in einen viel sichereren Assistenten für Patienten.
Dennoch fanden die Forscher auch, dass die Lösung nicht perfekt war. Selbst mit den offiziellen Leitlinien machte das Modell immer noch in etwa einer von neun Antworten Fehler. Diese verbleibenden Fehler waren besonders besorgniserregend, weil sie kein offensichtlicher Unsinn waren. Stattdessen waren es flüssige, gut strukturierte Sätze, die spezifische, selbstbewusste und potenziell schädliche Ratschläge enthielten, wie etwa einem Patienten zu raten, Insulin abzusetzen oder ein nicht existierendes medizinisches Gerät zu verwenden. Das Modell zitierte manchmal sogar die offiziellen Leitlinien, um diese falschen Behauptungen zu stützen, was die Fehler schwerer erkennbar machte. Dies deutet darauf an, dass die Verbindung eines Computers mit einer vertrauenswürdigen Quelle zwar enorm hilft, das Risiko aber nicht vollständig eliminiert. Die Forscher kamen zu dem Schluss, dass diese Werkzeuge, damit sie für Patienten sicher sind, auf einem starken Basismodell aufgebaut, in offiziellen Leitlinien fundiert und immer von einem menschlichen Arzt überprüft werden müssen, bevor sie zur Erteilung medizinischer Ratschläge verwendet werden. Die Arbeit bietet einen klaren Weg nach vorn für die Schaffung von Gesundheitsassistenten, die sowohl für Millionen von Bangla-Sprechern zugänglich als auch vertrauenswürdig sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.