Performance of a domain-specific large language model in answering patient questions in psychiatry

In der modernen Landschaft des Gesundheitswesens wenden sich Patienten zunehmend an das Internet, um Antworten über ihre Medikamente zu finden, wobei sie nach Klarheit darüber suchen, wie ein Arzneimittel wirkt, welche Nebenwirkungen zu erwarten sind oder wie es ihren Alltag beeinflussen könnte. Während große Sprachmodelle – leistungsfähige Computerprogramme, die in der Lage sind, menschenähnliche Texte zu generieren – vielversprechende Ansätze gezeigt haben, medizinische Fragen zu beantworten, haben sie oft Schwierigkeiten mit den spezifischen Anforderungen der klinischen Versorgung. Diese universell einsetzbaren Werkzeuge können flüssige und informative Antworten liefern, aber sie lassen manchmal die notwendige Nuancierung vermissen, lassen kritische Sicherheitshinweise aus oder erfinden Fakten, die eine schutzbedürftige Person in die Irre führen könnten. Im Bereich der Psychiatrie, wo öffentliche Informationen bereits inkonsistent sind und die Therapietreue eine große Herausforderung darstellt, ist das Risiko, ungenaue Ratschläge zu erhalten, besonders hoch. Ärzte haben oft nur fünfzehn bis zwanzig Minuten pro Besuch, was wenig Zeit lässt, um jede Patientenfrage zu beantworten, was wiederum viele dazu treibt, Informationen aus nicht verifizierten Online-Quellen zu suchen. Die zentrale Frage für die Forschung war, ob ein spezialisiertes Computermodell, das ausschließlich auf vertrauenswürdigen medizinischen Quellen trainiert wurde, die genaue, sichere und personalisierte Anleitung bieten könnte, die Patienten benötigen, ohne die Fehler, die bei allgemeinen Chatbots üblich sind.

Um dies zu untersuchen, entwickelte ein Forscherteam des Lurie Children's Hospital in Chicago ein spezialisiertes System der künstlichen Intelligenz, das sie MIND nannten. Im Gegensatz zu allgemeinen Chatbots, die auf riesigen, unkuratierten Teilen des Internets trainiert wurden, wurde MIND mit einem viel engeren und sichereren Ansatz aufgebaut. Die Forscher speisten das System ausschließlich mit einer Sammlung von Patientenaufklärungsmaterialien aus sieben autoritativen Quellen, darunter die American Psychiatric Association, die Food and Drug Administration und die National Library of Medicine. Das System wurde mit strengen Sicherheitsprinzipien entworft: Es wurde so programmift, dass es Antworten nur aus diesen verifizierten Dokumenten abruft, seine Quellen angibt und deutlich macht, wann ein Patient einen Arzt konsultieren sollte, anstatt sich auf den Computer zu verlassen. Die Forscher testeten dieses neue Werkzeug gegen zwei andere bekannte Systeme: einen weit verbreiteten, universell einsetzbaren Chatbot und eine medizinische Entscheidungsplattform, die für Ärzte, aber nicht für die Öffentlichkeit konzipiert wurde. Sie stellten allen drei Systemen fünfzig häufige Fragen zu einem spezifischen Antidepressivum namens Escitalopram, die Themen abdeckten, die von der Wirkungsweise des Medikaments und der Einnahme bis hin zu seinen Nebenwirkungen und der Sicherheit für spezielle Gruppen wie Schwangere oder ältere Menschen reichten.

Die Ergebnisse des Vergleichs zeigten einen deutlichen Vorteil für das spezialisierte Modell in Bezug auf Zuverlässigkeit und Vollständigkeit. Als die Antworten von einer computergestützten Rubrik bewertet wurden, die auf Genauigkeit, Klarheit und Sicherheit prüfte, übertraf das MIND-System sowohl den allgemeinen Chatbot als auch die auf Ärzte ausgerichtete Plattform in jeder Kategorie. Es lieferte vollständigere Antworten, erkannte Unsicherheit effektiver an und wusste besser, wann es einen Patienten an einen Arzt verweisen musste. Die Geschichte wurde jedoch nuancierter, als die Forscher zehn Fachärzte für Psychiatrie baten, die Antworten zu überprüfen. Während die Ärzte zustimmten, dass das spezialisierte Modell sicherer und vollständiger war, fanden sie, dass der allgemeine Chatbot in seinen spezifischen Behauptungen etwas genauer war. Vielleicht am überraschendsten war, dass die Psychiater die Antworten des allgemeinen Chatbots dem spezialisierten Modell gegenüber massiv bevorzugten. Diese Präferenz war unter jüngeren Ärzchem im Beginn ihrer Karriere besonders stark ausgeprägt. Die Forscher stellten fest, dass der allgemeine Chatbot dazu neigte, kürzere, prägnantere Antworten zu geben, die sich direkter anfühlten, während das spezialisierte Modell längere, detailliertere Antworten lieferte, die manchmal Informationen enthielten, die die Ärzte im Kontext einer kurzen Zusammenfassung als unnötig oder leicht ungenau empfanden.

Die Studie verdeutlicht einen komplexen Kompromiss beim Design medizinischer künstlicher Intelligenz. Das spezialisierte Modell erreichte sein primäres Ziel, in verifizierten Fakten verwurzelt zu sein und die bei allgemeinen Systemen üblichen Halluzinationen zu vermeiden, doch es hatte Schwierigkeiten, die Kürze und den Stil zu erreichen, den menschliche Experten als am ansprechendsten empfanden. Die Forscher beobachteten, dass die Antworten, wenn sie detaillierter und vollständiger wurden, manchmal als weniger genau eingestuft wurden, was darauf hindeutet, dass das Hinzufügen notwendiger Kontexte dazu führen kann, dass eine Antwort für einen menschlichen Leser weniger präzise wirkt. Darüber hinaus konnte das spezialisierte Modell nicht jede Frage beantworten; bei zwölf der fünfzig Abfragen gab es korrekt zu erklären, dass es die Information nicht besitze, während die anderen Systeme versuchten, alle Fragen zu beantworten. Diese Weigerung zu raten, war ein bewusstes Sicherheitsmerkmal, bedeutete aber auch, dass das Werkzeug weniger vielseitig war als seine Konkurrenten. Die Psychiater merkten auch an, dass die Antworten des spezialisierten Modells auf einem höheren Sprachniveau geschrieben waren als die des allgemeinen Chatbots, was ein Spiegelbild der Tatsache war, dass die Quelldokumente selbst auf einem komplexen Niveau verfasst waren, weit über dem empfohlenen Lesestufe für Patientenmaterialien.

Letztlich legt die Forschung nahe, dass ein spezialisiertes, auf einem eingeschränkten Korpus basierendes Modell zwar eine sicherere und vollständigere Grundlage für die Patientenaufklärung als ein allgemeiner Chatbot bieten kann, aber noch kein perfekter Ersatz für das menschliche Urteilsvermögen oder den bevorzugten Kommunikationsstil von Klinikern ist. Das spezialisierte System demonstrierte, dass es möglich ist, eine künstliche Intelligenz zu bauen, die sich strikt an medizinische Evidenz hält und gefährliche Fehler vermeidet, aber es zeigte auch, dass das Erreichen hoher Genauigkeit und Vollständigkeit manchmal auf Kosten der Lesbarkeit und der Nutzerpräferenz gehen kann. Die Autoren kommen zu dem Schluss, dass ihre Arbeit als Vorlage für die Entwicklung zukünftiger Werkzeuge dient, die die psychiatrische Versorgung verbessern können, betonen jedoch, dass diese Systeme einer weiteren Optimierung bedürfen, um ein Gleichgewicht zwischen Sicherheit, Genauigkeit und der Art und Weise zu finden, wie Menschen Informationen tatsächlich gerne erhalten. Der Weg nach vorn besteht darin, diese Modelle so zu verfeinern, dass sie so zuverlässig wie das spezialisierte System, aber so klar und ansprechend wie die allgemeinen Chatbots sind, um sicherzustellen, dass Patienten die hochwertige, evidenzbasierte Anleitung erhalten, die sie benötigen, ohne Verwirrung oder Verzögerung.