Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

In der geschäftigen, unter Hochdruck stehenden Umgebung einer Krankenhaus-Notaufnahme kämpfen Ärzte ständig gegen die Zeit. Sie müssen die Geschichte eines Patienten aus fragmentierten Notizen, verstreuten Testergebnissen und hastigen Beobachtungen zusammensetzen, um lebensrettende Entscheidungen zu treffen. Für Patienten mit HIV, einem Virus, das das Immunsystem des Körpers schwächt, ist dieser Prozess besonders kritisch. Die frühzeitige Identifizierung von Risikofaktoren – wie ungeschütztem Geschlechtsverkehr, dem Teilen von Nadeln oder spezifischen Symptomen – kann zu Tests und Behandlungen führen, die die Ausbreitung des Virus stoppen. Wenn ein Arzt jedoch mit Dutzenden von Patienten am Tag überfordert ist, können entscheidende Details leicht durch die Maschen fallen. Das schiere Volumen an unstrukturiertem Text in den Krankenakten macht es schwierig, jeden relevanten Hinweis manuell zu extrahieren, was zu einem Engpass führt, in dem verpasste Informationen die Diagnose verzögern und die Krankheit in ihrer stillen Ausbreitung fortsetzen können.

Um dies zu adressieren, erforschen Wissenschaftler den Einsatz fortschrittlicher Computerprogramme, die als Large Language Models bekannt sind. Dies sind Systeme der künstlichen Intelligenz, die auf riesigen Mengen von Text trainiert wurden und in der Lage sind, menschliche Sprache zu lesen, zu verstehen und zusammenzufassen. Die Idee ist, dass diese Werkzeuge als ein zweites Paar Augen fungieren könnten, indem sie tausende von Krankenakten schnell scannen, um Schlüsseldetails hervorzuheben und die Patientengeschichten zusammenzufassen. Aber damit dies in einem echten Krankenhaus funktioniert, muss die Technologie unglaublich zuverlässig sein. Sie darf keine Fakten erfinden, keine lebenswichtigen Informationen auslassen oder unvorhersehbar agieren. Da diese Werkzeuge zudem oft in spanischsprachigen Ländern getestet werden, müssen sie auch die spezifische medizinische Fachsprache und die kulturellen Nuancen spanischer klinischer Notizen verstehen, nicht nur die des Englischen.

Ein Forscherteam in Spanien hat diese Idee kürzlich auf die Probe gestellt. Sie wollten sehen, ob diese Programme der künstlichen Intelligenz in der Lage sind, Notaufnahme-Berichte präzise zusammenzufassen und spezifische HIV-Risikofaktoren aus spanischem Text zu extrahieren, ohne dafür zuerst auf neue Daten neu trainiert werden zu müssen. Sie sammelten 100 anonymisierte Patientenakten aus einem Universitätsklinikum, eine Mischung aus Personen, bei denen später HIV festgestellt wurde, und solchen, bei denen dies nicht der Fall war. Die Akten variierten stark in Länge und Komplexität, was die chaotische Realität der täglichen Notfallversorgung widerspiegelt. Die Forscher speisten diese Akten anschließend in elf verschiedene KI-Modelle ein, die von leistungsstarken, cloudbasierten Systemen bis hin zu Open-Source-Programmen reichten, die auf den eigenen sicheren Servern eines Krankenhauses betrieben werden könnten. Sie baten die Modelle um zwei Dinge: einen kurzen, klaren Überblick über den Besuch des Patienten zu schreiben und zu identifizieren, ob bestimmte Risikofaktoren vorhanden, abwesend oder im Text lediglich nicht erwähnt waren.

Die Ergebnisse zeigten einen klaren Gewinner in der Aufgabe der Zusammenfassung. Ein Modell, ein cloudbasiertes System von Google, erstellte Zusammenfassungen, die signifikant genauer und vollständiger waren als eine Open-Source-Alternative. Als Ärzte diese Zusammenfassungen überprüften, stellten sie fest, dass das cloudbasierte Modell weitaus weniger Fehler machte. Es erfand selten Fakten, die nicht vorhanden waren, und ließ weitaus weniger wichtige Details aus. Das Open-Source-Modell war zwar fähig, ließ aber häufig kritische Informationen aus, wie etwa ausstehende Testergebnisse oder die medizinische Vorgeschichte, was gefährlich sein könnte, wenn ein Arzt sich allein auf die Zusammenfassung verlassen würde. Die Forscher testeten auch, ob eine KI die Qualität dieser Zusammenfassungen ebenso gut beurteilen kann wie ein menschlicher Arzt. Sie fanden heraus, dass die KI-Instanz sehr gut darin war, erfundene Fakten und offensichtliche Fehler zu erkennen, aber Schwierigkeiten hatte, mit menschlichen Ärzten darin übereinzustimmen, was eine fehlende Information ausmacht. Dies deutet darauf hin, dass KI zwar helfen kann, schlechte Zusammenfassungen herauszufiltern, die menschliche Aufsicht jedoch unerlässlich bleibt, um subtile Auslassungen zu entdecken.

Bei der Extraktion spezifischer Risikofaktoren hing die Leistung der Modelle stark davon ab, wie streng die Ergebnisse gemessen wurden. Die Forscher ließen jedes Modell fünfmal dieselben Datensätze bearbeiten, um zu sehen, ob es jedes Mal die gleiche Antwort liefert. Sie fanden heraus, dass die Modelle im Allgemeinen besser darin waren, soziale Risikofaktoren zu identifizieren, wie etwa Drogengebrauch oder Sexualgeschichte, die oft direkt von den Patienten geäußert werden. Sie waren jedoch weniger konsistent bei der Identifizierung klinischer Risikofaktoren, wie etwa spezifischer Symptome oder früherer Infektionen, die das Zusammensetzen verstreuter Hinweise aus verschiedenen Teilen einer langen medizinischen Notiz erfordern. Selbst wenn die Modelle so eingestellt waren, dass sie so konsistent wie möglich agierten, lieferten sie bei wiederholten Durchläufen manchmal unterschiedliche Antworten. Diese Instabilität bedeutete, dass ein Modell, das in einem einzelnen Test exzellent aussah, in einem realen, kontinuierlichen Arbeitsablauf anders performen könnte.

Die Studie kam zu dem Schluss, dass diese KI-Werkzeuge zwar großes Potenzial bieten, um spanischsprachigen Notaufnahmen bei der Bewältigung ihres Arbeitspensums zu helfen, aber noch nicht perfekt sind. Die besten Modelle können die Zeit, die Ärzte mit dem Schreiben von Zusammenfassungen verbringen, erheblich reduzieren und helfen, Risikofaktoren aufzudecken, die sonst vielleicht übersehen worden wären. Die Forscher betonten jedoch, dass die Technologie mit Vorsicht eingesetzt werden muss. Der häufigste Fehler bestand nicht darin, Dinge zu erfinden, sondern darin, wichtige Informationen auszulassen. Für ein System, das darauf ausgelegt ist, verpasste Diagnosen zu erfassen, ist das Auslassen eines Details genauso gefährlich wie das Erfinden eines. Die Ergebnisse legen nahe, dass der effektivste Ansatz ein hybrider ist: die KI einzusetzen, um die Schwerstarbeit des Lesens und Zusammenfassens zu übernehmen, während die menschlichen Ärzte im Prozess bleiben, um die Ergebnisse zu verifizieren und sicherzustellen, dass kein kritisches Puzzleteil verloren geht. Dieses Gleichgewicht könnte Notaufnahmen dabei helfen, mehr HIV-Fälle früher zu entdecken und so potenziell Leben zu retten und die Ausbreitung des Virus in Gemeinschaften zu verlangsamen, in denen es eine anhaltende Herausforderung darstellt.