Evaluating Large Language Models for Translating Multimodal Phenotype Documentations into Executable EHR Phenotyping Algorithms

Diese Studie bewertet führende große Sprachmodelle für die Übersetzung multimodaler klinischer Phänotyp-Dokumentation in ausführbare EHR-Algorithmen und stellt fest, dass diese zwar strukturierte Texte effektiv interpretieren, ihre Leistung jedoch bei ausschließlich diagrammbasierten Eingaben erheblich nachlässt, wodurch letztlich die Dokumentationsqualität und nicht die Modellfähigkeit als primärer Engpass identifiziert wird.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, ein berühmtes Gericht nachzukochen, aber Sie haben kein Rezept. Stattdessen haben Sie einen unordentlichen Stapel Notizen, einige auf Servietten gekritzelt, einige als Cartoons gezeichnet und einige in einer verwirrenden Mischung aus Sprachen geschrieben. Ihr Ziel ist es, diese unordentlichen Notizen in ein präzises, schrittweises Anleitungsbuch zu verwandeln, das eine Roboter-Küche befolgen kann, um das Gericht perfekt zu kochen.

Dieser Artikel handelt davon, zwei superschlaue KI-Köche (genannt Large Language Models, oder LLMs) zu testen, um zu sehen, ob sie diesen Job für die medizinische Forschung erledigen können.

Das Problem: Das „in der Übersetzung verloren gegangene" Rezept

In der medizinischen Forschung definieren Wissenschaftler spezifische Patientengruppen (wie „Menschen mit Typ-2-Diabetes") mithilfe komplexer Regeln. Diese Regeln werden üblicherweise in menschenlesbaren Dokumenten formuliert, die wie eine Mischung aus Geschichten, Flussdiagrammen und Tabellen aussehen.

Um diese Regeln im Computersystem eines Krankenhauses zu verwenden, muss ein menschlicher Experte sie manuell in eine Computersprache (SQL) übersetzen. Das ist wie das Übersetzen eines Gedichts in Computercode. Es dauert lange, ist sehr mühsam, und wenn zwei verschiedene Experten dies tun, können sie am Ende leicht unterschiedliche Ergebnisse erzielen. Die Forscher wollten herausfinden, ob KI diese Übersetzung automatisch durchführen könnte.

Das Experiment: Testen der KI-Köche

Die Forscher wählten zwei der intelligentesten verfügbaren KI-Modelle aus (OpenAIs GPT o3 und Anthropics Claude Opus 4.1) und gaben ihnen fünf verschiedene „Rezepte" (medizinische Definitionen für Zustände wie Nierenverletzungen, Herzinfarkte und Diabetes) aus einer öffentlichen Bibliothek namens PheKB.

Sie testeten die KI auf drei verschiedene Arten, so als gäbe man dem Koch verschiedene Arten von Anweisungen:

1. Das Komplettpaket: Die KI erhielt das gesamte Dokument (Text, Diagramme und Abbildungen).
2. Nur die Geschichte: Die KI erhielt nur den geschriebenen Text und Tabellen, aber keine Bilder.
3. Nur die Bilder: Die KI erhielt nur die Diagramme und Flussdiagramme, ohne Worte.

Die Ergebnisse: Was funktionierte und was nicht

1. Die „Nur-Bilder"-Falle
Als die KI versuchte, nur die Diagramme (die Flussdiagramme) zu lesen, scheiterte sie kläglich. Es war, als würde man einen Koch bitten, ein komplexes Gericht nur zu kochen, indem er auf eine Zeichnung eines Topfes und einer Gabel schaut, ohne dass Text die Zutaten oder Hitzelevel erklärt. Die KI übersah entscheidende Details, verwechselte die Timing und produzierte Anweisungen, die nicht funktionieren würden.

2. Die „Geschichte" ist König
Als die KI den geschriebenen Text erhielt (selbst ohne die Bilder), leistete sie eine sehr gute Arbeit. Es stellte sich heraus, dass die geschriebenen Worte fast alle benötigten Informationen enthielten. Die KI konnte die Logik verstehen und den Computercode genau schreiben.

3. Die KI ist ein großartiger Entwurfszeichner, kein finaler Redakteur
Beide KI-Modelle waren überraschend gut darin, das große Ganze und die Logik der Regeln zu verstehen. Allerdings machten sie spezifische Arten von Fehlern:

• Fehlende Zutaten: Sie vergaßen manchmal, spezifische medizinische Codes einzuschließen (wie eine bestimmte Art von Medikament).
• Falsche Zahlen: Sie könnten einen Schwellenwert falsch verstehen (z. B. „Blutdruck über 140" sagen, wenn die Regel „über 150" lautete).
• Erfinden von Dingen: Manchmal erfand die KI Regeln oder Bedingungen, die überhaupt nicht im ursprünglichen Dokument standen (eine „Halluzination").
• Verwechseln des Formats: Beim Betrachten von Diagrammen konnten sie oft nicht herausfinden, wie man einen visuellen Pfeil in einen logischen „wenn-dann"-Computerbefehl umwandelt.

Die große Erkenntnis

Der Artikel kommt zu dem Schluss, dass diese KI-Modelle noch nicht bereit sind, menschliche Experten zu ersetzen. Sie können nicht einfach ein unordentliches Dokument ansehen und ein perfektes, sofort einsatzbereites Computerprogramm ausspucken.

Allerdings sind sie hervorragende Generatoren für erste Entwürfe. Wenn man ihnen klaren, strukturierten Text gibt, können sie einen sehr guten Ausgangspunkt für den Code schreiben. Aber da sie subtile, aber gefährliche Fehler machen können (wie das Verwechseln einer Zahl oder das Übersehen einer Regel), muss ein menschlicher Experte ihre Arbeit immer überprüfen.

Die abschließende Lehre:
Das größte Problem ist nicht, dass die KI nicht schlau genug ist; es ist, dass medizinische Dokumente nicht so geschrieben sind, dass sie für Computer leicht lesbar sind. Wenn Ärzte und Forscher ihre Notizen standardisieren würden, um klarer und strukturierter zu sein (wie das Schreiben eines Rezepts in einem Standardformat statt auf einer Serviette zu kritzeln), würde die KI viel nützlicher werden. Bis dahin ist die KI eine hilfreiche Assistentin, aber der menschliche Experte muss der Chef bleiben.

Technische Zusammenfassung

Technisches Fazit: Evaluierung von Large Language Models für die Übersetzung multimodaler Phänotyp-Dokumentationen in ausführbare EHR-Phänotypisierungsalgorithmen

Problemstellung
Die Übersetzung klinischer Phänotyp-Definitionen in ausführbare Abfragen für Electronic-Health-Record-(EHR)-Datenbanken ist ein kritischer, jedoch arbeitsintensiver Engpass in der biomedizinischen Forschung. Zwar sind Phänotypisierungsalgorithmen unverzichtbar für die Identifizierung von Patientenkohorten im großen Maßstab, doch werden sie typischerweise in hochleveligen, für Menschen lesbaren Formaten (narrativer Text, Tabellen, Flussdiagramme, Diagramme) dokumentiert und nicht in rechenbereiten Formen. Die Umwandlung dieser multimodalen Spezifikationen in strukturierte Abfragesprachen (SQL), die auf spezifische Datenmodelle (z. B. OMOP CDM) zugeschnitten sind, erfordert manuellen Aufwand, Domänenexpertise und iterative Validierung. Dieser Prozess führt zu interpretativen Variabilitäten, was die Portabilität, Vergleichbarkeit und Wiederverwendbarkeit von Kohorten über Institutionen hinweg einschränkt. Obwohl Large Language Models (LLMs) Kompetenz in der Codegenerierung und mehrstufigen Schlussfolgerung gezeigt haben, bleibt unklar, ob sie reale, multimodale Phänotyp-Dokumentationen zuverlässig in standardskonforme, ausführbare SQL-Abfragen umwandeln können.

Methodik
Diese Studie evaluierte systematisch die Fähigkeit zweier führender LLMs – OpenAI GPT o3 und Claude Opus 4.1 –, Phänotyp-Dokumentationen in OMOP-konforme SQL-Abfragen zu übersetzen.

• Datensatz: Fünf etablierte klinische Phänotypen wurden aus PheKB ausgewählt: Akutes Nierenversagen (AKI), Autoimmunerkrankungen (ADs), Familiäre Hypercholesterinämie (FH), Major Adverse Cardiovascular Events (MACE) und Typ-2-Diabetes mellitus (T2DM). Diese wurden aufgrund ihrer diversen klinischen Domänen und variierenden Dokumentationskomplexität ausgewählt.
• Eingabe-Modalitäten: Um den Einfluss des Dokumentationsformats zu isolieren, wurden für jeden Phänotyp und jedes Modell drei Eingangsszenarien getestet:
  1. Vollständiges Dokument: Narrativer Text, Tabellen, Diagramme und Pseudocode.
  2. Nur Text: Narrativer Text und Tabellen (ohne Diagramme und Pseudocode).
  3. Nur Diagramm: Ausschließlich visuelle Diagramme.
• Prompting-Pipeline: Eine vierstufige Chain-of-Thought-Pipeline wurde eingesetzt:
  1. Extraktion eines strukturierten Pseudo-Algorithmus aus der Eingabe.
  2. Verifikation des Pseudo-Algorithmus gegen das Quelldokument.
  3. Generierung ausführbarer SQL-Abfragen basierend auf dem verifizierten Pseudo-Algorithmus.
  4. Überprüfung und Korrektur der generierten SQL-Abfragen.
• Evaluierung: Zwei klinische Phänotypisierungsexperten bewerteten die generierten Abfragen unabhängig voneinander auf einer Skala von 0 bis 4 in sieben Dimensionen: logische/boolesche Genauigkeit, Implementierung zeitlicher Constraints, Präzision der Wertesätze, Korrektheit des OMOP-Schemas, Codierungseffizienz, menschliche Lesbarkeit und Einsatzbereitschaft für die lokale Bereitstellung. Die Übereinstimmung zwischen den Bewertern war substanziell (Cohens Kappa > 0,79).
• Fehleranalyse: Eine qualitative Überprüfung kategorisierte Fehler in sieben distincte Typen: Fehler der logischen Treue, Unvollständigkeit von Konzept-Sets, Schema-/Implementierungsfehler, Schwellenwert-/Parameterfehler, Halluzinationen, Unter-specifizierung/Überverallgemeinerung sowie Modalitätsinterpretationsbeschränkungen.

Hauptergebnisse

• Sensitivität gegenüber Eingabe-Modalitäten: Die Qualität der generierten SQL-Abfragen war hochsensibel gegenüber der Eingabedarstellung. Die Bereitstellung nur von Diagrammen führte zu einer dramatischen Verschlechterung der Leistung in allen Evaluierungsdimensionen, insbesondere bei der Präzision der Wertesätze, zeitlichen Constraints und logischen Genauigkeit. Umgekehrt lieferte die Text-only-Eingabe Ergebnisse, die denen der Volldokument-Eingabe nahe kamen, was darauf hindeutet, dass narrativer Prosa den Großteil der für die SQL-Generierung notwendigen Informationen erfasst.
• Modellleistung: Unter den Bedingungen Vollständiges Dokument und Nur Text erzielte Claude Opus 4.1 allgemein bessere oder vergleichbare Scores in fünf von sieben Dimensionen, während OpenAI o3 in der logischen/booleschen Genauigkeit und der Einsatzbereitschaft für die lokale Bereitstellung überlegen war. In den Szenarien Nur Diagramm verringerten sich die Leistungsunterschiede, wobei OpenAI o3 weiterhin einen Vorteil in der logischen Genauigkeit behielt.
• Phänotyp-spezifische Varianz: Der Phänotyp Autoimmunerkrankungen (ADs) erzielte die höchsten Bewertungen bei beiden Modellen. Dies wurde auf seinen Dokumentationsstil zurückgeführt, der expliziten, gut organisierten Pseudocode verwendete, im Gegensatz zur weniger strukturierten Dokumentation anderer Phänotypen.
• Fehlerkategorien: Die Analyse identifizierte sieben Fehlermodi. Fehler der logischen Treue (z. B. das Missverstehen einzelner Diagnosen als ausreichend für einen Zustand, der wiederholte Ereignisse erfordert) und Unvollständigkeit von Konzept-Sets (fehlende erforderliche Konzept-IDs) gehörten zu den folgenschwersten. Auch Halluzinationen, bei denen Modelle nicht unterstützte klinische Konzepte oder Schwellenwerte einführten, wurden beobachtet. Modalitätsinterpretationsbeschränkungen waren bei Eingaben Nur Diagramm am ausgeprägtesten, wo Modelle versagten, visuelle Ausschlusskriterien in SQL-Logik zu übersetzen.

Bedeutung und Behauptungen
Das Papier positioniert LLMs nicht als autonome Umsetzer klinischer Phänotypen, sondern als fähige „Entwurfsgeneratoren erster Stufe", deren Nutzen strikt durch die Qualität der Eingabedokumentation begrenzt ist. Die Studie behauptet, dass:

1. Dokumentation der primäre Engpass ist: Die Treue von LLM-generierten Phänotypisierungsabfragen hängt stärker von der Standardisierung und Struktur der Eingabedokumentation ab als von den inhärenten Fähigkeiten der Modelle. Strukturierte natürliche Sprache ist notwendig und weitgehend ausreichend für nahezu optimale Leistung, wohingegen visuelle Diagramme allein unzureichend sind.
2. Expertenaufsicht ist zwingend erforderlich: Aufgrund der Vielfalt und klinischen Bedeutung der identifizierten Fehler (einschließlich Halluzinationen und Ungenauigkeiten bei Schwellenwerten) sind LLM-generierte Abfragen noch nicht für den autonomen Einsatz geeignet. Eine obligatorische Expertenprüfung bleibt unerlässlich, insbesondere für zeitliche Constraints und die Präzision von Konzept-Sets.
3. Pfad zur Skalierbarkeit: Die Standardisierung von Phänotyp-Dokumentationen in umsetzungsorientierte Formate (wie expliziten Pseudocode) bietet einen vielversprechenden Weg zur Verbesserung der Übersetzungstreue, ohne weitere Fortschritte in der Modellarchitektur zu erfordern.
4. Kollaboratives Paradigma: Die Ergebnisse deuten auf einen kollaborativen Workflow hin, bei dem LLMs die erste Ausarbeitung von Phänotypisierungsalgorithmen beschleunigen, die dann durch strukturierte menschliche Aufsicht verfeinert werden, was potenziell die Portabilität und Wiederverwendbarkeit klinischer Kohorten über Forschungsnetzwerke hinweg verbessert.

Die Autoren erkennen Limitationen an, darunter die Evaluierung von nur fünf Phänotypen und zwei Modellen, die Abhängigkeit von Expertenbewertungen statt einer Goldstandard-Datenblattprüfung für die Kohortengenauigkeit sowie das Fehlen einer systematischen Prompt-Optimierung. Als zukünftige Arbeit wird empfohlen, sich auf longitudinales Benchmarking, größere Review-Panels und Validierungen gegen Goldstandard-Datensätze zu konzentrieren.