Extracting Social Determinants of Health from Electronic Health Records: Development and Comparison of Rule-Based and Large Language Model Methods

Die Studie zeigt, dass neuere GPT-Modelle, insbesondere die effizienten „Mini"-Varianten, bei der Extraktion sozialer Gesundheitsdeterminanten aus unstrukturierten klinischen Notizen regelbasierten Systemen überlegen sind und durch eine späte Fusion beider Ansätze die Genauigkeit auf Domänenebene weiter gesteigert werden kann.

Das Wesentliche

Das große Rätsel im medizinischen Tagebuch

Stellen Sie sich vor, ein Arzt schreibt in ein riesiges, digitales Tagebuch über jeden Patienten. In den offiziellen Listen (den strukturierten Daten) steht oft nur: „Patient hat Bluthochdruck." Aber in den freien Notizen, die der Arzt handschriftlich oder getippt hinterlässt, verstecken sich die wahren Geheimnisse: „Der Patient kann sich gerade keine Miete leisten," „Er hat niemanden, der ihn besucht," oder „Er isst oft nur Nudeln, weil ihm das Geld für Obst fehlt."

Diese versteckten Informationen nennt man Soziale Determinanten der Gesundheit (SDoH). Sie sind wie die unsichtbaren Wurzeln eines Baumes: Man sieht sie nicht sofort, aber sie bestimmen, ob der Baum (der Patient) gesund bleibt oder krank wird. Das Problem: Diese Informationen sind im digitalen Tagebuch oft unordentlich und schwer zu finden.

Die zwei Detektive: Der strenge Regler vs. der kluge Denker

Die Forscher aus Boston wollten herausfinden, wie man diese versteckten Informationen am besten aus den Notizen herausholt. Sie stellten zwei verschiedene „Detektive" gegeneinander:

1. Der strenge Regler (Rule-Based System):
   Stellen Sie sich diesen Detektiven wie einen sehr strengen Roboter vor, der nur nach bestimmten Schlüsselwörtern sucht. Wenn er das Wort „Miete" sieht, markiert er es. Wenn er das Wort „Hunger" sieht, markiert er es.

   • Das Problem: Er ist sehr stur. Wenn jemand schreibt: „Ich habe keine Mittel für eine warme Mahlzeit," erkennt er das vielleicht nicht, weil das Wort „Hunger" fehlt. Er verpasst viele wichtige Hinweise, ist aber sehr sicher, wenn er etwas findet (wenig Fehler bei den Treffern).

2. Der kluge Denker (Large Language Model / KI):
   Dieser Detektive ist wie ein sehr gebildeter Assistent, der die Sprache versteht. Er liest den Satz „Ich habe keine Mittel für eine warme Mahlzeit" und denkt: „Aha, das bedeutet Hunger/Finanzielle Not!" Er versteht Zusammenhänge, Ironie und Nuancen.

   • Der Vorteil: Er findet viel mehr Hinweise als der Roboter.
   • Die Herausforderung: Manchmal ist er zu kreativ und interpretiert Dinge falsch, die eigentlich nichts mit dem Thema zu tun haben.

Das große Rennen

Die Forscher ließen diese beiden Detektive gegen verschiedene Versionen der neuesten KI-Modelle (die sogenannten „GPT"-Modelle, ähnlich wie der Chatbot, den viele kennen) antreten. Sie testeten, ob die KI auch ohne vorheriges Lernen („Zero-Shot") oder mit ein paar Beispielen („Few-Shot") gut arbeitet.

Das Ergebnis war klar:

• Der kluge Denker (die KI) war dem strengen Roboter in fast allen Fällen überlegen. Er fand viel mehr der versteckten sozialen Probleme.
• Besonders die neuen, kleineren KI-Modelle (die „Mini"-Versionen) waren überraschend gut: Sie waren fast so schlau wie die riesigen Modelle, aber viel schneller und günstiger im Betrieb.

Die perfekte Teamarbeit: Der „Fusions-Plan"

Aber die Forscher waren nicht fertig. Sie dachten: „Warum nicht beide kombinieren?"
Sie entwickelten eine Methode, bei der die Ergebnisse beider Detektive zusammengeführt werden (ein sogenanntes „Ensemble").

• Wie ein Sicherheitsnetz: Wenn der strenge Roboter etwas findet, ist es fast sicher richtig. Wenn die KI etwas findet, das der Roboter übersehen hat, wird es trotzdem berücksichtigt.
• Das Ergebnis: Diese Kombination war der absolute Gewinner. Sie fand fast alle wichtigen Informationen (hohe Trefferquote) und machte dabei sehr wenige Fehler (hohe Genauigkeit).

Warum ist das wichtig?

Bisher wurden diese sozialen Probleme oft nur in ICD-Codes (medizinischen Kurzzeichen) erfasst, die aber sehr ungenau sind. Es ist so, als würde man versuchen, das Wetter nur anhand eines Thermometers zu beschreiben, ohne auf den Himmel zu schauen.

Mit dieser neuen Methode können Ärzte und Forscher endlich das ganze Bild sehen. Sie können erkennen, wer wirklich Hilfe braucht, nicht nur wer krank ist, sondern wer auch unter Armut, Einsamkeit oder Wohnungsnot leidet. Das hilft dabei, die Behandlung zu verbessern und sogar vorherzusagen, wer in Zukunft krank werden könnte.

Fazit in einem Satz

Die Studie zeigt, dass moderne KI-Modelle wie ein super-geschulter Übersetzer funktionieren, der die versteckten sozialen Nöte in Arztbriefen findet, und dass die Kombination aus KI und einfachen Regeln die beste Methode ist, um diese wichtigen Informationen für eine bessere Gesundheitsversorgung zu nutzen.

Technische Zusammenfassung

Titel: Extraktion sozialer Determinanten der Gesundheit (SDoH) aus elektronischen Gesundheitsakten: Entwicklung und Vergleich regelbasierter und Large-Language-Model-Methoden

1. Problemstellung

Soziale Determinanten der Gesundheit (SDoH) wie finanzielle Schwierigkeiten, Wohnungsunsicherheit oder mangelnde soziale Unterstützung sind entscheidende Faktoren für Gesundheitsergebnisse und tragen maßgeblich zu gesundheitlichen Ungleichheiten bei. Obwohl diese Informationen in unstrukturierten klinischen Notizen (z. B. Entlassungsbriefe, Fortschrittsberichte) häufig dokumentiert sind, werden sie in strukturierten Daten der elektronischen Gesundheitsakten (EHR) oft nicht erfasst. Dies schränkt die Nutzung von EHR-Daten für die Bevölkerungsforschung und klinische Entscheidungsfindung ein.

Bestehende Ansätze zur Extraktion von SDoH mittels Natural Language Processing (NLP) haben Schwächen:

• Regelbasierte Systeme (RBS): Sind interpretierbar, leiden aber oft unter geringer Sensitivität (Recall), da sie auf starren, manuell erstellten Regeln basieren.
• Überwachtes maschinelles Lernen: Erfordert große Mengen an hochwertigen, annotierten Trainingsdaten, was kostspielig und arbeitsintensiv ist.
• Forschungslücken: Bisherige Studien konzentrierten sich oft nur auf wenige Domänen (z. B. Rauchen, Obdachlosigkeit), nutzten veraltete LLM-Versionen oder fine-tuning-Modelle, ohne die neuesten Modelle mit fortgeschrittenen Schlussfolgerungsfähigkeiten (Reasoning) systematisch zu vergleichen.

2. Methodik

Datengrundlage und Annotation:

• Datenquelle: Klinische Notizen (Entlassungsbriefe und Fortschrittsnotizen) von 171 Patienten aus dem Mass General Brigham Research Patient Data Registry (RPDR).
• Gold-Standard-Korpus: Es wurde ein annotiertes Korpus mit 226 Textsegmenten erstellt.
• Taxonomie: Ein fein abgestuftes Klassifikationsschema mit 7 Domänen (z. B. finanzieller Status, Beschäftigung, Wohnsituation, Versicherung, Nahrungsmittelsicherheit, soziale Ressourcen, körperliche Aktivität) und 23 Unterkategorien.
• Kontextuelle Attribute: Jede Erwähnung wurde zusätzlich auf vier Attribute geprüft: Zeitlichkeit (temporality), Erlebender (experiencer), hypothetischer Status und Unsicherheit. Nur aktuelle, patientenspezifische und bestätigte Fälle wurden als positiv gewertet.
• Inter-Annotator-Übereinstimmung: Erreichte hohe Werte (Krippendorffs Alpha: 0,95 für Domänen, 0,78 für Unterkategorien mit Attributen).

Entwickelte Ansätze:

1. Regelbasiertes System (RBS):

   • Implementiert mit medspaCy.
   • Nutzt ein Lexikon, das durch Seed-Terms, UMLS-Metathesaurus-Erweiterungen und semantische Ähnlichkeitssuche (mittels Sentence-BERT-Embeddings) erstellt wurde.
   • Führt Satzsegmentierung, Entitätserkennung und Kontextdisambiguierung durch.

2. LLM-basierte Ansätze (OpenAI GPT-Modelle):

   • Es wurden 7 Modelle evaluiert: GPT-4o, 4.1, 4.1-mini, o4-mini, GPT-5, GPT-5-mini und o3.
   • Einsatz: Alle Modelle wurden über die Azure OpenAI API in einer HIPAA-konformen Umgebung genutzt.
   • Prompting-Strategien:
     • Zero-Shot: Systemprompts mit Rollenspiel, Definitionen und Schritt-für-Schritt-Anweisungen.
     • Few-Shot: Einsatz von Beispielen (einfach vs. schwer/adjudiziert) mit und ohne Erklärungen.
     • Prompt-Stile: "Strict" (hohe Präzision), "Balanced" und "Liberal" (hoher Recall).
   • Vorgehensweise: Keyword-basiertes Pre-Screening zur Identifikation relevanter Textsegmente, gefolgt von der Klassifikation durch die LLMs.

3. Ensemble-Ansatz (Late Fusion):

   • Kombination der Ausgaben von RBS und einem "GPT-Comittee" (mehrere GPT-Modelle mit unterschiedlichen Prompt-Stilen).
   • Für Domänen: Fusion von RBS und GPT-Ausgaben (Union/Majority Voting).
   • Für Unterkategorien: Aggregation nur innerhalb des GPT-Comitees.

3. Wichtige Ergebnisse

Leistungsfähigkeit der Modelle:

• RBS: Erzielte eine sehr hohe Präzision für Domänen (0,96), aber eine deutlich niedrigere Recall-Rate (0,68). Es scheiterte oft an semantischen Nuancen (z. B. Unterscheidung zwischen medizinischen und sozialen Essproblemen) und erkannte implizite Hinweise nicht.
• GPT-Modelle: Übertrafen das RBS konsistent in Recall und F1-Score.
  • Beste Domänen-Leistung: GPT-5 und GPT-5-mini im Few-Shot-Setting (F1 = 0,89).
  • Beste Unterkategorien-Leistung: o4-mini im Few-Shot-Setting (F1 = 0,88).
  • Kosten-Nutzen: Die "Mini"-Modelle (o4-mini, GPT-5-mini) boten eine hervorragende Leistung bei deutlich geringeren Inferenzkosten und Latenzzeiten im Vergleich zu den Flaggschiff-Modellen (z. B. o4-mini kostete ca. 0,008 $ pro Segment vs. 0,029 $ für GPT-5).

Ensemble-Ergebnisse:

• Die Late-Fusion-Ensemble-Methode (Kombination von RBS und GPT) verbesserte die Domänen-Leistung signifikant auf einen F1-Score von 0,92 (Präzision 0,93, Recall 0,90).
• Das RBS trug in 8 % der Fälle zur Domänen-Erkennung bei, die von den GPT-Modellen übersehen wurden, und umgekehrt deckten die GPT-Modelle 35 % der Fälle ab, die das RBS verpasste.
• Auf Unterkategorien-Ebene brachte die Fusion keine signifikante Verbesserung gegenüber dem besten einzelnen GPT-Modell (o4-mini).

Vergleich mit ICD-Codes:

• Sowohl RBS als auch GPT-Modelle extrahierten deutlich mehr SDoH-Informationen als die strukturierten ICD-Codes (V- und Z-Codes). ICD-Codes deckten nur einen Bruchteil der in den Notizen dokumentierten SDoH ab.

Fehleranalyse:

• RBS-Fehler: Hauptursache waren mangelndes semantisches Verständnis (z. B. Nichterkennung von "Section 8" als Wohnhilfe) und Fehler bei der Negation oder Zeitlichkeit.
• LLM-Fehler: Hauptsächlich Probleme bei der Kalibrierung der Beweisstärke (zu strikt oder zu interpretierend), Nichtbefolgen von Prompt-Anweisungen und Fehlern bei der Zeitlichkeit (aktuell vs. historisch).

4. Hauptbeiträge

1. Umfassende Taxonomie: Entwicklung eines detaillierten SDoH-Schemas mit 7 Domänen und 23 Unterkategorien, das auch weniger erforschte Bereiche wie soziale Ressourcen und Versicherungsschutz abdeckt.
2. Systematischer Vergleich: Der erste direkte Vergleich moderner Reasoning-LLMs (inkl. GPT-5 und o4-mini) mit einem optimierten regelbasierten System ohne spezifisches Fine-Tuning.
3. Kosten-effizientes Framework: Demonstration, dass ein Pre-Screening mit Regelwerken gefolgt von LLM-Inferenz eine kosteneffiziente und skalierbare Lösung bietet, die Fine-Tuning-Modelle in der Leistung nicht nur erreicht, sondern oft übertrifft.
4. Ensemble-Strategie: Validierung einer Late-Fusion-Methode, die die Stärken von Regelwerken (Präzision) und LLMs (Recall/Semantik) kombiniert, um die Gesamtperformance zu maximieren.
5. Open Source: Bereitstellung von Code und Prompts zur Reproduzierbarkeit.

5. Bedeutung und Implikationen

Die Studie zeigt, dass moderne Large Language Models (LLMs) mit fortgeschrittenen Schlussfolgerungsfähigkeiten in der Lage sind, SDoH aus klinischen Notizen mit hoher Genauigkeit zu extrahieren, ohne dass teure manuelle Annotationen für das Training notwendig sind.

• Klinische Anwendung: Die extrahierten Daten können zur Risikostratifizierung, Verbesserung von Vorhersagemodellen für klinische Ergebnisse und zur Identifizierung von algorithmischen Verzerrungen genutzt werden.
• Forschung: Ermöglicht groß angelegte Bevölkerungsstudien, die auf den in unstrukturierten Texten verborgenen sozialen Faktoren basieren.
• Effizienz: Der vorgestellte Ansatz (Pre-Screening + LLM) reduziert die Rechenkosten und die Latenzzeit erheblich im Vergleich zur direkten Verarbeitung ganzer Patientenakten durch LLMs.

Einschränkungen: Die Validierung erfolgte in einem einzigen Gesundheitssystem (MGB), was die Generalisierbarkeit auf andere Systeme mit unterschiedlichen Dokumentationspraktiken einschränken könnte. Zudem basieren die Ergebnisse auf vorfilterten Textsegmenten; die Leistung auf unfilterten Notizen muss in weiteren Studien bestätigt werden.