Extracting patient reported cannabis use and reasons for use from electronic health records: a benchmarking study of large language models

Diese Benchmark-Studie zeigt, dass eine Kombination aus feinabgestimmten klinischen Sprachmodellen und LLM-basierten Klassifikatoren eine präzise und skalierbare Extraktion von patientenberichtetem Cannabisgebrauch sowie der entsprechenden Nutzungsgründe aus unstrukturierten elektronischen Patientenakten bei Patienten mit autoimmunen rheumatischen Erkrankungen ermöglicht.

Das Wesentliche

Titel: Wie KI-Modelle das „Kiffen" in Patientenakten finden – Eine einfache Erklärung

Stellen Sie sich vor, Sie haben einen riesigen, chaotischen Bibliothekskeller voller Millionen von Patientenakten. In diesen Akten stehen nicht nur trockene Zahlen, sondern auch handschriftliche Notizen, Sätze und Geschichten von Ärzten. Darin versteckt sich eine wichtige Information: Rauchen Patienten Cannabis? Und wenn ja, warum? (Vielleicht wegen Schmerzen, Schlafproblemen oder Übelkeit).

Das Problem: Niemand hat Zeit, Millionen von Seiten manuell zu lesen. Früher haben Computer versucht, das mit starren Regeln zu tun (wie ein strenger Butler, der nur nach dem Wort „Marihuana" sucht). Aber Patienten schreiben oft anders: „Ich nehme Gras", „Ich rauche Joint", „Medizinischer Hanf" oder „Kein Cannabis". Ein starrer Butler verpasst diese Nuancen.

Diese Forscher haben nun einen neuen Ansatz getestet: Sie haben Künstliche Intelligenz (KI) – genauer gesagt „Large Language Models" (LLMs) – wie einen super-intelligenten, aber manchmal etwas verwirrten Bibliothekar eingesetzt, um diese Akten zu lesen.

Hier ist die Geschichte, wie sie das gemacht haben, einfach erklärt:

1. Der Test: Wer ist der beste Bibliothekar?

Die Forscher haben verschiedene KI-Modelle gegeneinander antreten lassen. Man kann sich das wie einen Wettkampf vorstellen:

• Die „Allrounder": Große, allgemeine KIs (wie GPT-OSS, Gemini), die alles wissen, aber nicht speziell für Medizin trainiert wurden.
• Die „Spezialisten": Eine KI, die extra auf medizinische Texte trainiert wurde (GatorTron).

Die Aufgabe bestand aus zwei Teilen:

1. Die Ja/Nein-Frage: „Raucht dieser Patient Cannabis?" (Status).
2. Die Warum-Frage: „Warum raucht er/sie es?" (Grund: Schmerz, Schlaf, Angst, etc.).

2. Die Ergebnisse: Es kommt auf die Aufgabe an!

Hier kommt die spannende Erkenntnis, die man sich wie eine Werkzeugkiste vorstellen kann:

• Für die einfache Ja/Nein-Frage (Status):
  Der Spezialist (GatorTron) gewann klar.

  • Die Analogie: Stellen Sie sich vor, Sie müssen prüfen, ob in einem Brief ein rotes Siegel ist. Ein spezialisiertes Werkzeug (ein Scanner für rote Siegel) ist viel schneller und genauer als ein genialer Dichter, der den ganzen Brief analysiert. Die feinabgestimmte medizinische KI war hier extrem präzise (90% Trefferquote). Sie wusste genau, worauf sie achten musste.

• Für die schwierige Warum-Frage (Grund):
  Hier gewann der Allrounder (GPT-OSS-20B).

  • Die Analogie: Jetzt müssen Sie nicht nur das Siegel finden, sondern verstehen, warum der Brief geschrieben wurde. „Ich schreibe, weil ich traurig bin" vs. „Ich schreibe, weil ich krank bin". Das erfordert ein tieferes Verständnis von Zusammenhängen und Nuancen. Der große, allgemeine KI-Allrounder ist hier wie ein erfahrener Psychologe, der zwischen den Zeilen lesen kann. Er war besser darin, die Gründe (Schmerz, Schlaf, etc.) zu erraten.

3. Was haben sie herausgefunden? (Die Schätze im Keller)

Sobald die beste KI-Auswahl getroffen war, haben sie den ganzen „Keller" (die Daten von 2015 bis 2024) durchsucht. Hier sind die wichtigsten Entdeckungen:

• Der Trend: Immer mehr Patienten mit chronischen Gelenkerkrankungen (wie Rheuma) erwähnen Cannabis in ihren Akten. Von 7% im Jahr 2015 auf 13% im Jahr 2024. Es wird also immer offener darüber gesprochen.
• Der Hauptgrund: Der häufigste Grund für die Nutzung war und ist Schmerz. Das ist logisch, da diese Patienten oft unter starken Gelenkschmerzen leiden.
• Der neue Trend: Seit 2022 wird Schlaf immer häufiger als Grund genannt. Es scheint, als würden Patienten Cannabis zunehmend als „natürliches Schlafmittel" nutzen.
• Schmerz vs. Nutzung: Interessant ist, dass die Patienten, die Cannabis nutzten, früher oft über mehr Schmerzen klagten als die, die es nicht taten. Aber in den letzten Jahren hat sich das Bild etwas gewandelt.

4. Warum ist das wichtig?

Früher mussten Forscher mühsam manuell suchen oder sich auf grobe Schätzungen verlassen. Jetzt haben sie eine automatische Maschine, die wie ein unsichtbarer Detektiv durch Millionen von Akten läuft.

• Für Ärzte: Sie können besser verstehen, wie Patienten ihre Schmerzen selbst behandeln.
• Für die Forschung: Man kann jetzt viel schneller sehen, ob sich Trends ändern (z. B. mehr Schlafprobleme) und ob bestimmte Patientengruppen (z. B. Frauen vs. Männer) Cannabis unterschiedlich nutzen.

Fazit

Die Studie zeigt uns, dass es nicht „die eine perfekte KI" gibt.

• Brauchen Sie Präzision bei einfachen Fakten? Nehmen Sie den spezialisierten, trainierten KI-Experten (wie GatorTron).
• Brauchen Sie Verständnis für komplexe Zusammenhänge? Nehmen Sie den großen, kreativen KI-Allrounder (wie GPT-OSS).

Indem sie diese Werkzeuge klug kombinieren, können Forscher nun endlich die „versteckten Schätze" in den Patientenakten finden und besser verstehen, wie Menschen mit chronischen Krankheiten ihr Leben meistern.

Technische Zusammenfassung

Titel: Extrahierung von patientenberichteter Cannabiskonsum und Konsumgründen aus elektronischen Gesundheitsakten: Eine Benchmark-Studie großer Sprachmodelle

1. Problemstellung

Autoimmunerkrankungen des rheumatischen Systems (ARDs) gehen häufig mit chronischen Schmerzen einher, die schwer zu behandeln sind. Cannabis wird zunehmend als ergänzende Therapieoption genutzt. Obwohl elektronische Gesundheitsakten (EHRs) wertvolle Daten enthalten, ist die relevante Information über Cannabiskonsum und die Gründe dafür oft in unstrukturierten klinischen Notizen versteckt.
Herausforderungen bestehen darin:

• Skalierbarkeit: Traditionelle regelbasierte NLP-Ansätze (Natural Language Processing) sind schwer zu warten und passen sich schlecht an diverse klinische Dokumentationspraktiken an.
• Forschungslücke: Es gibt wenig empirische Evidenz darüber, wie sich Large Language Models (LLMs) in klinischen Aufgaben verhalten, insbesondere im Vergleich zwischen allgemeinen und klinisch vortrainierten Modellen sowie in Bezug auf Prompt-Strategien und Decoding-Parameter (z. B. Temperatur).
• Ziel: Entwicklung und Evaluierung eines skalierbaren NLP-Ansatzes, um sowohl den Konsumstatus als auch die Gründe für den Konsum aus unstrukturierten Texten zu extrahieren.

2. Methodik

Die Studie ist eine retrospektive Beobachtungsstudie an Daten einer akademischen medizinischen Einrichtung in Kalifornien (Zeitraum 2015–2024).

• Datengrundlage: Über 2 Millionen klinische Notizen von 5.580 erwachsenen Patienten mit ARDs (z. B. Rheumatoide Arthritis, Lupus, Psoriasis-Arthritis).
• Vorverarbeitung:
  • Snippet-Extraktion: Nutzung einer lexikonbasierten Filterung mit "Fuzzy String Matching" (Schwellenwert 90 % Ähnlichkeit), um 50-Wort-Kontextfenster (±25 Wörter) um Cannabis-begriffe zu extrahieren.
  • Datensatzteilung: Aufteilung in Trainingsdaten (n=791), Validierungs-/Testdaten (n=40) und einen großen, zurückgehaltenen Datensatz für die Skalierung (n=42.858).
• Annotation: Zwei Experten annotierten manuell Snippets in zwei Aufgaben:
  1. Konsumstatus (4 Klassen): Nicht zutreffend/unsicher, Verneinung, früher Konsum, aktueller Konsum (831 Snippets).
  2. Konsumgründe (6 Klassen): Schmerz, Übelkeit, Schlaf, Angst/Stimmung, Appetit, nicht erwähnt (1.027 Snippets).
• Modellarchitekturen & Strategien:
  • Generative LLMs (Prompting): Vergleich von allgemeinen Modellen (Gemini-2.0, LLaMA-3.1, GPT-OSS-20B) und klinischen Modellen (MedGemma-4B).
  • Prompting-Varianten: Zero-Shot, Few-Shot, strukturiertes Reasoning, mehrstufige Verifikation.
  • Parameter-Tuning: Evaluation verschiedener Decoding-Temperaturen (0.0 bis 1.0).
  • Supervised Fine-Tuning: Anpassung des klinischen Modells GatorTron (345M Parameter) für die Klassifizierung des Konsumstatus.
• Metriken: Genauigkeit (Accuracy), F1-Score, Recall und Precision auf einem zurückgehaltenen Testset.

3. Wichtige Beiträge

• Systematischer Benchmark: Erster direkter Vergleich von generativen LLMs (Prompting) und feinabgestimmten (fine-tuned) klinischen Transformern für spezifische klinische Extraktionsaufgaben.
• Task-spezifische Erkenntnisse: Die Studie zeigt, dass keine universell überlegene Architektur existiert; die Leistung hängt stark von der Komplexität der Aufgabe ab.
• Skalierbare Pipeline: Demonstration einer funktionierenden Pipeline, die von der Snippet-Extraktion bis zur patientenaggregierten Analyse reicht, um reale klinische Trends zu identifizieren.
• Öffentliche Ressourcen: Bereitstellung von Analyse-Skripten und detaillierten Benchmark-Ergebnissen für die Community.

4. Ergebnisse

• Klassifizierung des Konsumstatus:
  • Das feinabgestimmte GatorTron-Modell erzielte die beste Leistung (Accuracy: 0,90; F1: 0,91).
  • Generative LLMs (wie GPT-OSS-20B) lagen zwar gut, aber unter dem feinabgestimmten Modell.
  • Niedrigere Temperaturen (0,0–0,3) verbesserten die Reproduzierbarkeit und Stabilität bei allen Modellen.
• Klassifizierung der Konsumgründe:
  • Hier zeigte das generative Modell GPT-OSS-20B (mit mehrstufiger Verifikations-Prompt-Strategie und Temperatur 0,3) die beste Leistung (Accuracy: 0,77; F1: 0,77).
  • GatorTron schnitt bei dieser semantisch komplexeren Aufgabe schlechter ab (F1: 0,55), was auf die Notwendigkeit von Kontextverständnis durch generative Modelle hinweist.
• Klinische Erkenntnisse (aus den extrahierten Daten):
  • Trend: Der dokumentierte Cannabiskonsum stieg von 7,4 % (2015) auf 13,0 % (2024).
  • Gründe: Schmerz war der dominierende Grund über den gesamten Zeitraum. Schlafbezogene Gründe stiegen ab 2022 stark an und wurden zur zweithäufigsten Indikation.
  • Patientencharakteristika: RA-Patienten hatten die höchste Konsumprävalenz. Konsumierende Patienten hatten höhere Schmerzscore-Werte (bis 2022) und nahmen mehr Medikamente ein als Nicht-Konsumierende.

5. Bedeutung und Schlussfolgerung

Die Studie liefert wichtige Erkenntnisse für die Implementierung von KI in der klinischen Forschung:

1. Kein "One-Size-Fits-All": Für strukturierte Klassifizierungsaufgaben (wie Status-Erkennung) sind kleinere, feinabgestimmte klinische Modelle (GatorTron) effizienter und genauer als große generative Modelle. Für komplexe, kontextabhängige Aufgaben (wie Motiv-Erkennung) sind generative LLMs überlegen.
2. Ressourcenoptimierung: Klinische Einrichtungen können durch den Einsatz von Fine-Tuning bei kleineren Modellen Rechenkosten sparen, solange die Aufgabe klar definiert ist.
3. Forschungsimpact: Die Methode ermöglicht die großangelegte, automatisierte Erfassung von patientenberichteten Selbstmanagement-Strategien (z. B. Schmerzmanagement mit Cannabis), was bisherige manuelle Analysen in Bezug auf Skalierbarkeit und Reproduzierbarkeit übertrifft.
4. Limitationen: Die Ergebnisse basieren auf unstrukturierten Notizen, die unterrepräsentiert sein können, und stammen aus einem einzigen Gesundheitssystem. Eine externe Validierung ist notwendig.

Zusammenfassend demonstriert die Arbeit, wie eine Kombination aus feinabgestimmten Modellen und LLM-basierten Klassifikatoren eine robuste Grundlage für die phenotypische Analyse von Substanzkonsum in großen Kohorten aus EHR-Daten schafft.