Fully Automated Abstraction of Longitudinal Breast Oncology Records with Off-The-Shelf Large Language Models

Die Studie zeigt, dass ein automatisiertes, auf kommerziellen Large Language Models basierendes System ohne Feinabstimmung komplexe longitudinale Brustkrebsdokumente mit einer Genauigkeit extrahieren kann, die der von Experten vergleichbar ist und somit die Skalierung retrospektiver Forschungsdatensätze ermöglicht.

Das Wesentliche

🏥 Der digitale Detektiv: Wie KI aus riesigen Krankenakten kluge Daten macht

Stellen Sie sich vor, Sie sind ein medizinischer Forscher, der herausfinden möchte, wie sich Brustkrebs über viele Jahre entwickelt. Um das zu tun, müssten Sie normalerweise Tausende von Patientenakten durchwühlen. Aber diese Akten sind kein übersichtliches Excel-Tablett. Sie sind wie ein riesiger, chaotischer Haufen aus alten Notizbüchern, handschriftlichen Zetteln, Laborberichten und E-Mails, die über Jahre hinweg von verschiedenen Ärzten geschrieben wurden.

Das Problem: Wichtige Informationen wie „Wann trat der Krebs wieder auf?" oder „Welche Medikamente hat der Patient genau genommen?" sind oft nur in diesen langen Texten versteckt. Einen Menschen zu finden, der diese Akten manuell liest und die Daten in eine Tabelle schreibt, ist extrem langsam, teuer und fehleranfällig. Es ist, als würde man versuchen, eine Nadel in einem Heuhaufen zu finden – und zwar mit der Hand, Nadel für Nadel.

Die Lösung dieser Studie: Die Forscher haben einen automatischen digitalen Detektiv gebaut. Sie haben moderne Künstliche Intelligenz (KI), sogenannte „Large Language Models" (wie ChatGPT oder Gemini), verwendet, um diese Akten zu lesen und die wichtigen Daten herauszuziehen.

🧩 Das Experiment: KI vs. Die Experten

Die Forscher haben sich 100 Patientinnen mit komplexen Brustkrebsverläufen ausgesucht. Deren Akten waren riesig – im Durchschnitt waren das 3.100 Seiten Text pro Person! Das ist wie ein ganzer Roman pro Patient.

Dann haben sie einen Wettbewerb veranstaltet:

1. Die Experten: Vier hochqualifizierte Brustkrebs-Spezialisten haben die Akten manuell gelesen und die Daten extrahiert. Das ist der „Goldstandard".
2. Die KI: Vier verschiedene KI-Modelle haben dieselben Akten gelesen, ohne dass sie vorher speziell für diese Aufgabe trainiert wurden (sie waren „vom Regal", also off-the-shelf).

🏆 Was hat sich ergeben?

Das Ergebnis war überraschend gut:

• Bei klaren Fakten war die KI unschlagbar: Wenn es um Dinge ging, die klar in einem Laborbericht standen (z. B. „Ist der Tumor hormonrezeptor-positiv?" oder „Hat die Patientin ein BRCA-Gen?"), war die KI zu 99–100 % so gut wie die menschlichen Experten.
  • Vergleich: Stellen Sie sich vor, die KI ist wie ein extrem schneller Scanner, der jedes Wort in einem Dokument findet, während der Mensch müde wird, wenn er zu lange liest.
• Bei komplexen Geschichten war die KI fast genauso gut: Das schwierigste war, die gesamte Behandlungsreihe nachzuvollziehen (Welches Medikament wann? Warum wurde es abgebrochen?). Hier lag die KI nur knapp hinter den Experten. Aber: Die KI war besser als medizinische Assistenten, die oft mit solchen Aufgaben betraut werden.
  • Vergleich: Wenn die Experten und die KI beide versuchen, ein komplexes Puzzle zu lösen, machen sie fast die gleichen Fehler. Das zeigt, dass die KI wirklich „mitdenkt" und nicht nur Wörter sucht.
• Das große Bild bleibt gleich: Das Wichtigste: Wenn die Forscher mit den KI-Daten Statistiken über das Überleben der Patientinnen berechneten, kamen fast exakt dieselben Ergebnisse heraus wie mit den manuell erstellten Daten.
  • Vergleich: Es ist egal, ob Sie die Landkarte von einem menschlichen Kartografen oder von einem GPS-System gezeichnet bekommen – beide zeigen Ihnen den gleichen Weg zum Ziel.

🚀 Warum ist das wichtig?

Bisher war es unmöglich, riesige Mengen an Patientendaten für die Forschung zu nutzen, weil niemand die Zeit hatte, sie alle manuell zu lesen.

Mit dieser Methode können Forscher jetzt automatisch riesige Datenbanken aus den Krankenakten erstellen.

• Stellen Sie sich vor: Statt 100 Patienten zu untersuchen, können wir nun 100.000 untersuchen.
• Der Vorteil: Wir können viel schneller herausfinden, welche Medikamente wirklich helfen und welche nicht. Das könnte die Medizin revolutionieren.

⚠️ Ein kleiner Haken

Die KI ist nicht perfekt. Sie kann Fehler machen, wenn Informationen in den Akten fehlen oder wenn die Ärzte Dinge nur sehr vage geschrieben haben. Aber die Studie zeigt: Man muss die KI nicht erst jahrelang ausbilden. Man kann sie einfach nehmen, ihr die Akten geben, und sie macht einen hervorragenden Job – fast so gut wie ein menschlicher Spezialist.

Zusammenfassend: Diese Studie ist wie der Beweis, dass ein neuer, super-schneller Roboter-Leser die langweilige und mühsame Arbeit des Akten-Stapelns übernehmen kann, damit sich die echten Ärzte und Forscher auf das Wesentliche konzentrieren können: Die Patienten zu heilen.

Technische Zusammenfassung

Technische Zusammenfassung: Vollautomatisierte Abstraktion longitudinaler Brustkrebs-Daten mit Off-the-Shelf Large Language Models

1. Problemstellung

Die manuelle Extraktion (Abstraktion) klinischer Daten aus elektronischen Patientenakten (EHR) stellt einen erheblichen Engpass in der klinischen Forschung dar, insbesondere in der Onkologie. Viele kritische Variablen wie Krankheitsrezidive, Behandlungsverläufe und Biomarker werden oft nur in unstrukturierten Freitextnotizen dokumentiert und nicht in strukturierten Feldern. Dies führt zu:

• Hoher Arbeitsintensität und Ineffizienz bei der Erstellung von Kohortenstudien.
• Inkonsistenzen zwischen verschiedenen manuellen Reviewern.
• Begrenzter Skalierbarkeit für epidemiologische Studien und Real-World-Evidence-Datenbanken.
• Der Notwendigkeit, komplexe longitudinale Verläufe (z. B. bei metastasierendem Brustkrebs) oft nur in kleinen, nicht repräsentativen Kohorten zu untersuchen.

Ziel der Studie war es zu prüfen, ob kommerziell verfügbare, allgemeine Large Language Models (LLMs) ohne Feinabstimmung (Fine-Tuning) oder institutionsspezifisches Training in der Lage sind, diese komplexen Daten zuverlässig zu extrahieren.

2. Methodik

Die Autoren entwickelten eine Open-Source-Pipeline, die auf einem Retrieval-Augmented-Generation (RAG)-Ansatz basiert und HIPAA-konform in einer geschützten Umgebung (Stanford SecureGPT) läuft.

• Studiendesign & Kohorte:

  • Es wurden 100 Patienten aus einer Brustkrebs-Kohorte mit komplexen Krankheitsverläufen (angereichert durch FoundationOne-Tests) zufällig ausgewählt.
  • Die Daten umfassten unstrukturierte klinische Notizen, Pathologieberichte, Medikationsverwaltungsdaten und Demografie.
  • Die durchschnittliche Akte umfasste ca. 3.100 Textseiten (ca. 2,3 Millionen Tokens) pro Patient.
  • Als Referenzstandard (Ground Truth) dienten die manuellen Abstraktionen durch vier spezialisierte Brustkrebs-Onkologen. Für die komplexeste Aufgabe (Systemische Therapie) diente ein zweiter Onkologe als Vergleichsmaßstab, um die inter-expert Variabilität zu messen.

• Pipeline-Architektur:

  • Datenvorverarbeitung: Keine Normalisierung oder Bereinigung der Rohdaten. Dokumente wurden in abschnittsähnliche Chunks segmentiert.
  • Retrieval (Wiedergewinnung): Semantische Suche mittels Embeddings, kombiniert mit exakter Wortsuche und BM25. Die Suche war variablenspezifisch eingeschränkt (z. B. Pathologieberichte für Biomarker, klinische Notizen für Rezidive).
  • LLM-Verarbeitung: Vier kommerzielle Modelle wurden getestet: GPT-5, GPT-4o, DeepSeek-R1 und Gemini 2.5 Pro.
  • Prompting: Stateless-Prompts (kein Chat-Verlauf) mit variablenspezifischen Anweisungen und Schema-Beschränkungen zur Ausgabe strukturierter Daten.
  • Vergleichsgruppen: Neben den Onkologen wurden auch Forschungs-Koordinatoren (Research Coordinators) als Benchmark herangezogen.

• Bewertungsmetriken:

  • Kategorische Variablen: Exakte Übereinstimmung.
  • Datumsvariablen: Übereinstimmung innerhalb von ± 90 Tagen (primär) bzw. ± 30 Tagen.
  • Systemische Therapie: Jaccard-Ähnlichkeitskoeffizient auf Patientenebene für Medikamente und Therapielinien, sowie Precision, Recall und F1-Score.
  • Downstream-Analyse: Vergleich von Überlebenskurven (Kaplan-Meier) und Hazard-Ratios zwischen LLM- und Experten-Datensätzen.

3. Wichtige Beiträge

• Erstmaliger Einsatz von "Off-the-Shelf"-LLMs: Demonstration, dass keine institutionsspezifische Feinabstimmung oder spezielle Trainingsdaten notwendig sind, um hochwertige Forschungsdaten aus komplexen Onkologie-Akten zu extrahieren.
• Vollautomatisierte Pipeline: Entwicklung eines reproduzierbaren, HIPAA-konformen Workflows, der unstrukturierte Daten direkt in analysierbare Datensätze umwandelt.
• Benchmarking gegen Experten: Die Studie etabliert die Inter-Experten-Variabilität (Übereinstimmung zwischen zwei Onkologen) als realistischen Maßstab für die Leistung von KI-Systemen, anstatt eine absolute "Wahrheit" zu postulieren.
• Validierung der epidemiologischen Gültigkeit: Nachweis, dass LLM-abgeleitete Datensätze auf Kohortenebene dieselben statistischen Schlussfolgerungen (Überleben, Hazard Ratios) liefern wie manuell erstellte Datensätze.

4. Ergebnisse

• Leistung bei klinischen Variablen:

  • Die besten LLMs erreichten eine Übereinstimmung von 99 % für den Rezidivstatus, 100 % für germline BRCA1/2-Mutationen, 99 % für Hormonrezeptor-Status und 96 % für HER2-Status.
  • Bei klinischen Stadien und Mutationen (PIK3CA, ESR1) lagen die Werte zwischen 90 % und 91 %.
  • Die Leistung war am höchsten bei Variablen, die in Pathologieberichten verankert sind, und niedriger bei Variablen, die klinisches Schlussfolgern erfordern.

• Extraktion systemischer Therapien:

  • Die LLMs erreichten eine Jaccard-Ähnlichkeit von 0,91–0,90 für Medikamente (im Vergleich zu 0,95 beim zweiten Onkologen).
  • Für die Rekonstruktion exakter Therapielinien lag die Übereinstimmung bei 0,77–0,73 (Onkologe: 0,86).
  • Wichtig: Die Diskrepanz zwischen den LLMs untereinander war ähnlich groß wie die Diskrepanz zwischen den beiden menschlichen Onkologen. Dies zeigt, dass die LLMs die natürliche Unsicherheit menschlicher Experten erreichen.
  • Alle vier getesteten LLMs übertrafen die Forschungs-Koordinatoren deutlich in der Therapie-Extraktion.

• Downstream-Ergebnisse (Überleben & Statistik):

  • Die Überlebenskurven (Gesamtüberleben und rezidivfreies Überleben) waren zwischen Experten- und LLM-Datensätzen nahezu identisch (Log-Rank p-Werte > 0,9).
  • Die Hazard Ratios für Krankheitsstadien und Hormonrezeptor-Status zeigten keine signifikanten Unterschiede (Cochran's Q-Test auf Heterogenität nicht signifikant).

• Externe Validierung:

  • In einer separaten Kohorte von 97 jungen Patientinnen zeigte die unveränderte Pipeline eine ähnliche Leistung bei der Rezidiverkennung und der Identifikation endokriner Therapien.

5. Bedeutung und Schlussfolgerung

Die Studie belegt, dass off-the-shelf LLMs in einer festgelegten Retrieval-Pipeline in der Lage sind, komplexe longitudinale Onkologie-Daten mit einer Genauigkeit abzubilden, die der Variabilität zwischen menschlichen Experten nahekommt.

• Skalierbarkeit: Dieser Ansatz ermöglicht die kostengünstige und schnelle Erstellung großer, retrospektiver Forschungsdatensätze, die bisher aufgrund des manuellen Aufwands nicht realisierbar waren.
• Reproduzierbarkeit: Da keine institutionsspezifischen Modelle trainiert werden müssen, können validierte Pipelines leicht zwischen Institutionen geteilt werden, was Multi-Center-Studien erleichtert.
• Limitationen: Die Leistung hängt von der Verfügbarkeit der Daten in den Akten ab (z. B. fehlende externe Notizen oder unvollständige Dokumentation). Bei Aufgaben, die starkes klinisches Urteilsvermögen erfordern (z. B. Grund für Therapieabbruch), besteht weiterhin eine Lücke zu Experten.
• Ausblick: Die Autoren betonen, dass die Automatisierung der Datenerfassung nicht automatisch zu besseren kausalen Schlussfolgerungen führt; wissenschaftliche Strenge und sorgfältige Studiendesigns bleiben essenziell.

Zusammenfassend bietet dieser Ansatz einen praktischen Weg, um narrative medizinische Aufzeichnungen in hochwertige, forschungsreife strukturierte Daten zu verwandeln und so die Evidenzbasis in der Onkologie erheblich zu erweitern.