OncoRAG: Graph-Based Retrieval Enabling Clinical Phenotyping from Oncology Notes Using Local Mid-Size Language Models

Die Studie stellt OncoRAG vor, ein lokal einsetzbares, graphenbasiertes Retrieval-System, das mittels eines mittelgroßen Sprachmodells präzise klinische Merkmale aus unstrukturierten Onkologie-Notizen extrahiert und dabei die Notwendigkeit für manuelle Datenerfassung oder spezialisierte Feinabstimmung überflüssig macht.

Das Wesentliche

Die große Herausforderung: Der unendliche Papierberg

Stell dir vor, ein Arzt hat einen riesigen, chaotischen Berg aus Papieren vor sich. Das sind die Krankenakten von tausenden Krebspatienten. Auf diesen Papieren stehen wichtige Informationen: Welche Medikamente wurden gegeben? Wie hat der Tumor reagiert? Gab es Nebenwirkungen?

Das Problem: Diese Informationen sind nicht in übersichtlichen Tabellen geschrieben, sondern in langen, verworrenen Texten, handschriftlichen Notizen und verschiedenen Berichten verstreut.

Früher mussten menschliche Helfer (wie Detektive) diesen Berg durchsuchen, Seite für Seite lesen und die wichtigen Fakten mühsam in eine Excel-Tabelle übertragen. Bei 100 Patienten dauert das Wochen. Bei 10.000 Patienten wäre es unmöglich.

Die Lösung: Der super-schnelle Bibliothekar (OncoRAG)

Die Forscher haben einen neuen digitalen Assistenten namens OncoRAG entwickelt. Stell dir OncoRAG nicht als einen riesigen, teuren Supercomputer vor, der im Ausland in einer Wolke sitzt, sondern als einen klugen, lokalen Bibliothekar, den man direkt im eigenen Keller (auf dem eigenen Computer) betreiben kann.

Hier ist, wie dieser Bibliothekar arbeitet, in vier einfachen Schritten:

1. Der Suchauftrag (Die Landkarte)

Statt einfach nur nach dem Wort „Tumor" zu suchen, erstellt OncoRAG erst eine Landkarte (einen Wissensgraphen).

• Die Analogie: Stell dir vor, du suchst nach einem bestimmten Buch in einer Bibliothek. Ein normaler Suchroboter würde einfach alle Bücher holen, auf denen das Wort „Tumor" steht. Das sind tausende Bücher, viele davon irrelevant.
• OncoRAG macht es anders: Er zeichnet zuerst eine Landkarte, auf der alle Begriffe verbunden sind. Er weiß: „Tumor" hängt mit „Chemotherapie" zusammen, und „Chemotherapie" hängt mit dem Datum der Behandlung. Er versteht also die Beziehungen zwischen den Dingen, nicht nur die Wörter selbst.

2. Die Jagd nach den richtigen Seiten (Das Retrieval)

Sobald die Landkarte steht, sucht OncoRAG nicht blind. Er nutzt diese Landkarte, um genau die wenigen Seiten aus dem riesigen Aktenberg zu finden, die wirklich wichtig sind.

• Der Trick: Er wirft einen „Gitternetz" über den Text. Wenn er nach einer Behandlung sucht, filtert er sofort alle Seiten heraus, die nur über das Wetter oder unrelated Dinge sprechen. Er holt sich nur die 5 wichtigsten Sätze, die den Arzt wirklich interessieren.

3. Der kluge Leser (Das Sprachmodell)

Jetzt kommt der eigentliche „Leser" ins Spiel. Früher brauchte man dafür riesige, extrem teure KI-Modelle (wie einen riesigen Elefanten, der viel Strom frisst). OncoRAG nutzt jedoch einen mittelgroßen, schlauen Leser (ein Modell mit 14 Milliarden Parametern, das lokal läuft).

• Warum das cool ist: Weil der Leser nur die 5 wichtigsten Sätze bekommt (die der Bibliothekar vorher gefiltert hat), muss er nicht den ganzen Aktenberg lesen. Er kann sich voll auf das Wesentliche konzentrieren. Er liest die Sätze und schreibt die Antwort sauber in die Tabelle: „Ja, Patient X hatte Diabetes" oder „Nein, keine Strahlentherapie".

4. Die Kontrolle (Die Qualitätssicherung)

Der Leser gibt auch an, wie sicher er sich ist. Wenn er unsicher ist, wird die Antwort markiert. Das hilft den Forschern zu wissen, wo sie vielleicht noch einmal nachschauen müssen.

Was haben sie herausgefunden?

Die Forscher haben dieses System an drei verschiedenen Orten getestet:

1. In Boston (USA) bei Brustkrebs-Patienten.
2. In Heidelberg (Deutschland) bei Patienten mit einem bestimmten Gehirntumor (auf Deutsch!).
3. An einem öffentlichen Datensatz (MIMIC-IV).

Die Ergebnisse waren beeindruckend:

• Geschwindigkeit: Was einem menschlichen Detektiv zwei Wochen gekostet hätte, erledigte OncoRAG in 2,5 Stunden. Das ist wie der Unterschied zwischen einem Fußmarsch und einem Hochgeschwindigkeitszug.
• Genauigkeit: Der kleine, lokale Leser war fast genauso gut wie ein menschlicher Experte. Die Ergebnisse waren so gut, dass sie sogar für die Vorhersage des Überlebens (Prognose) verwendet werden konnten – genau so gut wie wenn ein Mensch die Daten händisch gesammelt hätte.
• Datenschutz: Da alles lokal auf dem eigenen Computer läuft, müssen keine sensiblen Patientendaten in die Cloud geschickt werden. Das ist wie ein sicherer Tresor im eigenen Haus.

Warum ist das wichtig?

Bisher waren viele medizinische Studien so langsam, weil die Datenerfassung zu lange dauerte. Mit OncoRAG können Forscher jetzt riesige Mengen an Daten schnell analysieren, ohne die Privatsphäre der Patienten zu gefährden und ohne Millionen in teure Cloud-Server zu investieren.

Zusammengefasst:
OncoRAG ist wie ein super-effizienter Bibliothekar, der aus einem chaotischen Aktenberg in Minuten die perfekten Fakten zaubert. Er nutzt keine riesigen, teuren Maschinen, sondern einen schlauen, lokalen Helfer, der versteht, wie medizinische Texte zusammenhängen. Das macht die Krebsforschung schneller, günstiger und sicherer.

Technische Zusammenfassung

Titel: OncoRAG: Graph-basierte Retrieval-Augmented Generation für das klinische Phenotyping aus onkologischen Notizen unter Verwendung lokaler mittelgroßer Sprachmodelle

1. Problemstellung

Die manuelle Extraktion von Daten aus unstrukturierten klinischen Notizen (z. B. Arztbriefe, Pathologieberichte) ist für groß angelegte klinische Studien und Forschungsoperationen extrem arbeitsintensiv und unpraktisch. Bestehende automatisierte Ansätze leiden unter folgenden Einschränkungen:

• Sie erfordern oft sehr große Sprachmodelle (LLMs mit >70 Milliarden Parametern) und dedizierte Recheninfrastruktur.
• Viele Methoden benötigen eine aufgabenspezifische Feinabstimmung (Fine-Tuning) mit kuratierten Trainingsdaten.
• Herkömmliche Retrieval-Augmented Generation (RAG)-Ansätze, die auf semantischer Ähnlichkeit von Textblöcken basieren, erfassen oft keine kritischen Beziehungen zwischen klinischen Entitäten oder zeitlichen Abfolgen, was für die präzise Extraktion in der Onkologie essenziell ist.
• Die meisten Validierungen beschränken sich auf englische Daten und einzelne Institutionen, ohne die Generalisierbarkeit oder den Nutzen für nachgelagerte klinische Anwendungen (wie Prognosemodelle) zu demonstrieren.

2. Methodik: Die OncoRAG-Pipeline

Die Autoren entwickelten OncoRAG, eine vierstufige Pipeline, die es ermöglicht, präzise Merkmale aus unstrukturierten Notizen mit einem lokal bereitgestellten, mittelgroßen Open-Source-Sprachmodell (Microsoft Phi-3-medium, 14 Mrd. Parameter) zu extrahieren, ohne Fine-Tuning durchzuführen.

Die Pipeline besteht aus vier Phasen:

1. Automatisierte Feature-Konfiguration & Ontologie-Anreicherung:
   • Generierung suchspezifischer Begriffe durch Abfrage medizinischer Ontologien (UMLS, BioPortal) und Erweiterung von Schlüsselwörtern (WordNet).
   • Erstellung von Synonymen und Konzept-Unique-Identifiers (CUIs) für jedes zu extrahierende Merkmal.
2. Konstruktion eines klinischen Wissensgraphen:
   • Extraktion biomedizinischer benannter Entitäten (NER) aus den Notizen unter Verwendung spezialisierter Modelle (für Englisch und Deutsch).
   • Erkennung von Kontextmodifikatoren (Negation, Temporalität, Familienanamnese) mittels medspaCy.
   • Aufbau eines Graphen mit NetworkX, bei dem Knoten Patienten, Notizen, Daten und Entitäten repräsentieren und Kanten deren Beziehungen (Ko-Occurrence) abbilden.
3. Kontext-Retrieval & Graph-Diffusion-Reranking:
   • Semantische Suche zur Identifizierung relevanter Entitäten im Graphen.
   • Ein mehrstufiges Reranking-Verfahren, das semantische Ähnlichkeit (BioBERT-NLI), lexikalische Überlappung, Namensübereinstimmung und einen Graph-Diffusion-Score kombiniert, um die 5 relevantesten Sätze für die Extraktion auszuwählen.
   • Filterung von hypothetischen oder geplanten Erwähnungen.
4. LLM-basierte Merkmalsextraktion:
   • Der lokal gehostete LLM (Phi-3-medium oder Phi-3.5-mini via Ollama) erhält strukturierte Prompts mit dem extrahierten Kontext.
   • Das Modell extrahiert die Werte (binär, kategorisch, numerisch) und gibt ein Selbstvertrauensniveau aus.
   • Zeitliche Ankerung wird angewendet (z. B. Wert zum Zeitpunkt der Diagnose).

Studienpopulationen:

• TNBC-Kohorte: 104 Patientinnen mit triple-negativem Brustkrebs (Massachusetts General Hospital, Englisch).
• RiCi-Kohorte: 191 Patienten mit rezidiviertem hochgradigem Gliom (Heidelberg, Deutsch).
• MIMIC-IV-Kohorte: 100 ICU-Patienten (externer Test, Englisch).

3. Wichtige Beiträge

• Lokale Effizienz: Demonstration, dass ein mittelgroßes Modell (14B Parameter) ohne Fine-Tuning und ohne Cloud-Infrastruktur wettbewerbsfähige Ergebnisse erzielt.
• Graph-basiertes Retrieval: Überwindung der Grenzen traditioneller RAG durch die Nutzung von Wissensgraphen, die Entitätsbeziehungen und zeitliche Strukturen besser erfassen als reine Text-Chunking-Methoden.
• Sprach- und Institutionsübergreifende Validierung: Erfolgreiche Anwendung auf englische und deutsche Daten sowie auf Daten von drei verschiedenen Institutionen (zwei Krankenhäuser, eine öffentliche Datenbank).
• Nachgelagerter Nutzen: Validierung der extrahierten Daten durch den Aufbau von Prognosemodellen (Überlebensanalyse), die mit manuell kuratierten Daten vergleichbar sind.

4. Ergebnisse

• Extraktionsgenauigkeit:
  • OncoRAG erreichte mittlere F1-Scores von 0,80 ± 0,07 (TNBC), 0,79 ± 0,12 (RiCi) und 0,84 ± 0,06 (MIMIC-IV).
  • Im Vergleich zu direktem LLM-Prompting (ohne Retrieval) und naive Vektor-RAG verbesserte OncoRAG den F1-Score um 0,17 bis 0,22.
  • Die graph-basierte Reranking-Komponente steigerte den F1-Score um weitere 0,04 bis 0,10 gegenüber rein semantischer Suche.
  • Eine manuelle Verfeinerung der Konfiguration (Hybrid-Modus) erhöhte die Genauigkeit auf bis zu 0,83 (TNBC).
• Modellgröße und Geschwindigkeit:
  • Der Wechsel vom 14B-Modell zum kleineren 3,8B-Modell reduzierte die Extraktionszeit um 57% (von ~1,8s auf ~0,75s pro Merkmal) bei nur minimalen Genauigkeitsverlusten (F1-Abnahme von 0,03–0,10).
  • Die Extraktionszeit für die gesamte TNBC-Kohorte sank von ca. zwei Wochen (manuell) auf unter 2,5 Stunden (automatisiert).
• Prognostische Modellierung:
  • Cox-Modelle für das 3-jährige progressionsfreie Überleben (PFS), die auf automatisch extrahierten Daten basierten, erzielten einen C-Index von 0,77, verglichen mit 0,76 für manuell kuratierte Daten (kein signifikanter Unterschied).
• Fehleranalyse:
  • 62 % der Fehler waren auf Retrieval-Probleme (fehlender relevanter Kontext in den Top-5-Sätzen) zurückzuführen, 38 % auf Interpretationsfehler des LLM. Dies deutet darauf hin, dass weitere Verbesserungen eher im Retrieval als in der Vergrößerung des Modells liegen.

5. Bedeutung und Schlussfolgerung

OncoRAG adressiert einen kritischen Engpass in der onkologischen Forschung: die Skalierbarkeit der Datengewinnung aus unstrukturierten klinischen Notizen.

• Datenschutz: Da das System lokal läuft, müssen keine Patientendaten an externe Cloud-Dienste gesendet werden, was die Einhaltung von Datenschutzbestimmungen (z. B. HIPAA, DSGVO) erleichtert.
• Generalisierbarkeit: Die Pipeline funktioniert robust über Sprachgrenzen (Englisch/Deutsch) und verschiedene Institutionen hinweg, ohne dass für jede neue Kohorte ein aufwendiges Fine-Tuning notwendig ist.
• Klinischer Impact: Die Fähigkeit, prognostische Modelle mit hoher Genauigkeit aus automatisierten Daten zu erstellen, ermöglicht die Nutzung großer Real-World-Datensätze für die personalisierte Medizin und beschleunigt die Forschung erheblich.

Zukünftige Arbeiten werden sich auf die Verbesserung der Retrieval-Strategien zur Reduzierung der Fehlerquote und die Integration von Bilddaten für multimodale Vorhersagemodelle konzentrieren.