Large-Language Models for data extraction from written kidney biopsy reports

Die Studie zeigt, dass Open-Source-LLMs wie Llama3 70B und MedGemma narrative Nierenbiopsie-Berichte mit hoher Genauigkeit in strukturierte Daten umwandeln können, wobei faktische Elemente automatisch extrahiert werden, während interpretative Befunde weiterhin menschlicher Aufsicht bedürfen.

Das Wesentliche

Titel: Der digitale Übersetzer für Nieren-Biopsien – Wie KI alte Berichte in klare Daten verwandelt

Stellen Sie sich vor, ein Nieren-Biopsie-Bericht ist wie ein handgeschriebenes Tagebuch eines Detektivs. Der Pathologe (der medizinische Detektiv) hat die winzigen Gewebeproben untersucht und seine Entdeckungen in langen, fließenden Texten niedergeschrieben. Diese Texte sind voller Fachbegriffe, Nuancen und manchmal auch etwas verwirrend formuliert.

Das Problem: Wenn man heute forschen will und tausende dieser Fälle vergleichen möchte, ist es wie der Versuch, tausende dieser handgeschriebenen Tagebücher in eine riesige Excel-Tabelle zu übertragen. Ein Mensch müsste jeden Satz einzeln lesen, die wichtigen Zahlen (wie „8 Nierenkörperchen gefunden") und Diagnosen („FSGS") heraushandieren und in die Tabelle eintragen. Das dauert ewig und ist extrem mühsam.

Die Lösung: Der KI-Leser (Large Language Models)

In dieser Studie haben die Forscher aus Aachen getestet, ob moderne Künstliche Intelligenz (genannt „Large Language Models" oder LLMs) diese mühsame Arbeit übernehmen kann. Sie haben drei verschiedene KI-Modelle (Llama3 70B, Llama3 8B und MedGemma) mit den deutschen Original-Berichten gefüttert.

Man kann sich diese KIs wie super-intelligente Übersetzer vorstellen:

• Eingabe: Der chaotische, handgeschriebene Text des Pathologen.
• Ausgabe: Eine saubere, strukturierte Liste (im Computerformat JSON), in der genau steht: „Diagnose: X", „Anzahl der Körperchen: 8", „Entzündung: Ja/Nein".

Was haben sie herausgefunden?

1. Die Großen sind die Besten:
   Die größte KI (Llama3 70B) war wie ein erfahrener Assistent, der fast alles perfekt macht. Sie konnte etwa 93 % der Informationen exakt richtig aus dem Text ziehen. Die kleinere KI (Llama3 8B) war wie ein Azubi: Sie war fleißig, machte aber öfter Fehler, besonders bei schwierigen Textstellen.

2. Wo die KI glänzt:
   Bei klaren Fakten war die KI unschlagbar. Wenn im Text stand „Es gibt 12 Nierenkörperchen", zählte die KI das sofort richtig. Das ist wie das Zählen von Äpfeln in einem Korb – da gibt es keine Missverständnisse.

3. Wo die KI stolpert (und ein Mensch helfen muss):
   Bei Dingen, die Interpretation erfordern, wurde es knifflig. Manchmal steht im Text: „Es sieht aus wie eine Entzündung, aber nur in dem Bereich, der schon vernarbt ist." Hier muss man wissen, ob das als „Entzündung" oder als „Narbe" gezählt wird.

   • Die KI konnte hier manchmal raten, aber nicht immer richtig.
   • Die Lösung: Die Forscher haben gesehen, dass die KI am besten funktioniert, wenn sie als Vorerstatter arbeitet. Sie macht den ersten Entwurf (und spart so 12 bis 18 Mal mehr Zeit als ein Mensch), und ein menschlicher Expert schaut dann nur noch schnell drüber, um die schwierigen Fälle zu bestätigen.

Ein konkretes Beispiel aus dem Papier:
Stellen Sie sich vor, der Text sagt: „Fokale segmentale Glomerulosklerose mit Schaumzellen."

• Die KI erkennt sofort: „Diagnose: FSGS".
• Ein Mensch könnte sich aber fragen: „Ist das eine Diagnose oder nur eine Beschreibung des Musters?"
• In solchen Fällen stimmten die menschlichen Experten untereinander auch nicht immer 100 % überein. Die KI half hier sogar, indem sie als „dritte Meinung" hinzugezogen wurde und die Einigkeit der Gruppe erhöhte.

Das Fazit für die Zukunft

Diese Studie zeigt, dass wir nicht mehr jeden einzelnen Nieren-Biopsie-Bericht mühsam von Hand abtippen müssen.

• Der Vorteil: Wir können riesige Datenmengen (Tausende von Fällen) in Sekunden strukturieren. Das ist wie der Unterschied zwischen dem manuellen Abschreiben von Adressen und dem automatischen Scannen eines ganzen Telefonbuchs.
• Der Nutzen: Forscher können viel schneller große Gruppen von Patienten finden, um neue Therapien zu testen oder Krankheitsmuster zu erkennen.
• Die Regel: Die KI macht die schwere, repetitive Arbeit. Der menschliche Arzt bleibt der Chef, der bei den kniffligen, interpretativen Fällen das letzte Wort hat.

Kurz gesagt: Die KI ist der Turbo für die Nierenforschung, der uns hilft, aus alten Textbergen wertvolle Schätze an Daten zu gewinnen, ohne dass wir dabei vor lauter Papierarbeit ertrinken.

Technische Zusammenfassung

Titel

Large-Language Models für die Datenextraktion aus schriftlichen Nierenbiopsie-Berichten

1. Problemstellung

Nierenbiopsien sind ein diagnostischer Eckpfeiler in der Nephrologie, liefern jedoch histopathologische Informationen meist in freitextbasierten, narrativen Berichten. Diese unstrukturierte Formatierung erschwert die skalierbare Wiederverwendung von Daten für Forschungsprojekte und die Erstellung von Registern. Während in der Onkologie bereits synoptische und strukturierte Berichte eingeführt wurden, fehlt dies in der Nephropathologie, was durch die große Anzahl seltener Erkrankungen, nuancierte histologische Befunde und spezialisierte Färbetechniken (z. B. Elektronenmikroskopie) besonders herausfordernd ist. Manuelle Extraktion von Daten aus diesen Berichten ist zeitaufwendig und limitiert die Skalierbarkeit retrospektiver Kohortenstudien.

2. Methodik

Die Studie untersuchte die Fähigkeit von Open-Source-Large-Language-Modellen (LLMs), relevante, standardisierte Daten aus deutschen, nativen Nierenbiopsie-Berichten zu extrahieren und in ein strukturiertes JSON-Format zu überführen.

• Datenbasis: Freitext-Berichte von nativen Nierenbiopsien aus dem Institut für Pathologie der RWTH Aachen.
• Modell-Architektur: Es wurden drei Open-Source-LLMs verglichen:
  • Llama3 70B (großes Modell)
  • Llama3 8B (kleineres Modell)
  • MedGemma (medizinisch spezialisiertes Modell)
• Aufgabe: Die Modelle extrahierten spezifische Elemente wie Primärdiagnose, Anzahl der Glomeruli, sklerosierte Glomeruli, histopathologische Muster und Immunhistochemie-Marker.
• Ground Truth (Referenz): Zwei unabhängige Beobachter kuratierten manuell die gleichen Daten. Uneinigkeiten wurden durch einen erfahrenen Nephropathologen als Schiedsrichter gelöst, um den endgültigen Ground Truth zu erstellen.
• Evaluierungsmetriken:
  • Genauigkeit: Unterscheidung zwischen "Strict Matches" (exakte Übereinstimmung) und "Soft Matches" (geringe Abweichungen, umformulierte Ausdrücke).
  • Inter-Rater-Übereinstimmung: Berechnung mittels Cohen's Kappa (für zwei Rater) und Light's Kappa (für drei Rater, inkl. LLM) mit 95%-Konfidenzintervallen via 1000-fachem Bootstrapping.
  • Zeitvergleich: Analyse der Extraktionsgeschwindigkeit im Vergleich zur manuellen Datenerhebung.

3. Wichtige Ergebnisse

• Gesamtgenauigkeit:
  • Llama3 70B erzielte die beste Leistung mit 93,3 % (Strict) und 97,1 % (Soft).
  • MedGemma folgte mit 90,5 % (Strict) und 95,9 % (Soft).
  • Llama3 8B zeigte deutlich schwächere Ergebnisse mit 79,3 % (Strict) und 84,2 % (Soft).
• Leistungsunterschiede nach Datentyp:
  • Die Modelle zeigten nahezu perfekte Genauigkeit bei expliziten, diskreten Variablen (z. B. Glomeruli-Zahlen, Immunhistochemie-Positivität).
  • Die Genauigkeit sank bei interpretativen Elementen, die Kontextwissen erfordern (z. B. Primärdiagnose, Unterscheidung zwischen interstitieller Entzündung und i-IFTA).
• Inter-Rater-Übereinstimmung:
  • Die Übereinstimmung zwischen zwei menschlichen Experten lag bei $\kappa = 0,74$.
  • Die Hinzunahme von Llama3 70B als dritter Rater erhöhte die Gesamtübereinstimmung auf 0,82.
  • MedGemma erhöhte die Übereinstimmung auf 0,78.
  • Llama3 8B reduzierte die Übereinstimmung leicht auf 0,71.
• Effizienz: Die Extraktion von strukturierten Daten durch das beste Modell (Llama3 70B) war 12,5- bis 17,86-mal schneller als die manuelle Datenerhebung durch Menschen.
• Fehleranalyse: Typische Fehler traten bei mehrdeutiger Terminologie auf (z. B. FSGS als Muster vs. als eigenständige Erkrankung) oder bei der Integration komplexer Befunde (z. B. Elektronenmikroskopie-Ergebnisse in die Diagnose). Spezialisierte Prompts konnten einige Fehler reduzieren (z. B. bei der Unterscheidung von Entzündung und Fibrose), aber nicht alle.

4. Hauptbeiträge

1. Validierung von Open-Source-LLMs: Demonstration, dass Open-Source-Modelle (insbesondere Llama3 70B) in der Lage sind, komplexe nephropathologische Freitextberichte in maschinenlesbare, strukturierte JSON-Daten zu transformieren.
2. Quantifizierung der menschlichen Variabilität: Die Studie zeigt, dass auch menschliche Experten bei interpretativen Befunden variieren und dass LLMs als "dritter Rater" die Konsistenz in der Datenerfassung sogar verbessern können.
3. Skalierbarkeit: Nachweis, dass LLMs die manuelle Arbeit drastisch reduzieren und retrospektive Kohortenbildung für die computergestützte Nephrologie-Forschung (Computational Nephropathology) praktikabel machen.
4. Differenzierte Empfehlung: Klare Unterscheidung, welche Datenpunkte (faktisch/explizit) vollautomatisch extrahiert werden können und welche (interpretativ) menschlicher Supervision bedürfen.

5. Bedeutung und Ausblick

Die Studie unterstreicht das Potenzial von LLMs, die Barriere der unstrukturierten Daten in der Nephropathologie zu überwinden. Dies ermöglicht die Erstellung großer, analysierbarer Datensätze für KI-gestützte Forschungsprojekte und die Verbesserung von Krankheitsregistern.

• Klinische Relevanz: Die Technologie könnte in den diagnostischen Workflow integriert werden, um narrative Berichte direkt in strukturierte Daten umzuwandeln.
• Zukünftige Arbeiten: Es werden multizentrische und mehrsprachige Validierungen, prospektive Studien im Routinebetrieb sowie die Abbildung extrahierter Felder auf kontrollierte Vokabulare (z. B. Kidney Biopsy Codes) empfohlen, um die Interoperabilität weiter zu steigern.

Fazit: Open-Source-LLMs sind ein leistungsfähiges Werkzeug zur automatisierten Strukturierung von Nierenbiopsie-Berichten. Während sie für faktische Daten hochpräzise sind, sollten interpretative Befunde weiterhin durch Experten überwacht werden, um die höchste Datenqualität zu gewährleisten.