Automatic Extraction of Structured Information from Brain MRI Reports Using an Open-Weight Large Language Model
Diese Studie zeigt, dass das Open-Weight-LLM LLaMA 3.1 effektiv strukturierte Informationen aus niederländischen Gehirn-MRT-Berichten mit hoher Genauigkeit für kategoriale Variablen und Erwähnungen von Läsionen extrahiert, wobei Few-Shot-Prompting seine Leistung bei der Extraktion numerischer Daten signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Ein unordentliches Notizbuch in eine Tabellenkalkulation verwandeln
Stellen Sie sich vor, ein Krankenhaus besitzt eine riesige Bibliothek mit tausenden von MRT-Berichten des Gehirns. Jahrelang wurden diese Berichte von Ärzten wie freiformähnliche Tagebucheinträge verfasst. Sie sind voller wertvoller Informationen, aber da sie in unstrukturierten Sätzen geschrieben sind, ist es unglaublich schwierig, sie schnell zu durchsuchen oder sie für die Forschung in eine ordentliche Tabelle zu übertragen.
Die Forscher wollten herausfinden, ob ein intelligentes Computerprogramm (ein „Open-Weight Large Language Model“ namens LLaMA 3.1) als eine Art superschneller Bibliothekar fungieren kann. Ihr Ziel war es, diese unordentlichen, handschriftlich wirkenden niederländischen Berichte zu lesen und automatisch 30 spezifische Fakten herauszuziehen – wie zum Beispiel „Ist ein Tumor vorhanden?“ oder „Wie viele Flecken sind im Gehirn?“ – und sie in einem sauberen, strukturierten Format zu organisieren.
Die Herausforderung: Eine andere Sprache sprechen
Die Berichte waren auf Niederländisch verfasst, aber das Computermodell wurde primär auf Englisch trainiert. Es ist, als würde man einen Übersetzer fragen, der perfekt Englisch beherrscht, ein komplexes juristisches Dokument in einem speziellen niederländischen Dialekt zu lesen.
Das Team testete zwei Ansätze:
- Direktes Lesen: Den Computer die niederländischen Berichte so lesen zu lassen, wie sie sind.
- Erst übersetzen: Die niederländischen Berichte zuerst ins Englische zu übersetzen, den Computer sie lesen zu lassen und dann die Ergebnisse zurück zu übersetzen.
Das Ergebnis: Der Computer machte einen viel besseren Job beim Lesen der originalen niederländischen Berichte. Wenn sie versuchten, die Berichte zuerst zu übersetzen, wurde der Computer durch spezifische medizinische Fachbegriffe verwirrt. Zum Beispiel gibt es ein niederländisches Wort für eine sehr spezifische Art von winziger, streifenförmiger Hirnverletzung („splinterinfarcten“). Bei der Übersetzung ins Englische wurde daraus ein generischer Begriff wie „small infarct“, und der Computer verlor das spezifische Detail, das er benötigt hätte, um diese korrekt zu zählen.
Die „Spickzettel“-Strategie (Few-Shot Prompting)
Zuerst wurde der Computer gebeten, diese Aufgabe „kalt auf die Haut“ (Zero-Shot) zu erledigen, was bedeutete, dass er die Regeln selbstständig herausfinden musste. Er war ganz ordentlich, machte aber Fehler, besonders beim Zählen von Dingen (wie „Wie viele Flecken sind vorhanden?“).
Dann probierten die Forscher einen neuen Trick namens Few-Shot Prompting. Stellen Sie sich vor, Sie bringen einem Schüler bei, wie man eine Prüfung bewertet. Anstatt ihm nur die Regeln zu geben, zeigen Sie ihm drei Beispiele einer bereits korrekt bewerteten Prüfung zusammen mit den Antworten. Sie sagen: „Schau dir an, wie wir das hier gemacht haben; mache das nächste nun auf die gleiche Weise.“
Die Forscher testeten verschiedene Wege, um diese drei Beispiele auszuwählen:
- Zufällig: Drei beliebige Beispiele auswählen.
- Fest vorgegeben: Jedes Mal dieselben drei Beispiele auswählen.
- Strukturelle Ähnlichkeit: Drei Beispiele auswählen, die dem aktuell gelesenen Bericht in Aussehen und Klang am ähnlichsten sind.
Der Gewinner: Die Methode der strukturellen Ähnlichkeit war die beste. Indem man dem Computer Beispiele zeigte, die dem Bericht, den er gerade las, sehr ähnlich waren, sprang seine Genauigkeit signifikant an. Es war, als würde man dem Schüler eine Übungsprüfung zeigen, die exakt so aussah wie die echte Prüfung, die er gleich ablegen würde.
Wie gut hat es funktioniert?
Die Forscher verglichen die Arbeit des Computers mit der von menschlichen Experten (Medizinstudenten und Radiologen).
- Die gute Nachricht: Bei klaren, Standard-Bewertungen (wie „Schrumpft das Gehirn?“) war der Computer fast so gut wie die Menschen. Er lieferte etwa 90–96 % dieser Bewertungen korrekt.
- Der schwierige Teil: Das Zählen spezifischer Zahlen (wie „Genau wie viele winzige Blutungen gibt es?“) war schwieriger. Der Computer schaffte etwa 66 % allein, aber mit dem „Spickzettel“ (Few-Shot Prompting) verbesserte er sich auf 81–92 %.
- Die „Fehlende“-Verwirrung: Der Computer wurde manchmal zwischen „Der Arzt sagte, es gibt KEINE Flecken“ und „Der Arzt hat keine Flecken erwähnt“ verwirrt. Er hatte Schwierigkeiten, zwischen einem negativen Befund und einer fehlenden Notiz zu unterscheiden.
Das Fazit
Diese Studie beweist, dass ein offenes, frei nutzbares KI-Modell erfolgreich komplexe niederländische medizinische Berichte lesen und in organisierte Daten umwandeln kann, ohne dass Patientendaten auf den Server eines ausländischen Unternehmens gesendet werden müssen.
- Es funktioniert am besten, wenn man es dem Modell erlaubt, die Originalsprache (Niederländisch) zu lesen, anstatt es zu übersetzen.
- Es wird intelligenter, wenn man ihm einige ähnliche Beispiele gibt, die es sich vor der Arbeit ansehen kann.
- Es ist noch nicht perfekt, insbesondere bei kniffligen Zählungen oder sehr seltenen Erkrankungen, aber es ist ein leistungsstarkes Werkzeug, das Forschern helfen kann, tausende unordentliche Berichte viel schneller in nützliche Daten zu verwandeln, als es Menschen allein könnten.
Die Studie kommt zu dem Schluss, dass diese Technologie bereit ist, die Organisation von Daten für die Forschung zu unterstützen, vorausgesetzt, Menschen überprüfen die schwierigen Teile nach.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.