🤖 AI

Reinforcement Learning Improves LLM Accuracy and Reasoning in Disease Classification from Radiology Reports

Die vorgestellte Studie zeigt, dass eine zweistufige Methode aus überwachtem Feinabstimmen (SFT) und Group Relative Policy Optimization (GRPO) die Genauigkeit und das reasoning bei der Krankheitsklassifizierung aus radiologischen Berichten durch leichte Large Language Models signifikant verbessert.

Ursprüngliche Autoren: Yishu Wei, Yi Lin, Adam Flanders, George Shih, Yifan Peng

Veröffentlicht 2026-04-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yishu Wei, Yi Lin, Adam Flanders, George Shih, Yifan Peng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🩺 Die Geschichte vom „Lernenden Radiologen"

Stellen Sie sich vor, Sie haben einen sehr klugen, aber noch etwas unerfahrenen Assistenten (ein KI-Modell), der lernen soll, Radiologie-Berichte zu lesen und Krankheiten zu erkennen. Das Ziel ist, dass er nicht nur sagt: „Hier ist eine Krankheit", sondern auch erklärt: „Ich habe das erkannt, weil im Bericht steht, dass die Lunge weißlich verschattet ist."

Das Problem ist: Wenn man den Assistenten nur auswendig lernen lässt, was richtig ist (das nennt man überwachtes Lernen oder SFT), wird er zwar die Krankheiten gut erkennen, aber er vergisst oft, warum er sie erkannt hat. Er wird wie ein Schüler, der die Lösungen auswendig gelernt hat, aber nicht mehr versteht, wie man zur Lösung kommt. Das ist im medizinischen Bereich gefährlich, denn Ärzte müssen die Begründung nachvollziehen können.

Die Forscher haben nun einen cleveren zweistufigen Plan entwickelt, um das zu beheben.

🚀 Schritt 1: Der Auswendig-Lern-Kurs (SFT)

Zuerst wird der Assistent in einem klassischen Kurs geschult. Man zeigt ihm tausende Berichte und die richtigen Antworten (z. B. „Herzvergrößerung").

Das Ergebnis: Er wird sehr gut darin, die Krankheiten zu nennen.
Das Problem: Er verliert dabei seine Fähigkeit, logisch zu denken. Er gibt nur noch eine Liste aus, ohne Erklärung. Es ist, als würde er die Antworten auf einen Zettel schreiben, ohne den Lösungsweg zu verstehen.

🎯 Schritt 2: Der Belohnungs-Trainer (GRPO)

Hier kommt der geniale Teil der Studie ins Spiel. Da man nicht für jeden Bericht einen menschlichen Experten braucht, der die perfekte Erklärung schreibt (das wäre zu teuer und langsam), nutzen die Forscher eine Art Spiel-Regel.

Sie sagen dem Assistenten:

„Du musst die richtige Krankheit nennen."
„Du musst die Antwort in einem bestimmten Format geben."
Der Clou: „Wenn du keine Erklärung gibst, bekommst du keine Punkte."

Das nennt man Verstärkungslernen (Reinforcement Learning).
Stellen Sie sich vor, Sie trainieren einen Hund. Wenn er nur „Sitz" macht, gibt es kein Leckerli. Wenn er „Sitz" macht und dabei schaut, wie er es gemacht hat (die Erklärung), gibt es ein riesiges Leckerli.

Durch dieses „Punkte-System" (die Forscher nennen es GRPO) lernt der Assistent wieder, seine Gedanken laut zu denken, bevor er die Antwort gibt. Er wird nicht nur korrekter, sondern auch verständlicher.

🧠 Der „Rat der fünf Experten" (Inferenz mit Mehrheitsentscheid)

Wenn der Assistent einen Bericht liest, lässt man ihn nicht nur einmal raten. Man lässt ihn den Bericht fünf Mal hintereinander lesen.

Manchmal sagt er: „Ich sehe eine Lungenentzündung."
Ein anderes Mal: „Ich sehe eine Lungenentzündung und einen kleinen Erguss."

Am Ende wird eine Abstimmung gemacht (Mehrheitsentscheid). Wenn vier von fünf sagen „Lungenentzündung", dann ist das die endgültige Diagnose. Das macht die Vorhersage viel sicherer, als wenn man sich nur auf eine einzige Meinung verlassen würde.

Danach wird ein weiterer KI-Assistent (ein „Zusammenfasser") hinzugezogen, der die fünf verschiedenen Erklärungen der ersten Runde liest und daraus eine einzige, klare und verständliche Geschichte für den Arzt schreibt.

🏆 Was hat das gebracht?

Die Forscher haben das an drei verschiedenen Datensätzen getestet (wie an drei verschiedenen Schulen). Das Ergebnis war beeindruckend:

Bessere Diagnose: Die KI wurde genauer in der Erkennung von Krankheiten.
Bessere Erklärung: Die KI hat wieder gelernt, ihre Gedanken zu erklären. Sie war nicht mehr stumm, sondern konnte begründen, warum sie eine Krankheit sah.
Kein menschlicher Aufwand: Das Tolle ist, dass sie dafür keine zusätzlichen menschlichen Erklärungen brauchten. Das System hat sich selbst durch das „Punkte-System" (Belohnung für korrekte Formatierung und Erklärung) verbessert.

💡 Die große Metapher

Stellen Sie sich einen Koch vor:

Ohne Training: Der Koch kann Gerichte nach Rezept kochen, weiß aber nicht, warum sie schmecken.
Nur SFT (Schritt 1): Der Koch kann Gerichte perfekt nach Rezept kochen, aber wenn man ihn fragt, warum er Salz nimmt, sagt er: „Weil im Rezept steht, dass Salz drin sein muss." Er hat keine eigene Meinung.
Mit GRPO (Schritt 2): Der Koch lernt durch Belohnung, dass er nicht nur das Gericht servieren muss, sondern auch sagen muss: „Ich habe Salz genommen, weil es die Aromen hebt." Er wird zum Chef-Koch, der nicht nur kocht, sondern auch versteht und erklären kann, was er tut.

Fazit: Die Studie zeigt, dass man KI-Modelle nicht nur „auswendig lernen" lassen muss, sondern sie durch kluge Belohnungssysteme dazu bringen kann, wieder logisch zu denken und ihre Entscheidungen zu erklären – und das alles ohne teure menschliche Nachhilfe.

1. Problemstellung

Die automatische Klassifizierung von Krankheiten aus radiologischen Berichten ist für viele klinische Anwendungen essenziell. Während Supervised Fine-Tuning (SFT) von leichten Large Language Models (LLMs) die Genauigkeit der Klassifizierung verbessert, führt dies oft zu einem Verlust der reasoning-Fähigkeiten (Fähigkeit zur Begründung).

Herausforderung: SFT trainiert Modelle typischerweise nur auf End-Labels (Krankheitsnamen), ohne explizite Zwischenschritte oder Begründungen zu supervidieren. In der Radiologie ist jedoch Transparenz und Erklärbarkeit entscheidend für das Vertrauen in algorithmische Empfehlungen.
Ressourcen: Die Nutzung großer Modelle über externe APIs wirft Datenschutzbedenken auf, während lokale Bereitstellung großer Modelle hohe Rechenressourcen erfordert. Leichte LLMs (z. B. 3B–8B Parameter) sind eine vielversprechende Alternative, leiden aber unter dem oben genannten Trade-off zwischen Genauigkeit und Begründungsfähigkeit.

2. Methodik

Die Autoren schlagen einen zweistufigen Trainings- und Inferenzansatz vor, der SFT mit Reinforcement Learning (RL) kombiniert, um sowohl die Klassifizierungsgenauigkeit als auch die Begründungsqualität zu optimieren, ohne zusätzliche Begründungsdaten zu benötigen.

A. Zwei-Stufen-Workflow (Abbildung 1)

Stufe 1: Supervised Fine-Tuning (SFT)
- Das Modell wird auf einem Datensatz von radiologischen Berichten mit den zugehörigen Krankheitslabels (Ground Truth) feinabgestimmt.
- Wichtig: Die Begründungsteile (<reasoning>) im Output werden dabei absichtlich leer gelassen oder ignoriert. Das Modell lernt nur, die korrekten Labels vorherzusagen.
- Dies führt zu einer hohen Klassifizierungsgenauigkeit, aber oft zu einem „katastrophalen Vergessen" der Fähigkeit, logische Begründungen zu generieren.
Stufe 2: Group Relative Policy Optimization (GRPO)
- Ein Reinforcement-Learning-Algorithmus (GRPO) wird auf demselben Datensatz angewendet, diesmal ohne explizite Supervision für die Begründung.
- Belohnungsfunktion (Reward Function): Die Belohnung basiert auf zwei Komponenten:
  - Klassifizierungsgenauigkeit: Berechnet als Durchschnitt aus Precision und Recall der vorhergesagten Krankheitsliste.
  - Format- und Begründungs-Reward: Das Modell muss die Ausgabe in einem spezifischen Format (<reasoning>...</reasoning><answer>...</answer>) liefern.
  - Kritische Regel: Wenn der <reasoning>-Teil leer ist oder nur die Liste wiederholt, wird der Format-Reward auf 0 gesetzt. Dies zwingt das Modell, explizite, inhaltsreiche Begründungen zu generieren, um eine Belohnung zu erhalten.
- Der finale Reward ist eine gewichtete Summe: $0.8 \times \text{Accuracy} + 0.2 \times \text{Format}$ .

B. Inferenz-Strategie

Ensemble-Methode: Für jeden Bericht werden fünf unabhängige Inferenzen durchgeführt.
Majority Voting: Die endgültige Krankheitsliste wird durch Mehrheitsentscheid (Majority Voting) der fünf Vorhersagen bestimmt, was die Robustheit erhöht.
Zusammenfassung der Begründung: Ein ursprüngliches, nicht feinabgestimmtes leichtes LLM wird verwendet, um die fünf einzelnen Begründungen zu einer einzigen, kohärenten und klinisch sinnvollen Zusammenfassung zu synthetisieren.

3. Datengrundlage und Experimente

Datensätze: Drei radiologische Datensätze wurden verwendet: MIMIC-CXR, NIH-CXR und MIDRC.
Annotation: Für die Evaluierung wurden die Berichte von Radiologen neu annotiert (Gold-Standard). Ein Teil der Daten (MIMIC-Silver) wurde mit GPT-4o annotiert, um die Stichprobengröße zu erhöhen.
Modelle: Drei leichte LLMs wurden getestet: LLaMA 3.1-8B, Qwen 2.5-3B und Phi-3-Mini-128K. Zusätzlich wurden MedAlpaca-7B und BioClinicalBERT als Baselines verglichen.
Metriken:
- Für die Klassifizierung: Micro-averaged Precision, Recall und F1-Score.
- Für die Begründung: Reasoning Recall (Anteil der Ground-Truth-Krankheiten, die in der Begründung erwähnt werden) und Reasoning Comprehensiveness (Anteil der vorhergesagten Krankheiten, die durch explizite Begründungen gestützt werden).

4. Wichtige Ergebnisse

Verbesserung der Genauigkeit: SFT allein übertraf die Baseline-Modelle signifikant. Die Kombination SFT + GRPO verbesserte den Micro-F1-Score in 8 von 9 Kohorten weiter.
- Beispiel: Qwen auf MIMIC-CXR zeigte einen Anstieg von 0,640 (SFT) auf 0,707 (SFT+GRPO).
- LLaMA erreichte mit SFT+GRPO eine Genauigkeit, die fast der von GPT-4o entsprach.
Wiederherstellung der Begründungsfähigkeit:
- Nach dem reinen SFT-Training verloren Modelle wie LLaMA ihre Fähigkeit zur Begründung fast vollständig (Reasoning Recall fiel auf 0).
- GRPO stellte diese Fähigkeit wieder her: Nach GRPO zeigten alle Modelle signifikante Verbesserungen bei Reasoning Recall und Comprehensiveness. Qwen zeigte dabei die größten relativen Gewinne.
Vergleich mit anderen Methoden:
- SFT+GRPO erreichte eine vergleichbare oder bessere Genauigkeit als ein Modell, das zusätzlich auf einer kleinen Menge an expliziten Begründungsdaten (SFT Disease + SFT Reasoning) trainiert wurde, ohne dass diese zusätzlichen Daten benötigt wurden.
- Leichte LLMs mit diesem Ansatz übertrafen in den meisten Fällen spezialisierte medizinische Modelle wie MedAlpaca und traditionelle Textklassifikatoren wie BioClinicalBERT in Bezug auf die Gesamtleistung und die Fähigkeit, natürliche Sprache für Begründungen zu nutzen.
Human Evaluation: Zwei zertifizierte Radiologen bevorzugten in den meisten Fällen die Begründungen des SFT+GRPO-Modells gegenüber dem reinen SFT-Modell, basierend auf Konsistenz mit dem Bericht und der Ground-Truth-Liste.

5. Schlüsselbeiträge und Bedeutung

Lösung des Trade-offs: Die Studie demonstriert, dass es möglich ist, die Genauigkeit von leichten LLMs zu steigern und gleichzeitig deren reasoning-Fähigkeiten zu erhalten oder sogar zu verbessern, ohne teure, manuell annotierte Begründungsdaten zu benötigen.
Effizientes RL-Design: Die Einführung einer regelbasierten Belohnungsfunktion, die das Format und die Existenz von Begründungen erzwingt, erweist sich als effektiver Mechanismus, um Modelle zur Generierung von Erklärungen zu zwingen.
Praktische Anwendbarkeit: Der Ansatz ermöglicht den Einsatz von ressourcenschonenden, lokal hostbaren Modellen (Lightweight LLMs) in klinischen Umgebungen, die sowohl präzise Diagnosen stellen als auch nachvollziehbare Begründungen liefern – eine Voraussetzung für die klinische Akzeptanz.
Robustheit: Die Kombination aus Ensemble-Inferenz (Majority Voting) und Begründungszusammenfassung erhöht die Zuverlässigkeit der Vorhersagen erheblich.

Fazit

Das Paper zeigt, dass Reinforcement Learning (insbesondere GRPO) ein mächtiges Werkzeug ist, um die „Black-Box"-Natur von SFT-trainierten Modellen in der medizinischen KI zu überwinden. Durch die Optimierung von Genauigkeit und Formatierung ohne explizite Begründungssupervision können leichte LLMs sowohl präzise als auch erklärbar werden, was sie zu einer praktikablen Lösung für die Unterstützung von Radiologen macht.