Multi-Modal Multi-Agent Reinforcement Learning for Radiology Report Generation: Radiologist-Like Workflow with Clinically Verifiable Rewards

1. Problemstellung

Die automatische Generierung von radiologischen Befunden (Radiology Report Generation, RRG) ist eine komplexe Aufgabe, die oft durch Large Language Models (LLMs) und Large Vision-Language Models (LVLMs) angegangen wird. Bisherige Ansätze leiden jedoch unter mehreren Einschränkungen:

• Monolithische Modelle: Die meisten Reinforcement-Learning (RL)-Methoden optimieren ein einzelnes, monolithisches Modell, anstatt ein System aus mehreren kooperierenden Agenten zu nutzen.
• Fehlende End-to-End-Optimierung: Existierende Multi-Agenten-Systeme sind oft „training-free" (ohne Nachtraining), d.h. sie kombinieren vortrainierte Modelle nur über Prompts. Dies führt zu suboptimaler Koordination und mangelnder Anpassungsfähigkeit an reale Arbeitsabläufe.
• Mangelnde klinische Genauigkeit: Herkömmliche Metriken (wie BLEU oder ROUGE) basieren auf lexikalischer Ähnlichkeit und korrelieren oft schlecht mit der klinischen Bewertung durch Radiologen. Es fehlt an Methoden, die spezifisch klinisch überprüfbare Belohnungen nutzen, um die diagnostische Qualität zu steigern.
• Räumliche Inkonsistenzen: Modelle neigen dazu, als globale Bildparser zu agieren und haben Schwierigkeiten, räumliche Beziehungen (insbesondere die Lateraleität: links vs. rechts) auf Regionsebene korrekt zu erfassen.

2. Methodik: MARL-Rad

Die Autoren stellen MARL-Rad vor, ein neuartiges Framework für Multi-Modal Multi-Agent Reinforcement Learning, das den Arbeitsablauf eines Radiologen nachahmt.

Architektur:
Das System besteht aus vier kooperierenden Agenten, die in einem definierten Workflow agieren:

1. Regionsspezifische Agenten: Drei spezialisierte Agenten untersuchen jeweils einen anatomischen Bereich des Thorax-Röntgenbildes:
   • Linker-Region-Agent: Linke Lunge, linke Hilus-Strukturen, linker Kostophrenikuswinkel, linke Klavikula.
   • Rechter-Region-Agent: Rechte Lunge, rechte Hilus-Strukturen, rechter Kostophrenikuswinkel, rechte Klavikula.
   • Zentraler-Region-Agent: Herzsilhouette, Mediastinum, Aortenbogen, Trachea, Wirbelsäule.
2. Globaler Integrations-Agent: Dieser Agent empfängt die Diagnosen der drei Region-Agenten, synthetisiert sie und erstellt den abschließenden, umfassenden Diagnosebericht.

Lernalgorithmus (Multi-Agent GSPO):

• Das Framework erweitert Group Sequence Policy Optimization (GSPO) auf ein Multi-Agenten-Setting (MA-GSPO).
• Im Gegensatz zu früheren Ansätzen werden alle Agenten jointly (gemeinsam) und on-policy trainiert.
• Belohnungsfunktion (Reward): Die Optimierung erfolgt basierend auf klinisch überprüfbaren Belohnungen (Clinically Verifiable Rewards). Diese setzen sich zusammen aus:
  • CheXbert F1: Misst die Korrektheit der vorhergesagten klinischen Befunde (Klassifikation von 14 thorakalen Pathologien).
  • RadGraph F1: Bewertet die faktische und relationale Konsistenz (Extraktion von Entitäten und Relationen).
  • ROUGE-L: Sorgt für sprachliche Natürlichkeit.
• Der Gesamt-Reward ist die ungewichtete Summe dieser Komponenten.

Basis-Modell:
Als Basis für alle Agenten wird MedGemma-4B verwendet, ein medizinisch adaptiertes Gemma-Modell. Jeder Agent erhält dabei einen eigenen Parametersatz, wird aber vom gleichen Checkpoint initialisiert und gemeinsam optimiert.

3. Hauptbeiträge

• End-to-End-Optimierung kollaborativer Agenten: MARL-Rad ist einer der ersten Ansätze, der ein gesamtes Multi-Agenten-System innerhalb eines realistischen Workflows (ähnlich dem eines Radiologen) mittels On-Policy-RL optimiert, anstatt nur einzelne Modelle oder training-free Kombinationen zu nutzen.
• State-of-the-Art (SOTA) Leistung bei klinischen Metriken: Das System erreicht auf den Datensätzen MIMIC-CXR und IU X-ray die besten Ergebnisse in klinisch relevanten Metriken (RadGraph F1, CheXbert F1, GREEN Score).
• Verbesserte Lateraleität und Detailgenauigkeit: Durch die Aufteilung der Aufgabe in regionsspezifische Agenten wird die Konsistenz bei der Unterscheidung von „links" und „rechts" signifikant verbessert, und die generierten Berichte enthalten detailliertere und klinisch genauere Befunde.

4. Ergebnisse

Die Experimente wurden auf den Datensätzen MIMIC-CXR und IU X-ray durchgeführt.

• Vergleich mit SOTA: MARL-Rad übertrifft bestehende Methoden (wie R2Gen, MedGemma, DeepMedix-R1, OISA) konsistent in allen klinischen Effektivitäts-Metriken (CE Metrics).
  • Auf MIMIC-CXR erreichte MARL-Rad z.B. einen CheXbert F1 von 0,556 und einen RadGraph F1 von 0,316 (für Findings + Impression), was die besten Werte im Vergleich darstellt.
  • Auch auf IU X-ray wurden SOTA-Ergebnisse erzielt.
• Ablationsstudie:
  • Ein reines Training ohne Agenten-Struktur (MedGemma w/ RL) performt schlechter als das volle MARL-Rad-System.
  • Ein Multi-Agenten-System ohne RL-Optimierung (nur Prompting) performt oft sogar schlechter als das Basismodell, was zeigt, dass eine reine Strukturänderung ohne gemeinsames Lernen nicht ausreicht.
• Lateraleitäts-Analyse: Die Analyse der RadGraph-Ausgaben zeigt, dass MARL-Rad Fehler bei der Zuordnung von Befunden zu „links" oder „rechts" deutlich reduziert im Vergleich zu Single-Agent-Modellen.
• Fallstudie: Ein Beispiel zeigt, dass MARL-Rad nicht nur die korrekte Gesamtzusammenfassung liefert, sondern auch spezifische chirurgische Veränderungen (z.B. Sternotomie-Draht) und regionsspezifische Details korrekt erfasst, die von Single-Agent-Modellen oft übersehen oder vage formuliert werden.

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass die Nachahmung menschlicher Arbeitsabläufe (radiologist-like workflow) durch spezialisierte Agenten in Kombination mit klinisch validierten Belohnungsfunktionen die Leistung von KI-Systemen in der Medizin signifikant steigern kann.

• Klinische Relevanz: Da die Optimierung auf klinisch überprüfbaren Metriken basiert, sind die Ergebnisse direkter mit der Bewertung durch Ärzte korreliert als bei rein linguistischen Metriken.
• Interpretierbarkeit: Durch die getrennte Ausgabe der Region-Agenten wird der Entscheidungsprozess des Modells transparenter, was für das Vertrauen von Klinikern wichtig ist.
• Generalisierbarkeit: Obwohl der Fokus auf Thorax-Röntgen liegt, ist das Framework allgemein anwendbar und kann auf andere medizinische Modalitäten (z.B. EKG, Echokardiographie) oder komplexe reale Aufgaben übertragen werden.

Zusammenfassend stellt MARL-Rad einen Paradigmenwechsel dar: weg von monolithischen Modellen hin zu spezialisierten, gemeinsam optimierten Agenten-Systemen, die durch klinisch fundiertes Reinforcement Learning lernen, präzise und zuverlässige medizinische Berichte zu erstellen.