Multi-Modal Multi-Agent Reinforcement Learning for Radiology Report Generation: Radiologist-Like Workflow with Clinically Verifiable Rewards

Probleemstelling

Het genereren van radiologische verslagen (Radiology Report Generation - RRG) is een complex taak die vaak tijdrovend en arbeidsintensief is voor radiologen. Hoewel Large Language Models (LLMs) en Vision-Language Models (VLMs) vooruitgang hebben geboekt, lijden bestaande benaderingen vaak onder twee belangrijke beperkingen:

1. Monolithische optimalisatie: De meeste Reinforcement Learning (RL) methoden optimaliseren één enkel model, in plaats van een systeem van meerdere agenten die samenwerken.
2. Gebrek aan workflow-integratie: Bestaande multi-agent systemen zijn vaak "training-free" (ze combineren vooraf getrainde modellen via prompts zonder end-to-end optimalisatie) of optimaliseren slechts één centrale agent, terwijl de rest van het systeem statisch blijft. Dit leidt tot suboptimale samenwerking die niet overeenkomt met de echte klinische workflow van een radioloog, die anatomische regio's systematisch en apart inspecteert voordat een samenvattend verslag wordt geschreven.

Het doel van dit onderzoek is het creëren van een systeem dat niet alleen nauwkeurige verslagen genereert, maar dit doet via een workflow die de menselijke radioloog nabootst, met gebruikmaking van klinisch verifieerbare beloningen.

Methodologie: MARL-Rad

De auteurs stellen MARL-Rad voor, een nieuw raamwerk voor multi-modale multi-agent reinforcement learning. Het systeem is ontworpen om de workflow van een radioloog te simuleren en wordt end-to-end geoptimaliseerd.

1. Architectuur van de Agenten:
Het systeem bestaat uit vier agenten die samenwerken:

• Drie regio-specifieke agenten: Deze zijn toegewezen aan specifieke anatomische gebieden op de borstfoto (CXR):
  • Linker-regio agent: Inspecteert de linkerlong, linkerhilaire structuren, linker costophrenische hoek en linker sleutelbeen.
  • Rechter-regio agent: Inspecteert de rechterlong, rechterhilaire structuren, rechter costophrenische hoek en rechter sleutelbeen.
  • Centrale-regio agent: Inspecteert het hart, mediastinum, aorta, luchtpijp en wervelkolom.
• Een globale integratie-agent: Deze ontvangt de observaties en diagnoses van de drie regio-agenten, synthetiseert deze informatie en genereert het definitieve, uitgebreide diagnostische verslag.

2. Reinforcement Learning (RL) Strategie:
In plaats van traditionele RLHF (Human Feedback), gebruikt het systeem Reinforcement Learning with Verifiable Rewards (RLVR).

• Algoritme: Het raamwerk baseert zich op Group Sequence Policy Optimization (GSPO), een sequentie-niveau variant van GRPO. De auteurs hebben dit uitgebreid naar een multi-agent setting (MA-GSPO), waarbij de voordelen (advantages) gedeeld worden over alle agenten binnen een gezamenlijke rollout.
• Beloningsfunctie (Reward): De beloning is puur klinisch en objectief verifieerbaar, gebaseerd op drie componenten:
  • CheXbert: Meet de nauwkeurigheid van voorspelde klinische bevindingen (bijv. longontsteking, atelectase).
  • RadGraph F1: Evalueert de feitelijke en relationele consistentie (bijv. "linkerlong" + "pneumonie").
  • ROUGE-L: Zorgt voor linguïstische natuurlijkheid.
• Training: Alle agenten worden gezamenlijk (jointly) getraind in een on-policy manier. Dit betekent dat het hele agentensysteem wordt geoptimaliseerd om samen te werken binnen de gedefinieerde workflow, in plaats van dat agenten los van elkaar worden getraind.

Belangrijkste Bijdragen

1. End-to-end optimalisatie van collaboratieve agenten: In tegenstelling tot eerdere training-vrije benaderingen of methoden die slechts één agent optimaliseren, traint MARL-Rad het volledige multi-agent systeem gezamenlijk binnen een workflow die de praktijk van radiologen nabootst.
2. State-of-the-art prestaties op klinische effectiviteit (CE): Het systeem behaalt de beste resultaten op datasets zoals MIMIC-CXR en IU X-ray, specifiek op metrics die klinische nauwkeurigheid meten (RadGraph, CheXbert, GREEN) in plaats van alleen taalkundige overeenkomst.
3. Verbeterde laterality-consistentie en detail: Door de taak te decomponeren in regio-specifieke agenten, verbetert het systeem de consistentie in het onderscheiden van links en rechts (laterality) en genereert het gedetailleerdere verslagen die beter overeenkomen met de grondwaarheid.

Resultaten

De experimenten zijn uitgevoerd op de MIMIC-CXR en IU X-ray datasets.

• Prestaties: MARL-Rad overtreft bestaande state-of-the-art methoden (zoals MedGemma, DeepMedix-R1, en diverse andere RRG-modellen) consequent op alle klinische effectiviteits-metrics (RadGraph F1, CheXbert F1, GREEN scores).
• Generalisatie: Hoewel het model uitsluitend is getraind op de MIMIC-CXR dataset, toont het sterke prestaties op de IU X-ray dataset, wat wijst op goede generalisatie.
• Ablatie-studies: Vergelijkingen tonen aan dat:
  • Een enkelvoudig model met RL ("MedGemma w/ RL") minder goed presteert dan het multi-agent systeem.
  • Een multi-agent systeem zonder RL ("Multi-Agent w/o RL") soms slechter presteert dan het basismodel, wat aantoont dat training-vrije agentificatie onvoldoende is zonder gezamenlijke optimalisatie.
  • De combinatie van workflow-gebaseerde agenten en RL essentieel is voor de verbeterde resultaten.
• Laterality-analyse: Specifieke analyses van de RadGraph-output tonen aan dat MARL-Rad fouten in het onderscheiden van links en rechts aanzienlijk reduceert ten opzichte van single-agent baselines.

Betekenis en Impact

Dit werk markeert een verschuiving in de ontwikkeling van medische AI-systemen:

• Van monolithisch naar workflow-gebaseerd: Het bewijst dat het nabootsen van de menselijke denkstroom (systematisch inspecteren van regio's) via gespecialiseerde agenten, in combinatie met RL, superieure klinische resultaten oplevert.
• Klinische relevantie: Door te focussen op klinisch verifieerbare beloningen in plaats van alleen taalkundige metrics, worden verslagen gegenereerd die directer bruikbaar en betrouwbaar zijn voor artsen.
• Interpreteerbaarheid: Het multi-agent ontwerp biedt meer transparantie; elke regio-agent levert een expliciete diagnose voor zijn gebied, wat het voor clinicians makkelijker maakt om te verifiëren hoe het model tot zijn conclusie is gekomen.

Kortom, MARL-Rad biedt een robuust raamwerk voor het automatiseren van radiologische verslaglegging dat niet alleen technisch geavanceerd is, maar ook klinisch valide en in lijn met de professionele workflow van radiologen.