RadAgents: Multimodal Agentic Reasoning for Chest X-ray Interpretation with Radiologist-like Workflows

1. Probleemstelling

De interpretatie van thoraxröntgenfoto's (CXR) is een hoeksteen van de longdiagnostiek, maar blijft arbeidsintensief voor radiologen. Bestaande AI-systemen voor CXR-interpretatie hebben drie fundamentele beperkingen:

• Gebrek aan klinische interpretatie en richtlijnconformiteit: Redenering is vaak slechts een aggregatie van tool-outputs, niet klinisch onderbouwd of afgestemd op medische richtlijnen.
• Onvoldoende multimodale fusie: Bewijs wordt vaak niet visueel verankerd; de redenering is tekstueel zonder directe koppeling aan de beeldinformatie (bijv. geen herinspectie van specifieke gebieden).
• Inconsistenties en gebrek aan verificatie: Systemen detecteren zelden tegenstrijdigheden tussen verschillende tools en bieden geen principes voor het oplossen van deze conflicten.

Bestaande "encode-once, text-only" paradigma's (waarbij beelden eenmalig worden ingecodeerd en de rest puur tekstueel gebeurt) falen bij taken die iteratieve herinspectie, kwantitatieve metingen (zoals cardiothoracale ratio) en vergelijkingen vereisen.

2. Methodologie: RadAgents Framework

RadAgents is een multi-agent systeem dat radiologen-achtige workflows codeert in een modulaire, controleerbare pijplijn. Het systeem bestaat uit zeven gespecialiseerde agenten en een reeks hulpmiddelen.

Architectuur:

• Orchestrator: Analyseert de query, identificeert klinische entiteiten en doelstellingen, en routeert taken naar de juiste specialisten. Het activeert alleen de benodigde agenten om rekentijd te besparen.
• ABCDE Sub-agenten: Vijf gespecialiseerde agenten die het klinische ABCDE-scan-schema volgen:
  • Airway: Beoordeelt luchtwegen (bijv. trachea-positie).
  • Breathing: Onderzoekt longen en pleura (bijv. opaciteiten, knobbels).
  • Circulation: Evalueert het hart en mediastinum (bijv. cardiothoracale ratio).
  • Diaphragm: Controleert het middenrif.
  • Everything-else: Identificeert ribben, zacht weefsel en medische apparatuur.
    Elke agent gebruikt een ReAct-paradigma (Reason + Act) met een vooraf gedefinieerde set vaardigheden (skills) die tools combineren met beslissingsdrempels.
• Synthesizer: Aggregeert de output van de sub-agenten, voert contextuele verificatie uit en lost conflicten op.

Hulpmiddelen (Tool Set):
Het systeem integreert state-of-the-art modellen voor:

• ROI-segmentatie: Anatomische structuren en laesies (bijv. CXAS, BiomedParser).
• Zinsverankering (Phrase Grounding): Lokalisatie van bevindingen in bounding boxes (bijv. MAIRA-2).
• Meting en Berekening: Python-scripts voor geometrische metingen (bijv. hoeken, afstanden).
• VQA (Visual Question Answering): Voor flexibele vragen (bijv. MedGemma, CheXagent).
• Rapportage en Classificatie: Generatie van verslagen en pathologie-classificatie.

Conflictoplossing (V-RAG):
Wanneer tools tegenstrijdige output genereren, gebruikt de Synthesizer Visual Retrieval-Augmented Generation (V-RAG). Het systeem zoekt klinisch vergelijkbare CXR-studies op (via image embeddings) en gebruikt deze als referentiestandaarden om de discrepanties te beoordelen en op te lossen. Dit bootst de radiologische praktijk na waarbij artsen eerdere gevallen raadplegen.

Geheugen:
Het systeem onderhoudt een kortetermijngeheugen voor patiëntcontext (demografie, indicaties) en gecachte tool-outputs om redundante berekeningen te voorkomen.

3. Belangrijkste Bijdragen

1. Formalisatie van Radiologist-Workflows: RadAgents vertaalt gestructureerde radiologische workflows naar een multi-agent systeem dat visueel bewijs, metingen en tekstuele redenering afwisselt. Het ondersteunt zowel workflow-gestuurde als vrije query's.
2. Traceerbare, Tool-Augmented Architectuur: Een ontwerp met een Orchestrator, sub-agenten en een Synthesizer, verrijkt met V-RAG voor conflictoplossing. Dit zorgt voor stap-voor-stap traceerbaarheid en een principieel omgaan met inconsistenties.
3. Uitgebreide Validatie: Het systeem wordt getest op drie uitdagende multimodale medische datasets en overtreedt concurrenten aanzienlijk.

4. Resultaten

RadAgents werd geëvalueerd op drie benchmarks: ChestAgentBench, CheXbench en MIMIC-CXR (voor rapportgeneratie).

• ChestAgentBench: RadAgents behaalde de hoogste nauwkeurigheid in alle zeven categorieën (73,6% overall), significant beter dan gespecialiseerde modellen zoals CheXagent (39,5%) en GPT-4o (56,4%). De prestaties waren vooral sterk bij diagnose en karakterisering.
• CheXbench: RadAgents behaalde 74,6% overall nauwkeurigheid, wat een verbetering is ten opzichte van CheXagent (64,7%) en GPT-4o (63,5%).
• MIMIC-CXR Rapportgeneratie: Met de GREEN-score (een klinisch georiënteerde evaluatiemeta) behaalde RadAgents 51,4, vergeleken met 46,1 voor de variant zonder V-RAG en 34,2 voor standaard GPT-4o.
• Ablatiestudies:
  • Het gebruik van V-RAG leverde een verbetering van 6-7% op in de algemene nauwkeurigheid.
  • Het verhogen van de grootte van het Synthesizer-model (van 8B naar 30B parameters) verbeterde de conflictoplossing aanzienlijk (van 44,7% naar 60,5%), wat aangeeft dat conflictoplossing gevoeliger is voor modelcapaciteit dan taakverdeling.
  • Zelfs een open-source model van 8B parameters (Qwen3-VL) presteerde beter dan grotere gesloten modellen wanneer het werd gecombineerd met de RadAgents-workflow.

5. Betekenis en Conclusie

RadAgents demonstreert dat betrouwbare, klinisch afgestemde CXR-interpretatie niet per se enorme, gesloten modellen vereist. Door radiologische workflows te coderen in een multi-agent architectuur met visuele verificatie en tool-gebruik, kan een kleiner, open-source model (8B) prestaties leveren die specialistische modellen en grote LLM's (zoals GPT-4o) overtreffen.

De belangrijkste doorbraken zijn:

• Transparantie: Het systeem biedt stap-voor-stap logbestanden en visueel onderbouwde redenering, wat essentieel is voor klinisch vertrouwen.
• Robuustheid: Het vermogen om tool-conflicten op te lossen via V-RAG verhoogt de betrouwbaarheid aanzienlijk.
• Toepasbaarheid: Het gebruik van open-source modellen maakt de implementatie lokaal (on-premise) en kostenefficiënter, wat cruciaal is voor de medische sector.

De auteurs erkennen beperkingen, zoals de afhankelijkheid van de kwaliteit van onderliggende tools (vooral voor zij-aanzichten) en hogere rekentkosten vergeleken met end-to-end modellen, maar benadrukken dat de winst in nauwkeurigheid en traceerbaarheid deze kosten rechtvaardigt voor hoog-risico medische diagnoses.