Route, Retrieve, Reflect, Repair: Self-Improving Agentic Framework for Visual Detection and Linguistic Reasoning in Medical Imaging

Deze paper introduceert R^4, een zelfverbeterend agentisch framework dat medische beeldanalyse verbetert door het werkproces te ontleden in vier gecoördineerde agenten (Router, Retriever, Reflector en Repairer), waardoor de betrouwbaarheid en ruimtelijke nauwkeurigheid van visueel-taalmodellen voor het genereren van rapporten en detectie van afwijkingen aanzienlijk stijgt zonder gradient-based fine-tuning.

De kern

Stel je voor dat je een zeer slimme, maar soms wat ongeduldige arts-assistent hebt. Deze assistent is een kunstmatige intelligentie (een "Vision-Language Model") die beelden van longen kan bekijken en verslagen kan schrijven. Het probleem is dat deze assistent soms te snel een oordeel velt, dingen vergeten kan, of de verkeerde kant van het lichaam noemt (links in plaats van rechts). Hij werkt als een "zwarte doos": je geeft een foto, en hij geeft direct een antwoord, zonder dat je kunt zien hoe hij tot dat antwoord kwam of of hij een fout heeft gemaakt.

De auteurs van dit paper hebben een oplossing bedacht genaamd R4. Ze noemen het een "agentic framework", maar in gewone taal is het gewoon een team van vier slimme specialisten die samenwerken om het werk van die ene assistent te verbeteren. Ze werken in een cyclus van vier stappen: Route, Retrieve, Reflect, Repair (Routeren, Ophalen, Reflecteren, Repareren).

Hier is hoe dit team werkt, vertaald naar alledaagse analogieën:

1. De Router (De Portier of De Tourguide)

Stel je voor dat je een patiënt met een specifiek probleem binnenkomt. De Router is de portier die kijkt: "Wie is dit? Heeft deze persoon een longkankergeschiedenis? Is het een CT-scan of een röntgenfoto?"

• Wat hij doet: In plaats van iedereen dezelfde instructie te geven, kiest de Router de juiste "specialist" uit. Voor een longkankerpatiënt roept hij een expert op die daar goed in is. Voor een hartprobleem kiest hij een andere expert.
• Analogie: Het is alsof je in een groot ziekenhuis niet naar de eerste de beste dokter gaat, maar de portier je direct doorstuurt naar de juiste afdeling met de juiste specialist.

2. De Retriever (De Bibliotheek met Voorbeelden)

Nu de juiste specialist is gekozen, moet hij het werk doen. Maar hij werkt niet alleen. De Retriever is als een slimme bibliothecaris.

• Wat hij doet: Hij kijkt in een archief van eerdere, perfecte gevallen die lijken op de huidige patiënt. Hij haalt een paar voorbeelden op (bijvoorbeeld: "Kijk hoe we dit soort longontsteking eerder beschreven hebben").
• Het slimme trucje: Hij laat de assistent niet één keer werken, maar vraagt hem om meerdere versies van het verslag en de locatie van de ziekte (een doosje om de plek op de foto) te maken. Stel, hij vraagt om 3 verschillende pogingen.
• Analogie: Het is alsof je een student een proefwerk laat maken, maar je laat hem drie keer een antwoord opschrijven voordat je het inlevert, zodat hij de beste kans heeft om de juiste oplossing te vinden.

3. De Reflector (De Kritische Redacteur)

Nu hebben we drie versies van het verslag en drie sets van doosjes op de foto. De Reflector is de strenge, maar eerlijke redacteur.

• Wat hij doet: Hij leest elk verslag en kijkt naar de foto. Hij zoekt naar specifieke fouten die artsen vaak maken: "Heeft hij gezegd dat er geen tumor is, terwijl er wel een is?" (ontkenning), "Zegt hij 'links' terwijl het 'rechts' is?" (laterale fout), of "Is de doos om de tumor wel op de juiste plek?"
• Analogie: Stel je een redacteur voor die een krant leest en roept: "Wacht even, op pagina 3 staat dat de brand links is, maar de foto toont rechts! En je hebt vergeten te melden dat de patiënt ook een gebroken been heeft." Hij maakt een lijstje met fouten.

4. De Repairer (De Reparateur)

Tot slot komt de Repairer in actie. Hij neemt de versie die de minste fouten had (uit de drie die de Retriever maakte) en de lijst met fouten van de Reflector.

• Wat hij doet: Hij herwerkt het verslag en verplaatst de doosjes op de foto om de fouten te corrigeren. Hij doet dit niet één keer, maar blijft dit herhalen (reflecteren en repareren) tot er geen grote fouten meer zijn.
• Analogie: Het is alsof een timmerman een stoel bouwt, de inspecteur zegt "dit been staat scheef", en de timmerman de stoel opnieuw maakt tot hij perfect staat. Hij maakt ook een nieuwe, perfecte versie van de stoel opslag in het archief voor de volgende keer.

Waarom is dit zo goed?

De paper laat zien dat als je dit team gebruikt, de resultaten veel beter zijn dan wanneer je gewoon één keer een slimme AI vraagt om te werken.

• Betrouwbaarder: De fouten (zoals links/rechts verwisselen) worden eruit gehaald.
• Beter begrepen: De AI wijst niet alleen op de ziekte in het verslag, maar tekent ook precies een doosje om de plek op de foto.
• Zelflerend: Het systeem slaat de perfecte versies op in zijn geheugen. De volgende keer dat een soortgelijke patiënt komt, gebruikt het die perfecte voorbeelden om nog sneller en beter te werken, zonder dat de onderliggende computerprogramma's opnieuw getraind hoeven te worden.

Kortom: In plaats van één super-snelle, maar soms slordige assistent, hebben ze een team van vier gemaakt dat routet, voorbeelden zoekt, kritisch nadenkt en fouten repareert. Hierdoor wordt de AI een veel betrouwbaarder hulpmiddel voor artsen, zonder dat ze de AI zelf hoeven te "herschrijven".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Route, Retrieve, Reflect, Repair: Self-Improving Agentic Framework for Visual Detection and Linguistic Reasoning in Medical Imaging", geschreven in het Nederlands.

Probleemstelling

De analyse van medische beelden (zoals röntgenfoto's) is cruciaal voor klinische workflows, maar de huidige systemen op basis van grote visueel-taalmodellen (VLM's) hebben aanzienlijke beperkingen:

• Black-box aard: De meeste systemen werken als monolithische eenheden die een enkele doorloop (single-pass) uitvoeren. Ze nemen een beeld en een prompt als input en geven direct een tekstueel rapport terug.
• Gebrek aan controle: Er is weinig controle over het redeneerproces, de detectie van fouten of de verankering van de output in specifieke beeldregio's (spatial grounding).
• Klinische risico's: Dit leidt tot hallucinaties, subtiele klinische fouten (zoals verkeerde laterale aanduidingen of ontbrekende bevindingen) en gebrek aan integratie met bestaande workflows die lokalisatie en veiligheidschecks vereisen.
• Heterogeniteit: Klinische settingen variëren sterk (bijv. oncologie vs. cardiologie), waardoor één "one-size-fits-all" prompt niet optimaal presteert.

Methodologie: Het R4 Framework

De auteurs stellen R4 voor, een agentisch framework dat medische beeldverwerking decomposeert in vier gecoördineerde agenten. Het systeem werkt zonder gradient-based fine-tuning van de onderliggende VLM; in plaats daarvan wordt de betrouwbaarheid verbeterd via agente controle en iteratieve revisie.

De vier componenten zijn:

1. Router (Routeren):

   • Analyseert de input (beeld, query, patiëntgeschiedenis, metadata).
   • Selecteert een specifieke taakconfiguratie en een gespecialiseerde LLM/VLM-specialisatie (bijv. een configuratie gericht op thoraxradiologie versus oncologie).
   • Bepaalt de prompt-modus (zero-shot, few-shot, chain-of-thought) en eventuele veiligheidsflags.

2. Retriever (Ophalen & Genereren):

   • Gebruikt een exemplar memory (een database van eerdere, hoogwaardige gevallen) om contextbewuste voorbeelden op te halen.
   • Genereert $k$ kandidaat-rapporten en bijbehorende bounding boxes (lokalisatie van afwijkingen) via een pass@k strategie.
   • Produceert zowel vrije tekst als kwantitatieve lokalisatie (coördinaten en labels).

3. Reflector (Reflecteren):

   • Critiseert elk paar "rapport + bounding box" op specifieke klinische foutmodi.
   • Detecteert fouten zoals: ontkenningen (negation), verkeerde zijde-aanduiding (laterality), niet-onderbouwde claims, tegenstrijdigheden, ontbrekende bevindingen en lokalisatiefouten.
   • Outputs een gestructureerde lijst van problemen die direct worden gebruikt door de volgende agent.

4. Repairer (Repareren):

   • Voert iteratieve revisies uit op zowel het tekstuele rapport als de bounding boxes, gebaseerd op de feedback van de Reflector.
   • Herhaalt de cyclus (Reflecteren $\to$ Repareren) totdat er geen materiële fouten meer zijn of een maximum aantal iteraties is bereikt.
   • Curateert na succesvolle revisie de nieuwe gevallen om de exemplar memory te updaten, waardoor het systeem zichzelf verbetert zonder het model opnieuw te trainen.

Belangrijkste Bijdragen

• Agente Architectuur: Een nieuw framework dat patiëntgeschiedenis en metadata expliciet integreert in een routeringsmechanisme, in plaats van te vertrouwen op statische prompts.
• Gecombineerde Output: Koppelt globale rapportgeneratie aan kwantitatieve lokalisatie (bounding boxes) binnen één gesloten lus van reflectie en reparatie.
• Zelfverbetering zonder Fine-tuning: Introduceren van een persistente exemplar memory die context-aware few-shot voorbeelden ophaalt. Dit stelt het systeem in staat om zich aan te passen aan verschillende klinische fenomenen en workflows zonder de parameters van het onderliggende VLM te wijzigen.
• Pass@k Strategie: Een selectiemethode die meerdere kandidaat-generaties vergelijkt op basis van gestructureerde, klinisch gerichte probleemlijsten.

Resultaten

Het framework werd geëvalueerd op twee publieke datasets voor borstkas-röntgenfoto's: VinBigData (voor detectie/bounding boxes) en IU Chest X-rays (voor rapportgeneratie). Verschillende VLM-backbones werden getest, waaronder MedGemma, Qwen2.5-VL en Gemini-2.5-Flash.

• Kwaliteit van Rapporten:

  • R4-agenten verbeterden de scores van de "LLM-as-a-Judge" (een beoordeling door een ander LLM) met ongeveer +1,7 tot +2,5 punten (op een schaal van 1-10) ten opzichte van sterke single-VLM baselines.
  • De verbetering was het grootst in domeinen zoals "diagnostische nauwkeurigheid" en "consistentie".
  • Bijvoorbeeld: R4Agent-Gemini bereikte een algehele score van 8,02, vergeleken met 5,58 voor de enkele Gemini-baseline.

• Lokalisatie (Bounding Boxes):

  • De mean Average Precision (mAP50) voor zwak toezicht op lokalisatie steeg met +2,5 tot +3,5 absolute punten.
  • R4Agent-Gemini bereikte een mAP50 van 10,97, een significante verbetering ten opzichte van de baseline van 7,49.

• Pass@k Analyse:

  • Het verhogen van het aantal passes ($k$) leidde tot monotoon betere resultaten, waarbij de grootste winst vaak werd behaald bij de overgang van pass 1 naar pass 2. Dit bevestigt dat meerdere onafhankelijke trajecten helpen om kritieke klinische fouten te vermijden.

Betekenis en Conclusie

Het paper demonstreert dat het decomponeren van complexe medische beeldtaken in gecoördineerde agenten (Router, Retriever, Reflector, Repairer) een krachtige aanpak is om kwetsbare VLM's om te vormen tot betrouwbaardere klinische hulpmiddelen.

• Klinische Relevantie: Het systeem lost het probleem op van "flinke maar onnauwkeurige" rapporten door expliciete checks op laterale fouten en ontkenningen in te bouwen.
• Efficiëntie: Het bereikt deze verbeteringen zonder kostbare gradient-based fine-tuning, wat het toepasbaar maakt voor bestaande gesloten modellen.
• Toekomstperspectief: De auteurs plannen uitbreiding naar andere modaliteiten (CT, MRI, histopathologie) en integratie met menselijke feedback in de klinische workflow.

Samenvattend toont R4 aan dat agente controle en reflectieve revisie essentieel zijn om de kloof te overbruggen tussen de huidige prestaties van generatieve AI en de strenge eisen van de medische diagnostiek.