Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence

Technische Samenvatting: Synergistic Perception-Reasoning Governance (SPRG)

Probleemstelling
Multimodale Large Language Models (MLLM's) vertonen aanzienlijk potentieel voor klinische Visual Question Answering (VQA) en radiologische rapportgeneratie. Echter, hun inzet in hoogwaardige medische omgevingen wordt gehinderd door "hallucinaties", specifiek visuele misinterpretaties waarbij modellen vloeiende conclusies genereren die in strijd zijn met of geen ondersteuning vinden in de beeldvormende evidentie. Bestaande mitigatiestrategieën vertrouwen vaak op aanvullende training, externe kennisbanken of complexe meerfasige post-hoc verificatie. Deze benaderingen verhogen de computationele kosten, de complexiteit van de pipeline en falen vaak in het generaliseren over verschillende modellen en klinische taken. Bovendien vertrouwen veel huidige methoden op interne statistische kalibratie zonder expliciete anatomische gronding, wat hun robuustheid beperkt.

Methodologie
De auteurs stellen Synergistic Perception-Reasoning Governance (SPRG) voor, een holistisch, training-vrij framework dat is ontworpen om hallucinaties tijdens de inferentie te mitigeren door middel van dual-side evidence injection. Het framework opereert op drie hoofdonderdelen:

1. Anatomische Evidentie-extractie:
   Het systeem maakt gebruik van MedSAM (een Segment Anything Model aangepast voor medische beeldvorming) om verifieerbare anatomische evidentie te extraheren. Gegeven een kandidaat-bounding box set, genereert MedSAM segmentatiemaskers. Deze worden verwerkt tot een deterministische Region of Interest (ROI) prior set, $\mathcal{R}$, bestaande uit segmentatiemaskers, bounding boxes en anatomische semantische labels afgeleid van de klinische context.

2. Perceptie-Redenering Interventiemechanisme:
   Het framework grijpt in op zowel de visuele als de tekstuele trajecten van de MLLM:

   • Text-side Evidence Injection: De ROI-priors worden omgezet in gestructureerde regio-beschrijvingen (anatomische labels, coördinaten en dimensies) en geserialiseerd naar discrete semantische tokens. Deze tokens worden direct in de tekstuele prompt ($\tilde{q}$) geïnjecteerd voordat het model een antwoord genereert. Dit verankert het tekstuele redeneertraject met een verifieerbaar extern geheugen.
   • Vision-side Activation Recalibration: Het systeem berekent de ruimtelijke dekkingstichtheid van de ROI-maskers over de visuele patch-tokens. Een soft-mask wordt toegepast op de visuele features ($\tilde{V}$) om activaties te moduleren. Features die overeenkomen met niet-ROI gebieden worden gedempt (via een factor $\beta$), terwijl ROI-gealigneerde features worden behouden of versterkt (via een factor $\alpha$). Dit onderdrukt achtergrondruis en out-of-distribution structurele instorting, wat effectief de spuriële visuele paden "exciseert".
   • Joint Modulation: Beide strategieën kunnen simultaan worden toegepast om complementaire regularisatie af te dwingen.

3. Taakbewuste Dynamische Router:
   In het besef dat verschillende klinische taken variërende gevoeligheden hebben voor visuele versus tekstuele restricties, introduceren de auteurs een lichtgewicht, zero-overhead router. Gebaseerd op een zero-shot classificatie van de invoervraag in vier categorieën — Anatomie (CA), Meting (CM), Symptoom (CS) en Radiologische kenmerken (CR) — selecteert de router dynamisch de optimale interventie:

   • Anatomie: Vision-side recalibration (ruimtelijke lokalisatie).
   • Meting/Symptoom: Text-side injection (precieze semantische verankering).
   • Radiologische kenmerken: Joint strategy (complexe cross-modale redenering).

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van een training-vrij framework dat hallucinaties mitigeert door dual-side verifieerbare anatomische evidentie te injecteren, waardoor de brug wordt geslagen tussen ruwe visuele perceptie en klinische redenering.
2. Interventiemechanisme: Ontwikkeling van een mechanisme dat visuele perceptie herkalibreert via ROI-gestuurde activatiemodulatie en tekstuele redenering verankert via discrete semantische tokens afgeleid van anatomische coördinaten.
3. Dynamische Router: Voorstel van een taakbewuste router die interventiestrategieën aanpast op basis van taaksemantiek, waarbij een balans wordt gevonden tussen perceptuele gronding en linguïstische vloeiendheid.
4. Omvattende Evaluatie: Vestiging van een rigoureuze cross-model, cross-taak evaluatie met betrokkenheid van 2 taken, 5 datasets en 6 MLLM's (waaronder LLaVA-1.5, LLaVA-Med, Qwen3-VL, en InternVL-3.5).

Resultaten
Uitgebreide experimenten op MM-VisHal (SLAKE, VQA-RAD) en CXR-VisHal (IU-Xray, MIMIC-CXR) datasets demonstreren de effectiviteit van het framework:

• Close-ended Taken: Het framework presteert consistent beter dan baselines over alle geteste MLLM's. De dynamische routeringsstrategie bereikte de hoogste algehele verbetering in nauwkeurigheid, met winsten van +3,2% op MM-VisHal en +2,4% op CXR-VisHal. Specifieke strategieën toonden domeinspecifieke sterktes: text-side injection domineerde de algehele nauwkeurigheid, vision-side constraints excelleerden in anatomie-gerelateerde vragen, en de joint strategy presteerde het best voor radiologische kenmerken.
• Open-ended Taken: Op de MIMIC-CXR rapportgeneratie taak bereikte de vision-side interventie de laagste hallucinatiegraad (CHAIR score van 12,76%), wat visuele misinterpretaties aanzienlijk verminderde. De text-side interventie behield een hoge recall en verbeterde de narratieve kwaliteit (RaTEScore). De joint strategy bood een sterke balans tussen hallucinatie-onderdrukking en rapport-volledigheid.
• Ablatie-studies: Resultaten bevestigden dat verbeteringen steunen op de specifieke ruimtelijke gronding van ROI-coördinaten (willekeurige bounding boxes verslechterden de prestaties) en dat de optimale visuele weging configuratie $(\alpha=1.0, \beta=0.1)$ is.

Betekenis
Het artikel claimt dat SPRG een praktisch, training-vrij pad biedt naar visueel gegronde en controleerbare generatie in klinische workflows. Door gebruik te maken van verifieerbare anatomische evidentie geëxtraheerd via MedSAM, adresseert de methode de kritieke barrière van output die inconsistent is met de evidentie, zonder dat hiervoor model-retraining of complexe externe retrieval-systemen nodig zijn. De auteurs benadrukken dat hun benadering superieure robuustheid biedt ten opzichte van bestaande baselines, waarbij de nauwkeurigheid van close-ended redenering met tot wel ~6% wordt verbeterd en open-ended hallucinaties met ~35% worden verminderd, waardoor de betrouwbaarheid van MLLM's in hoogwaardige medische besluitvorming wordt vergroot.