RoiMAM: Region-of-Interest Medical Attention Model for Efficient Vision-Language Understanding

Technische Samenvatting: RoiMAM – Region-of-Interest Medical Attention Model

Probleemstelling
Vision-Language Models (VLM's) hebben Medische Visuele Vraagbeantwoording (MedVQA) verbeterd door de gezamenlijke interpretatie van klinische afbeeldingen en tekst mogelijk te maken. Echter, bestaande oplossingen ondervinden twee primaire beperkingen die hun klinische toepasbaarheid belemmeren:

1. Rekenkundige inefficiëntie: De meeste state-of-the-art VLM's vertrouwen op grote architecturen (vaak met meer dan 7–8 miljard parameters) en zware rekenkundige overhead, waardoor ze moeilijk te schalen of te implementeren zijn in omgevingen met beperkte middelen.
2. Afhankelijkheden bij training en data: Huidige benaderingen om modellen te sturen naar laesie-relevante gebieden, zijn vaak afhankelijk van gesuperviseerde detectie- of segmentatiemodellen (bijvoorbeeld Grounding DINO). Deze vereisen dure, groot-schalige geannoteerde datasets met ground-truth maskers, die schaars zijn in het medische domein. Bovendien zijn veel systemen beperkt tot antwoorden binnen een gesloten set, wat niet aansluit bij het open-ended karakter van klinische consulten.

Methodologie
De auteurs stellen RoiMAM voor, een ultra-lightweight VLM (1,7 miljard parameters) ontworpen om hoge nauwkeurigheid te bereiken met minimale rekenkundige kosten. Het framework verwerkt drie invoerstromen: een afbeelding ($I$), een vraag ($T$) en een modality prompt ($L$). De architectuur integreert twee nieuwe, parameter-vrije modules om de prestaties te verbeteren zonder de modelgrootte te vergroten:

1. Text Prompt Enhancer (TPE):

   • Doel: Om het beperkte redeneervermogen van kleinere modellen te compenseren door invoer-prompts te verrijken met hoog-niveau semantische context.
   • Mechanisme: Gebaseerd op een vooraf getraind CLIP-model (dat de visuele encoder deelt met de hoofd-VLM) en een enkel BERT-model. Het maakt gebruik van CLIP's zero-shot classificatie om de afbeeldingsmodality te identificeren (bijvoorbeeld CT, MRI, X-ray). Deze classificatie wordt omgezet in een tekst-embedding ($M$) met behulp van een similariteitsmaatstaf tegen een lijst van mogelijke modaliteiten. Deze verrijkte prompt leidt de Large Language Model (LLM) om context-bewuste antwoorden te geven.

2. ROI Generation Module (RGMo) met Semantic Selective Suppression (S3):

   • Doel: Om visuele aandacht te richten op laesie-relevante gebieden zonder gesuperviseerde training of extra parameters te vereisen.
   • Mechanisme:
     • Het maakt gebruik van een Multi-modal Information Bottleneck (MI) om een initiële salientie-heatmap ($SA_{ori}$) te genereren vanuit de afbeelding en tekst.
     • Om dit te verfijnen, maakt het gebruik van een KeyBERT-gebaseerde LLM om sleutelwoorden uit de vraag te extraheren, waarbij een "achtergrond"-tekst ($T_{back}$) wordt afgeleid door deze sleutelwoorden af te trekken. Een secundaire heatmap ($SA_{back}$) wordt gegenereerd vanuit deze achtergrondtekst.
     • S3 Mechanisme: In plaats van eenvoudige aftrekking, past het model een Semantic Selective Suppression-strategie toe. Het selecteert visuele aandacht op basis van semantische relevantie: als de achtergrond-heatmap-waarde onder een drempelwaarde $\delta$ ligt, wordt het verschil direct gebruikt; als deze erboven ligt, wordt het verschil versterkt met een factor $\varepsilon$. Dit scherpt de aandacht op tekst-relevante gebieden terwijl vaste punten of irrelevante gebieden worden onderdrukt.
     • De resulterende salientie-kaart wordt verwerkt via OpenCV om Regions of Interest (ROIs) te extraheren, die worden gemarkeerd en ingevoerd in de visuele encoder.

De kern van het redeneerproces is een Small LLM (Qwen2-1.5B), die de afbeeldings-embeddings, ROI-embeddings en verrijkte tekst-embeddings integreert om precieze tekstuele antwoorden te genereren.

Belangrijkste Bijdragen

• Efficiënt Framework: Introductie van RoiMAM, dat RGMo en TPE integreert om de MedVQA-prestaties te verbeteren terwijl het aantal parameters met ongeveer 80% wordt gereduceerd ten opzichte van toonaangevende modellen.
• Training-vrije ROI-localisatie: Een nieuwe RGMo-module die het S3-mechanisme gebruikt om irrelevante visuele aandacht te minimaliseren en nauwkeurige laesie-localisatie mogelijk te maken zonder vooraftraining of geannoteerde maskers.
• Parameter-vrije contextverrijking: De TPE-module maakt gebruik van bestaande visuele encoders om tekstcontext te verrijken en cross-modale robuustheid te verbeteren zonder trainbare parameters toe te voegen.
• Schaalbaarheid: Het model bereikt state-of-the-art of bijna state-of-the-art resultaten op open-source datasets, terwijl het een parameteraantal (1,7B) behoudt dat ongeveer 20% bedraagt van die van grotere concurrenten, waarmee het inspreekt op data-privacy en rekenkundige beperkingen.

Experimentele Resultaten
Het model werd geëvalueerd op drie benchmarks: VQA-RAD, SLAKE en PMC-VQA.

• Prestaties: RoiMAM behaalde een nauwkeurigheid van 88,2% op de gesloten-set SLAKE-evaluatie (waarmee het MedVInT-TD en FAVP versloeg) en 44,9% op PMC-VQA (waarmee het LLaVA-Med met meer dan 2% versloeg, ondanks het gebruik van slechts ongeveer 25% van het aantal parameters).
• Efficiëntie: Met slechts 1,7 miljard parameters presteerde RoiMAM beter dan of gelijk aan modellen met 5 tot 8 keer zoveel parameters (bijvoorbeeld MedVInT-TD met 8,6B).
• Ablatiestudie: Het verwijderen van de RGMo-module veroorzaakte een daling van 7,9% in nauwkeurigheid op PMC-VQA, terwijl het verwijderen van TPE een daling van 4,9% veroorzaakte. Dit bevestigt dat beide modules cruciaal zijn, waarbij ROI-generatie de grootste impact heeft.

Betekenis en Claims
Het artikel claimt dat RoiMAM succesvol de kloof overbrugt tussen high-performance medische AI en praktische implementatie. Door de noodzaak van dure gesuperviseerde training voor regio-localisatie te elimineren en de modelgrootte drastisch te verminderen, betogen de auteurs dat hun aanpak geavanceerde MedVQA haalbaar maakt voor edge-implementatie en omgevingen met beperkte rekenkundige middelen. Het model toont aan dat efficiënte, lightweight architecturen concurrerende nauwkeurigheid kunnen bereiken in medische diagnostische taken, en biedt een levensvatbaar alternatief voor zware, resource-intensieve VLM's.