Technische Samenvatting: CURE

Probleemstelling

Medische Vision-Language Models (VLMs) hebben potentieel getoond bij het automatiseren van radiologische rapportagegeneratie, maar zij worden geconfronteerd met kritieke beperkingen met betrekking tot visuele gronding (visual grounding) en feitelijke consistentie. Bestaande state-of-the-art modellen, zoals MAIRA-2, vertonen vaak een mismatch tussen tekstuele bevindingen en visueel bewijs, wat leidt tot "hallucinaties" waarbij het model klinisch incorrecte beschrijvingen genereert of pathologieën detecteert die niet aanwezig zijn in de afbeelding. Dit gebrek aan betrouwbaarheid belemmert klinische adoptie, aangezien modellen feitelijk accurate outputs moeten produceren die gegrond zijn in specifieke beeldregio's om betrouwbaarheid in real-world workflows te garanderen. Bovendien falen standaard fine-tuning strategieën vaak in het overdragen van visuele grondingscapaciteiten naar modellen die deze niet inherent bezitten, en worstelen bestaande multi-task learning benaderingen met ongebalanceerde datadistributies, waardoor modellen overfitten op frequente patronen terwijl ze zeldzame maar klinisch significante bevindingen verwaarlozen.

Methodologie

De auteurs stellen CURE voor (CUrrriculum-guided Multi-task Training for REliable Anatomy Grounded Report Generation), een framework ontworpen om de betrouwbaarheid en visuele gronding van medische VLMs te verbeteren zonder extra trainingsdata te vereisen. CURE werkt op een basismodel (MedGemma-4B-IT) en herformuleert de trainingspipeline via drie kerncomponenten:

1. Verfijnde Taakformulering

CURE verenigt diverse supervisiesignalen (bounding boxes, zinsdelen, anatomische labels en beschrijvende zinnen) uit publieke datasets (MIMIC-CXR/Chest ImaGenome, MS-CXR, PadChest-GR) in een consistente multi-task instructieformat. Het framework deelt taken op in:

• Phrase Grounding (PG): Het koppelen van rapport-zinsdelen aan bounding boxes.
• Grounded Report Generation (GRG): Het genereren van volledige rapporten met expliciete coördinaatkoppelingen.
• Anatomy-Grounded Report Generation (AGRG): Een nieuwe, gedetailleerde taak afgeleid van Chest ImaGenome scene graphs. Het splitst het generatieproces op in drie subtaken voor specifieke anatomische locaties: Locate (spatiële lokalisatie), Describe (contextuele beschrijving) en Locate and Describe (gelijktijdige uitvoering). Deze decompositie stelt het model in staat om spatiale en semantische alignment onafhankelijk en gezamenlijk te leren.

2. Error-Aware Curriculum Learning

Om dataimbalans (zowel inter- als intra-dataset) aan te pakken en te voorkomen dat het model overfit op gemakkelijke samples, gebruikt CURE een dynamische curriculum learning strategie.

• Dynamische Sampling: In plaats van statische sampling proportioneel aan de datasetgrootte, past CURE de sampling-waarschijnlijkheden aan op basis van de huidige prestaties van het model.
• Twee niveaus van granulariteit:
  • Inter-Dataset: Herweegt de bijdrage van verschillende databronnen (bijv. MS-CXR versus Chest ImaGenome) op basis van geaggregeerde prestatiescores.
  • Intra-Dataset: Herweegt specifieke anatomische regio's of semantische klassen binnen een dataset op basis van hun per-klasse foutpercentages.
• Prestatie-metriek: Sampling-gewichten worden iteratief bijgewerkt met behulp van een samengestelde score ($s_i$) die Intersection over Union (IoU) voor lokalisatie en CXRFEScore voor tekstuele getrouwheid combineert. Het foutpercentage ($e_i = 1 - s_i$) bepaalt de sampling-waarschijnlijkheid voor de volgende fase, waardoor het model wordt gedwongen zich te concentreren op "moeilijkere" samples en onderpresterende categorieën.

3. Trainingspipeline

Het trainingsproces omvat een pre-training fase op Chest ImaGenome om een grounding baseline te vestigen, gevolgd door een multi-task fine-tuning fase waarin het curriculum learning mechanisme actief is. Het framework maakt gebruik van LoRA (Low-Rank Adaptation) voor efficiënte parameter-tuning en gebruikt bounding-box-bewuste data-augmentaties (bijv. spatiale transformaties, CLAHE) om robuustheid te verbeteren.

Belangrijkste Bijdragen

1. CURE Framework: De introductie van een error-aware curriculum learning framework dat de sampling-distributies dynamisch aanpast op basis van modelprestaties, wat de visuele gronding verbetert zonder extra data te vereisen.
2. Effectieve Transfer: Het demonstreren dat de voorgestelde trainingsstrategie succesvol de grondingscapaciteiten overdraagt aan medische VLMs (specifiek MedGemma-4B-IT) die oorspronkelijk geen visuele grondingsmechanismen bezitten, waardoor zij de huidige state-of-the-art modellen kunnen overtreffen ondanks het feit dat zij op minder data zijn getraind.
3. State-of-the-Art Prestaties: Het bereiken van een nieuwe state-of-the-art in visueel gegrondeerde rapportagegeneratie, specifiek het verminderen van hallucinaties en het verbeteren van de spatiale accuratesse over meerdere benchmarks.

Resultaten

Het paper evalueert CURE tegen sterke baselines, inclusief MAIRA-2 en het basis MedGemma-4B-IT, over verschillende taken en datasets:

• Visuele Gronding: CURE verbetert de phrase grounding accuratesse met +0.35 IoU op de Chest ImaGenome dataset vergeleken met MAIRA-2, wat de lokalisatieprestaties effectief verdubbelt. Het behaalt ook hogere Micro en Macro IoU scores op MS-CXR, PadChest-GR, en de zero-shot VinDr-CXR dataset.
• Rapportkwaliteit: Het framework verhoogt de rapportkwaliteit met +0.192 CXRFEScore en behaalt de hoogste scores in CheXbert F1-Micro, cosine similarity, en CXRFEScore op de Anatomy-Grounded Report Generation taak.
• Reductie van Hallucinaties: CURE vermindert hallucinaties van abnormale bevindingen met 18,6% over zes belangrijke anatomische regio's. Specifiek halveert het de rate van tegenstrijdigheden (17,44% vs. 33,22% voor MAIRA-2) en meer dan verdubbelt het de entailment rates (39,50% vs. 15,94%). De reductie is bijzonder significant voor botstructuren zoals de claviculae, waar de hallucinatie-rate van CURE daalt naar 1,00% vergeleken met >59% voor MAIRA-2.
• Zero-Shot Generalisatie: Het model vertoont sterke generalisatiecapaciteiten en presteert beter dan MAIRA-2 op grounding metrieken op de ongeziene VinDr-CXR dataset, ondanks het feit dat MAIRA-2 is getraind op propriëtaire data.

Betekenis en Claims

Het paper claimt dat CURE een belangrijke stap voorwaarts vertegenwoordigt in het betrouwbaar en vertrouwenwaardig maken van medische VLMs voor klinische inzet. Door prioriteit te geven aan onderpresterende samples en anatomische regio's via een error-aware curriculum, pakt het framework het fundamentele probleem van hallucinatie en misalignment aan dat huidige modellen teistert. De auteurs benadrukken dat CURE deze verbeteringen bereikt zonder extra data of modelparameters te vereisen, maar in plaats daarvan vertrouwend op een efficiënter en adaptiever gebruik van bestaande publieke datasets. Het werk suggereert dat dynamische, prestatiegerichte curriculum learning een levensvatbare en noodzakelijke strategie is om de kloof te overbruggen tussen algemene multi-modale modellen en de rigoureuze eisen van medische beeldvorming, wat uiteindelijk de transparantie en het vertrouwen in AI-ondersteunde diagnostiek bevordert.