Visual Alignment of Medical Vision-Language Models for Grounded Radiology Report Generation

Titel en Context

Titel: Visual Alignment of Medical Vision-Language Models for Grounded Radiology Report Generation (VALOR)
Auteurs: Sarosij Bose et al. (NEC Laboratories America & UC Riverside)
Doel: Het oplossen van het probleem van "visuele hallucinaties" in medische Vision-Language Modellen (Med-VLMs) bij het genereren van radiologierapporten, zonder afhankelijk te zijn van dure voorkeursdata of externe zoekopdrachten.

---

1. Het Probleem: Visuele Hallucinaties en Misalignering

Huidige Med-VLMs (zoals LLaVA-Med) zijn krachtig maar lijden aan een fundamenteel tekort: visuele hallucinaties.

• Definitie: De modellen genereren rapporten die klinisch plausibel klinken maar niet worden ondersteund door de feitelijke visuele inhoud van de röntgenfoto. Ze vertrouwen te veel op tekstuele patronen uit hun trainingsdata in plaats van echte cross-modale redenering.
• Beperkingen van bestaande oplossingen:
  1. Data-afhankelijkheid: Methoden die gebruikmaken van Preference Optimization (zoals DPO of MMedPO) vereisen handmatig samengestelde voorkeursdatasets. Deze zijn duur, tijdrovend en vaak gebaseerd op simpele criteria zonder klinische context.
  2. Retrieval-augmentatie: Benaderingen die externe rapporten ophalen (RAG) introduceren nieuwe hallucinaties, omdat de opgehaalde rapporten van andere patiënten kunnen zijn en niet overeenkomen met de huidige afbeelding.
  3. Gebrek aan visuele gronding: Bestaande methoden verifiëren zelden of het gegenereerde rapport daadwerkelijk overeenkomt met de specifieke ziekteverschijnselen in de input-afbeelding.

---

2. Methodologie: Het VALOR Framework

VALOR (Visual Alignment of Medical Vision-Language Models for GrOunded Radiology Report Generation) introduceert een tweestaps post-training proces dat de modelbeleid (policy) optimaliseert via twee complementaire redeneringsfasen. Het vereist geen externe voorkeursdata, geen zoekdatabases en geen extra annotaties.

Fase 1: Instruction-Following Warmup (SFT)

Voordat de beloningsoptimalisatie begint, ondergaat het model een Supervised Fine-Tuning (SFT) op een gecurateerde dataset.

• Doel: Stabiliseren van het model voor gestructureerde rapportgeneratie en het voorkomen van "degeneratieve" output tijdens de latere RL-fase.
• Methode: Minimalisatie van de negatieve log-waarschijnlijkheid ten opzichte van grondwahrheid (ground truth) tokens.

Fase 2: Multi-Stage Rewards for Clinical and Visual Alignment

Dit is de kern van VALOR, bestaande uit twee sub-fasen die de beleidsoptimalisatie (via GRPO - Group Relative Policy Optimization) sturen:

Stap A: Klinisch Ingeformeerde Tekstuele Redenering (Stage-1)

• Doel: Zorgen voor semantische volledigheid en correcte medische terminologie.
• Beloningen:
  • Verifieerbare Tekstuele Beloningen ($R_{ver}$): Gebaseerd op NLP-metrics (BLEU, ROUGE, BERTScore) voor token-overeenkomst.
  • Periodieke Klinische Beloningen ($R_{clin}$): Gebruik van CheXbert en RadGraph om de F1-scores van ziekte-entiteiten te meten. Deze worden niet bij elke stap toegepast (om instabiliteit te voorkomen), maar periodiek (elke $k_{clin}$ stappen) om de focus op klinisch correcte taal te houden.

Stap B: Zelftoezicht Visuele Redenering (Stage-2)

• Doel: Dwingen tot visuele gronding (grounding) zonder externe data.
• Methode:
  • Een bevroren domeinexpert (een multi-label model) wordt gebruikt om een beeld-tekst vergelijkingscore ($S_i$) te berekenen tussen de invoer-röntgenfoto en de gegenereerde kandidaat-rapporten.
  • Deze scores worden omgezet in rang-genormaliseerde voordelen (rank-normalized advantages). Dit betekent dat het model leert om de kandidaat-rapporten te prefereren die het sterkst overeenkomen met de visuele kenmerken van de foto.
  • De uiteindelijke beloning ($R_{vis}$) is een gewogen som van de tekstuele beloning en de visuele rangscore, gestuurd door een mix-coëfficiënt $\lambda_{vis}$.

---

3. Belangrijkste Bijdragen

1. VALOR Framework: Een nieuw framework dat visueel grondige en klinisch informatieve rapporten genereert via twee redeneringsfasen, zonder afhankelijkheid van externe voorkeursdatasets of retrieval-methoden.
2. Nieuwe Beloningsmechanismen:
   • Klinisch ingegeven tekstuele beloningen voor precieze terminologie.
   • Rang-genormaliseerde visuele voordelen die een bevroren expert gebruiken om de beleidskeuze te sturen op basis van beeld-tekst overeenkomst. Dit elimineert de noodzaak van menselijke voorkeursparen.
3. Uitgebreide Evaluatie: Een grondige evaluatie op IU-XRay en MIMIC-CXR datasets, waarbij zowel generatiekwaliteit als klinische nauwkeurigheid worden gemeten, wat zelden gezamenlijk gebeurt in eerdere werken.

---

4. Resultaten

VALOR presteert significant beter dan state-of-the-art (SOTA) methoden, inclusief MMedPO, DPO, en grote commerciële modellen (zoals GPT-4o, Gemini, en MedFlamingo).

• Generatiekwaliteit:

  • Op IU-XRay: VALOR behaalde een BLEU-score van 27.03 (vs. 23.57 voor MMedPO) en een ROUGE-L van 33.10.
  • Op MIMIC-CXR: VALOR behaalde een BLEU-score van 13.52 (vs. 12.02 voor MMedPO).
  • VALOR overtreft zowel algemene multimodale LLMs als gespecialiseerde medische modellen in een zero-shot setting met ongeveer 17-20% verbetering in generatiekwaliteit.

• Klinische Nauwkeurigheid:

  • Op IU-XRay steeg de CheXpert F1-score naar 57.2% (vs. 49.8% voor MMedPO en 40.6% voor de basis LLaVA-Med).
  • Verbetering op gespecialiseerde klinische metrics zoals GREEN en RaTEScore met gemiddeld 15%.

• Visuele Grounding (Aandachtsvisualisatie):

  • Visualisaties tonen aan dat de basis-modellen vaak naar verkeerde gebieden kijken (bijv. de basis van de long of het bekken) of geen ziekte detecteren waar deze wel is.
  • VALOR richt zijn aandacht correct op de relevante longgebieden (bijv. "opacity", "atelectasis", "consolidation"), wat leidt tot nauwkeurigere diagnoses.

---

5. Significantie en Conclusie

Het paper toont aan dat het mogelijk is om Med-VLMs te verbeteren door hun inherente redeneervermogen te richten op de visuele input, in plaats van te vertrouwen op externe kennisbronnen of dure menselijke annotaties.

• Onafhankelijkheid: VALOR lost het probleem van hallucinaties op zonder de last van het verzamelen van voorkeursdata of het onderhouden van retrieval-databases.
• Klinische Betrouwbaarheid: Door visuele gronding te forceren via zelftoezicht, worden rapporten die feitelijk correct zijn en direct gekoppeld aan de patiëntafbeelding gegenereerd.
• Toekomstperspectief: Dit werk charteert een praktische weg naar betrouwbare, image-aligned rapportagesystemen die de werkdruk voor medisch personeel kunnen verlagen en de patiëntbeoordeling kunnen verbeteren.

Kortom, VALOR bewijst dat een slimme combinatie van tekstuele en visuele beloningen, zonder externe data, leidt tot superieure medische AI-prestaties.