Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA

Technische Samenvatting: Verbale Onzekerheidskalibratie in Medische VQA Verbeteren

Probleemstelling
Multimodale Large Language Models (MLLM's) toegepast op Medische Visual Question Answering (VQA) vertonen frequent overmoed (overconfidence), waarbij ze hoog-betrouwbare outputs genereren ongeacht hun werkelijke juistheid. Dit gebrek aan gekalibreerde zelfbeoordeling beperkt hun betrouwbaarheid in klinische settings, waar clinici handmatig de redenering moeten verifiëren in plaats van te kunnen vertrouwen op de betrouwbaarheid van het model. Bestaande methoden voor verbale betrouwbaarheidskalibratie zijn primair ontworpen voor tekst-gebaseerde LLM's en houden geen rekening met de multimodale aard van medisch beeldbegrip. Bovendien zijn huidige benaderingen vaak getraind op enkelvoudige inputcondities, waardoor ze er niet in slagen het model te leren hoe de betrouwbaarheid moet verschuiven wanneer visueel bewijs of de integriteit van de tekst wordt verstoord.

Methodologie
De auteurs stellen een training-gebaseerd framework voor dat MLLM's fijn afstemt om betere gekalibreerde verbale betrouwbaarheidsscores te produceren. De aanpak steunt op drie kerncomponenten:

1. 2 × 2 Factorieel Perturbatieontwerp:
   Om het model te leren de betrouwbaarheid te funderen in het gebruik van bewijslast, introduceren de auteurs een perturbatieschema dat twee assen kruist:

   • Beschikbaarheid van Afbeelding: Originele afbeelding versus een zwart gemaakte afbeelding (het verwijderen van visueel bewijs zonder de kenmerken te verstoren via ruis).
   • Tekstintegriteit: Originele opties versus geperturbeerde opties (het door elkaar husselen van de volgorde en het vervangen van afleiders door opties uit vergelijkbare vragen om gememoriseerde patronen te vernietigen).
     Dit levert vier condities per vraag op. Het model genereert meerdere responsen ($G=10$) voor elke conditie om de fractionele accuratesse te berekenen, wat dient als de grondwaarheid (ground truth) doelstelling voor kalibratie.

2. Composiete Kalibratie Verliesfunctie:
   Het framework optimaliseert een composiete verliesfunctie bestaande uit vier termen:

   • Brier Loss: Stuurt de voorspelde betrouwheidsdistributie naar de empirische fractionele accuratesse afgeleid van de perturbatiecondities.
   • Anchor Regularizer: Voorkomt dat het model instort naar extreme betrouwheidswaarden (0 of 1) door afwijkingen van een middelpunt ($c_{mid} = 0.5$) te bestraffen voor onzekere samples. Dit fungeert als een conservatieve prior, die sterke bewijslast vereist om de betrouwbaarheid weg te bewegen van maximale onzekerheid.
   • Alignment Loss: Een contrastieve term die ervoor zorgt dat veranderingen in betrouwbaarheid over de perturbatiecondities heen de bijbehorende veranderingen in empirische accuratesse volgen. Dit dwingt het model om de betrouwbaarheid aan te passen op basis van de informatieve bijdrage van specifieke bewijsbronnen (visueel versus tekstueel).
   • Top-k KL Divergence Regularizer: Toegepast op de antwoord-tokens (exclusief de betrouwbaarheid-token) tegenover een bevroren kopie van het basismodel. Dit behoudt het oorspronkelijke antwoordvermogen en de instructie-opvolgingscapaciteiten van het model tijdens het fine-tuning proces, waardoor de afname van de accuratesse (accuracy collapse) wordt voorkomen.

3. Trainingsdoelstelling:
   De totale verliesfunctie is een gewogen som van deze componenten. Het model wordt gefinetuned met behulp van LoRA-adapters, waarbij het een redeneerpad (reasoning trace), een antwoord en een verbale betrouwbaarheidstoken genereert (op een discrete integer schaal genormaliseerd naar [0, 1]) in een volgorde van eerst-antwoord, dan-betrouwbaarheid.

Belangrijkste Bijdragen

• Eerste Training-gebaseerde Kalibratie voor Medische VQA: In tegen tegenstelling tot eerder werk dat beperkt is tot tekst-gebaseerde modellen of prompting-gebaseerde engineering, is dit de eerste methode die training-gebaseerde kalibratie specifiek toepast op multimodale medische modellen.
• Bewijs-bewust Perturbatieontwerp: Het innovatieve 2 × 2 factoriële ontwerp onderzoekt en leert het model expliciet het onderscheid te maken tussen de afhankelijkheid van visueel bewijs versus taalprioriteiten.
• Composiete Verliesarchitectuur: De integratie van Brier-kalibratie, een anchor regularizer, contrastieve alignment en een KL-regularizer creëert een robuust trainingssignaal dat gelijktijdig de kalibratie en discriminatie verbetert zonder de voorspellende accuratesse op te offeren.

Resultaten
De methode werd geëvalueerd op drie Medische VQA-benchmarks (OmniMedVQA, PMC-VQA, MedXpertQA) die regimes met hoge, gemiddelde en lage accuratesse dekken, gebruikmakend van twee architecturen (MedGemma-4B-IT en Qwen2-VL-7B-Instruct).

• Kalibratie en Discriminatie: De voorgestelde methode verminderde de kalibratiefout (ECE) met 60% of meer en verbeterde de discriminatie (AUROC) met 26% of meer vergeleken met baselines, inclusche prompting-gebaseerde (Top-K Sampling, SteerConf) en training-gebaseerde (ConfTuner) benaderingen.
• Robuustheid: De methode behield een consistente prestatie over verschillende moeilijkheidsgraden, terwijl de ECE van de baseline aanzienlijk verslechterde naarmate de taakcomplexiteit toenam.
• Behoud van Accuratesse: De top-k KL regularizer slaagde erin de voorspellende accuratesse te behouden, waarbij de Out-of-Distribution (OOD) accuratesse-veranderingen binnen ±0,8 procentpunt bleven.
• Ablatie-studies: Het verwijderen van de alignment term veroorzaakte een scherpe daling in AUROC (discriminatie), terwijl het verwijderen van de KL regularizer leidde tot een significante afname van de accuratesse en een verlies van instructie-opvolgingscapaciteiten (bijv. het falen om de betrouwbaarheid in het juiste formaat te outputten).

Betekenis en Claims
Het artikel claimt dat MLLM's door middel van gerichte fine-tuning een betekenisvolle verbale betrouwbaarheid kunnen leren door de relatie tussen bewijsbronnen en voorspellende juistheid expliciet te modelleren. De auteurs stellen dat hun methode een gelijktijdige verbetering bereikt in zowel kalibratie (gestelde betrouwbaarheid komt overeen met empirische juistheid) als discriminatie (correcte voorspellingen ontvangen hogere betrouwbaarheid dan incorrecte), een trade-off die vaak wordt waargenomen bij eerdere werken.

De auteurs hanteren een bescheiden standpunt met betrekking tot beperkingen:

• Discriminatielimieten: Op de meest uitdagende benchmark (MedXpertQA, ~20% basisaccuratesse), bereikte geen enkele methode betekenisvolle discriminatie, wat suggereert dat verbale betrouwbaarheid nog niet in staat is om correcte van incorrecte voorspellingen te onderscheiden in taken die complexe meerstaps klinische redenering vereisen.
• Scope: Het werk is beperkt tot multiple-choice VQA en kleine modellen (4B en 7B parameters). De auteurs merken op dat het extrapoleren van deze winsten naar open-ended VQA en grotere modellen een openstaande vraag blijft.
• Klinische Implementatie: Hoewel de methode de betrouwbaarheid verbetert, benadrukken de auteurs dat gekalibreerde betrouwbaarheid bedoeld is om menselijk oordeel te ondersteunen, niet te vervangen, en dat verdere validatie onder echte klinische omstandigheden vereist is voordat implementatie kan plaatsvinden.