Variational Visual Question Answering for Uncertainty-Aware Selective Prediction

Probleemstelling

Ondanks de recente opmerkelijke vooruitgang bij Vision Language Models (VLMs), zoals die worden gebruikt voor Visual Question Answering (VQA) en visueel redeneren, blijven deze modellen vatbaar voor oververtrouwen (overconfidence) en hallucinaties. Zelfs modellen die menselijke prestaties benaderen, zijn vaak slecht gekalibreerd; ze geven een antwoord met een hoge zekerheid, zelfs als het antwoord incorrect is. Dit gebrek aan een goed begrip van eigen onzekerheid vormt een grote belemmering voor de inzet in veiligheidskritieke domeinen (zoals medische diagnose of hulp voor visueel gehandicapten), waar het beter is om toe te geven "ik weet het niet" dan een foutief antwoord te geven.

Bestaande methoden voor selectieve voorspelling (waarbij een model zich kan onthouden van een antwoord als het onzeker is) hebben vaak nadelen:

1. Ze vereisen vaak extra modelcomponenten of externe tools, wat de complexiteit en het aantal foutpunten vergroot.
2. Bayesiaanse methoden, die theoretisch onzekerheid kunnen schatten, zijn tot nu toe te kostbaar of inefficiënt gebleken voor grote transformer-architecturen.

Methodologie: Variational VQA (VarVQA)

De auteurs stellen Variational VQA voor, een framework dat variational Bayes toepast op grote multimodale modellen om onzekerheid direct in het model te "bakken" zonder extra parameters of trainingstappen.

Kerncomponenten:

1. IVON Optimizer: Het artikel maakt gebruik van de Improved Variational Online Newton (IVON) optimizer. In tegenstelling tot traditionele Bayesiaanse methoden die zwaar zijn, leert IVON een verdeling over de modelgewichten (posterior) door zowel de gemiddelden ($m$) als de varianties ($v$) van de gewichten te updaten. Dit gebeurt met een vergelijkbare rekentijd als de standaard AdamW optimizer, maar levert een volledige posterior-verdeling op in plaats van alleen puntgewichten.
2. Inferentie en Sampling:
   • VarVQA mean: Voor minimale rekentijd kunnen de gemiddelde parameters ($m$) worden gebruikt (één forward pass).
   • VarVQA sampling: Voor betere onzekerheidsschatting worden $S$ steekproeven getrokken uit de geleerde posterior ($\theta^{(s)} \sim q$). De uitkomsten worden geaggregeerd tot een gemiddelde waarschijnlijkheid ($\bar{\mu}$) en een variantie ($\bar{\sigma}^2$).
3. Risico-averse Selector ($g_{BPA}$):
   • De auteurs introduceren een nieuwe selectiefunctie die verder gaat dan standaard "predictive averaging".
   • De formule is: $g_{BPA}(x) = \bar{\mu}_{\kappa}(x) - \bar{\sigma}_{\kappa}(x)$, waarbij $\kappa$ de meest waarschijnlijke klasse is.
   • Door de standaardafwijking ($\bar{\sigma}$) af te trekken van de gemiddelde waarschijnlijkheid, wordt de betrouwbaarheidsscore gestraft bij hoge variantie. Dit creëert een conservatieve ondergrens voor vertrouwen, wat ideaal is voor scenario's waar fouten zeer kostbaar zijn (high-stakes).

Belangrijkste Bijdragen

1. Eerste succesvolle toepassing: Het is de eerste studie die aantoont dat variational Bayes effectief is voor grote multimodale transformers (zoals ViLT en BEiT-3) en dat het IVON-optimizer hierbij een sleutelrol speelt.
2. Verbeterde Kalibratie en Selectieve Voorspelling: VarVQA levert modellen die beter gekalibreerd zijn (lagere Expected Calibration Error - ECE) en superieure prestaties leveren bij selectieve voorspelling, vooral bij lage fouttoleranties (bijv. ≤1%).
3. Efficiëntie: Het methode is efficiënter dan Monte-Carlo Dropout (MC Dropout). Met hetzelfde rekentijd-budget (aantal steekproeven) levert VarVQA betrouwbaardere resultaten.
4. Nieuwe Selector: De introductie van de risico-averse selector ($g_{BPA}$) die gebruikmaakt van output-variantie, wat leidt tot consistente verbeteringen in high-stakes scenario's.

Resultaten

De experimenten zijn uitgevoerd op VQAv2 (VQA) en NLVR2 (Visueel Redeneren) met modellen ViLT en BEiT-3.

• Prestaties: VarVQA behaalt vergelijkbare nauwkeurigheid als AdamW, maar met aanzienlijk betere betrouwbaarheid.
• High-Stakes Scenario's: Bij zeer strenge eisen (bijv. maximaal 1 fout per 200 antwoorden, oftewel C@1%), verbetert VarVQA de dekking (coverage) met 7-14% ten opzichte van AdamW.
• Robuustheid: VarVQA is robuuster tegen Out-of-Distribution (OOD) data (getest met AdVQA). Hoewel de nauwkeurigheid voor alle methoden daalt bij OOD-data, blijft VarVQA beter gekalibreerd en maakt het minder fouten door zich tijdig te onthouden.
• Vergelijking met MC Dropout: VarVQA overtreft MC Dropout consistent in selectieve voorspelling en kalibratie, zelfs wanneer beide methoden hetzelfde aantal steekproeven gebruiken tijdens inferentie.
• Kwalitatieve resultaten: In gevallen waar AdamW een foutief antwoord geeft met hoge zekerheid, geeft VarVQA vaak "Ik weet het niet" (onthouding) of het juiste antwoord met een realistischere onzekerheidsschatting.

Betekenis en Conclusie

Dit artikel biedt overtuigend bewijs dat variational learning een haalbare en krachtige optie is om grote VLMs veiliger en betrouwbaarder te maken. De belangrijkste implicaties zijn:

• Vertrouwen in AI: Het stelt modellen in staat om hun eigen onzekerheid te kwantificeren, wat essentieel is voor de toepassing van AI in de echte wereld.
• Efficiëntie: Het weerlegt het idee dat Bayesiaanse methoden te zwaar zijn voor grote modellen; met IVON is dit nu mogelijk zonder significante overhead.
• Toekomstperspectief: De voorgestelde aanpak (VarVQA + risico-averse selector) biedt een nieuwe standaard voor het bouwen van "veilige" multimodale systemen die weten wanneer ze zich moeten onthouden, wat cruciaal is voor de volgende generatie AI-toepassingen in kritieke domeinen.

De auteurs merken wel op dat hyperparameter-tuning voor IVON nog complexer is dan voor AdamW en dat er nog ruimte is voor verbetering om modellen echt te laten weten wat ze niet weten (de dekking ligt nog onder het theoretische optimum).