Believing without Seeing: Quality Scores for Contextualizing Vision-Language Model Explanations

Titel: Geloven zonder te zien: Kwaliteitsscores voor het contextualiseren van uitleg van Vision-Language Modellen

1. Het Probleem

Vision-Language Modellen (VLM's) worden steeds vaker ingezet in scenario's waar gebruikers de visuele context niet kunnen zien, zoals bij hulp voor blinden en slechtzienden of bij autonome digitale agenten. Hoewel VLM's natuurlijke taal-uitleg (explanations) kunnen genereren om hun voorspellingen te onderbouwen, blijkt uit eerdere onderzoek dat deze uitleg gebruikers vaak misleidt. Zelfs wanneer een VLM een onjuiste voorspelling doet, kan de bijbehorende uitleg zo overtuigend klinken dat gebruikers ten onrechte vertrouwen op het model (over-reliance).

Bestaande methoden om de kwaliteit van uitleg te meten (zoals simulatabiliteit of informativiteit) zijn voornamelijk ontwikkeld voor tekst-only modellen en houden geen rekening met de visuele context. Dit leidt tot een gebrek aan correlatie tussen de kwaliteitsscore van de uitleg en de feitelijke juistheid van de VLM-voorspelling. Er is dus behoefte aan nieuwe methoden om gebruikers te helpen bepalen wanneer ze een VLM-voorspelling kunnen vertrouwen, zelfs zonder de originele afbeelding te zien.

2. Methodologie: Twee Nieuwe Kwaliteitsmetrieken

De auteurs introduceren twee nieuwe, complementaire kwaliteitsmetrieken specifiek voor VLM's, die worden berekend zonder ground-truth annotaties (training-free):

A. Visual Fidelity (Visuele Fideliteit)

• Definitie: Meet hoe trouw de uitleg is aan de werkelijke inhoud van de afbeelding. Het doel is te detecteren of het model hallucinaties (uitvindingen) bevat in zijn uitleg.
• Implementatie (Algorithm 1):
  1. Een LLM ($m_{QGen}$) genereert een reeks ja/nee-vragen op basis van de feiten die in de uitleg worden genoemd.
  2. Een verifier-model ($m_{Verif}$, standaard GPT-4o) beantwoordt deze vragen puur op basis van de afbeelding.
  3. De score ($S_{VF}$) is het percentage vragen dat met "ja" wordt beantwoord. Een hoge score betekent dat de details in de uitleg visueel geverifieerd zijn.

B. Contrastiveness (Contrasterend Vermogen)

• Definitie: Meet in hoeverre de uitleg specifieke visuele details identificeert die het juiste antwoord onderscheiden van plausibele alternatieven. Het doel is te bepalen of de uitleg andere opties uitsluit.
• Implementatie (Algorithm 2):
  1. Alle vermeldingen van mogelijke antwoorden in de uitleg worden gemaskeerd om label-lekkage te voorkomen.
  2. Voor elk mogelijk antwoord $a_j$ (inclusief de voorspelling van het model) wordt een hypothese $h_j$ gegenereerd (een bewering die het antwoord ondersteunt).
  3. Een entailment-model ($m_{NLI}$) berekent de waarschijnlijkheid dat de gemaskeerde uitleg de hypothese impliceert.
  4. De score ($S_{Contr.}$) is de relatieve implicatie-waarschijnlijkheid van de voorspelling ten opzichte van alle alternatieven. Een hoge score betekent dat de uitleg sterk voor het gekozen antwoord pleit en andere opties uitsluit.

Combinatie: De auteurs evalueren ook gecombineerde scores (gemiddelde, product en minimum) van deze twee metrieken.

3. Belangrijkste Resultaten

A. Calibratie en Discriminatie (Automatische Evaluatie)
De auteurs testten de metrieken op drie datasets (A-OKVQA, VizWiz, MMMU-Pro) met drie VLM's (LLaVA, Qwen2.5-VL, GPT-4o).

• Betere Calibratie: De voorgestelde metrieken (Visual Fidelity en Contrastiveness) tonen een veel sterkere correlatie met de feitelijke juistheid van het model dan bestaande tekst-only metrieken.
• Discriminatie: De "Product"-combinatie ($S_{Prod} = S_{VF} \times S_{Contr.}$) behaalde de hoogste discriminatie-scores (het verschil in score tussen juiste en onjuiste voorspellingen) en de laagste Expected Calibration Error (ECE). Dit betekent dat de score betrouwbaar aangeeft of een voorspelling correct is.

B. Gebruikersstudie (Human-in-the-loop)
Er werd een user study uitgevoerd waarbij deelnemers moesten beoordelen of een VLM-voorspelling correct was, zonder de afbeelding te zien.

• Verbeterde Besluitvorming: Het tonen van de kwaliteitsscores naast de uitleg verbeterde de nauwkeurigheid van de gebruikers met 11,1%.
• Reductie van Over-reliance: De mate waarin gebruikers onjuiste voorspellingen als waar aanvaardden (False Acceptance Rate) daalde met 15,4%.
• Presentatievorm: Het tonen van de scores als tekstuele beschrijvingen (bijv. "De uitleg bevat visuele details die zijn geverifieerd") bleek soms zelfs effectiever dan alleen numerieke scores, vooral bij het verminderen van over-reliance.
• Label-onafhankelijkheid: Het bleek dat de numerieke waarde van de score belangrijker was dan hoe deze werd gelabeld (bijv. "AI Confidence" vs. "Visual Fidelity"); de distributie van de score drijft het gedrag.

4. Bijdragen en Significatie

• Nieuwe Paradigmatische Metrieken: Het paper introduceert de eerste methoden om de kwaliteit van VLM-uitleg te evalueren door expliciet de relatie met de visuele input te analyseren, in plaats van alleen de tekstuele coherentie.
• Praktische Toepassing voor Toegankelijkheid: De oplossing biedt een concrete manier om blinden en slechtzienden te helpen vertrouwen op AI-assistenten, wat cruciaal is voor veilige en betrouwbare interactie.
• Training-Free Benadering: De methoden vereisen geen extra training van het model of ground-truth annotaties van uitlegkwaliteit, wat ze schaalbaar maakt.
• Inzicht in Mens-AI Interactie: De studie toont aan dat het communiceren van waarom een uitleg goed of slecht is (via deze scores), gebruikers helpt om kritischer te zijn en minder blind te vertrouwen op modellen die hallucineren.

Conclusie:
De auteurs concluderen dat het enkel tonen van een uitleg onvoldoende is om vertrouwen te bouwen in VLM's. Door het toevoegen van contextuele kwaliteitsscores (Visual Fidelity en Contrastiveness) kunnen gebruikers veel beter inschatten wanneer een model betrouwbaar is en wanneer ze sceptisch moeten blijven, zelfs zonder toegang tot de visuele bron. Dit is een belangrijke stap naar veiliger en transparantere AI-systemen voor kwetsbare gebruikersgroepen.