Technische Samenvatting: Visual Semantic Entropy (VSE)

1. Probleemdefinitie

Vision-Language Models (VLM's) blinken uit in Visual Question Answering (VQA), maar produceren vaak zelfverzekerde voorspellingen op visueel ambigue inputs, wat leidt tot bevooroordeelde en onbetrouwbare resultaten. Betrouwbare onzekerheidsschatting (Uncertainty Estimation, UE) is cruciaal voor het filteren van deze voorspellingen. Bestaande UE-methoden vertonen echter drie specifieke faalmodi wanneer ze op VLM's worden toegepast:

1. Onderdrukte Outputvariatie: Standaard entropie-gebaseerde methoden zoals Semantic Entropy (SE) vertrouwen op stochastische decodering om diverse outputs te genereren. De auteurs tonen aan dat wanneer een VLM een zeer zelfverzekerde visuele embedding vormt (zelfs voor ambigue afbeeldingen), stochastische decodering bijna identieke outputs oplevert. Bijgevolg onderschat SE de onzekerheid omdat het er niet in slaagt de ambiguïteit die inherent is aan de visuele input te vangen.
2. Inflatie van Afstanden door Woordkeuze: Methoden die paarwijze semantische afstanden aggregeren (bijv. SNNE) behandelen antwoorden als categorische labels of vertrouwen op embedding-afstanden. Omdat taal discreet is, kunnen semantisch equivalente antwoorden met verschillende formuleringen ver uit elkaar lijken te liggen in de embedding-ruimte. Deze linguïstische variatie blaast de onzekerheidsschattingen op, zelfs wanneer er geen sprake is van werkelijke semantische onenigheid.
3. Textuele Dominantie bij Gezamenlijke Perturbaties: Recente benaderingen onderzoeken onzekerheid via input-perturbaties, inclus$of tekstuele parafrasering of gezamenlijke tekst-beeld-perturbaties. De auteurs laten zien dat tekstuele parafrasering aanzienlijk grotere semantische verschuivingen in de multimodale embedding-ruimte induceert dan visuele perturbaties. Als gevolg hiervan wordt de outputvariabiliteit in deze methoden primair gedreven door prompt-gevoeligheid (linguïstische veranderingen) in plaats van visuele ambiguïteit, waardoor de onzekerheidsschattingen eerder de tekstgevoeligheid weerspiegelen dan het visuele bewijs.

2. Methodologie: Visual Semantic Entropy (VSE)

Om deze beperkingen aan te pakken, stellen de auteurs Visual Semantic Entropy (VSE) voor, een framework dat ontworpen is om visuele ambiguïteit te onderzoeken terwijl linguïstische ruis wordt geminimaliseerd. De methode bestaat uit drie kernfasen:

A. Visuele Perturbatie (Vaste Tekst)

In tegenstelling tot methoden die de vraag veranderen of tekst en beeld gezamenlijk perturberen, houdt VSE de tekstuele query $q$ vast en perturbeert alleen de input-afbeelding $v$.

• Mechanisme: Een visuele perturbatie-operator $\mathcal{T}$ genereert $M$ geperturbeerde views $v_m = \mathcal{T}(v; \xi_m)$. De auteurs gebruiken Gaussische ruis met een vaste, kleine standaarddeviatie ($\sigma=20$) om lokale visuele variaties te induceren zonder de hoogwaardige semantische inhoud te veranderen of het monster buiten de lokale omgeving van de oorspronkelijke input te brengen.
• Rationale: Dit isoleert de visuele onzekerheid. Door tekstuele wijzigingen te vermijden, voorkomt de methode het probleem van "prompt-gevoeligheid", waarbij parafrasering de outputdiversiteit domineert.

B. Antwoord Sampling

De VLM genereert $M$ antwoord-samples $\{a_m\}$ die corresponderen met de $M$ geperturbeerde afbeelding-views. Dit proces roept alternatieve interpretaties op van het visuele bewijs die stochastische decodering alleen mogelijk zou missen wanneer visuele embeddings overdreven zelfverzekerd zijn.

C. Prototype Semantic Aggregation (ProtoSem)

Om te voorkomen dat linguïstische variaties de onzekerheid opblazen, aggregeert VSE antwoorden op semantisch niveau in plaats van ze als ruwe tokens te behandelen.

1. Clustering: De antwoordvarianten worden geclusterd in $K$ groepen $\{c_k\}$ op basis van semantische afstand (met behulp van een vooraf getraind semantisch gelijktijdigheidsmodel zoals DeBERTa).
2. Prototype Selectie: Voor elke cluster $c_k$ wordt een prototype-antwoord $p_k$ geselecteerd, zijnde het lid dat de gemiddelde afstand tot andere leden in dezelfde cluster minimaliseert.
3. Onzekerheidsberekening: Onzekerheid wordt berekend als de massagewogen paarwijze dispersie tussen deze prototypes:
   $$\tilde{u} = \sum_{k \neq k'} w_k w_{k'} \, \mathrm{d}(p_k, p_{k'})$$
   waarbij $w_k = |c_k|/M$ de empirische waarschijnlijkheid (massa) van cluster $k$ is. Deze metriek vangt onenigheid tussen verschillende semantische betekenissen, terwijl intra-cluster wording-variaties worden genegeerd.

3. Belangrijkste Bijdragen

1. Analyse van Faalmodi: Het artikel biedt een systematische analyse die drie specifieke beperkingen identificeert van huidige VLM onzekerheidsschatters: (1) oververzekerde visuele embeddings die de outputdiversiteit onderdrukken, (2) wording-variaties die afstand-gebaseerde metrieken opblazen, en (3) tekstuele perturbaties die de outputvariabiliteit domineren in gezamenlijke perturbatie-schema's.
2. Visual Semantic Entropy (VSE): De auteurs introduceren VSE, een nieuwe UE-methode die alleen de afbeelding perturbeert om visuele ambiguïteit te onderzoeken en prototype-gebaseerde semantische aggregatie gebruikt om onzekerheid te kwantificeren. Dit ontwerp vermijdt expliciet de verwarrende factoren van prompt-gevoeligheid en linguïstische ruis.
3. Uitgebreide Benchmarking: De studie evalueert VSE over vijf moderne VLM's (Qwen2.5-VL, Gemma3, Intern3.5-VL, LLaVA-NeXT, Qwen3-VL) en vijf diverse benchmarks (OKVQA, AOKVQA, MMVet, VILP, VLM-are-biased), waarmee een nieuwe state-of-the-art wordt gevestigd voor de onzekerheidsschatting bij VQA.

4. Experimentele Resultaten

De evaluatie gebruikt de Area Under the ROC Curve (AUC) om te meten hoe goed onzekerheidsscores correcte van incorrecte voorspellingen onderscheiden.

• Algemene Prestaties: VSE presteert consistent beter dan bestaande methoden (Verbalized, Logit-based, Consistency-based, en Entropy-based) over alle geteste modellen en datasets. Zo behaalde VSE op de AOKVQA-dataset AUC-scores variërend van 0,724 tot 0,798 over verschillende modellen, waarmee het de op één na beste entropy-gebaseerde methode (VL-Uncertainty) in sommige gevallen met wel 9,2% versloeg.
• Focus op Visuele Ambiguïteit: Op adversariële datasets die ontworpen zijn om visuele bias bloot te leggen (VILP en VLM-are-biased), liet VSE de meest significante winsten zien. Bijvoorbeeld, op VILP met Qwen2.5-VL behaalde VSE een AUC van 0,650, wat de baseline SE (0,535) en VL-Uncertainty (0,489) aanzienlijk versloeg. Dit bevestigt het vermogen van VSE om onzekerheid te vangen die specifiek voortkomt uit visuele ambiguïteit.
• Ablatiestudies:
  • Het toevoegen van visuele perturbatie aan bestaande entropie-methoden (SE en SNNE) verbeterde hun prestaties consequent, wat de noodzaak valideert om de visuele inputruimte te onderzoeken.
  • Het vervangen van ruwe antwoord-sampling door Prototype Semantic Aggregation (ProtoSem) verbeterde de resultaten verder, wat bevestigt dat het clusteren van semantisch equivalente antwoorden de ruis van linguïstische variaties vermindert.

5. Betekenis en Claims

Het artikel claimt dat VSE een nieuwe state-of-the-art vestigt voor onzekerheidsschatting in VQA door direct de bron van ambiguïteit aan te pakken: de visuele input. De auteurs stellen dat betrouwbare onzekerheidsschatting vereist:

• Het onderzoeken van de visuele inputruimte in plaats van enkel te vertrouwen op de stochastiek van de decodering.
• Het vermijden van tekstuele perturbaties die prompt-gevoeligheid introduceren.
• Het aggregeren van voorspellingen op het niveau van het semantische prototype om linguïstische ruis te mitigeren.

De auteurs positioneren VSE als een stap naar meer betrouwbare VLM-implementaties, met name in scenario's waar het visuele bewijs ambigu is. Ze erkennen beperkingen, waaronder de extra computationele kosten geassocieerd met perturbatie-gebaseerde sampling en de gevoeligheid voor de semantische afstandfunctie die voor clustering wordt gebruikt, maar benadrukken dat hun aanpak een getrouwer beeld geeft van visuele onzekerheid dan de huidige alternatieven.