Technische Samenvatting: FUSE – Kwantificering van Onzekerheid in Vision-Language Modellen

Probleemstelling

Vision-Language Modellen (VLM's) zijn essentieel geworden voor toepassingen variërend van robotica tot de gezondheidszorg, maar blijven vatbaar voor onbetrouwbare outputs zoals hallucinaties en overmoedige redeneringen. Er bestaat een kritieke kloof in de Onzekerheidskwantificering (Uncertainty Quantification, UQ) voor deze modellen. Conventionele methoden die vertrouwen op de waarschijnlijkheid van het volgende token of logit-gebaseerde vertrouwensintervallen, falen in het vastleggen van de semantische ambiguïteit die inherent is aan cross-modale inputs of de variabiliteit van generatieve outputs. Bestaande benaderingen behandelen onzekerheid vaak heuristisch in plaats van als een fundamentele probabilistische grootheid, en ze negeren frequent de onzekerheid die besloten ligt in de latente representaties van het model.

De paper identificeert dat de onzekerheid van een VLM voortkomt uit twee afzonderlijke, complementaire bronnen:

1. Aleatorische Onzekerheid: Intrinsieke ambiguïteit in de inputdata en cross-modale semantiek (bijv. ondergespecificeerde vragen of visueel ambigue regio's).
2. Epistemische Onzekerheid: Variabiliteit in de voorspellingen van het model door beperkingen in kennis, zwakke gronding of distributieverschuivingen, weerspiegeld in de diversiteit van de gegenereerde responsen.

Het doel is om een raamwerk te ontwikkelen dat deze twee bronnen fuseert tot een enkele, gekalibreerde scalaire maatstaf van onzekerheid ($u^\star$) om de correctheid van de output te voorspellen en selectieve voorspelling mogelijk te maken (het onthouden van antwoord bij onzekere queries).

Methodologie: Het FUSE-raamwerk

De auteurs stellen FUSE voor (Fused Uncertainty with Semantic Evidence), een probabilistisch raamwerk dat een Bayesiaans fusiemechanisme gebruikt om aleatorische en epistemische onzekerheden te combineren.

1. Aleatorische Onzekerheid: Data Representatie Prior

Het raamwerk behandelt het niveau van de inputdata als een prior.

• Probabilistische Embeddings: Terwijl standaard VLM's (bijv. CLIP) deterministische embeddings produceren, introduceert FUSE een Gaussian Process (GP) adapter. Deze adapter brengt deterministische embeddings ($z_I, z_T$) in naar probabilistische distributies ($N(\mu, \Sigma)$) door een gedeelde latente variabele $x$ te leren die de "ware" betekenis van de data representeert.
• Sparse Variational GP: Om schaalbaarheid te garanderen, gebruiken de auteurs een sparse variational Gaussian Process Latent Variable Model (GPLVM) met inducing points.
• Prior Formulering: De dispersie van deze probabilistische embeddings (gekwantificeerd via de log-determinant van covarianties) wordt geaggregeerd tot een scalaire statistiek $s$. Deze statistiek definieert een Gaussische prior over een latente onzekerheidsvariabele $u$:
  $$u \sim N(m_0, \sigma_0^2), \quad \text{waarbij } m_0 = \alpha_0 + \beta_0 s$$
  Dit vangt de inherente ambiguïteit van de inputquery op voordat de generatie plaatsvindt.

2. Epistemische Onzekerheid: Semantische Respons-evidence

Het raamwerk behandelt de generatieve output van het model als evidence.

• Respons Diversiteit: De VLM genereert $n$ stochastische responsen. Deze worden geëmbed in vectoren $\{r_i\}$.
• Semantische Scatter: Een semantische scattermatrix $S$ wordt geconstrueerd uit deze embeddings. De semantische evidence wordt gedefefinieerd als de log-determinant van deze matrix: $\tilde{V} = \log \det S$.
• Gewogen Evidence: Om rekening te houden met variërende betrouwbaarheid tussen samples, introduceert de methode onzekerheidsgewichten op basis van de per-token log-waarschijnlijkheden van het model. Samples met een lagere vertrouwensgraad krijgen hogere gewichten.
• Likelihood Model: De auteurs bewijzen dat onder milde aannames de semantische evidence $\tilde{V}$ een lineair-Gaussische likelihood volgt ten opzichte van de latente onzekerheid $u$:
  $$\tilde{V} | u \sim N(a + n u, \tau^2)$$
  Deze analytische relatie maakt een closed-form Bayesiaanse update mogelijk.

3. Bayesiaanse Fusie

De kerninnovatie is de analytische fusie van de inputprior en de respons-evidence.

• Closed-Form Posterior: Het combineren van de Gaussische prior en de lineair-Gaussische likelihood levert een closed-form posterior distributie op voor de onzekerheid $u$:
  $$u | \tilde{V} \sim N(m_{post}, \sigma_{post}^2)$$
• Gefuseerde Statistiek: Een enkele onzekerheidsscore $u^\star$ wordt afgeleid uit de posterior mean en variantie (bijv. als een z-score bound).
• Kalibratie: Een globale drempelwaarde $\theta^\star$ wordt gekalibreerd op een held-out dataset om de conditionele risico (foutpercentage) voor beantwoordde queries te controleren, wat selectief antwoorden mogelijk maakt.

Belangrijkste Bijdragen

1. Conceptuele Formalisering: De paper formaliseert de ontkoppeling van VLM-onzekerheid in aleatorische (inputniveau) en epistemische (generatieniveau) bronnen, wat een fundament biedt voor het kwantificeren van beide binnen een verenigd raamwerk.
2. Verenigd Probabilistisch Model: Het introduceert een training-vrij (voor de basis-VLM) Bayesiaans raamwerk dat deze bronnen analytisch combineert. In tegenstelling tot heuristische methoden, levert het een interpreteerbare, gekalibreerde posterior op.
3. Wiskundige Rechtvaardiging: De auteurs leveren bewijzen die aantonen dat de semantische evidence (log-determinant van de respons-scatter) lineair afhankelijk is van de latente onzekerheid, wat het gebruik van een closed-form Bayesiaanse update rechtvaardigt.
4. Empirische Superioriteit: De methode bereikt state-of-the-art (SOTA) prestaties in onzekerheidskalibratie en selectief antwoorden over meerdere benchmarks.

Experimentele Resultaten

De auteurs evalueerden FUSE op drie Visual Question Answering (VQA) benchmarks: VQAv2, OKVQA, en AdVQA, met behulp van LLaVA-v1.5-13b als backbone.

• Baselines: FUSE werd vergeleken met training-vrije methoden (UMPIRE, Neighborhood Consistency), entropie-gebaseerde metrieken (Semantic Entropy, LN-Entropy), en conformal prediction benaderingen (LoFreeCP, CLM).
• Discriminatie: FUSE behaalde de hoogste AUROC (0.883 op VQAv2) in het onderscheiden van correcte van incorrecte antwoorden, waarmee het alle baselines overtrof.
• Kalibratie: De methode vertoonde superieure kalibratie, met de laagste Expected Calibration Error (ECE) en de hoogste correlatie tussen voorspelde onzekerheid en empirische foutpercentages.
• Selectief Antwoorden: Wat betreft de Area Under the Rejection–Accuracy Curve (AURAC), presteerde FUSE consistent beter dan de baselines, wat duidt op het vermogen om effectief te identificeren en te onthouden van onzekere queries terwijl een hoge nauwkeurigheid behouden blijft op de beantwoorde queries.
• Ablatie-studies: Experimenten bevestigden dat het fuseren van beide onzekerheidsbronnen cruciaal is; het verwijderen van ofwel de GP-prior of de gewogen evidence resulteerde in prestatievermindering.

Betekenis en Claims

De paper claimt dat FUSE een kritiek gat in veiligheid en betrouwbaarheid bij de inzet van VLM's dicht. Door verder te gaan dan token-niveau waarschijnlijkheden naar een gezamenlijke Bayesiaanse formulering die inputrepresentatie-priors integreert met generatie-niveau evidence, biedt FUSE een rigoureuze, interpreteerbare maatstaf voor onzekerheid.

De auteurs benadrukken dat hun aanpak:

• Geen hertraining vereist van de massieve VLM-backbone, enkel het trainen van lichte GP-adapters op de bevroren encoder.
• Een enkele scalaire score biedt die de correctheid van het model betrouwbaar voorspelt.
• Risicogestuurde besluitvorming mogelijk maakt, waardoor systemen kunnen onthouden van antwoorden wanneer de onzekerheid een gekalibreerde drempelwaarde overschrijdt, wat essentieel is voor domeinen met hoge belangen zoals de gezondheidszorg en autonome systemen.

Het werk positioneert zichzelf als een stap richting het betrouwbaarder maken van VLM's door expliciet te modelleren wat het model "niet weet" via zowel de ambiguïteit van de input als de variabiliteit van de eigen generatie.