Post-hoc Probabilistic Vision-Language Models

Titel: Post-Hoc Probabilistische Vision-Language Modellen (BayesVLM)

Auteurs: Anton Baumann et al. (TU München, Helmholtz Munich, Aalto University, etc.)

---

1. Het Probleem

Vision-Language Models (VLMs), zoals CLIP en SigLIP, hebben enorme successen geboekt in taken zoals zero-shot classificatie, retrieval en generatie. Deze modellen werken doorgaans door afbeeldingen en teksten deterministisch af te beelden naar een gezamenlijke latente ruimte, waarbij de gelijkenis wordt gemeten via cosinus-ähnelijkheid.

Echter, deze deterministische aard heeft een cruciaal nadeel: ze kunnen onzekerheid (uncertainty) niet kwantificeren. In real-world toepassingen, vooral in veiligheidskritieke scenario's of bij actief leren (active learning), is het essentieel om te weten hoe zeker een model is van zijn voorspelling. Bestaande methoden voor onzekerheidsschatting hebben beperkingen:

• Calibratiemethoden (zoals temperature scaling) kunnen geen epistemische onzekerheid (onzekerheid door gebrek aan kennis) vangen.
• Trainingsmethoden (zoals het trainen van probabilistische adapters of het opnieuw trainen van het model) zijn computatief zwaar en vereisen vaak toegang tot de oorspronkelijke trainingsdata.
• Test-time adaptation verhoogt de inferentiekosten aanzienlijk.

Er is dus behoefte aan een methode die post-hoc (na training) werkt, trainingsvrij is, model-agnostisch is, en onzekerheid efficiënt kan schatten zonder de architectuur te wijzigen.

---

2. Methodologie: BayesVLM

De auteurs stellen BayesVLM voor, een efficiënte post-hoc methode die Bayesiaanse inferentie toepast op de laatste lagen van bestaande VLMs. De kern van de aanpak bestaat uit drie stappen:

A. Laplace Benadering (Posterior Schatting)

In plaats van het hele model opnieuw te trainen, past de methode een Laplace-benadering toe op de posterior-verdeling van de modelparameters.

• Focus: De methode richt zich uitsluitend op de lineaire projectielagen (de "heads") aan het einde van de beeld- en tekstencoders ($P$ en $Q$), terwijl de zware encoders zelf deterministisch en vastgehouden worden.
• Aannames: Om de berekening haalbaar te maken, wordt aangenomen dat de beeld- en tekstmodi onafhankelijk zijn (i.i.d. aanname) gegeven de andere modus. Dit maakt het mogelijk om aparte probabilistische modellen voor elke modus te definiëren.
• Hessiaan: De covariance-matrix van de posterior wordt geschat via de Hessiaan van de negatieve log-likelihood. Omdat het berekenen van de volledige Hessiaan te duur is, wordt de Generalised Gauss-Newton (GGN) benadering gebruikt, specifiek de KFAC (Kronecker-factored Approximate Curvature) variant. Dit reduceert de complexiteit aanzienlijk door de Hessiaan te decomponeren in kleinere matrices.

B. Probabilistische Embeddings

Door de Laplace-benadering worden de projectielagen $P$ en $Q$ behandeld als probabilistische variabelen met een Gaussische verdeling. Hierdoor worden de gegenereerde embeddings ($g$ en $h$) ook probabilistisch (Gaussisch verdeeld) in plaats van deterministische vectoren.

C. ProbCosine: Onzekerheid Propagatie

De kernuitdaging is het berekenen van de onzekerheid over de cosinus-ähnelijkheid tussen twee probabilistische vectoren. De cosinus-ähnelijkheid is niet-lineair en de verdeling is niet direct Gaussisch.

• De auteurs leiden een analytische uitdrukking af (ProbCosine) om de verwachtingswaarde en variantie van de cosinus-ähnelijkheid te schatten op basis van de eerste twee momenten (mean en variance) van de beeld- en tekstembeddings.
• Dit resulteert in een benaderde Gaussische verdeling over de cosinus-ähnelijkheid, wat een efficiënte manier biedt om onzekerheid door te geven aan de uiteindelijke voorspellingsverdeling (via een probit-benadering).

---

3. Belangrijkste Bijdragen

1. BayesVLM: Een nieuwe, trainingsvrije post-hoc methode voor onzekerheidskwantificatie in pre-getrainde VLMs zonder architecturale wijzigingen.
2. Analytische Afleiding: De eerste directe Bayesiaanse formulering voor VLMs, inclusief een afleiding voor de verdeling over cosinus-ähnelijkheden (ProbCosine) voor efficiënte onzekerheidspropagatie.
3. Toepassing in Actief Leren: Het succesvol toepassen van deze onzekerheidsschattingen in Bayesiaans Actief Leren (met acquisitiefuncties zoals BALD en EPIG) om de meest informatieve data te selecteren voor fine-tuning.
4. Robuustheid: Het aantonen dat de methode werkt zelfs wanneer de Hessiaan wordt geschat op een proxy-dataset (bijvoorbeeld CC12M in plaats van de gesloten LAION-dataset), wat cruciaal is voor modellen met proprietary trainingsdata.

---

4. Resultaten

De auteurs evalueren BayesVLM op diverse benchmarks (FLOWERS-102, FOOD-101, CIFAR, ImageNet-R, etc.) en in actief-leer scenario's.

• Zero-Shot Classificatie:

  • BayesVLM behaalt vergelijkbare nauwkeurigheid (ACC) als de deterministische baselines (CLIP/SigLIP) en temperature scaling.
  • Calibratie: Het model is aanzienlijk beter gekalibreerd, wat blijkt uit een lagere Expected Calibration Error (ECE). Het model is minder "overconfident" bij verkeerde voorspellingen.
  • NLPD: De Negative Log Predictive Density is lager dan bij deterministische modellen, wat aangeeft dat de onzekerheidsschattingen betrouwbaarder zijn.

• Actief Leren:

  • Wanneer BayesVLM-onzekerheid wordt gebruikt om data te selecteren voor fine-tuning (via EPIG of BALD), presteert het model significant beter dan bij gebruik van willekeurige selectie of entropy-based selectie.
  • Het leidt tot een snellere reductie van de fouten en een beter gekalibreerd model na adaptatie.

• Efficiëntie:

  • De inferentie-tijd neemt slechts met minder dan 5% toe voor CLIP-base en minder dan 1% voor grotere modellen.
  • In tegenstelling tot Test-Time Augmentation (TTA), die de kosten met een factor 80 kan verhogen, blijft BayesVLM computatief zeer efficiënt.

• Robuustheid:

  • De methode presteert stabiel zelfs wanneer de Hessiaan wordt geschat op een proxy-dataset (CC12M) in plaats van de oorspronkelijke trainingsdata (LAION-400M), wat de toepasbaarheid op gesloten bronmodellen bevestigt.

---

5. Betekenis en Conclusie

Dit werk is significant omdat het een praktische oplossing biedt voor het "black box"-probleem van grote Vision-Language Modellen. Door onzekerheid te introduceren zonder het model opnieuw te hoeven trainen of zware computatiemiddelen te vereisen, maakt BayesVLM VLMs veiliger en betrouwbaarder voor real-world toepassingen.

• Veiligheid: Het vermogen om onzekerheid te kwantificeren is essentieel voor toepassingen waar fouten kostbaar kunnen zijn (bijv. medische beeldanalyse of autonome systemen).
• Data-efficiëntie: De integratie met actief leren toont aan dat modellen sneller en efficiënter kunnen worden aangepast aan nieuwe domeinen door slim gebruik te maken van onzekerheidsschattingen.
• Toekomstperspectief: De methode opent de deur voor onzekerheidsbewust retrieval en detectie van Out-of-Distribution (OOD) data, wat cruciaal is voor de volgende generatie robuuste AI-systemen.

Kortom, BayesVLM transformeert bestaande, deterministische VLMs in probabilistische modellen met een minimale overhead, waardoor ze beter geschikt zijn voor kritieke en adaptieve toepassingen.