Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

Technische Samenvatting: REPVLM – Epistemische Onzekerheidskwantificering voor Vooraf Getrainde VLM's via Riemanniaanse Flow Matching

1. Probleemstelling

Vooraf getrainde Vision-Language Models (VLM's) zoals CLIP, BLIP en SigLIP hebben opmerkelijk succes geboekt in cross-modale representatieleren door middel van contrastief vooraf trainen op grote schaal. Deze modellen zijn echter inherent deterministisch en mapping inputs naar enkele, vaste punten in een hoogdimensionale embeddingruimte. Deze architectuur mist een intrinsiek mechanisme om epistemische onzekerheid (de onwetendheid of het gebrek aan kennis van het model met betrekking tot zijn eigen representaties) te kwantificeren.

Hoewel er bestaande onzekerheidskwantificerings (UQ)-kaders voor VLM's zijn, richten deze zich voornamelijk op aleatorische onzekerheid (data-ambiguïteit) door het leren van probabilistische embeddings. Methoden die zijn ontworpen voor epistemische onzekerheid, zoals diepe ensembles of Monte Carlo Dropout, zijn vaak computationeel onhaalbaar voor grote, vooraf getrainde modellen of leveren suboptimale, batch-afhankelijke schattingen op. Er is een kritieke behoefte aan een schaalbare, intrinsieke maatstaf die direct de zekerheid van een model in zijn representaties kwantificeert zonder dure hertraining of steekproeven in de parameter ruimte te vereisen.

2. Methodologie: REPVLM

De auteurs stellen REPVLM voor, een kader dat epistemische onzekerheid kwantificeert door de waarschijnlijkheidsdichtheid van VLM-embeddings direct te schatten op hun native manifold.

Theoretische Motivatie
Het artikel legt een theoretisch verband tussen embeddingdichtheid en epistemische onzekerheid via een keten van drie stappen:

1. Covariantie naar Jacobiaanse Norm: Onder standaard Bayesiaanse aannames en lokale lineariteit komt hoge epistemische onzekerheid overeen met een grote Parameter-Jacobiaanse norm, wat sensitiviteit voor parameterverstoringen aangeeft.
2. Jacobiaanse Norm naar Datadichtheid: In gebieden met hoge dichtheid van de trainingsdata neigt de Jacobiaanse norm van de encoder klein te zijn (gladheid), terwijl deze in gebieden met lage dichtheid (Out-of-Distribution) onbeperkt blijft.
3. Datadichtheid naar Embeddingdichtheid: Gemotiveerd door alignement- en uniformiteitsdynamiek in contrastief leren, stellen de auteurs een empirische aanname dat de dichtheid van de inputdata $p(x)$ correleert met de dichtheid van de resulterende embeddings $p(z)$ op de hypersfeer.
   Consequentie is dat de negatieve log-waarschijnlijkheid, $-\log p(z)$, dient als een principiële proxy voor epistemische onzekerheid: gebieden met lage dichtheid duiden op onwetendheid van het model.

Riemanniaanse Flow Matching (RFM)
Om $p(z)$ efficiënt te berekenen op de hypersfeer $S^{d-1}$ (waar $\ell_2$-genormaliseerde VLM-embeddings zich bevinden), maakt REPVLM gebruik van Conditionele Riemanniaanse Flow Matching (CRFM):

• Manifold-Native Modellering: In tegenstelling tot standaard Euclidische Flow Matching, werkt REPVLM direct op de hypersfeer. Het leert een vectorveld $v_t$ dat een eenvoudige uniforme basisverdeling $P_0 = \text{Unif}(S^{d-1})$ transporteert naar de empirische modale-specifieke verdelingen $P_1$ (Afbeelding en Tekst).
• Geodetische Interpolatie: Het waarschijnlijkheidspad wordt geconstrueerd langs geodeten (grote cirkels) in plaats van rechte lijnen, waarbij de intrinsieke geometrie van de semantische ruimte wordt gerespecteerd.
• Unificerend Conditioneel Kader: Een enkel neuronaal netwerk leert het vectorveld geconditioneerd op de modale ($c \in \{\text{afbeelding}, \text{tekst}\}$), wat taak-onafhankelijke onzekerheidsschatting mogelijk maakt.
• Berekening van Waarschijnlijkheid: De exacte log-dichtheid wordt berekend door de divergentie van het geleerde vectorveld te integreren langs de omgekeerde ODE-trajectorie. Om hoogdimensionale embeddings efficiënt te verwerken, maken de auteurs gebruik van een door de manifold beperkte Hutchinson-schatting voor de spoor om de divergentie te benaderen met minimale computationele overhead.

3. Belangrijkste Bijdragen

• Theoretische Motivatie: Het artikel biedt een formele afleiding die aantoont dat $-\log p(z)$ een monotoon proxy is voor epistemische onzekerheid in contrastieve encoders, en Bayesiaanse onzekerheid koppelt aan embeddingdichtheid.
• Manifold-Native Methode (REPVLM): De auteurs introduceren een schaalbare UQ-methode die Riemanniaanse Flow Matching uitbreidt naar VLM-embeddingruimtes, waardoor intrinsieke waarschijnlijkheidsdichtheidsberekening mogelijk wordt voor zowel visuele als tekstuele modaliteiten zonder de vooraf getrainde backbone te wijzigen.
• Empirische Validatie: De methode is gevalideerd op meerdere benchmarks, waarbij een bijna perfecte correlatie tussen onzekerheidsscores en voorspellingsfouten wordt aangetoond, met een significant betere prestatie dan bestaande baselines bij selectieve classificatie en OOD-detectie.

4. Experimentele Resultaten

De auteurs hebben REPVLM geëvalueerd op zes downstream-benchmarks (ImageNet-1K, Food101, CIFAR-100, ObjectNet, ImageNet-R, ImageNet-Sketch) met gebruik van drie verschillende proxy-datasets voor training (Conceptual Captions, DataComp-1B, LAION-2B).

• Selectieve Classificatie: REPVLM behaalde een bijna perfecte Spearman-correlatie ($S \ge 0.988$) tussen onzekerheid en voorspellingsfout op standaard benchmarks. Het presteerde consequent beter dan baselines zoals ProbVLM, Monte Carlo Dropout en Embedding Norm bij het identificeren van modelfouten.
• Robuustheid tegen Distributieverandering: Op datasets met distributieverandering (ObjectNet, ImageNet-R, ImageNet-Sketch) was REPVLM de enige methode die $S=1.000$ bereikte over alle verschuivingscellen, terwijl andere methoden (bijv. ProbVLM, GMM) hoge variantie of negatieve correlaties vertoonden.
• Toepassingen:
  • OOD-detectie: De onzekerheidsscores scheidden In-Distribution (ID)-data effectief van Near-OOD en Far-OOD data, wat resulteerde in hoge ROC- en Precision-Recall-curves.
  • Geautomatiseerde Data Curatie: Hoge-onzekerheidstalen die door REPVLM werden gemarkeerd, kwamen overeen met ruisachtige, wazige of nonsensische inputs, wat bruikbaarheid demonstreert bij het opschonen van webdatasets op grote schaal.
• Efficiëntie: REPVLM vereist slechts ~0,55 GFLOPs aan extra overhead bovenop de backbone, wat het aanzienlijk efficiënter maakt dan Monte Carlo Dropout (waarvoor ~10x forward passes nodig zijn) terwijl het betrouwbaardere epistemische schattingen biedt dan ProbVLM.

5. Betekenis en Beperkingen

Betekenis
Het artikel betoogt dat embeddingdichtheid op de manifold de operationele grootheid is voor epistemische onzekerheid in vooraf getrainde VLM's. Door gebruik te maken van de geometrische structuur van de embeddingruimte via Riemanniaanse Flow Matching, biedt REPVLM een schaalbare, intrinsieke en zeer betrouwbare maatstaf voor modelzekerheid. Dit maakt praktische toepassingen mogelijk zoals geautomatiseerde data curatie en robuuste OOD-detectie zonder de computationele kosten van ensemble-methoden.

Beperkingen
De auteurs erkennen expliciet verschillende beperkingen:

1. Theoretische Proxy: Het verband tussen Bayesiaanse epistemische onzekerheid en embeddingdichtheid is een motiverend proxy-argument gebaseerd op empirische aannames (specifiek met betrekking tot behoud van dichtheid in niet-inverteerbare contrastieve encoders), geen formele identiteit.
2. Proxy-afhankelijkheid: Net als alle post-hoc methoden vereist REPVLM een proxy-dataset die representatief is voor het vooraf trainingsdomein van het doel-VLM. Gespecialiseerde VLM's kunnen domeinspecifieke proxies vereisen.
3. Geometrische Aannames: De theorie gaat uit van $\ell_2$-genormaliseerde embeddings op $S^{d-1}$ van encoders die zijn getraind met cosinus-similariteit (zoals CLIP). De auteurs merken op dat resultaten mogelijk niet extrapoleren naar modellen met verschillende geometrieën (bijv. SigLIP, dat verslechterde prestaties vertoonde op in-distribution benchmarks vanwege door textuur gedreven variaties in dichtheid).
4. Risico's op Onrechtvaardigheid: De auteurs waarschuwen dat dichtheidsgedreven onzekerheid zeldzaamheid verward met onwetendheid. Zeldzame maar geldige inputs (bijv. van ondervertegenwoordigde groepen) kunnen worden gemarkeerd als hoge-onzekerheid outliers. In veiligheidskritieke situaties moeten dergelijke samples kandidaten zijn voor menselijke beoordeling in plaats van automatische verwijdering.