Technische Samenvatting: GeoFlowVLM

Probleemstelling

Standaard dual-encoder Vision-Language Models (VLMs), zoals CLIP en SigLIP, beelden afbeeldingen en tekst af op deterministische punten op een gedeelde eenheidshypersfeer via $\ell_2$-normalisatie. Hoewel dit effectief is voor retrieval en zero-shot transfer, faalt deze deterministische representatie om voorspellingsonzekerheid te kwantificeren. Specifiek maakt het noch aleatorische onzekerheid (intrinsieke cross-modale ambiguïteit waarbij één invoer naar vele geldige uitvoeren leidt) noch epistemische onzekerheid (gebrek aan ondersteuning voor queries die buiten de trainingsverdeling vallen) zichtbaar.

Bestaande post-hoc methoden voor onzekerheidskwantificatie (UQ) lijden onder twee primaire beperkingen:

1. Geometrie-agnosticisme: Veel methoden opereren in de omringende Euclidische ruimte, en negeren de $\ell_2$-normalisatiebeperking die de VLM-inbeddingsruimte definieert.
2. Onvolledige onzekerheidsmodellering: De meeste methoden vangen slechts één type onzekerheid (aleatorisch of epistemisch) of respecteren de hypersferische geometrie niet voor beide modaliteiten tegelijkertijd. Bijvoorbeeld, ProbVLM vangt beide op maar gebruikt een heuristische aanpak die de hypersferische structuur mist en adapteronzekerheid meet in plaats van de dichtheid van de backbone.

De centrale uitdaging is om beide onzekerheidstypen te kwantificeren uit bevroren VLM-inbeddingen zonder de onderliggende encoders opnieuw te trainen, terwijl strikt wordt gerespecteerd dat de product-hypersferische geometrie ($S^{d-1} \times S^{d-1}$) wordt gehandhaafd.

Methodologie: GeoFlowVLM

De auteurs stellen GeoFlowVLM voor, een post-hoc probabilistische adapter die de gezamenlijke verdeling van gekoppelde $\ell_2$-genormaliseerde inbeddingen op de product-hypersfeer leert.

Kernarchitectuur en Training

• Riemanniaanse Flow Matching: Het model maakt gebruik van Riemanniaanse flow matching om een gezamenlijke dichtheid $p_\phi(e_I, e_T)$ te leren op de variëteit $M = S^{d-1} \times S^{d-1}$. Het regresseert naar een gesloten-vormige geodesische-tangentdoelstelling, waardoor kostbare warmte-kernbenaderingen worden vermeden.
• Enkel Gemaskerd Snelheidsveld: Een belangrijke ontwerpkeuze is het gebruik van één enkel neuraal netwerk met een blokgestructureerd binair masker $m \in \{0, 1\}^{2d}$. Dit enkele snelheidsveld $v_\phi(z_t, m)$ behandelt drie distincte modi via verschillende maskers:
  1. Gezamenlijke Flow ($m_{joint}$): Genereert zowel afbeeldings- als tekst-inbeddingen.
  2. Conditionele Flow ($m_{I \to T}$): Genereert tekst gegeven een vaste afbeelding.
  3. Conditionele Flow ($m_{T \to I}$): Genereert een afbeelding gegeven een vaste tekst.
• Trainingsdoel: Het model wordt getraind met behulp van een gemaskerde conditionele flow matching (CFM) doelstelling. Het masker beperkt supervisie tot de gegenereerde dimensies terwijl de geconditioneerde dimensies vastgehouden worden op hun waargenomen waarden ($t=0$). De training maakt gebruik van entropische optimaal transport om bron- en doelparabels te koppelen, waardoor trajecten op de variëteit worden gestreken.
• Consistentie: Stelling 1 bewijst dat in de populatielimiet dit enkele gemaskerde netwerk geldige Riemanniaanse conditionele flow snelheidsvelden herwint voor beide cross-modale richtingen en de gezamenlijke verdeling, zonder dat aanvullende consistentieverliezen nodig zijn.

Onzekerheidsleeswaarden

Uit het enkele getrainde gezamenlijke model worden twee onzekerheidsmetrieken afgeleid:

1. Aleatorische Onzekerheid (Retrieval Entropie):

   • Afgeleid van de conditionele posterior $p_\phi(e_T | e_I)$ (of vice versa).
   • Steekproeven worden getrokken uit de conditionele flow en geaggregeerd over een retrieval-galerij om een discrete posteriorverdeling $\pi$ te vormen.
   • De Shannon-entropie $H(\pi)$ kwantificeert retrieval-ambiguïteit.
   • Theoretische Rechtvaardiging: Met behulp van de ongelijkheid van Fano biedt de entropie een strikte ondergrens voor het MAP Bayes-risico, wat certificeert dat hoge entropie overeenkomt met hoge retrieval-moeilijkheid.

2. Epistemische Onzekerheid (Marginaal Typiciteit):

   • Afgeleid via een exacte kettingregel-decompositie van de gezamenlijke Negatieve Log-Likelihood (NLL):
     $$-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{Epistemische Typiciteit}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{Cross-modale Matching}}$$
   • De auteurs betogen dat de Pointwise Mutual Information (PMI)-term structureel discriminatief is (compatibiliteit meten) in plaats van epistemisch.
   • De Epistemische Score wordt gedefinieerd als de som van marginale typiciteiten: $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$.
   • Deze marginaal worden berekend uit het gezamenlijke model met behulp van de identiteit van Bayes en integratie van de flow-ODE in omgekeerde tijd, zonder dat extra parameters nodig zijn.

Belangrijkste Bijdragen

1. GeoFlowVLM Adapter: Een post-hoc probabilistische adapter getraind via Riemanniaanse flow matching op de product-hypersfeer met behulp van één enkel gemaskerd snelheidsveld. Het levert gezamenlijke, marginale en conditionele dichtheden op zonder hertraining van de encoder. Een ablatiestudie bevestigt dat het respecteren van hypersferische geometrie structureel noodzakelijk is voor gekalibreerde onzekerheid.
2. Conditionele Retrieval Entropie: Een nieuwe aleatorische schatter die cross-modale ambiguïteit kwantificeert. Het volgt retrieval-moeilijkheid met bijna-ideale monotoon kalibratie over benchmarks en biedt een besluit-theoretische ondergrens voor het Bayes-risico.
3. Kettingregel-Decompositie: Een theoretische afleiding die aantoont dat de gezamenlijke NLL decomposeert in marginale typiciteit (het juiste epistemische signaal) en cross-modale PMI (een discriminatief signaal). Dit verklaart het empirische succes van per-modale dichtheidsmethoden zoals REPVLM en positioneert ze als een coherent uitbreiding van het gezamenlijke model.

Experimentele Resultaten

De methode werd geëvalueerd op een bevroren OpenCLIP ViT-H/14 backbone, getraind op Conceptual Captions (CC-1M) en getest zero-shot op zeven benchmarks.

• Aleatorische Onzekerheid (Retrieval):

  • Geëvalueerd op MS-COCO, Flickr30k en CUB-200 (zowel Image-to-Text als Text-to-Image).
  • GeoFlowVLM bereikte bijna-perfecte monotoon kalibratie (Spearman $\rho \approx -1.0$) tussen voorspelde entropie en Recall@1, wat significant beter was dan de baselines (ProbVLM, AsymVLM, GroVE).
  • ProbVLM toonde een positieve correlatie (onzekerheid stijgend bij correcte queries), en andere baselines toonden onstabiele of niet-monotone trends.

• Epistemische Onzekerheid (Zero-Shot Classificatie):

  • Geëvalueerd op ImageNet-1K, Food-101, CIFAR-100 en ObjectNet.
  • De som van marginale typiciteit ($u_{ep}$) leverde consequent toenemende selectieve nauwkeurigheid op naarmate de dekking afnam (het afwijzen van steekproeven met hoge onzekerheid).
  • Componentanalyse bevestigde dat PMI een slechte standalone epistemische score is (vaak correcte voorspellingen afwijzend), terwijl marginale typiciteit het betrouwbare signaal biedt.
  • GeoFlowVLM kwam overeen met of overtrof REPVLM, met een opvallend voordeel op ObjectNet (viewpoint shift), toegeschreven aan het vermogen van het gezamenlijke model om cross-modale structuur te vangen die onafhankelijke per-modale flows missen.

• Ablaties:

  • Geometrie: Een Euclidische baseline (identieke architectuur maar opererend in $\mathbb{R}^d \times \mathbb{R}^d$) faalde catastrofisch op zowel aleatorische als epistemische metrieken, wat de noodzaak van Riemanniaanse geometrie bevestigt.
  • Efficiëntie: Betrouwbare schattingen werden bereikt met slechts 10 ODE-integratiestappen en één enkele Hutchinson-probe voor divergentieschatting.
  • Backbone: Resultaten waren overdraagbaar naar de SigLIP-backbone, hoewel dichtheidsgebaseerde methoden een verminderde prestatie lieten zien op ImageNet-1K vanwege de meer isotrope inbeddingen van SigLIP.

Betekenis en Claims

Het artikel claimt dat GeoFlowVLM een kritieke kloof in post-hoc UQ voor bevroren VLMs aanpakt door een enkel, geometrie-bewust model te bieden dat zowel aleatorische als epistemische onzekerheid blootlegt.

• Theoretisch Inzicht: Het werk biedt een principieel verklaring voor waarom marginale typiciteit het juiste epistemische signaal is in deze setting en waarom cross-modale PMI niet als onzekerheidsscore mag worden gebruikt. Het toont aan dat gezamenlijke modellering op de product-hypersfeer strikt rijker is dan per-modale modellering.
• Praktisch Nut: De methode biedt een gekalibreerde, richting-symmetrische schatter voor retrieval-moeilijkheid en een robuuste dichtheidsgebaseerde score voor out-of-distribution detectie in zero-shot classificatie, allemaal zonder de voorgetrainde VLM-backbone aan te passen.
• Beperkingen: De auteurs merken op dat de consistentiestelling een populatielimiet-resultaat is; grenzen voor eindige steekproeven blijven open. De epistemische scores zijn dichtheidsgebaseerd (typiciteit) in plaats van Bayesiaans (variantie van de parameterposterior). Bovendien vereist de methode een eenmalige training op grote schaal data en meerdere ODE-oplossingen per query, wat het onderscheidt van training-vrije benaderingen.

De auteurs concluderen dat gezamenlijke inbeddingsmodellering een algemene strategie is voor rijker probabilistisch redeneren over visueel-taalkundige representaties, met name voor veiligheidskritische toepassingen zoals medische retrieval en autonome systemen.