🤖 machine learning

GeoFlowVLM: Geometry-Aware Joint Uncertainty for Frozen Vision-Language Embedding

GeoFlowVLM stellt einen nachgelagerten Adapter vor, der Riemannsche Flow-Matching auf dem Produkt-Hypersphäre nutzt, um eingefrorene Dual-Encoder-Vision-Language-Modelle mit sowohl aleatorischen als auch epistemischen Unsicherheitsschätzungen auszustatten und dabei eine nahezu ideale Kalibrierung für Retrieval- und Zero-Shot-Klassifizierungsaufgaben zu erreichen.

Ursprüngliche Autoren: Mayank Nautiyal, Li Ju, Andreas Hellander, Ekta Vats, Prashant Singh

Veröffentlicht 2026-05-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mayank Nautiyal, Li Ju, Andreas Hellander, Ekta Vats, Prashant Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superschlauen Bibliothekar (ein Vision-Language-Modell), der Millionen von Bildern und deren Beschreibungen auswendig gelernt hat. Wenn Sie diesem Bibliothekar ein Bild eines Hundes zeigen, findet er sofort den Text „ein niedlicher Hund". Wenn Sie ihm den Text „ein niedlicher Hund" zeigen, findet er das Bild.

Aber hier liegt das Problem: Der Bibliothekar ist zu selbstsicher. Er sagt niemals: „Ich bin mir nicht sicher" oder „Das ist eine knifflige Frage". Wenn Sie ihm ein unscharfes Foto einer Katze zeigen, die wie ein Hund aussieht, wird er vielleicht immer noch selbstbewusst „Hund" sagen, ohne zuzugeben, dass er ratet. Er weiß auch nicht, wann er nach etwas gefragt wird, das er noch nie gesehen hat (wie ein Bild eines futuristischen Aliens).

Diese Arbeit stellt GeoFlowVLM vor, ein neues „Add-on"-Modul, das wie ein Vertrauensmesser für diesen Bibliothekar fungiert. Es verändert nicht das Gehirn des Bibliothekars; es hört ihm nur zu und ermittelt, wie sicher er sein sollte.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Flache Karte" vs. der „Globus"

Die meisten aktuellen Systeme behandeln diese Bild-Text-Paare wie Punkte auf einem flachen Stück Papier (euklidischer Raum). Die Arbeit argumentiert jedoch, dass das Gedächtnis des Bibliothekars tatsächlich wie ein Globus (eine Hypersphäre) geformt ist.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Karte der Erde auf ein flaches Blatt Papier zu zeichnen. Die Entfernungen werden nahe den Rändern verzerrt. Wenn Sie Unsicherheit auf einer flachen Karte messen wollen, während die Realität ein Globus ist, werden Ihre Messungen falsch sein.
Die Lösung: GeoFlowVLM respektiert die „Globus"-Form. Es versteht, dass das Wissen des Bibliothekars auf einer gekrümmten Oberfläche lebt und nicht auf einem flachen Blatt.

2. Die zwei Arten von „Nicht sicher"

Die Arbeit lehrt das System, zwischen zwei verschiedenen Arten von Unsicherheit zu unterscheiden:

A. Die „Eins-zu-Viele"-Verwirrung (Aleatorische Unsicherheit)

Manchmal kann ein Bild auf viele gültige Arten beschrieben werden.

Die Analogie: Sie zeigen dem Bibliothekar ein Bild einer Person, die einen roten Ball hält.
- Ist es „Eine Person mit einem Ball"?
- Ist es „Eine Person, die Fangen spielt"?
- Ist es „Eine Person, die eine rote Kugel hält"?
  Alles ist wahr. Der Bibliothekar ist verwirrt, weil die Welt mehrdeutig ist, nicht weil der Bibliothekar dumm ist.
Was GeoFlowVLM tut: Es berechnet eine „Abruf-Entropie". Denken Sie daran als ein Maß dafür, wie viele verschiedene Antworten im Kopf des Bibliothekars herumfliegen. Wenn die Antwort über viele Möglichkeiten verteilt ist, sagt das System: „Hohe Unsicherheit: Das ist eine knifflige, mehrdeutige Frage." Wenn die Antwort ein klarer Gipfel ist, sagt es: „Niedrige Unsicherheit: Das ist einfach."

B. Die „Noch nie gesehen"-Verwirrung (Epistemische Unsicherheit)

Manchmal wird der Bibliothekar nach etwas gefragt, das völlig außerhalb seiner Ausbildung liegt.

Die Analogie: Sie zeigen dem Bibliothekar ein Bild eines „glitzernden lila Drachen". Der Bibliothekar hat noch nie einen Drachen gesehen, geschweige denn einen lila. Er befindet sich in einem Teil des „Wissensglobus", den er noch nie besucht hat.
Was GeoFlowVLM tut: Es berechnet einen „Typicality-Score". Es fragt: „Sieht dieses Bild-Text-Paar aus wie die Millionen von Paaren, die ich gelernt habe?" Wenn das Paar im Vergleich zu den Trainingsdaten seltsam oder selten ist, steigt der Score und signalisiert: „Ich erkenne das nicht; ich könnte halluzinieren."

3. Wie es funktioniert: Der „Flow" und die „Maske"

Das System verwendet eine mathematische Technik namens Riemannian Flow Matching.

Die Analogie: Stellen Sie sich das Wissen des Bibliothekars als einen Fluss vor, der von einer chaotischen, lauten Quelle (zufälliges Rauschen) zu einem klaren, organisierten Ziel (das eigentliche Bild und der Text) fließt.
Der „Flow": GeoFlowVLM lernt die Richtung dieses Flusses. Es lernt, wie man einen zufälligen Punkt zu einem spezifischen Bild-Text-Paar führt.
Die „Maske": Das ist der clevere Teil. Das System verwendet ein einziges „Gehirn" (ein neuronales Netzwerk), das verschiedene „Masken" tragen kann.
- Maske 1 (Joint): Es lernt den ganzen Fluss (wie Bilder und Text gemeinsam fließen).
- Maske 2 (Conditional): Es setzt eine Maske über den Text und fragt: „Wenn ich dieses Bild habe, wohin fließt der Text?"
- Maske 3 (Conditional): Es setzt eine Maske über das Bild und fragt: „Wenn ich diesen Text habe, wohin fließt das Bild?"
  Da es alle drei gleichzeitig lernt, kann es sowohl „Wie mehrdeutig ist das?" als auch „Ist das neu?" beantworten, ohne den Bibliothekar neu trainieren zu müssen.

4. Die Ergebnisse: Ein besserer Kompass

Die Autoren testeten dies an drei Hauptaufgaben:

Text aus Bildern finden: Sie zeigten, dass, wenn das System „Hohe Unsicherheit" sagt, der Bibliothekar tatsächlich wahrscheinlich den falschen Text wählt. Wenn es „Niedrige Unsicherheit" sagt, liegt der Bibliothekar meist richtig. Es ist ein sehr zuverlässiger Kompass.
Bilder aus Text finden: Gleiches Ergebnis. Das System identifiziert korrekt, wenn eine Textbeschreibung zu vage ist, um ein spezifisches Bild zu pinpointen.
Das Unbekannte aufspüren: Als sie das System an Bildern testeten, die es noch nie gesehen hatte (wie verschiedene Vogelarten oder Objekte), markierte der „Typicality-Score" die seltsamen korrekt.

Das „Geheime Rezept" (Die Kettenregel)

Die Arbeit entdeckte auch einen mathematischen Trick. Sie fanden heraus, dass die gesamte „Überraschung" eines Bild-Text-Paars in zwei Teile aufgeteilt werden kann:

Der „Typicality"-Teil: Wie seltsam ist dieses Paar für den Bibliothekar? (Dies ist der epistemische Score).
Der „Matching"-Teil: Wie gut passen Bild und Text zusammen? (Dies ist nur ein Maß dafür, wie gut die Übereinstimmung ist, nicht wie unsicher der Bibliothekar ist).

Die Arbeit beweist, dass Sie nur den „Typicality"-Teil verwenden sollten, um zu messen, ob der Bibliothekar bei neuen Daten unsicher ist. Die Verwendung des „Matching"-Teils verwirrt das System tatsächlich.

Zusammenfassung

GeoFlowVLM ist ein Werkzeug, das eine „Vertrauensanzeige" an bestehende KI-Vision-Language-Modelle anfügt. Es respektiert die gekrümmte Form des KI-Gedächtnisses und ermöglicht es ihm, Ihnen zu sagen:

„Diese Frage ist inhärent knifflig, weil es viele richtige Antworten gibt."
„Diese Frage ist knifflig, weil ich noch nie so etwas gesehen habe."

Es tut dies, ohne die ursprüngliche KI zu verändern, und stellt somit eine sichere und effektive Möglichkeit dar, zu wissen, wann man der KI vertrauen und wann man skeptisch sein sollte.

Technische Zusammenfassung: GeoFlowVLM

Problemstellung

Standard-Dual-Encoder-Vision-Language-Modelle (VLMs), wie CLIP und SigLIP, bilden Bilder und Texte über $\ell_2$ -Normalisierung auf deterministische Punkte auf einer gemeinsamen Einheits-Hypersphäre ab. Obwohl dies für Retrieval und Zero-Shot-Transfer effektiv ist, versagt diese deterministische Darstellung bei der Quantifizierung von Vorhersageunsicherheit. Insbesondere werden weder aleatorische Unsicherheit (intrinsische cross-modale Ambiguität, bei der eine Eingabe auf viele gültige Ausgaben abbildet) noch epistemische Unsicherheit (Fehlende Unterstützung für Abfragen außerhalb der Trainingsverteilung) erfasst.

Bestehende Methoden zur nachträglichen Unsicherheitsquantifizierung (UQ) leiden unter zwei Hauptbeschränkungen:

Geometrie-Agnostizismus: Viele Methoden operieren im umgebenden euklidischen Raum und ignorieren die $\ell_2$ -Normalisierungsbeschränkung, die den VLM-Einbettungsraum definiert.
Unvollständige Unsicherheitsmodellierung: Die meisten Methoden erfassen nur einen Unsicherheitstyp (entweder aleatorisch oder epistemisch) oder missachten die hypersphärische Geometrie für beide Modalitäten gleichzeitig. Beispielsweise erfasst ProbVLM beide, verwendet jedoch einen heuristischen Ansatz, der die hypersphärische Struktur verpasst und Adapter-Unsicherheit statt Backbone-Dichte misst.

Die zentrale Herausforderung besteht darin, beide Unsicherheitstypen aus eingefrorenen VLM-Einbettungen zu quantifizieren, ohne die zugrunde liegenden Encoder neu zu trainieren, unter strikter Beachtung der Produkt-Hypersphären-Geometrie ( $S^{d-1} \times S^{d-1}$ ).

Methodik: GeoFlowVLM

Die Autoren schlagen GeoFlowVLM vor, einen nachträglichen probabilistischen Adapter, der die gemeinsame Verteilung gepaarter $\ell_2$ -normalisierter Einbettungen auf der Produkt-Hypersphäre lernt.

Kernarchitektur und Training

Riemannische Flow Matching: Das Modell nutzt Riemannische Flow Matching, um eine gemeinsame Dichte $p_\phi(e_I, e_T)$ auf der Mannigfaltigkeit $M = S^{d-1} \times S^{d-1}$ zu lernen. Es regressiert auf ein geschlossenes geodätisches Tangentenziel und vermeidet kostspielige Heat-Kernel-Näherungen.
Einzelnes maskiertes Geschwindigkeitsfeld: Eine zentrale Designentscheidung ist die Verwendung eines einzelnen neuronalen Netzwerks mit einem blockstrukturierten binären Mask $m \in \{0, 1\}^{2d}$ $m \in {0, 1}^{2 d}$ . Dieses einzelne Geschwindigkeitsfeld $v_\phi(z_t, m)$ $v_{ϕ} (z_{t}, m)$ behandelt drei verschiedene Modi über unterschiedliche Masken:
1. Joint Flow ( $m_{joint}$ ): Generiert sowohl Bild- als auch Texteinbettungen.
2. Conditional Flow ( $m_{I \to T}$ ): Generiert Text bei festem Bild.
3. Conditional Flow ( $m_{T \to I}$ ): Generiert Bild bei festem Text.
Trainingsziel: Das Modell wird mittels eines maskierten conditional flow matching (CFM)-Ziels trainiert. Die Maske beschränkt die Überwachung auf die generierten Dimensionen, während die konditionierten Dimensionen auf ihren beobachteten Werten ( $t=0$ ) fixiert bleiben. Das Training verwendet entropischen optimalen Transport, um Quell- und Zielproben zu paaren und Trajektorien auf der Mannigfaltigkeit zu glätten.
Konsistenz: Satz 1 beweist, dass dieses einzelne maskierte Netzwerk im Populationslimit gültige Riemannische bedingte Flow-Geschwindigkeitsfelder für beide cross-modale Richtungen und die gemeinsame Verteilung wiederherstellt, ohne zusätzliche Konsistenzverluste zu benötigen.

Unsicherheitsauslesungen

Aus dem einzelnen trainierten Joint-Modell werden zwei Unsicherheitsmetriken abgeleitet:

Aleatorische Unsicherheit (Retrieval-Entropie):
- Abgeleitet aus der bedingten Posterior-Verteilung $p_\phi(e_T | e_I)$ (oder umgekehrt).
- Proben werden aus dem bedingten Flow gezogen und über eine Retrieval-Galerie aggregiert, um eine diskrete Posterior-Verteilung $\pi$ zu bilden.
- Die Shannon-Entropie $H(\pi)$ quantifiziert die Retrieval-Ambiguität.
- Theoretische Begründung: Unter Verwendung der Fano-Ungleichung liefert die Entropie eine rigorose untere Schranke für das MAP-Bayes-Risiko und bestätigt, dass hohe Entropie einer hohen Retrieval-Schwierigkeit entspricht.
Epistemische Unsicherheit (Marginale Typizität):
- Abgeleitet durch eine exakte Kettenregel-Zerlegung der gemeinsamen Negative Log-Likelihood (NLL):
  $-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{Epistemische Typizität}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{Cross-modale Übereinstimmung}}$
- Die Autoren argumentieren, dass der Pointwise Mutual Information (PMI)-Term strukturell diskriminierend (Misst Kompatibilität) und nicht epistemisch ist.
- Der Epistemische Score ist definiert als die Summe der marginalen Typizitäten: $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$ .
- Diese Marginalen werden aus dem Joint-Modell unter Verwendung der Bayes-Identität und der Integration der Flow-ODE in umgekehrter Zeit berechnet, was keine zusätzlichen Parameter erfordert.

Hauptbeiträge

GeoFlowVLM-Adapter: Ein nachträglicher probabilistischer Adapter, der mittels Riemannischem Flow Matching auf der Produkt-Hypersphäre unter Verwendung eines einzelnen maskierten Geschwindigkeitsfeldes trainiert wird. Er liefert gemeinsame, marginale und bedingte Dichten ohne Neutrainieren der Encoder. Eine Ablationsstudie bestätigt, dass die Beachtung der hypersphärischen Geometrie strukturell notwendig für kalibrierte Unsicherheit ist.
Bedingte Retrieval-Entropie: Ein neuer aleatorischer Schätzer, der cross-modale Ambiguität quantifiziert. Er verfolgt die Retrieval-Schwierigkeit mit nahezu idealer monotoner Kalibrierung über Benchmarks hinweg und liefert eine entscheidungstheoretische untere Schranke für das Bayes-Risiko.
Kettenregel-Zerlegung: Eine theoretische Herleitung, die zeigt, dass sich die gemeinsame NLL in marginale Typizität (das korrekte epistemische Signal) und cross-modale PMI (ein diskriminierendes Signal) zerlegen lässt. Dies erklärt den empirischen Erfolg von Dichten-basierten Methoden pro Modalität wie REPVLM und fasst sie als kohärente Erweiterung des Joint-Modells.

Experimentelle Ergebnisse

Die Methode wurde auf einem eingefrorenen OpenCLIP ViT-H/14-Backbone evaluiert, trainiert auf Conceptual Captions (CC-1M) und zero-shot auf sieben Benchmarks getestet.

Aleatorische Unsicherheit (Retrieval):
- Evaluiert auf MS-COCO, Flickr30k und CUB-200 (sowohl Image-to-Text als auch Text-to-Image).
- GeoFlowVLM erreichte eine nahezu perfekte monotone Kalibrierung (Spearman $\rho \approx -1.0$ ) zwischen vorhergesagter Entropie und Recall@1 und übertraf die Baselines (ProbVLM, AsymVLM, GroVE) signifikant.
- ProbVLM zeigte eine positive Korrelation (Unsicherheit steigt bei korrekten Abfragen), und andere Baselines zeigten instabile oder nicht-monotone Trends.
Epistemische Unsicherheit (Zero-Shot-Klassifizierung):
- Evaluiert auf ImageNet-1K, Food-101, CIFAR-100 und ObjectNet.
- Die Summe der marginalen Typizität ( $u_{ep}$ ) ergab eine konsistent zunehmende selektive Genauigkeit, wenn die Abdeckung abnahm (Ablehnung von Proben mit hoher Unsicherheit).
- Komponentenanalysen bestätigten, dass PMI ein schlechter eigenständiger epistemischer Score ist (lehnt oft korrekte Vorhersagen ab), während marginale Typizität das zuverlässige Signal liefert.
- GeoFlowVLM entsprach oder übertraf REPVLM, mit einem bemerkenswerten Vorteil bei ObjectNet (Blickwinkelverschiebung), was der Fähigkeit des Joint-Modells zugeschrieben wird, cross-modale Strukturen zu erfassen, die unabhängige pro-Modalitäts-Flows verpassen.
Ablationen:
- Geometrie: Eine euklidische Baseline (identische Architektur, aber operierend in $\mathbb{R}^d \times \mathbb{R}^d$ ) scheiterte katastrophal bei beiden aleatorischen und epistemischen Metriken und bestätigte die Notwendigkeit Riemannscher Geometrie.
- Effizienz: Zuverlässige Schätzungen wurden mit so wenigen wie 10 ODE-IntegrationsSchritten und einer einzigen Hutchinson-Sonde zur Divergenzschätzung erreicht.
- Backbone: Die Ergebnisse übertrugen sich auf den SigLIP-Backbone, obwohl Dichten-basierte Methoden auf ImageNet-1K aufgrund der isotroperen Einbettungen von SigLIP eine verschlechterte Leistung zeigten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GeoFlowVLM eine kritische Lücke in der nachträglichen UQ für eingefrorene VLMs schließt, indem es ein einziges, geometriebewusstes Modell bereitstellt, das sowohl aleatorische als auch epistemische Unsicherheit offenlegt.

Theoretische Einsicht: Die Arbeit liefert eine prinzipielle Erklärung dafür, warum marginale Typizität das korrekte epistemische Signal in diesem Setting ist und warum cross-modale PMI nicht als Unsicherheits-Score verwendet werden sollte. Sie zeigt, dass die gemeinsame Modellierung auf der Produkt-Hypersphäre strikt reicher ist als die Modellierung pro Modalität.
Praktischer Nutzen: Die Methode bietet einen kalibrierten, richtungssymmetrischen Schätzer für Retrieval-Schwierigkeit und einen robusten, dichtenbasierten Score für die Erkennung von Out-of-Distribution-Proben bei Zero-Shot-Klassifizierung, alles ohne Modifikation des vortrainierten VLM-Backbones.
Einschränkungen: Die Autoren weisen darauf hin, dass der Konsistenzsatz ein Populationslimit-Ergebnis ist; Finite-Sample-Schranken bleiben offen. Die epistemischen Scores sind dichtenbasiert (Typizität) und nicht Bayesianisch (Parameter-Posterior-Varianz). Darüber hinaus erfordert die Methode einmaliges Training auf großen Datenmengen und mehrere ODE-Lösungen pro Abfrage, was sie von training-freien Ansätzen unterscheidet.

Die Autoren schließen, dass die gemeinsame Einbettungsmodellierung eine allgemeine Strategie für reichhaltigere probabilistische Schlussfolgerungen über Vision-Language-Repräsentationen ist, insbesondere für sicherheitskritische Anwendungen wie medizinisches Retrieval und autonome Systeme.