Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

Technisches Fazit: REPVLM – Quantifizierung epistemischer Unsicherheit für vortrainierte VLMs mittels Riemannscher Flow Matching

1. Problemstellung

Vortrainierte Vision-Language-Modelle (VLMs) wie CLIP, BLIP und SigLIP haben durch groß angelegtes kontrastives Vortraining bemerkenswerte Erfolge beim lernbasierten Repräsentationslernen über Modalitäten hinweg erzielt. Diese Modelle sind jedoch inhärent deterministisch und bilden Eingaben auf einzelne, feste Punkte in einem hochdimensionalen Einbettungsraum ab. Diese Architektur fehlt ein intrinsischer Mechanismus zur Quantifizierung epistemischer Unsicherheit (die Ignoranz oder der Wissensmangel des Modells bezüglich seiner eigenen Repräsentationen).

Zwar existieren bereits Unsicherheitsquantifizierungsrahmen (UQ) für VLMs, doch adressieren sie überwiegend aleatorische Unsicherheit (Datenmehrdeutigkeit), indem sie probabilistische Einbettungen erlernen. Für epistemische Unsicherheit entwickelte Methoden, wie Deep Ensembles oder Monte-Carlo-Dropout, sind für groß angelegte vortrainierte Modelle oft rechnerisch prohibitiv oder liefern suboptimale, batch-abhängige Schätzungen. Es besteht ein kritischer Bedarf nach einer skalierbaren, intrinsischen Metrik, die das Vertrauen eines Modells in seine Repräsentationen direkt quantifiziert, ohne teures Nachtrainieren oder Sampling im Parameterraum zu erfordern.

2. Methodik: REPVLM

Die Autoren schlagen REPVLM vor, einen Rahmen, der epistemische Unsicherheit durch Schätzung der Wahrscheinlichkeitsdichte von VLM-Einbettungen direkt auf ihrer natürlichen Mannigfaltigkeit quantifiziert.

Theoretische Motivation
Die Arbeit stellt eine theoretische Verbindung zwischen Einbettungsdichte und epistemischer Unsicherheit durch eine dreistufige Kette her:

1. Kovarianz zu Jacobin-Norm: Unter Standard-Bayes-Annahmen und lokaler Linearität entspricht hohe epistemische Unsicherheit einer großen Parameter-Jacobian-Norm, was eine Sensitivität gegenüber Parameterstörungen anzeigt.
2. Jacobin-Norm zu Datendichte: In hochdichten Regionen der Trainingsdaten tendiert die Jacobin-Norm des Encoders zu klein zu sein (Glätte), wohingegen sie in niedrigdichten (Out-of-Distribution) Regionen unbeschränkt bleibt.
3. Datendichte zu Einbettungsdichte: Motiviert durch Ausrichtungs- und Uniformitätsdynamiken im kontrastiven Lernen gehen die Autoren von einer empirischen Annahme aus, dass die Dichte der Eingabedaten $p(x)$ mit der Dichte der resultierenden Einbettungen $p(z)$ auf der Hypersphäre korreliert.
   Folglich dient die negative Log-Likelihood, $-\log p(z)$, als prinzipieller Proxy für epistemische Unsicherheit: Niedrigdichte Regionen kennzeichnen Modellignoranz.

Riemannscher Flow Matching (RFM)
Um $p(z)$ effizient auf der Hypersphäre $S^{d-1}$ (wo $\ell_2$-normalisierte VLM-Einbettungen liegen) zu berechnen, nutzt REPVLM Conditional Riemannian Flow Matching (CRFM):

• Mannigfaltigkeits-native Modellierung: Im Gegensatz zum Standard-Euklidischen Flow Matching operiert REPVLM direkt auf der Hypersphäre. Es lernt ein Vektorfeld $v_t$, das eine einfache uniforme Basisverteilung $P_0 = \text{Unif}(S^{d-1})$ zu den empirischen modalspezifischen Verteilungen $P_1$ (Bild und Text) transportiert.
• Geodätische Interpolation: Der Wahrscheinlichkeitspfad wird entlang von Geodäten (Großkreisen) konstruiert und nicht entlang gerader Linien, wodurch die intrinsische Geometrie des semantischen Raums respektiert wird.
• Einheitlicher bedingter Rahmen: Ein einziges neuronales Netzwerk lernt das Vektorfeld, bedingt durch die Modalität ($c \in \{\text{image}, \text{text}\}$), was eine aufgabenagnostische Unsicherheitsschätzung ermöglicht.
• Likelihood-Berechnung: Die exakte Log-Dichte wird durch Integration der Divergenz des gelernten Vektorfelds entlang der rückwärts gerichteten ODE-Trajektorie berechnet. Um hochdimensionale Einbettungen effizient zu handhaben, verwenden die Autoren einen durch Mannigfaltigkeiten eingeschränkten Hutchinson-Spur-Schätzer, um die Divergenz mit minimalem Rechenaufwand zu approximieren.

3. Hauptbeiträge

• Theoretische Motivation: Die Arbeit liefert eine formale Herleitung, die zeigt, dass $-\log p(z)$ ein monotoner Proxy für epistemische Unsicherheit in kontrastiven Encodern ist, und verbindet bayessche Unsicherheit mit Einbettungsdichte.
• Mannigfaltigkeits-native Methode (REPVLM): Die Autoren stellen eine skalierbare UQ-Methode vor, die Riemannschen Flow Matching auf VLM-Einbettungsräume erweitert und die Berechnung intrinsischer Wahrscheinlichkeitsdichten für visuelle und textuelle Modalitäten ohne Modifikation des vortrainierten Backbones ermöglicht.
• Empirische Validierung: Die Methode wurde über mehrere Benchmarks hinweg validiert und zeigt eine nahezu perfekte Korrelation zwischen Unsicherheitswerten und Vorhersagefehlern, wobei sie bestehende Baselines in der selektiven Klassifizierung und OOD-Erkennung signifikant übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten REPVLM auf sechs nachgelagerten Benchmarks (ImageNet-1K, Food101, CIFAR-100, ObjectNet, ImageNet-R, ImageNet-Sketch) unter Verwendung von drei verschiedenen Proxy-Datensätzen für das Training (Conceptual Captions, DataComp-1B, LAION-2B).

• Selektive Klassifizierung: REPVLM erreichte eine nahezu perfekte Spearman-Korrelation ($S \ge 0,988$) zwischen Unsicherheit und Vorhersagefehler über Standard-Benchmarks hinweg. Es übertraf Baselines wie ProbVLM, Monte-Carlo-Dropout und Embedding Norm konsistent bei der Identifizierung von Modellfehlern.
• Robustheit gegenüber Verteilungsverschiebungen: Auf verteilungsverschobenen Datensätzen (ObjectNet, ImageNet-R, ImageNet-Sketch) war REPVLM die einzige Methode, die über alle Verschiebungszellen hinweg $S=1,000$ erreichte, während andere Methoden (z. B. ProbVLM, GMM) hohe Varianz oder negative Korrelationen zeigten.
• Anwendungen:
  • OOD-Erkennung: Die Unsicherheitswerte trennten In-Distribution (ID)-Daten effektiv von Near-OOD- und Far-OOD-Daten und lieferten hohe ROC- und Precision-Recall-Kurven.
  • Automatisierte Datenkuratierung: Von REPVLM als hochunsicher markierte Stichproben entsprachen verrauschten, unscharfen oder unsinnigen Eingaben, was ihre Nützlichkeit bei der Bereinigung groß angelegter Webdatensätze demonstriert.
• Effizienz: REPVLM erfordert nur einen zusätzlichen Overhead von ca. 0,55 GFLOPs über dem Backbone hinaus, was es erheblich effizienter macht als Monte-Carlo-Dropout (das ca. 10-fache Forward-Passes erfordert), während es zuverlässigere epistemische Schätzungen als ProbVLM liefert.

5. Bedeutung und Einschränkungen

Bedeutung
Die Arbeit argumentiert, dass die Einbettungsdichte auf der Mannigfaltigkeit die operative Größe für epistemische Unsicherheit in vortrainierten VLMs ist. Durch die Nutzung der geometrischen Struktur des Einbettungsraums mittels Riemannschen Flow Matching bietet REPVLM eine skalierbare, intrinsische und hochzuverlässige Metrik für das Modellvertrauen. Dies ermöglicht praktische Anwendungen wie automatisierte Datenkuratierung und robuste OOD-Erkennung ohne die Rechenkosten von Ensemble-Methoden.

Einschränkungen
Die Autoren erkennen ausdrücklich mehrere Einschränkungen an:

1. Theoretischer Proxy: Der Zusammenhang zwischen bayesscher epistemischer Unsicherheit und Einbettungsdichte ist ein motivierender Proxy-Argument, der auf empirischen Annahmen basiert (insbesondere bezüglich der Dichteerhaltung in nicht-invertierbaren kontrastiven Encodern), und keine formale Identität.
2. Proxy-Abhängigkeit: Wie alle post-hoc-Methoden benötigt REPVLM einen Proxy-Datensatz, der repräsentativ für den Vortrainingsbereich des Ziel-VLM ist. Spezialisierte VLMs können domänenspezifische Proxys erfordern.
3. Geometrische Annahmen: Die Theorie geht von $\ell_2$-normalisierten Einbettungen auf $S^{d-1}$ von Encodern aus, die mit Kosinus-Ähnlichkeit trainiert wurden (wie CLIP). Die Autoren weisen darauf hin, dass die Ergebnisse sich möglicherweise nicht auf Modelle mit anderen Geometrien extrapolieren lassen (z. B. SigLIP, das aufgrund texturgetriebener Dichtevariationen eine verschlechterte Leistung auf In-Distribution-Benchmarks zeigte).
4. Fairness-Risiken: Die Autoren warnen, dass dichte-basierte Unsicherheit Seltenheit mit Ignoranz vermischt. Seltene, aber gültige Eingaben (z. B. aus unterrepräsentierten Gruppen) könnten als hochunsichere Ausreißer markiert werden. In sicherheitskritischen Umgebungen sollten solche Stichproben Kandidaten für eine menschliche Überprüfung sein und nicht automatisch entfernt werden.