🤖 machine learning

Post-hoc Probabilistic Vision-Language Models

Diese Arbeit stellt eine nachträgliche Methode zur probabilistischen Unsicherheitsquantifizierung für Vision-Language-Modelle vor, die ohne zusätzliches Training analytische Unsicherheitsschätzungen ermöglicht und damit die Zuverlässigkeit sowie die Effizienz beim aktiven Lernen verbessert.

Ursprüngliche Autoren: Anton Baumann, Rui Li, Marcus Klasson, Santeri Mentu, Shyamgopal Karthik, Zeynep Akata, Arno Solin, Martin Trapp

Veröffentlicht 2026-02-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anton Baumann, Rui Li, Marcus Klasson, Santeri Mentu, Shyamgopal Karthik, Zeynep Akata, Arno Solin, Martin Trapp

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🧐 Das Problem: Der selbstbewusste, aber manchmal verirrte KI-Künstler

Stell dir vor, du hast einen riesigen, super-intelligenten KI-Künstler (nennen wir ihn CLIP oder SigLIP). Dieser Künstler hat Millionen von Bildern und Texten gesehen. Er kann ein Bild von einer Katze sehen und sofort sagen: „Das ist eine Katze!" oder ein Bild von einem Hund und sagen: „Das ist ein Hund!"

Aber hier ist das Problem: Der Künstler ist zu selbstbewusst.

Wenn er ein Bild sieht, das er noch nie gesehen hat (zum Beispiel eine Katze, die wie ein Roboter aussieht), sagt er trotzdem mit 100-prozentiger Sicherheit: „Das ist eine Katze!" – auch wenn er sich irrt. Er weiß nicht, dass er sich irrt. In der echten Welt, besonders bei wichtigen Dingen wie medizinischen Diagnosen oder selbstfahrenden Autos, ist das gefährlich. Wir brauchen nicht nur eine Antwort, sondern auch ein Gefühl dafür: „Bin ich mir hier sicher oder nicht?"

💡 Die Lösung: BayesVLM – Der „Zweifelnde" Künstler

Die Forscher aus diesem Papier haben eine clevere Methode entwickelt, namens BayesVLM. Sie müssen den Künstler nicht neu ausbilden (was Jahre dauern würde) und sie müssen ihn nicht umbauen. Stattdessen geben sie ihm einfach eine neue Brille auf, damit er seine eigene Unsicherheit sehen kann.

Hier ist, wie das funktioniert, mit ein paar einfachen Vergleichen:

1. Der „Laplace-Ansatz": Ein Foto von der Spitze

Stell dir vor, der KI-Künstler hat einen riesigen Berg von Wissen gelernt. Die Spitze dieses Berges ist seine beste Antwort (das, was er jetzt sagt).
Normalerweise steht er nur auf der Spitze und schaut nach unten.
Die neue Methode macht etwas anderes: Sie nimmt ein Foto von der Spitze und schaut sich an, wie steil die Hänge ringsum sind.

Flache Hänge: Das bedeutet, der Künstler ist unsicher. Kleine Änderungen im Bild könnten seine Antwort komplett ändern. -> Hohe Unsicherheit.
Steile Klippen: Das bedeutet, er ist sehr sicher. Selbst wenn das Bild ein bisschen verrauscht ist, bleibt seine Antwort gleich. -> Geringe Unsicherheit.

Das nennt man im Fachjargon eine Laplace-Approximation, aber denk einfach daran als: „Wie wackelig ist meine Antwort?"

2. Die „Zufalls-Wolken" (Probabilistische Embeddings)

Normalerweise wandelt die KI ein Bild in einen festen Punkt im Raum um (z. B. Punkt A).
Mit der neuen Methode wird dieser Punkt zu einer kleinen, wabbeligen Wolke.

Wenn die Wolke klein und kompakt ist: „Ich bin mir sicher, das ist eine Brille."
Wenn die Wolke riesig und zerfasert ist: „Hmm, das könnte eine Brille sein, aber es könnte auch ein Stück Papier sein. Ich bin mir nicht sicher."

3. Der „Cosine-Similarity"-Test: Wie ähnlich sind wir?

Die KI vergleicht das Bild mit einem Text (z. B. „Eine Brille"). Normalerweise misst sie nur den Abstand zwischen zwei Punkten.
Jetzt misst sie den Abstand zwischen zwei Wolken.
Die Forscher haben eine Formel entwickelt (die sie ProbCosine nennen), die berechnet: „Wie sehr überlappen sich diese beiden Wolken?"

Viele Überlappungen: Hohe Sicherheit.
Wenige Überlappungen: Die KI weiß, dass sie raten muss.

🎯 Wofür ist das gut? (Die zwei großen Anwendungen)

A. Bessere Entscheidungen in der echten Welt (Unsicherheits-Quantifizierung)

Wenn die KI sagt: „Das ist ein Hund", aber ihre Unsicherheits-Wolke riesig ist, dann weiß das System: „Achtung, hier bin ich mir nicht sicher!"
Das ist super wichtig für sicherheitskritische Anwendungen. Statt blind zu vertrauen, kann das System sagen: „Ich bin unsicher, lass uns einen menschlichen Experten fragen." Das verhindert Fehler.

B. Der effiziente Lern-Assistent (Aktives Lernen)

Stell dir vor, du willst die KI auf eine neue Aufgabe trainieren, hast aber nur wenig Zeit und Geld, um Bilder zu beschriften.

Schlechter Lehrer: Fragt die KI: „Was ist das?" bei 100 Bildern, die sie ohnehin schon kennt. (Verschwendete Zeit!)
BayesVLM-Lehrer: Fragt die KI: „Was ist das?" nur bei den Bildern, bei denen sie unsicher ist.
- Die KI sagt: „Bei Bild 1 bin ich mir 100% sicher." -> Ignorieren.
- Die KI sagt: „Bei Bild 2 bin ich mir gar nicht sicher." -> Lernen!

Das System lernt also viel schneller und mit viel weniger Daten, weil es genau dort nachfragt, wo es Hilfe braucht.

🚀 Warum ist das so cool?

Kein Neustart nötig: Man muss den riesigen KI-Modell nicht von vorne trainieren. Es ist wie ein „Nachschlag"-Tool, das man einfach oben drauf setzt.
Schnell: Es kostet fast keine extra Rechenzeit. Die KI wird nicht langsamer.
Robust: Es funktioniert auch dann gut, wenn die Trainingsdaten der KI geheim sind (z. B. bei Google oder OpenAI), solange man ein paar Beispielbilder hat, um die „Wackeligkeit" zu messen.

📝 Zusammenfassung in einem Satz

Die Forscher haben eine Methode erfunden, die riesigen, selbstbewussten KI-Modellen eine Art „Zweifel-Sensor" verleiht, damit sie wissen, wann sie sich sicher sind und wann sie lieber schweigen sollten – alles ohne sie neu zu erfinden und ohne sie langsamer zu machen.

Das Ergebnis: Eine KI, die nicht nur antwortet, sondern uns auch sagt, wie sehr wir ihr trauen können.

1. Problemstellung

Vision-Language Models (VLMs) wie CLIP und SigLIP haben in Aufgaben wie Zero-Shot-Klassifizierung, Retrieval und Generierung bemerkenswerte Erfolge erzielt. Diese Modelle bilden Bilder und Textbeschreibungen deterministisch in einen gemeinsamen latenten Raum ab, wobei die Ähnlichkeit mittels Kosinus-Ähnlichkeit berechnet wird.

Das Hauptproblem liegt jedoch in der Fehlenden Unsicherheitsquantifizierung. Da die Abbildung deterministisch ist, können diese Modelle keine Unsicherheiten über Konzepte erfassen, die durch Domänenverschiebungen (Domain Shifts) oder in Downstream-Aufgaben entstehen. Für sicherheitskritische Anwendungen und Entscheidungen wie im Active Learning ist es jedoch essenziell, nicht nur eine Vorhersage zu treffen, sondern auch das Vertrauen in diese Vorhersage (epistemische und aleatorische Unsicherheit) zu quantifizieren.

Bestehende Ansätze zur Unsicherheitsquantifizierung haben erhebliche Nachteile:

Kalibrierungsmethoden (z. B. Temperature Scaling) erfassen keine epistemische Unsicherheit.
Adapter-basierte Methoden oder Neutrainings erfordern erhebliche Rechenressourcen und sind in Streaming- oder Active-Learning-Szenarien oft unpraktisch.
Test-Time-Adaptation (TTA) erhöht die Inferenzkosten drastisch.

Es fehlt eine effiziente, trainingsfreie Methode, die Unsicherheiten direkt aus vortrainierten VLMs ableitet, ohne die Architektur zu ändern oder das Modell neu zu trainieren.

2. Methodik: BayesVLM

Die Autoren stellen BayesVLM vor, eine effiziente Post-Hoc-Methode zur Unsicherheitsquantifizierung für vortrainierte VLMs. Der Kernansatz basiert auf der Laplace-Näherung (Laplace Approximation) der Bayesianischen Posterior-Verteilung.

Die Methodik gliedert sich in folgende Schritte:

Post-Hoc Posterior-Schätzung:
Anstatt das gesamte Modell probabilistisch zu machen, wird die Laplace-Näherung nur auf die letzten Schichten angewendet, spezifisch auf die linearen Projektionsschichten $P$ (für Bilder) und $Q$ (für Text). Die Encoder ( $\phi$ und $\psi$ ) bleiben deterministisch.
- Um die Berechnung der Posterior-Verteilung zu ermöglichen, wird eine Unabhängigkeitsannahme (i.i.d.) zwischen den Modalitäten getroffen. Obwohl VLMs multimodal trainiert sind, wird angenommen, dass die Likelihood-Funktionen für Bild und Text getrennt betrachtet werden können, gegeben die andere Modalität. Dies ermöglicht eine effiziente separate Posterior-Inferenz für $P$ und $Q$ .
- Die Posterior-Verteilung wird als Gaußsche Verteilung um den MAP-Schätzwert (Maximum A Posteriori) approximiert: $p(\theta | D) \approx \mathcal{N}(\theta_{MAP}, \Sigma)$ .
Effiziente Hessian-Berechnung (KFAC):
Da die Berechnung der vollen Hesse-Matrix für große Modelle unmöglich ist, wird die Generalised Gauss-Newton (GGN) Approximation verwendet, spezifisch in der Kronecker-faktorierten (KFAC) Form. Dies erlaubt eine kompakte Darstellung der Kovarianzmatrix $\Sigma$ durch das Kronecker-Produkt zweier kleinerer Matrizen ( $A$ und $B$ ), was Speicher- und Rechenaufwand drastisch reduziert.
ProbCosine: Analytische Unsicherheitspropagierung:
Ein zentrales Problem ist die Berechnung der Unsicherheit über die Kosinus-Ähnlichkeit, da diese eine nicht-lineare Funktion der probabilistischen Embeddings ist.
- Die Autoren leiten eine analytische Näherung ab, die die Verteilung der Kosinus-Ähnlichkeit als Gaußsche Verteilung approximiert.
- Sie berechnen den Erwartungswert und die Varianz der Kosinus-Ähnlichkeit basierend auf den ersten beiden Momenten der Bild- und Text-Embeddings (die selbst als Gaußsch verteilt angenommen werden).
- Dies ermöglicht eine effiziente Weiterleitung der Unsicherheit bis zur endgültigen Klassifizierungswahrscheinlichkeit (unter Verwendung einer Probit-Näherung), ohne auf kostspielige Monte-Carlo-Sampling-Verfahren angewiesen zu sein.
Anwendung im Active Learning:
Die Methode wird genutzt, um informative Datenpunkte für das Fine-Tuning auszuwählen. Durch die Kombination von BayesVLM mit Acquisition-Funktionen wie BALD (Bayesian Active Learning by Disagreement) und EPIG (Expected Predictive Information Gain) können unsichere und informative Samples identifiziert werden, um das Modell effizient an neue Domänen anzupassen.

3. Hauptbeiträge

BayesVLM: Einführung einer effizienten, Post-Hoc-Methode zur Unsicherheitsquantifizierung für VLMs, die keine Architekturänderungen oder zusätzliches Training erfordert.
Erste direkte bayesianische Formulierung: Entwicklung der ersten direkten bayesianischen Formulierung für Vision-Language-Modelle mit einer analytischen Herleitung der Verteilung über Kosinus-Ähnlichkeiten (ProbCosine) für eine effiziente Unsicherheitspropagierung.
Nachweis der Wirksamkeit: Demonstration, dass BayesVLM in Zero-Shot- und Active-Learning-Szenarien die Kalibrierung verbessert und die Fehlerrate senkt, verglichen mit Baselines wie Temperature Scaling oder TTA.
Robustheit und Effizienz: Die Methode ist robust gegenüber Proxy-Datensätzen (wichtig bei proprietären Trainingsdaten) und fügt einen vernachlässigbaren rechnerischen Overhead hinzu (< 5% für CLIP-Base, < 1% für große Modelle).

4. Ergebnisse

Die Autoren evaluieren BayesVLM auf mehreren Benchmarks (FLOWERS-102, FOOD-101, CIFAR-10/100, ImageNet-R, UCF101, SUN397) und im Active-Learning-Setup (OfficeHome, ImageNet-Varianten).

Zero-Shot Klassifizierung:
- BayesVLM erreicht eine Genauigkeit (ACC), die mit dem deterministischen CLIP und Temperature Scaling vergleichbar ist.
- Wesentliche Verbesserung: BayesVLM zeigt deutlich bessere Kalibrierung (niedrigerer Expected Calibration Error - ECE) und niedrigere Negative Log Predictive Density (NLPD). Das Modell ist weniger selbstsicher bei falschen Vorhersagen.
- Die Methode funktioniert auch, wenn die Hesse-Matrix auf einem Proxy-Datensatz (z. B. CC12M statt LAION-400M) geschätzt wird, was die Anwendbarkeit auf geschlossene Modelle unterstreicht.
Active Learning:
- Bei der Auswahl von Daten für das Fine-Tuning führen die auf BayesVLM basierenden Acquisition-Funktionen (EPIG, BALD) zu einer signifikant schnelleren Reduktion der Fehlerrate und besserer Kalibrierung im Vergleich zu zufälliger Auswahl oder Entropie-basierten Methoden.
- Abbildung 2 im Paper zeigt, dass BayesVLM übermäßiges Selbstvertrauen (Overconfidence) im Zero-Shot-Setup reduziert und nach der Anpassung an neue Daten eine geringere Fehlerrate aufweist.
Effizienz:
- Der Inferenz-Overhead ist minimal (unter 5% Laufzeit für CLIP-Base). Im Gegensatz dazu erhöht Test-Time-Augmentation (TTA) die Kosten um das 80-fache.
- Die Methode ist robust gegenüber Hyperparametern wie der Anzahl der Pseudo-Daten ( $\tau$ ).

5. Bedeutung und Ausblick

Die Arbeit ist von großer Bedeutung für die sichere Anwendung von Large-Scale-Modellen in der Praxis.

Vertrauenswürdige KI: BayesVLM bietet einen Weg, um das „Black-Box"-Verhalten von VLMs zu durchdringen und zuverlässige Unsicherheitsmaße zu erhalten, ohne die Leistung zu opfern.
Ressourceneffizienz: Da keine Neukalibrierung oder Architekturänderung nötig ist, kann die Methode sofort auf existierende, vortrainierte Modelle angewendet werden.
Anwendungsbreite: Die Methode ist nicht nur für die Klassifizierung relevant, sondern auch für Out-of-Distribution (OOD) Detektion, Fehlererkennung und Unsicherheitsbewusstes Retrieval.

Zusammenfassend stellt BayesVLM einen wichtigen Schritt dar, um Vision-Language-Modelle von reinen Vorhersagemaschinen zu zuverlässigen, sicherheitsbewussten Systemen zu machen, die ihre eigenen Grenzen erkennen können.