Technisches Resümee: FUSE – Quantifizierung der Unsicherheit in Vision-Language-Modellen

Problemstellung

Vision-Language-Modelle (VLMs) sind zu einem integralen Bestandteil von Anwendungen geworden, die von der Robotik bis zum Gesundheitswesen reichen, doch sie neigen zu unzuverlässigen Ausgaben wie Halluzinationen und übermäßig selbstbewusster Argumentation. Es besteht eine kritische Lücke in der Unsicherheitsschätzung (Uncertainty Quantification, UQ) für diese Modelle. Konventionelle Methoden, die auf der Wahrscheinlichkeit des nächsten Tokens oder Logit-basierten Konfidenzen beruhen, scheitern daran, die semantische Mehrdeutigkeit zu erfassen, die in cross-modalen Eingaben oder der Variabilität generativer Ausgaben inhärent ist. Bestehende Ansätze behandeln Unsicherheit oft heuristisch statt als eine fundierte probabilistische Größe und übersehen häufig die Unsicherheit, die in den latenten Repräsentationen des Modells eingebettet ist.

Das Paper identifiziert, dass VLM-Unsicherheit aus zwei unterschiedlichen, komplementären Quellen entsteht:

1. Aleatorische Unsicherheit: Intrinsische Mehrdeutigkeit in den Eingabedaten und cross-modalen Semantiken (z. B. unterbestimmte Fragen oder visuell mehrdeutige Regionen).
2. Epistemische Unsicherheit: Variabilität in den Vorhersagen des Modells aufgrund von Wissensbeschränkungen, schwacher Fundierung oder Verteilungsverschiebungen, die sich in der Diversität der generierten Antworten widerspiegelt.

Das Ziel ist es, ein Framework zu entwickeln, das diese beiden Quellen in ein einziges, kalibriertes Skalarmaß der Unsicherheit ($u^\star$) fusioniert, um die Korrektheit der Ausgabe vorherzusagen und eine selektive Vorhersage zu ermöglichen (das Enthalten bei unsicheren Abfragen).

Methodik: Das FUSE-Framework

Die Autoren schlagen FUSE (Fused Uncertainty with Semantic Evidence) vor, ein probabilistisches Framework, das einen Bayes'schen Fusionsmechanismus verwendet, um aleatorische und epistemische Unsicherheiten zu kombinieren.

1. Aleatorische Unsicherheit: Datenrepräsentations-Prior

Das Framework behandelt die Ebene der Eingabedaten als einen Prior.

• Probabilistische Embeddings: Während Standard-VLMs (z. B. CLIP) deterministische Embeddings erzeugen, führt FUSE einen Gaussian Process (GP) Adapter ein. Dieser Adapter bildet deterministische Embeddings ($z_I, z_T$) in probabilistische Verteilungen ($N(\mu, \Sigma)$) ab, indem er eine gemeinsame latente Variable $x$ lernt, welche die „wahre“ Bedeutung der Daten repräsentiert.
• Sparse Variational GP: Um die Skalierbarkeit zu gewährleisten, verwenden die Autoren einen Sparse Variational Gaussian Process Latent Variable Model (GPLVM) mit Inducing Points.
• Prior-Formulierung: Die Dispersion dieser probabilistischen Embeddings (quantifiziert über die Log-Determinante der Kovarianzen) wird in eine skalare Statistik $s$ aggregiert. Diese Statistik definiert einen Gaußschen Prior über eine latente Unsicherheitsvariable $u$:
  $$u \sim N(m_0, \sigma_0^2), \quad \text{wobei } m_0 = \alpha_0 + \beta_0 s$$
  Dies erfasst die inhärente Mehrdeutigkeit der Eingabeanfrage, bevor die Generierung erfolgt.

2. Epistemische Unsicherheit: Semantische Antwort-Evidenz

Das Framework betrachtet die generative Ausgabe des Modells als Evidenz.

• Antwort-Diversität: Das VLM generiert $n$ stochastische Antworten. Diese werden in Vektoren $\{r_i\}$ eingebettet.
• Semantische Streuung: Eine semantische Streumatrix $S$ wird aus diesen Embeddings konstruiert. Die semantische Evidenz ist definiert als die Log-Determinante dieser Matrix: $\tilde{V} = \log \det S$.
• Gewichtete Evidenz: Um die variierende Zuverlässigkeit der Stichproben zu berücksichtigen, führt die Methode Unsheitsgewichte basierend auf den Per-Token-Log-Wahrscheinlichkeiten des Modells ein. Stichproben mit geringer Konfidenz erhalten höhere Gewichte.
• Likelihood-Modell: Die Autoren beweisen, dass die semantische Evidenz $\tilde{V}$ unter milden Annahmen einer linear-Gaußschen Likelihood gegenüber der latenten Unsicherheit $u$ folgt:
  $$\tilde{V} | u \sim N(a + n u, \tau^2)$$
  Diese analytische Beziehung ermöglicht ein Closed-Form Bayesian Update.

3. Bayesianische Fusion

Die Kerninnovation ist die analytische Fusion des Eingabe-Priors und der Antwort-Evidenz.

• Closed-Form Posterior: Die Kombination des Gaußschen Priors und der linear-Gaußschen Likelihood ergibt eine Closed-Form Posterior-Verteilung für die Unsicherheit $u$:
  $$u | \tilde{V} \sim N(m_{post}, \sigma_{post}^2)$$
• Fusionierter Statistik: Ein einziger Unsicherheitswert $u^\star$ wird aus dem Posterior-Mittelwert und der Varianz abgeleitet (z. B. als Z-Score-Grenze).
• Kalibrierung: Ein globaler Schwellenwert $\theta^\star$ wird auf einem Held-out-Datensatz kalibriert, um das bedingte Risiko (Fehlerrate) für beantwortete Anfragen zu kontrollieren, was eine selektive Beantwortung ermöglicht.

Wichtigste Beiträge

1. Konzeptionelle Formalisierung: Das Paper formalisiert die Trennung der VLM-Unsicherheit in aleatorische (Eingabeebene) und epistemische (Generierungsebene) Quellen und bietet eine Grundlage für die Quantifizierung beider innerhalb eines einheitlichen Frameworks.
2. Vereinheitlichtes probabilistisches Modell: Es führt ein (für das Basis-VLM) trainingsfreies Bayesianisches Framework ein, das diese Quellen analytisch kombiniert. Im Gegensatz zu heuristischen Methoden liefert es eine interpretierbare, kalibrierte Posterior-Verteilung.
3. Mathematische Rechtfertigung: Die Autoren liefern Beweise, die zeigen, dass die semantische Evidenz (Log-Determinante der Antwort-Streuung) linear abhängig von der latenten Unsicherheit ist, was die Verwendung eines Closed-Form Bayesian Update rechtfertigt.
4. Empirische Überlegenheit: Die Methode erreicht State-of-the-Art (SOTA) Performance bei der Unsicherheitskalibrierung und der selektiven Beantwortung über mehrere Benchmarks hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten FUSE auf drei Visual Question Answering (VQA) Benchmarks: VQAv2, OKVQA und AdVQA, wobei LLaVA-v1.5-13b als Backbone diente.

• Baselines: FUSE wurde gegen trainingsfreie Methoden (UMPIRE, Neighborhood Consistency), entropiebasierte Metriken (Semantic Entropy, LN-Entropy) und Conformal Prediction Ansätze (LoFreeCP, CLM) verglichen.
• Diskriminierung: FUSE erreichte die höchste AUROC (0,883 auf VQAv2) bei der Unterscheidung zwischen korrekten und inkorrekten Antworten und übertraf damit alle Baselines.
• Kalibrierung: Die Methode zeigte eine überlegene Kalibrierung mit dem niedrigsten Expected Calibration Error (ECE) und der höchsten Korrelation zwischen vorhergesagter Unsicherheit und empirischen Fehlerraten.
• Selektive Beantwortung: In Bezug auf die Area Under the Rejection–Accuracy Curve (AURAC) übertraf FUSE die Baselines konsistent, was auf die Fähigkeit hindeutet, unsichere Anfragen effektiv zu identifizieren und sich zu enthalten, während die Genauigkeit bei beantworteten Anfragen hoch bleibt.
• Ablationsstudien: Die Experimente bestätigten, dass die Fusion beider Unsicherheitsquellen entscheidend ist; das Entfernen entweder des GP-Priors oder der gewichteten Evidenz führte zu einer Verschlechterung der Leistung.

Bedeutung und Ansprüche

Das Paper behauptet, dass FUSE eine kritische Sicherheits- und Zuverlässigkeitslücke beim Einsatz von VLMs adressiert. Durch den Übergang von Token-Level-Likelihoods zu einer gemeinsamen Bayesianischen Formulierung, die die Prior-Repräsentationen der Eingabe mit der Generierungs-Evidenz integriert, bietet FUSE ein rigoroses, interpretierbares Maß für die Unsicherheit.

Die Autoren betonen, dass ihr Ansatz:

• Kein Retraining des massiven VLM-Backbones erfordert, sondern nur leichtgewichtige GP-Adapter auf dem eingefrorenen Encoder trainiert.
• Einen einzelnen Skalarwert liefert, der die Korrektheit des Modells zuverlässig vorhersagt.
• Eine risikokontrollierte Entscheidungsfindung ermöglicht, indem Systeme es erlauben, sich bei Überschreiten eines kalibrierten Schwellenwerts der Unsicherheit zu enthalten, was in Hochrisikodomänen wie der Medizin oder autonomen Systemen essenziell ist.

Die Arbeit positioniert sich als Schritt zur Erhöhung der Vertrauenswürdigkeit von VLMs, indem sie explizit modelliert, was das Modell „nicht weiß“ – sowohl durch die Mehrdeutigkeit der Eingabe als auch durch die Variabilität der eigenen Generierung.