💬 NLP

Visual Semantic Entropy: Do Vision Language Models Recognize Visual Ambiguity?

Dieses Paper schlägt Visual Semantic Entropy (VSE) vor, eine neuartige Methode zur Unsicherheitsschätzung, die visuelle Mehrdeutigkeit isoliert, indem sie ausschließlich die Bild-Inputs perturbiert, während die Textabfragen unverändert bleiben, wodurch die Einschränkungen bestehender Entropie-basierter Ansätze überwunden werden, die durch übermäßig selbstbewusste visuelle Embeddings verzerrt oder von textuellen Variationen dominiert werden.

Ursprüngliche Autoren: Ta Duc Huy, Trang Nguyen, Townim Chowdhury, Ankit Yadav, Minh-Son To, Zhibin Liao, Johan W. Verjans, Vu Minh Hieu Phan

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ta Duc Huy, Trang Nguyen, Townim Chowdhury, Ankit Yadav, Minh-Son To, Zhibin Liao, Johan W. Verjans, Vu Minh Hieu Phan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie fragen einen sehr intelligenten, selbstbewussten Roboter, ein Bild zu beschreiben. Manchmal ist das Bild verschwommen oder knifflig, und der Roboter könnte falsch liegen. Die große Frage, die diese Arbeit stellt, lautet: Wie können wir feststellen, ob der Roboter unsicher ist oder ob er nur selbstbewusst rät?

Die Autoren haben herausgefunden, dass die aktuellen Methoden zur Überprüfung des Vertrauens eines Roboters fehlerhaft sind. Sie haben einen neuen, besseren Weg entwickelt, der Visual Semantic Entropy (VSE) genannt wird. Hier erklären sie es mit einfachen Analogien:

Das Problem: Der „überhebliche Roboter“

Stellen Sie sich ein Vision-Language Model (VLM) wie einen Roboter vor, der ein Foto betrachtet und eine Frage beantwortet.

Der alte Weg (Semantische Entropie): Um zu prüfen, ob der Roboter unsicher ist, stellen wir ihm dieselbe Frage 10 Mal hintereinander. Wenn er 10 verschiedene Antworten gibt, wissen wir, dass er verwirrt ist. Wenn er 10 Mal dieselbe Antwort gibt, denken wir, er ist sich sicher.
Der Fehler: Die Autoren haben entdeckt, dass der Roboter manchmal überheblich ist. Stellen Sie sich vor, der Roboter sieht ein verschwommenes Foto einer Tasche, das ein bisschen wie ein Beutel aussieht. Sein „visuelles Gehirn“ ist so überzeugt davon, dass es ein Beutel ist, dass er selbst wenn man ihn 100 Mal fragt, immer „Beutel“ sagen wird. Er weicht nie von seiner Meinung ab.
- Das Ergebnis: Die alte Methode sieht, dass der Roboter 100 Mal „Beutel“ sagt, und denkt: „Großartig, er ist sich zu 100 % sicher!“ Aber der Roboter liegt eigentlich falsch und das Bild war mehrdeutig. Die alte Methode hat die Gefahr übersehen, weil das interne Vertrauen des Roboters zu stark war.

Das zweite Problem: Die „wortgetreue Paraphrase“-Falle

Einige Forscher versuchten dies zu beheben, indem sie nicht nur die Frage wiederholten, sondern die Frage änderten. Sie fragten: „Was ist in der Tasche?“ und dann „Was ist im Sack?“ und „Beschreibe den Behälter“.

Der Fehler: Die Autoren fanden heraus, dass das Ändern der Wörter (Text) dazu führt, dass der Roboter über die Wörter verwirrt wird, nicht über das Bild. Es ist, als würde man einem Freund fragen: „Ist das eine Katze?“ und dann „Ist das ein Felid?“ Der Freund könnte durch die unterschiedlichen Wörter verwirrt werden und verschiedene Antworten geben, selbst wenn das Bild völlig klar ist.
- Das Ergebnis: Der Unsicherheitswert steigt, aber er misst, wie empfindlich der Roboter auf die Wortwahl reagiert, nicht wie mehrdeutig das Bild tatsächlich ist.

Die Lösung: Visual Semantic Entropy (VSE)

Die Autoren schlagen eine neue Methode vor, die beide Probleme löst. Betrachten Sie dies als einen „Visuellen Stresstest“.

Behalten Sie die Frage bei, bewegen Sie das Bild: Anstatt die Wörter zu ändern, lassen sie die Frage exakt gleich. Aber sie „erschüttern“ oder „stören“ das Bild ganz leicht. Stellen Sie sich vor, Sie nehmen ein Foto eines Hundes und fügen ein wenig statisches Rauschen hinzu oder verändern die Beleuchtung nur ein winziges Stück.
- Analogie: Es ist, als würde man ein verschwommenes Gemälde betrachten. Wenn man einen Schritt zurücktritt, die Augen zusammenkneift oder den Kopf neigt (die Ansicht leicht verändert), sieht das Bild dann immer noch wie ein Hund aus, oder fängt es an, wie eine Katze auszusehen?
Gruppieren Sie die Antworten nach Bedeutung: Der Roboter beantwortet dieselbe Frage für all diese leicht unterschiedlichen Versionen des Bildes.
- Wenn der Roboter „Beutel“, „Tasche“ und „Sack“ sagt, erkennt ein intelligentes System, dass diese alle in etwa dasselbe bedeuten. Es gruppiert sie zusammen.
- Wenn der Roboter für einige Ansichten „Beutel“ und für andere „Hund“ sagt, ist das eine echte Uneinigkeit.
Messen Sie die Streuung: Sie berechnen, wie weit diese Gruppen von Antworten auseinanderliegen.
- Wenn der Roboter sich über das Bild wirklich unsicher ist, liegen die Gruppen weit auseinander (z. B. eine Gruppe sagt „Beutel“, eine andere sagt „Hund“). Dies erzeugt einen hohen Unsicherheitswert.
- Wenn der Roboter sicher ist, liegen alle Gruppen nah beieinander, was zu einem niedrigen Unsicherheitswert führt.

Warum es besser funktioniert

Die Autoren haben diese neue Methode an fünf verschiedenen intelligenten Robotern und fünf verschiedenen Sätzen schwieriger Fragen getestet.

Das Ergebnis: Die neue Methode (VSE) war viel besser darin, zu erkennen, wann die Roboter tatsächlich durch ein kniffliges Bild verwirrt waren. Sie wurde nicht von der Überheblichkeit des Roboters getäuscht und wurde auch nicht durch die Änderung der Wörter verwirrt.
Das Faz-Faz: Um zu wissen, ob ein Roboter über ein Bild unsicher ist, muss man das Bild bewegen, nicht die Wörter. Dies liefert ein wahres Maß dafür, wie mehrdeutig die visuelle Evidenz tatsächlich ist.

Kurz gesagt, die Arbeit besagt: Vertrauen Sie einem Roboter nicht einfach nur deshalb, weil er dieselbe Antwort wiederholt. Wenn das Bild knifflig ist, bewegen Sie das Bild ein wenig. Wenn der Roboter dann anfängt, unterschiedliche Antworten zu geben, dann wissen Sie, dass er unsicher ist.

Technisches Resümee: Visual Semantic Entropy (VSE)

1. Problemdefinition

Vision-Language-Modelle (VLMs) zeichnen sich durch Visual Question Answering (VQA) aus, produzieren jedoch häufig konfidente Vorhersagen bei visuell mehrdeutigen Eingaben, was zu verzerrten und unzuverlässigen Ergebnissen führt. Eine zuverlässige Unsicherheitsschätzung (Uncertainty Estimation, UE) ist entscheidend, um diese Vorhersagen zu filtern. Bestehende UE-Methoden weisen jedoch drei spezifische Fehlermodi auf, wenn sie auf VLMs angewendet werden:

Unterdrückte Output-Varianz: Standardmäßige entropiebasierte Methoden wie die Semantic Entropy (SE) verlassen sich auf stochastisches Decoding, um diverse Outputs zu generieren. Die Autoren zeigen, dass das Decoding nahezu identische Outputs liefert, wenn ein VLM ein hochkonfidentes visuelles Embedding bildet (selbst bei ambivalenten Bildern). Folglich unterschätzt SE die Unsicherheit, da sie die der visuellen Eingabe inhärente Mehrdeutigkeit nicht erfasst.
Aufgeblähte Distanzen durch Wortwahl: Methoden, die paarweise semantische Distanzen aggregieren (z. B. SNNE), behandeln Antworten als kategoriale Labels oder verlassen sich auf Embedding-Distanzen. Da Sprache diskret ist, können semantisch äquivalente Antworten mit unterschiedlicher Formulierung im Embedding-Raum als distanzreich erscheinen. Diese linguistische Variation bläht die Unsicherheitsschätzungen auf, selbst wenn keine echte semantische Uneinigkeit vorliegt.
Textuelle Dominanz bei gemeinsamen Perturbationen: Aktuelle Ansätze untersuchen die Unsicherheit mittels Input-Perturbationen, einschließlich textueller Paraphrasierung oder gemeinsamer Text-Bild-Perturbationen. Die Autoren zeigen, dass textuelle Paraphrasierung signifikant größere semantische Verschiebungen im multimodalen Embedding-Raum induziert als visuelle Perturbationen. Infolgedessen wird die Output-Variabilität in diesen Methoden primär durch Prompt-Sensitivität (linguistische Änderungen) getrieben, anstatt durch visuelle Mehrdeutigkeit; die Unsicherheitsschätzungen reflektieren somit eher die Textsensitivität als die visuelle Evidenz.

2. Methodik: Visual Semantic Entropy (VSE)

Um diese Einschränkungen zu adressieren, schlagen die Autoren Visual Semantic Entropy (VSE) vor, ein Framework, das darauf ausgelegt ist, visuelle Mehrdeutigkeit zu untersuchen und gleichzeitig linguistisches Rauschen zu minimieren. Die Methode besteht aus drei Kernphasen:

A. Visuelle Perturbation (Fixierter Text)

Im Gegensatz zu Methoden, die die Frage perturbieren oder Text und Bild gemeinsam perturbieren, hält VSE die Textabfrage $q$ fest und perturbiert nur das Eingabebild $v$ .

Mechanismus: Ein visueller Perturbationsoperator $\mathcal{T}$ generiert $M$ perturbierte Ansichten $v_m = \mathcal{T}(v; \xi_m)$ . Die Autoren verwenden Gaußsches Rauschen mit einer festen, geringen Standardabweichung ( $\sigma=20$ ), um lokale visuelle Variationen zu induzieren, ohne den hochgradigen semantischen Inhalt zu verändern oder die Stichprobe aus der lokalen Nachbarschaft des Original-Inputs zu bewegen.
Begründung: Dies isoliert die visuelle Unsicherheit. Durch das Vermeiden von Textänderungen verhindert die Methode das Problem der „Prompt-Sensitivität“, bei dem Paraphrasierung die Output-Diversität dominiert.

B. Antwort-Sampling

Das VLM generiert $M$ Antwortproben $\{a_m\}$ , die den $M$ perturbierten Bildansichten entsprechen. Dieser Prozess evoziert alternative Interpretationen der visuellen Evidenz, die das stochastische Decoding allein möglicherweise übersehen würde, wenn visuelle Embeddings überkonfident sind.

C. Prototypische Semantische Aggregation (ProtoSem)

Um zu verhindern, dass linguistische Variationen die Unsicherheit aufblähen, aggregiert VSE Antworten auf semantischer Ebene, anstatt sie als Roh-Tokens zu behandeln.

Clustering: Die Antwortvarianten werden basierend auf der semantischen Distanz (unter Verwendung eines vortrainierten semantischen Ähnlichkeitsmodells wie DeBERTa) in $K$ Gruppen $\{c_k\}$ gruppiert.
Prototyp-Selektion: Für jede Gruppe $c_k$ wird eine Prototyp-Antwort $p_k$ als das Mitglied ausgewählt, welches die durchschnittliche Distanz zu anderen Mitgliedern innerhalb derselben Gruppe minimiert.
Unsicherheitsschätzung: Die Unsicherheit wird als massengewichtete paarweise Dispersion zwischen diesen Prototypen berechnet:
$\tilde{u} = \sum_{k \neq k'} w_k w_{k'} \, \mathrm{d}(p_k, p_{k'})$
wobei $w_k = |c_k|/M$ die empirische Wahrscheinlichkeit (Masse) des Clusters $k$ ist. Diese Metrik erfasst die Uneinigkeit zwischen distinkten semantischen Bedeutungen, während sie intra-clusterige Wortwahlvariationen ignoriert.

3. Zentrale Beiträge

Analyse der Fehlermodi: Die Arbeit liefert eine systematische Analyse, die drei spezifische Limitationen aktueller VLM-Unsicherheitsschätzer identifiziert: (1) überkonfidente visuelle Embeddings, welche die Output-Diversität unterdrücken, (2) Wortwahlvariationen, welche distanzbasierte Metriken aufblähen, und (3) textuelle Perturbationen, die in gemeinsamen Perturbationsschemata die Output-Variabilität dominieren.
Visual Semantic Entropy (VSE): Die Autoren führen VSE ein, eine neuartige UE-Methode, die nur das Bild perturbiert, um visuelle Mehrdeutigkeit zu untersuchen, und eine prototypenbasierte semantische Aggregation nutzt, um Unsicherheit zu quantifizieren. Dieses Design vermeidet explizit die Störfaktoren der Prompt-Sensitivität und des linguistischen Rauschens.
Umfassendes Benchmarking: Die Studie evaluiert VSE über fünf moderne VLMs (Qwen2.5-VL, Gemma3, Intern3.5-VL, LLaVA-NeXT, Qwen3-VL) und fünf diverse Benchmarks (OKVQA, AOKVQA, MMVet, VILP, VLM-are-biased) und etabliert damit einen neuen State-of-the-Art für die VQA-Unsicherheitsschätzung.

4. Experimentelle Ergebnisse

Die Evaluierung nutzt die Area Under the ROC Curve (AUC), um zu messen, wie gut die Unsicherheitsscores korrekte von inkorrekten Vorhersagen unterscheiden können.

Allgemeine Performance: VSE übertrifft konsistent bestehende Methoden (Verbalized, Logit-basiert, Konsistenz-basiert und Entropie-basiert) über alle getesteten Modelle und Datensätze hinweg. Beispielsweise erreichte VSE auf dem AOKVQA-Datensatz AUC-Scores zwischen 0,724 und 0,798 über verschiedene Modelle hinweg und übertraf damit die nächstbeste entropiebasierte Methode (VL-Uncertainty) in einigen Fällen um bis zu 9,2 %.
Fokus auf visuelle Mehrdeutigkeit: Auf adversariellen Datensätzen, die darauf ausgelegt sind, visuelle Bias zu exponieren (VILP und VLM-are-biased), zeigte VSE die signifikantesten Gewinne. So erreichte VSE beispielsweise auf VILP mit Qwen2.5-VL eine AUC von 0,650, was die Baselines SE (0,535) und VL-Uncertainty (0,489) deutlich übertraf. Dies bestätigt die Fähigkeit von VSE, Unsicherheit zu erfassen, die spezifisch aus visueller Mehrdeutigkeit resultiert.
Ablationsstudien:
- Das Hinzufügen von visueller Perturbation zu bestehenden Entropie-Methoden (SE und SNNE) verbesserte deren Performance konsistent, was die Notwendigkeit validiert, den visuellen Inputraum zu explorieren.
- Der Ersatz von Roh-Antwort-Sampling durch die Prototypische Semantische Aggregation (ProtoSem) verbesserte die Ergebnisse weiter, was bestätigt, dass das Clustering semantisch äquivalenter Antworten das Rauschen durch linguistische Variationen reduziert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass VSE einen neuen State-of-the-Art für die Unsicherheitsschätzung in VQA etabliert, indem es die Quelle der Mehrdeutigkeit direkt adressiert: den visuellen Input. Die Autoren argumentieren, dass eine zuverlässige Unsicherheitsschätzung Folgendes erfordert:

Das Sondieren des visuellen Inputraums anstatt sich allein auf die Stochastizität des Decodings zu verlassen.
Das Vermeiden von textuellen Perturbationen, die Prompt-Sensitivität einführen.
Die Aggregation von Vorhersagen auf der Ebene semantischer Prototypen, um linguistisches Rauschen zu mildern.

Die Autoren positionieren VSE als einen Schritt hin zu vertrauenswürdigeren VLM-Einsätzen, insbesondere in Szenarien, in denen die visuelle Evidenz mehrdeutig ist. Sie räumen Einschränkungen ein, darunter die zusätzlichen Rechenkosten im Zusammenhang mit der Perturbations-basierten Stichprobenziehung sowie die Sensitivität gegenüber der verwendeten semantischen Distanzfunktion für das Clustering, betonen jedoch, dass ihr Ansatz eine treuere Reflexion der visuellen Unsicherheit bietet als aktuelle Alternativen.