More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage

1. Problemstellung

Vision-Language-Modelle (VLMs) haben zwar beeindruckende Fähigkeiten in der Erzeugung fotorealistischer Bilder entwickelt, scheitern jedoch oft an der Interpretation abstrakter Bedeutungen, insbesondere bei idiomatischen Substantivkomposita (Noun Compounds, z. B. „Eye Candy").
Das Kernproblem ist eine kognitive Lücke: Modelle neigen dazu, Bilder als Simulationen der Realität zu behandeln (hohe visuelle Fidelity/Iconizität), anstatt sie als Zeichen oder Symbole zu interpretieren. Dies führt zu einer „Literal Superiority Bias" (Literalitäts-Bias): Bei mehrdeutigen Eingaben bevorzugen Modelle die wörtliche, physikalische Darstellung der Einzelbestandteile (z. B. ein echtes Auge für „Eye Candy") gegenüber der intendierten idiomatischen Bedeutung. Hohe visuelle Details (Texturen, Licht, Hintergrund) wirken als störende Signale („semiotisches Rauschen"), die die symbolische Verarbeitung unterdrücken.

2. Methodik

Um dieses Phänomen zu untersuchen, stellen die Autoren einen kontrollierten Ansatz vor, der auf dem Konzept der ikonografischen Abstraktion basiert.

• DIVA-Benchmark (Distilled Idiomatic Visual Abstraction):

  • Statt fotorealistischer Bilder verwendet DIVA schematische, niedrig-detaillierte ikonografische Darstellungen.
  • Für jedes Ziel-Substantivkompositum werden gepaarte Visualisierungen generiert: eine für die wörtliche Bedeutung und eine für die idiomatische Bedeutung.
  • Der Prozess nutzt „Semantische Verankerung" (Semantic Anchorage), bei der der Text (das Noun Compound) als unveränderlicher Anker dient, während die visuellen Details systematisch reduziert werden, um das semantische Kernkonzept freizulegen.
  • Der Datensatz umfasst 1.000 ikonografische Bilder (200 Substantivkomposita mit je 5 Varianten: stark/schwach idiomatisch, stark/schwach wörtlich, Ablenkung).

• Metriken:
  Um die Diskrepanz zwischen wörtlicher und idiomatischer Interpretation zu messen, werden zwei architekturunabhängige Metriken definiert:

  1. Semantic Alignment Gap ($\Delta$): Die absolute Differenz zwischen der semantischen Passung der wörtlichen ($v_{lit}$) und der idiomatischen ($v_{id}$) Darstellung. Ein kleineres $\Delta$ bedeutet eine bessere Balance und weniger Bias.
  2. Signed Literal Bias ($b(t)$): Eine gerichtete Metrik ($b = S(v_{lit}) - S(v_{id})$), die die Stärke und Richtung der Bevorzugung der wörtlichen Bedeutung anzeigt.

• Implementierung der Metrik (Tri-Partite-Ansatz):
  Da verschiedene Modelle unterschiedliche Zugänge bieten, wird $\Delta$ je nach Modelltyp unterschiedlich berechnet:

  • Diskriminative Modelle (Open-Weights): Nutzung der geometrischen Ähnlichkeit im Embedding-Space (Cosine Similarity).
  • Open-Source Generative Modelle (White-Box): Nutzung der Token-Wahrscheinlichkeiten („Likelihood of Idiomatic Distinction" - LID) basierend auf Logits für „Ja/Nein"-Fragen.
  • Proprietäre Modelle (Black-Box): Nutzung von selbstberichteten Konfidenzscores und Verhaltensdaten (erzwungene Wahlfrequenz).

3. Wichtige Beiträge

1. DIVA-Datensatz: Ein neuer, kontrollierter Benchmark, der visuelle Fidelity durch schematische Iconizität ersetzt, um den Einfluss von visuellem Rauschen auf die semantische Ausrichtung zu isolieren.
2. Neue Metriken: Einführung von $\Delta$ und $b(t)$, die es ermöglichen, die semantische Ausrichtung über verschiedene Architekturen hinweg (diskriminativ, generativ offen, proprietär) zu quantifizieren.
3. Systematische Evaluation: Eine umfassende Bewertung von 8 aktuellen VLMs (darunter SigLIP, EVA-CLIP, InternVL3, Qwen2.5-VL, GPT-5, Claude), die zeigt, dass Skalierung allein das Problem nicht löst.

4. Ergebnisse

Die Evaluation ergab folgende zentrale Erkenntnisse:

• Konsistente Literalitäts-Bias: Alle getesteten Modelle zeigen in fotorealistischen Szenarien (ADMIRE-Datensatz) eine starke Präferenz für wörtliche Interpretationen ($\Delta$ ist hoch, $b > 0$).
• Effekt der ikonografischen Abstraktion: Der Wechsel zu den vereinfachten DIVA-Bildern reduziert den Semantic Alignment Gap ($\Delta$) signifikant in allen Architektur-Familien.
  • Beispiel: Bei GPT-5 sinkt $\Delta$ von 0,065 (Foto) auf 0,021 (Icon). Bei diskriminativen Modellen wie SigLIP sinkt es von 0,245 auf 0,178.
• Skalierung ist kein Allheilmittel: Selbst große Modelle (bis zu 78B Parameter) leiden unter der „Literal Superiority Bias" bei hochfidelen Bildern. Die Verbesserung durch ikonografische Eingaben ist unabhängig von der Modellgröße.
• Verbesserte Genauigkeit: In einer 5-Wege-Auswahl-Aufgabe (mit expliziter Bedeutungsangabe) stieg die Genauigkeit aller Modelle bei ikonografischen Eingaben signifikant an (z. B. von 78,5 % auf 91,3 % bei proprietären Modellen).

5. Bedeutung und Fazit

Das Paper stellt die Hypothese auf, dass hohe visuelle Fidelity kognitive Interferenz verursacht. Wenn Modelle zu viel Kapazität darauf verwenden, physikalische Details (Texturen, Schatten) zu verarbeiten, wird ihre Fähigkeit unterdrückt, abstrakte, symbolische Bedeutungen zu erkennen.

• Theoretische Implikation: Es wird argumentiert, dass für ein tiefes Verständnis von Metaphern und Idiomen visuelle Eingaben oft abstrahiert werden müssen, ähnlich wie menschliche Leser Text als abstrakten Code und nicht als visuelles Muster behandeln.
• Praktische Relevanz: Die Ergebnisse deuten darauf hin, dass das Training und die Evaluation von VLMs von rein fotorealistischen Benchmarks weg und hin zu ikonografischen, semantisch verankerten Darstellungen verschoben werden sollten, um echte symbolische Fähigkeiten zu messen und zu verbessern.
• Zukunftsausblick: Die Autoren schlagen vor, den „Semiotic Gap" durch kontrastives Tuning (CIT) zu schließen und den Ansatz auf multilinguale und kulturell diverse Metaphern zu erweitern.

Zusammenfassend zeigt das Paper, dass weniger visuelle Details oft zu mehr semantischem Verständnis führen, da sie das „Rauschen" der physikalischen Simulation reduzieren und den Fokus auf die symbolische Essenz lenken.