More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage

Probleemstelling: De Semiotische Kloof

Vision-Language Models (VLMs) hebben een opmerkelijke vaardigheid ontwikkeld om fotorealistische beelden te genereren en te interpreteren. Echter, er bestaat een fundamentele cognitieve kloof: deze modellen worstelen met het interpreteren van beelden als symbolen of tekens in plaats van als simpele simulaties van de realiteit. Dit komt vooral naar voren bij naamwoordcombinaties (noun compounds), zoals "Eye Candy" (letterlijk: oog snoep, figuurlijk: iets visueel aantrekkelijks).

Wanneer modellen geconfronteerd worden met abstracte concepten, vertonen ze een "Literal Superiority Bias" (letterlijk superieure bias). Ze geven de voorkeur aan hoge visuele details (textuur, licht, achtergrond) die een letterlijke interpretatie ondersteunen, ten koste van de beoogde idiomatische of symbolische betekenis. De auteurs stellen dat hyper-realistische beelden fungeren als "semiotische ruis" die de symbolische interpretatie verstoort.

Methodologie

Om dit probleem te onderzoeken, introduceren de auteurs een nieuwe aanpak die bestaat uit een benchmark, een abstractieframework en een nieuwe meetmethode.

1. Het DIVA Benchmark Dataset

De auteurs stellen DIVA (Distilled Idiomatic Visual Abstraction) voor. Dit is een gecontroleerde benchmark die bestaande fotorealistische datasets vervangt door iconografische weergaven.

• Aanpak: Voor elke naamwoordcombinatie worden gepaarde visualisaties gegenereerd: één voor de letterlijke betekenis en één voor de idiomatische betekenis.
• Iconografische Abstractie: In plaats van fotorealisme, worden schema's met lage detailgraad (schematische iconen) gebruikt. Hoge-fideliteit details (zoals schaduwen, complexe texturen) worden systematisch onderdrukt om de "semiotische ruis" te verminderen.
• Semantische Anker: De tekst (de naamwoordcombinatie) dient als een onwrikbaar anker om de beoogde betekenis te fixeren, terwijl de visuele input wordt vereenvoudigd.

2. Het Framework: Iconografische Abstractie

Het paper baseert zich op de semiotische theorie dat tekens werken via conventie (symbolisch) of via gelijkenis (iconisch).

• Hypothese: Door de visuele fideliteit te verminderen (van "simulatie" naar "code"), wordt de kans verkleind dat het model terugvalt op letterlijke interpretaties gebaseerd op oppervlakkige visuele kenmerken. Dit zou het model moeten dwingen om een symbolische houding aan te nemen, vergelijkbaar met hoe het tekst verwerkt.

3. Metriek: Semantic Alignment Gap ($\Delta$) en Signed Bias ($b(t)$)

Om de prestaties te kwantificeren, introduceren de auteurs een architectuur-onafhankelijke metriek:

• Semantic Alignment Gap ($\Delta$): Meet de grootte van de divergentie tussen de letterlijke en idiomatische visuele grounding. Een lagere $\Delta$ betekent dat het model de twee betekenissen beter kan onderscheiden of minder voorkeur heeft voor de letterlijke interpretatie.
• Signed Literal Bias ($b(t)$): Een gerichte maatstaf die aangeeft of de voorkeur voor de letterlijke betekenis positief ($b > 0$) of negatief ($b < 0$) is.
• Drie Implementaties: Om verschillende modeltypes te kunnen evalueren, wordt $\Delta$ op drie manieren berekend:
  1. Intrinsieke Alignering (Discriminatieve modellen): Gebruik van cosine-afstand in de embedding-ruimte (bijv. CLIP).
  2. White-Box Confidence (Open-source generatieve modellen): Berekening van de waarschijnlijkheid van een "Ja/Nee" antwoord op basis van token-logits (Likelihood of Idiomatic Distinction).
  3. Extrinsieke Confidence (Propriëtaire modellen): Gebruik van zelfgerapporteerde betrouwbaarheidsscores en forced-choice gedrag.

Belangrijkste Resultaten

De auteurs hebben 8 recente VLMs geëvalueerd (waaronder SigLIP, InternVL3, GPT-5 en Claude) onder twee condities: fotorealistisch (ADMIRE dataset) en iconografisch (DIVA dataset).

1. Consistente Literal Bias: Alle geteste modellen vertoonden een sterke voorkeur voor de letterlijke interpretatie bij fotorealistische beelden, ongeacht de schaal van het model.
2. Effect van Iconografische Abstractie: Het overschakelen naar de vereenvoudigde DIVA-beelden leidde tot een significante vermindering van de Semantic Alignment Gap ($\Delta$) in alle architectuurfamilies.
   • Voorbeeld: Bij GPT-5 daalde de gap van $0.065$ (foto) naar $0.021$ (icon).
   • Bij discriminatieve modellen daalde de gap van ongeveer $0.25$ naar $0.18$.
3. Verbeterde Correctheid: In een taak waarbij de betekenis expliciet werd gespecificeerd (5-weg selectie), verbeterde de nauwkeurigheid van alle modeltypen aanzienlijk bij het gebruik van iconografische inputs (bijv. Propriëtaire modellen van 78,5% naar 91,3%).
4. Schaal lost het probleem niet op: Het vergroten van de modelgrootte (bijv. van 7B naar 78B parameters) lost de "Literal Bias" niet volledig op in fotorealistische settings. De cognitieve interferentie door hoge visuele fideliteit blijft een probleem.

Bijdragen en Betekenis

Primaire Bijdragen:

1. DIVA Benchmark: Een nieuwe, open-source dataset van 1.000 iconografische afbeeldingen die de overgang van realisme naar symboliek operationaliseert.
2. Nieuwe Metriek: De formalisering van de Semantic Alignment Gap ($\Delta$) en Signed Bias ($b(t)$), die het mogelijk maakt om verschillende modelarchitecturen (discriminatief, open-generatief, gesloten-generatief) te vergelijken binnen hun eigen scoringssysteem.
3. Empirisch Bewijs: Het aantonen dat visuele minimalisme de semantische uitlijning verbetert en de "Literal Superiority Bias" vermindert.

Significantie en Toekomstperspectief:

• Cognitieve Interferentie: De bevindingen suggereren dat hyper-realistische beelden een "cognitieve interferentie" veroorzaken bij VLMs. De modellen zijn zo getraind op fysieke reconstructie dat ze moeite hebben om abstracte symbolische betekenissen te extraheren uit complexe visuele data.
• Toegankelijkheid (Accessibility): De methode sluit aan bij toegankelijkheidsgerichte NLP, waarbij tekst wordt vertaald naar vereenvoudigde pictogrammen voor Augmentative and Alternative Communication (AAC).
• Richting voor AI: Voor AI om menselijk niveau van symbolisch begrip te bereiken, moet er mogelijk een scheiding worden gemaakt tussen het genereren van hoge fideliteit en het redeneren over betekenis. Het leren "lezen" van schema's voordat het "renderen" van realiteit wordt geprobeerd, zou een cruciale stap zijn.

Kortom, het paper toont aan dat om de semantische kloof in VLMs te dichten, we niet alleen moeten kijken naar grotere modellen, maar ook naar het ontwerp van de visuele input: minder realisme kan leiden tot beter begrip van abstracte betekenis.