Language-Guided Invariance Probing of Vision-Language Models

Deze paper introduceert LGIP, een benchmark die de taalkundige robuustheid van vision-language modellen evalueert door hun invariantie tegen betekenisbehoudende parafrases en gevoeligheid voor betekenisveranderende manipulaties te meten, waarbij wordt vastgesteld dat modellen zoals SigLIP aanzienlijk minder betrouwbaar reageren op dergelijke taalkundige veranderingen dan modellen als EVA02-CLIP.

De kern

Stel je voor dat je een zeer slimme robot hebt die foto's en teksten begrijpt. Deze robot, een zogenaamd "Vision-Language Model" (zoals CLIP of SigLIP), is getraind om te zeggen: "Deze foto past perfect bij deze zin." Hij is heel goed in het vinden van foto's als je zoekt op "een hond op het strand".

Maar de onderzoekers van dit paper vragen zich af: Is deze robot echt slim, of is hij gewoon een oppervlakkige lezer?

Stel je voor dat je de robot twee zinnen geeft over dezelfde foto:

1. "Een bruine hond speelt in het gras."
2. "Een hond van bruine kleur die in het gras speelt."

Een slimme robot zou moeten denken: "Oh, dat is precies hetzelfde, alleen anders gezegd."
Maar wat als je zegt: "Een paard speelt in het gras"? Dan zou de robot moeten schreeuwen: "Nee! Dat klopt niet! Op de foto staat een hond!"

De onderzoekers hebben een nieuwe test bedacht, genaamd LGIP (Language-Guided Invariance Probing), om te kijken of robots dit verschil echt snappen. Ze noemen het een "taalgeleid invariatie-proef".

De Twee Regels van de Test

De onderzoekers hebben twee soorten "trucs" bedacht om de robots op de proef te stellen:

1. De "Paraphrase" (De Verkleedpartij)
Stel je voor dat je een foto van een hond laat zien. Je zegt eerst: "Een hond." Dan zeg je: "Een viervoetige vriend." Dan: "Een trouwe kameraad."

• De test: De robot moet denken: "Ah, dit is allemaal hetzelfde." De score voor de foto moet gelijk blijven, ongeacht hoe je het zegt. Dit noemen ze invariantie. Als de robot paniek krijgt bij elk nieuw woord, is hij te oppervlakkig.

2. De "Semantic Flip" (De Leugen)
Nu veranderen we één belangrijk woord in de zin. Van "Een hond" naar "Een paard". Of van "Een rode auto" naar "Een blauwe auto".

• De test: De robot moet denken: "Wacht, dit klopt niet meer! De foto toont een hond, niet een paard. De score moet dalen!" Dit noemen ze semantische gevoeligheid. Als de robot denkt: "Nou ja, een paard is ook een dier, dat is wel goed," dan is hij niet goed genoeg.

Wat hebben ze ontdekt?

Ze hebben negen verschillende robots getest. Het resultaat was verrassend:

• De "Goede" Robots (zoals EVA02-CLIP en grote OpenCLIP modellen):
  Deze robots zijn als een ervaren detective. Ze zien door de verkleedpartij heen (ze snappen dat "hond" en "trouwe kameraad" hetzelfde zijn) én ze merken direct als je liegt (ze zien dat "paard" niet past bij de foto van de hond). Ze zijn stabiel en scherp.

• De "Verwarde" Robots (zoals SigLIP en SigLIP2):
  Deze robots zijn als een slaperige student die net wakker wordt.

  • Bij de verkleedpartij raken ze in de war: "Oh, 'trouwe kameraad'? Dat klinkt anders dan 'hond', misschien is het een andere foto?" (Ze worden onstabiel).
  • Bij de leugen zijn ze zelfs nog slechter: Ze denken soms dat de zin met "paard" wel past bij de foto van de hond, of ze geven de leugen zelfs een hogere score dan de waarheid! Ze lijken niet echt te begrijpen wat er op de foto staat, maar raden alleen maar op basis van woorden.

Waarom is dit belangrijk?

Tot nu toe keken mensen alleen naar de eindcijfers: "Hoe vaak heeft de robot de juiste foto gevonden?" Maar dit paper laat zien dat je dat niet genoeg is. Een robot kan hoge cijfers halen door te gokken of door oppervlakkige patronen te leren, zonder echt te begrijpen wat er gebeurt.

Met deze nieuwe test (LGIP) kunnen we zien welke robots echt "nadenken" en welke alleen maar "kletsen".

Kortom:
De onderzoekers hebben een nieuwe manier bedacht om te testen of AI-robots echt zien wat er op een foto staat, of dat ze alleen maar naar de woorden kijken. Ze ontdekten dat sommige populaire robots (zoals SigLIP) verrassend slecht zijn in het onderscheiden van waarheid en leugen, terwijl andere (zoals EVA02) dat heel goed doen. Dit helpt ontwikkelaars om betere, betrouwbaardere robots te bouwen die niet snel in de war raken door een andere manier van spreken of een klein leugentje.

Technische samenvatting

Titel: Taalgeleid Invariantie-probing van Vision-Language Modellen (LGIP)

Auteurs: Jae Joong Lee (Purdue University)
Doel: Het kwantificeren van de robuustheid van Vision-Language Models (VLMs) tegen linguïstische perturbaties, specifiek door te onderscheiden tussen betekenisbehoudende parafrasering en betekenisveranderende semantische flips.

---

1. Het Probleem

Vision-Language Models (zoals CLIP, OpenCLIP, EVA02-CLIP en SigLIP) presteren uitstekend in zero-shot taken door beelden en tekst in een gedeelde embedding-ruimte te aligneren. Echter, hun robuustheid tegen gecontroleerde linguïstische verstoringen is slecht gekarakteriseerd. Bestaande evaluaties focussen vaak op aggregate prestaties (zoals retrieval-scores), wat het moeilijk maakt om te diagnosticeren of een model:

1. Britt is voor oppervlakkige vormveranderingen (bijv. parafrases).
2. Onvoldoende reageert op semantische conflicten (bijv. als een tekst een object in een afbeelding verkeerd benoemt).
3. Selectief kwetsbaar is voor specifieke soorten perturbaties.

Er ontbreekt een benchmark die deze twee complementaire eigenschappen—linguïstische invariantie (stabiliteit bij parafrases) en semantische sensitiviteit (afname van gelijkenis bij contradicties)—scheiden en kwantificeert.

---

2. Methodologie: Language-Guided Invariance Probing (LGIP)

LGIP is een lichtgewicht, model-onafhankelijk diagnostisch protocol dat gebruikmaakt van het MS COCO-dataset (40.000 afbeeldingen met elk 5 menselijke bijschriften).

A. Perturbatieconstructie

Voor elke basis-paar (afbeelding $I$, bijschrift $c$) genereert LGIP twee soorten tekstuele variaties:

1. Betekenisbehoudende Parafrasering ($P$): Teksten die dezelfde betekenis behouden maar variëren in stijl, framing of syntaxis.
   • Eenvoudig: Toevoegen van wrappers/prefixes (bijv. "Een foto van...").
   • Geavanceerd: Syntactische herschrijvingen, synoniemen en passieve constructies.
2. Semantische Flips ($F$): Teksten waarbij één salient attribuut doelbewust wordt gewijzigd om in tegenspraak te zijn met de afbeelding.
   • Types: Object (bijv. "hond" $\to$ "kat"), Kleur (bijv. "rood" $\to$ "blauw"), Aantal (bijv. "twee" $\to$ "drie").
   • Methode: Regelgebaseerde substitutie van tokens binnen woordgrenzen.

B. Evaluatiemetrics

Voor een bevroren encoder worden drie metrics berekend:

1. Invariantiefout ($E_{inv}$): De gemiddelde afwijking in gelijkenis tussen het originele bijschrift en zijn parafrasen.
   • Ideaal: Lager is beter (stabiliteit).
2. Semantische Sensitiviteit ($E_{sens}$): De gemiddelde "gap" in gelijkenis tussen het originele bijschrift en de semantische flip.
   • Ideaal: Hoger is beter (het model moet de flip duidelijk lager scoren).
3. Positieve Rate (PR): Het percentage gevallen waarin het originele bijschrift hoger scoort dan de flip.
   • Ideaal: Hoger is beter (PR $\approx$ 0,5 betekent willekeurige ordening).

---

3. Belangrijkste Bijdragen

1. Introductie van LGIP: Een nieuwe diagnostische benchmark die VLM-robustheid test door parafrase-invariantie en semantische flip-sensitiviteit te ontkoppelen.
2. Gedetailleerde Metriekdefinitie: Het definiëren van metrics die invariance-error van sensitiviteit scheiden, waardoor fijner diagnostisch inzicht mogelijk is dan bij traditionele retrieval-metrics.
3. Empirische Analyse: Een uitgebreide evaluatie van negen populaire VLMs die systematische, model-specifieke zwaktes blootlegt die door standaard benchmarks worden gemist.

---

4. Resultaten

De studie testte negen modellen, waaronder CLIP-varianten, OpenCLIP, EVA02-CLIP en de SigLIP-familie.

• Favoriete Trade-off: Modellen zoals EVA02-CLIP en grote OpenCLIP-varianten tonen een gunstige balans: lage invariantiefout (stabiel bij parafrases) en hoge semantische sensitiviteit (herkennen duidelijk fouten in flips).
• Problemen bij SigLIP: De SigLIP-familie (SigLIP en SigLIP2) vertoont aanzienlijk hogere invariantiefouten. Erger nog, ze scoren vaak semantische flips hoger dan de menselijke beschrijvingen (PR $\approx$ 0,5 of lager), vooral bij object- en kleurenditities. Dit gebeurt ondanks hun sterke prestaties in standaard zero-shot benchmarks.
• Gecombineerde Perturbaties: Zelfs bij gecombineerde parafrases en flips behoudt de kloof tussen CLIP-achtige modellen en SigLIP zich.
• Fouttype-analyse: CLIP-modellen presteren consistent goed over object-, kleur- en aantal-flips. SigLIP-modellen zijn ongelijkmatig en vaak zwak, met name bij object-flips.
• Oorzaak: Het paper suggereert dat het verschil voortkomt uit het trainingsdoel: CLIP gebruikt een contrastieve softmax-loss die batch-level ranking afdwingt (goed voor het onderscheiden van conflicten), terwijl SigLIP een paarsgewijze sigmoid-loss gebruikt die onafhankelijk scoort en minder druk legt op relatieve ranking tussen conflicterende teksten.

---

5. Betekenis en Conclusie

• Diagnostisch Inzicht: LGIP onthult dat sterke zero-shot prestaties niet garanderen dat een model semantisch grondig is of robuust tegen linguïstische variatie. Standaard metrics kunnen systematische fouten maskeren.
• Toepassingsimpact: Gebrek aan semantische sensitiviteit kan leiden tot hallucinaties in VQA (Visual Question Answering) en onnauwkeurige rankings in image-text retrieval, waarbij linguïstisch plausibele maar visueel incorrecte resultaten worden geprioriteerd.
• Toekomstige Richting: De auteurs stellen voor om contrastieve training te verrijken met gestructureerde negatieve voorbeelden (gegenereerd via semantische flips) en een curriculum te gebruiken dat de semantische conflicten geleidelijk opvoert.

Kortom, LGIP biedt een compacte, model-onafhankelijke manier om de "taal-robustheid" van VLMs te testen, wat essentieel is voor betrouwbare multimodale systemen in de praktijk.