The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping

Technische Samenvatting: De Uitdaging van Visuele Iconiciteit

Probleemstelling
Visueel-taalmodellen (VLM's) worden steeds bekwaamer in het verwerken van multimodale data, maar hun vermogen om visuele vormen te verankeren in semantische betekenis blijft een kritieke test voor hun uitlijning met mensgerichte signalen. Gebarentalen bieden een uniek natuurlijk testveld voor dit probleem vanwege de alomtegenwoordige aard van iconiciteit—de niet-arbitraire gelijkenis tussen de visuele vorm van een gebaar (handvorm, beweging, locatie) en zijn betekenis. Hoewel eerdere onderzoek sound symbolism in tekst-only modellen en statische beeld-beschrijving in VLM's heeft onderzocht, ontbreekt er een systematische evaluatie van hoe goed VLM's de dynamische, visuospasiale structuur van gebarentalen waarnemen en deze koppelen aan conceptuele betekenis. Specifiek is het onduidelijk of modellen kunnen onderscheid maken tussen arbitraire en iconische gebaren, betekenis kunnen afleiden uitsluitend op basis van visuele vorm (transparantie), of menselijke gevoeligheid voor gegradueerde iconiciteit kunnen repliceren.

Methodologie
De auteurs introduceren de Visuele Iconiciteit Uitdaging, een videobased benchmark afgeleid van de Nederlandse Gebarentaal (NGT). De dataset bestaat uit 96 geïsoleerde gebaarvideo's (64 iconisch, 32 arbitrair), handmatig geannoteerd met grondwaarheid fonologische kenmerken, iconiciteitstypen en door mensen beoordeelde iconiciteitsscores (schaal 1–7).

Het evaluatiekader beoordeelt 17 state-of-the-art VLM's (waaronder 11 open-source en 6 propriëtaire modellen) over drie complementaire taken:

1. Voorspelling van Fonologische Vorm: Een multi-class classificatietaken waarbij modellen vijf discrete fonologische parameters voorspellen uit de video: handvorm, locatie, padvorm, padherhaling en handigheid.
2. Transparantie: Een open-set en closed-set (10-keuze) taken waarbij modellen de lexicaal gloss (betekenis) van een gebaar moeten afleiden uitsluitend op basis van zijn visuele vorm, waarbij de afhankelijkheid van tekstuele prioren wordt geminimaliseerd.
3. Gegradueerde Iconiciteitsscores: Een regressietaken waarbij modellen een score van 1–7 toekennen die de mate van gelijkenis tussen de vorm van het gebaar en zijn betekenis weergeeft.

De studie evalueert modellen in zowel zero-shot als few-shot (4-shot) settings. Menselijke baselines werden vastgesteld met behulp van een dove gebarentaalgebruiker (moedertaal Turks Gebarentaal, niet-moedertaal NGT) en horende, gebaarnauwe deelnemers. De auteurs analyseren ook de correlatie tussen de nauwkeurigheid van fonologische voorspelling en de prestaties op iconiciteit/transparantie om de hypothese te toetsen dat vormcompetentie de basis vormt voor betekenisverankering.

Belangrijkste Bijdragen

• Benchmarkschepping: De introductie van de Visuele Iconiciteit Uitdaging, de eerste grootschalige diagnostische benchmark voor gebarentaal-iconiciteit in VLM's, met dichte fonologische annotaties en menselijke baselines.
• Menselijke Baselines: Verzameling van prestatiedata van gebaarnauwe mensen en een dove gebarentaalgebruiker voor fonologie- en transparantietaken, waardoor boven- en ondergrenzen voor modelevaluatie worden geboden.
• Systematische Evaluatie: De eerste grootschalige zero- en few-shot beoordeling van diverse VLM's op de mapping van gebarentaalvorm naar betekenis, waarbij specifieke biases en faalmodi worden blootgelegd.
• Publicatie van Middelen: Openbare beschikbaarheid van evaluatiecode, annotaties en menselijke baselines om reproduceerbaarheid te waarborgen.

Resultaten

• Fonologische Voorspelling: Modellen spiegelen over het algemeen menselijke verwervingspatronen, waarbij locatie en handigheid makkelijker te voorspellen blijken dan handvorm en padvorm. Hoewel grote modellen (bijv. Gemini 3.1 Pro, GPT-5.4) een gematigde nauwkeurigheid bereiken (tot 0,73 gemiddeld), blijft er een aanzienlijke kloof bestaan ten opzichte van menselijke baselines (0,79). Few-shot prompting levert bescheiden winst op, voornamelijk voor kleinere modellen.
• Transparantie: De prestaties zijn over de hele linie laag. Bij open-set identificatie bereikt het beste model (Gemini 3.1 Pro) slechts 29% nauwkeurigheid, ver onder de menselijke baseline van de dove gebarentaalgebruiker (59%). Zelfs in 10-keuze settings blijven de prestaties beperkt, wat wijst op een fundamentele moeilijkheid om visuele vorm te verankeren aan lexicaal betekenis zonder sterke tekstuele prioren.
• Iconiciteitsscores: Modellen tonen een gematigde tot sterke correlatie met menselijke iconiciteitsscores (Spearman's $\rho$ tot 0,774 voor Gemini 3.1 Pro). Echter, modellen vertonen een systematische bias: terwijl mensen actie-gebaseerde iconische gebaren prefereren, vertonen de meeste open-source modellen een omgekeerde voorkeur voor object-gebaseerde gebaren. Closed-source modellen vertonen minder van deze inversie.
• Correlaties: Er is een sterke positieve correlatie ($\rho = .769$) tussen de nauwkeurigheid van de fonologische vormvoorspelling van een model en zijn vermogen om iconiciteit te beoordelen, wat suggereert dat gevoeligheid voor gestructureerde lichaamskenmerken een voorwaarde is voor vorm-betekenis mapping.
• Invloed van Redenering: Het inschakelen van de "denkmodus" (chain-of-thought) in Qwen3-VL-32B verbeterde aanzienlijk de schaalcalibratie ($\kappa_w$), waardoor de prestaties van open modellen dichter bij die van gesloten modellen kwamen.

Betekenis en Claims
Het artikel claimt dat de Visuele Iconiciteit Uitdaging succesvol diagnostische taken valideert voor het onderzoeken van VLM's op visueel verankerde structuur. De bevindingen geven aan dat hoewel huidige VLM's kunnen onderscheid maken tussen iconische en arbitraire gebaren en overeenstemmen met menselijke patronen van fonologische moeilijkheid, ze falen in het afleiden van lexicaal betekenis uitsluitend op basis van visuele vorm en een statische, object-gebaseerde bias vertonen die menselijke voorkeuren voor actie-gebaseerde gebaren omkeert.

De auteurs concluderen dat expliciete redenering (denkmodus) de calibratiekloof tussen open en gesloten modellen kan verkleinen. Zij betogen dat het overbruggen van de kloof tussen modelprestaties en mensgerichte signalen rijkere pretraining op gebaar-/teken-data en betere dynamische pose-encoding vereist, in plaats van uitsluitend te vertrouwen op statische visuele kenmerken. De studie positioneert deze diagnostische taken als essentieel voor het begrijpen van de grenzen van huidige multimodale verankering in complexe, temporair uitgebreide visuospasiale talen.