Technische Samenvatting: LaViSA – Een Benchmark voor Structurele Ambiguïteit in Taal en Visie

1. Probleemdefinitie

Structurele ambiguïteit treedt op wanneer een enkele zin meerdere geldige interpretaties ondersteunt vanwege de syntactische structuur, wat een fundamentele uitdaging vormt voor taalbegrip. Terwijl mensen dergelijke ambiguïteiten in de echte wereld vaak oplossen door gebruik te maken van extralinguïstische aanwijzingen — met name visuele scènes — missen huidige Vision- en Language-modellen (VLMs) een systematische evaluatie van deze capaciteit.

Bestaande benchmarks richten zich primair op compositionaliteit (het evalueren van hoe modellen omgaan met betekenisveranderingen door woordvolgorde) of algemene ambiguïteitresolutie. Deze adresseren echter niet specifiek structurele ambiguïteit, waarbij een enkele zin op basis van de visuele context moet worden gedisambiguëerd naar unieke semantische interpretaties. Het kernprobleem dat wordt geadresseerd is of VLMs effectief visuele scènes kunnen gebruiken om structurele ambiguïteit op te lossen, een cruciale stap naar praktische mens-AI-samenwerking.

2. Methodologie: De LaViSA Benchmark

De auteurs introduceren LaViSA (Language and Vision Structural Ambiguity), een benchmark die is ontworpen om het vermogen van VLMs te evalueren om structurele ambiguïteit op te lossen met behulp van visuele scènes.

2.1 Dataconstructie

LaViSA bestaat uit 1.503 monsters verspreid over zeven categorieën van structurele ambiguïteit. Het proces van dataconstructie omvatte:

1. Seed Data: Vertrekkend vanuit de Text-to-Image Ambiguity Benchmark (TAB), hebben de auteurs ambigue zinnen geselecteerd en gescreend.
2. Augmentatie: Met behulp van GPT-4o hebben zij de seed data uitgebreid door extra ambigue zinnen te genereren, gepaard met 2–3 gedisambigüeerde zinnen per categorie.
3. Beeldgeneratie: De bijbehorende afbeeldingen voor elke gedisambigüeerde zin werden gegenereerd met behulp van DALL-E 3. Om robuustheid te testen, werden afbeeldingen geproduceerd in zowel cartoon als fotorealistische stijlen.
4. Validatie: Onafhankelijke menselijke annotatoren valideerden of de gegenereerde afbeeldingen correct overeenkwamen met hun beoogde gedisambigüeerde zinnen, waarbij een validatie-accuratesse van >90% werd bereikt over alle categorieën.

2.2 Ambiguïteitscategorieën

De benchmark categoriseert structurele ambiguïteit in zeven verschillende linguïstische patronen:

• VP (Verb Phrase Attachment): Ambiguïteit over welk deel van de zin een werkwoordelijke frase modificeert.
• PP (Preposition Phrase Attachment): Ambiguïteit over welke kop een voorzetselgroep modificeert.
• Anaph (Anaphora): Ambiguïteit met betrekking tot het antecedent van een voornaamwoord.
• Ellip (Ellipsis): Ambiguïteit in het interpreteren van weggelaten frases.
• Adj (Adjective Scope): Ambiguïteit over of een bijvoeglijk naamwoord een enkel zelfstandig naamwoord of een gecoördineerde frase modificeert.
• Vb (Verb Scope): Ambiguïteit over of een werkwoord-afgeleide modifier betrekking heeft op één of meerdere gecoördineerde elementen.
• Conj (Conjunction Scope): Ambiguïteit in hoe coördinerende voegwoorden zinsdelen groeperen.

2.3 Taakformulering

De taak is geformuleerd als een gecontroleerd meerkeuzeprobleem. Gegeven een ambigue zin en een verhelderende afbeelding, moet de VLM de correcte interpretatie (gedisambigüeerde zin) selecteren uit een set kandidaten. Deze formulering vermijdt de problemen met metriek-afhankelijkheid die gepaard gaan met het genereren van vrije tekst voor gedisambigüeerde zinnen.

2.4 Evaluatiemetrieken

Twee metrieken werden gehanteerd:

• Per-trial Accuracy (PT-Acc): Het percentage individuele pogingen waarbij het model de correcte interpretatie selecteert.
• Per-sentence Accuracy (PS-Acc): Het percentage ambigue zinnen waarbij het model alle bijbehorende interpretaties correct oplost. Deze metriek evalueert de consistentie in het volgen van semantische veranderingen over verschillende visuele contexten voor dezelfde zin.

3. Experimentele Opstelling

De auteurs evalueerden een breed scala aan VLMs:

• Propriëtaire Modellen: GPT-5.2, Gemini 3.1 Pro, en Gemini 3.1 Flash-Lite.
• Open-Source Modellen: Instructie-getunede en redeneringsgerichte ("thinking") varianten van LLaVA-OneVision, Gemma3, en Qwen3-VL (variërend van 4B tot 32B parameters).

4. Belangrijkste Resultaten

4.1 Algemene Prestaties

• Propriëtair versus Open-Source: Propriëtaire modellen presteerden over het algemeen beter dan open-source modellen. Gemini 3.1 Pro behaalde de hoogste algemene scores (88,9% PT-Acc, 77,7% PS-Acc).
• Open-Source Leiders: Onder de open-source modellen presteerde Qwen3-VL-32B het best, met een score boven de 80% PT-Acc (81,9%).
• Redeneer-varianten: Verrassend genoeg presteerden de redeneringsgerichte ("thinking") varianten van Qwen3-VL over het algemeen slechter dan hun instructie-getunede tegenhangers.

4.2 Prestaties per Ambiguïteitscategorie

• Makkelijkere Categorieën: Categorieën gerelateerd aan attachment (VP, PP) en scope-gerelateerde categorieën (Adj, Vb) leverden de hoogste accuratesse op. Deze vertrouwen vaak op gelokaliseerde visuele aanwijzingen (bijv. de positie of attributen van een object).
• Moeilijkere Categorieën: Ellip (Ellipsis) en Conj (Conjunction) bleven consistent moeilijk voor alle modellen. Deze categorieën vereisen het herstellen van globale semantische structuren en het omgaan met nul-anaphora of complexe groeperingsrelaties.
• Random Baseline: Alle modellen presteerden significant beter dan een willekeurige kans, wat bevestigt dat visuele scènes nuttige disambiguerende informatie bieden.

4.3 Visuele Stijl en Consistentie

• Beeldstijl: Modellen presteerden beter op fotorealistische afbeeldingen dan op cartoonafbeeldingen, waarschijnlijk door de alignment tijdens de pre-training met natuurlijke beelddistributies. Echter, de sterke prestaties op beide stijlen suggereren dat de benchmark niet uitsluitend leunt op synthetische artefacten.
• Consistentie-gat: Er bestaat een aanzienlijk gat tussen PT-Acc en PS-Acc (vaak is PS-Acc ongeveer de kwadraat of kubus van PT-Acc). Dit geeft aan dat hoewel modellen individuele pogingen kunnen oplossen, ze moeite hebben om consistent te volgen hoe semantische structuren veranderen wanneer de visuele bewijslast voor dezelfde ambigue zin verandert.

4.4 Kwalitatieve Analyse

Analyse van de redeneer-rationale (specifiek van Qwen3-VL-32B-Thinking) onthulde specifieke foutmodi:

• Conjunction Scope: Modellen hebben moeite met het onderscheiden van objecten die visueel aanwezig zijn maar semantisch niet gerelateerd zijn aan het predicaat (bijv. het verkeerd identificeren van een object dat door een subject wordt vastgehouden terwijl het er slechts nabij staat).
• Ellipsis: Modellen falen in het afleiden van onderliggende predicaat-argument-structuren in complexe interacties, waarbij ze vaak vastlopen in repetitieve redeneerlussen of ruimtelijke configuraties verkeerd interpreteren als semantische rollen.

5. Betekenis en Claims

Het artikel stelt dat LaViSA de eerste systematische evaluatie biedt van het vermogen van VLMs om structurele ambiguïteit op te lossen met behulp van visuele scènes.

• Validatie van Visuele Aanwijzingen: De resultaten bevestigen dat visuele scènes effectieve aanvullende informatie dienen voor het oplossen van structurele ambiguïteit, en dat huidige VLMs dit in grote mate kunnen benutten.
• Geïdentificeerde Beperkingen: Ondanks de vooruitgang vertonen VLMs beperkingen in:
  1. Complexe Ambiguïteitstypen: Specifiek in Ellipsis en Conjunction scope, die diepere semantische integratie vereisen die verder gaat dan saliente objectdetectie.
  2. Consistente Semantische Tracking: Modellen hebben moeite met het consistent bijhouden van semantische interpretaties wanneer visuele contexten minimaal veranderen, wat wijst op een kloof in het volledig grondig maken (grounding) van taalsemantiek in visuele scènes.
• Toekomstige Richtingen: De auteurs benadrukken de noodzaak van onderzoek naar het in staat stellen van VLMs om semantiek volledig te begrijpen en te integreren over visie en taal, met name voor complexe structurele relaties. Zij erkennen dat hoewel synthetische afbeeldingen gecontroleerde evaluatie mogelijk maken, toekomstig werk natuurlijke afbeeldingen moet verkennen om mogelijke biases van generatieve modellen te mitigeren.

De auteurs stellen hun code en data publiekelijk beschikbaar om verdere research in dit domein te faciliteren.