Technische Samenvatting: Voorbij 'Eén Taal, Eén Schrift'

Probleemstelling

Huidige Vision-Language Models (VLM's) opereren onder een gebrekkige aanname die bekend staat als het "One Language, One Script" (OLOS) paradigma. Dit paradigma behandelt orthografie als een deterministische functie van taal, waarbij wordt aangenomen dat een enkele taal overeenkomt met één enkel schrift. Bijgevolg negeren bestaande benchmarks (bijv. XM3600, MaXM) miljarden gebruikers die de wereld navigeren via multi-schrift systemen, zoals Punjabi (Gurmukhi, Shahmukhi, Romaans), Servisch (Cyrillisch, Latijn) en Koerdisch (Arabisch, Latijn, Cyrillisch).

Het artikel betoogt dat deze evaluatiekloof een "Script-Realiteitskloof" creëert. Als de redeneervaardigheden van een model fluctueren wanneer identieke semantische inhoud in verschillende schriften wordt gepresenteerd, kan de "meertaligheid" van het model meer berusten op orthografische patroonherkenning dan op echte semantische gronding. Dit resulteert in een gelijkheidskloof waarbij modellen als bekwaam worden beschouwd in het ene schrift, maar onbetrouwbaar in het andere voor dezelfde gebruikersgroep.

Methodologie: De PuMVR Benchmark

Om deze bias te kwantificeren, introduceren de auteurs PuMVR (Punjabi Multimodal Visual Reasoning), de eerste benchmark die ontworpen is om schrift als een onafhankelijke variabele in multimodale redenering te isoleren.

• Dataset Samenstelling: PuMVR bestaat uit 375 door experts gecureerde, cultureel gewortelde beeld-redeneertaken. Elke taak bestaat uit perfecte semantische equivalentie over de drie actieve schriften van het Punjabi:
  1. Gurmukhi (Indicisch schrift, dominant in het Indiase Punjab).
  2. Shahmukhi (Perso-Arabisch schrift, dominant in het Pakistaanse Punjab).
  3. Romaans (Latijnse transliteratie, gebruikt door de diaspora en digitale gemeenschappen).
• Taakcategorieën: De 357 instanties zijn verdeeld over zes redeneercategorieën: Visuele Analogieën, Culturele Objectherkenning, Festival & Viering Redeneren, Architecturale & Monument Herkenning, Tekst-in-Beeld Redeneren (OCR) en Abstract Visueel-Linguïstisch Redeneren.
• Experimenteel Ontwerp: De studie evalueert 10 state-of-the-art VLM's (inclusief propriëtaire frontier-modellen zoals GPT-4o, Gemini 2.5 en Claude Sonnet 4, en open-weights modellen zoals Qwen2-VL en Llama-3.2-Vision) over vijf complementaire onderzoeken:
  1. Script Gap Kwantificering: Het meten van nauwkeurigheidsdelta's en Script Consistentie Ratio's (SCR) over verschillende schriften.
  2. Modality Ablatie: Het vergelijken van Text-Only versus Multimodale inputs om te bepalen of visuele gronding het script-bias compenseert.
  3. Cross-Script Transfer: Het testen van few-shot leer-efficiëntie wanneer voorbeelden en testqueries verschillende schriften gebruiken.
  4. OCR Mismatch Robuustheid: Het meten van prestatieverliezen wanneer beeldtekst en query-schriften niet overeenkomen (Script Disparity Index).
  5. Redeneringsdivergentie: Het analyseren van Chain-of-Thought (CoT) outputs om te zien of de keuze van het schrift de redeneerpaden verandert.

Belangrijkste Bijdragen

1. De PuMVR Benchmark: Een gecontroleerd, drieledig orthografisch evaluatiekader dat verder gaat dan taalbreedte naar orthografische diepte.
2. Kwantificering van Script Bias: De introductie van de Script Consistentie Ratio (SCR) als een kernmetriek voor script-agnostische evaluatie. De studie onthult dat huidige modellen aanzienlijke prestatiekloven vertonen, waarbij de nauwkeurigheidsdelta's oplopen tot 16% en de SCR voor sommige modellen slechts 24,8% bedraagt.
3. Bewijs van Redeneringsdivergentie: Het artikel demonstreert dat de keuze van het schrift fungeert als een latente trigger, waardoor modellen divergente redeneerstrategieën adopteren (bijv. het focussen op verschillende visuele kenmerken) voor identieke beeld-tekst paren, enkel gebaseerd op het gebruikte schrift.

Belangrijkste Resultaten

• Universele Script Gap: Alle 10 geëvalueerde modellen vertoonden script-afhankelijke prestatie-degradatie. Zelfs frontier-modellen zoals GPT-4o vertoonden significante gaten (bijv. een delta van 4,26% tussen Gurmukhi en Shahmukhi).
• Orthografische Fragmentatie: Hoge Script Consistentie Ratio's waren zeldzaam. Terwijl GPT-4o een nauwkeurigheid van 90,93% bereikte in Gurmukhi, was de SCR slechts 78,13%, wat aangeeft dat 12,8% van de kennis van het model orthografisch vergrendeld is. Open-weights modellen presteerden slechter, waarbij Llama-3.2-11B-Vision een SCR van 27,47% liet zien.
• Visuele Gronding is Additief, Niet Compenserend: Hoewel visuele input de absolute prestaties over alle schriften verbeterde (Visual Gain variërend van 7,5% tot 36,1%), compenseerde het de script gap niet. De relatieve bias bleef bestaan, wat suggereert dat de onderliggende orthografische fragmentatie systematisch is.
• Beperkte Cross-Script Transfer: Redeneerpatronen vertoonden beperkte overdraagbaarheid. In few-shot settings ervarmeren sommige modellen catastrofale prestatiedalingen (bijv. Qwen2-VL-72B-Instruct daalde van 83,5% naar 33,6% wanneer Gurmukhi-voorbeelden werden gegeven voor een Gurmukhi-test), en de Transfer Efficiëntie (TE) varieerde aanzienlijk, wat aangeeft dat kennis vaak script-specifiek is in plaats van conceptueel abstract.
• OCR en Script Mismatch: Significante prestatie-penalties (Script Disparity Index) werden waargenomen wanneer de tekst in de afbeelding en de query-schriften niet overeenkwamen, met name voor Shahmukhi en in modellen met zwakkere OCR-capaciteiten.
• CoT Divergentie: Chain-of-Thought analyse onthulde dat gestructureerde prompting de script-specifieke paden kon destabiliseren. Bijvoorbeeld, de Shahmukhi-nauwkeurigheid van GPT-4o daalde met 20,4% onder CoT, terwijl de Gurmukhi-prestaties stabiel bleven, wat suggereert dat Shahmukhi-redenering steunt op impliciete heuristieken die instorten onder expliciete articulatie.

Betekenis en Claims

Het artikel beweert de kritieke blinde vlek in de evaluatie van meertalige VLM's bloot te leggen: de aanname dat taalbreedte gelijkstaat aan meertalige capaciteit. Door aan te tonen dat state-of-the-art modellen niet werkelijk multi-schrift zijn, dagen de auteurs het OLOS-paradigma uit.

De betekenis van dit werk ligt in:

• Herformulering van Evaluatie: Het voorstellen van de Script Consistentie Ratio (SCR) als een essentiële metriek om van taal-aantallen naar orthografische robuustheid te gaan.
• Gelijkheid in AI: Het benadrukken dat voor multi-schrift gebruikers (meer dan een miljard mensen wereldwijd) een model dat slaagt in het ene schrift maar faalt in het andere, niet "gedeeltelijk bekwaam" is, maar "onbetrouwbaar".
• Methodologisch Blauwdruk: Het bieden van een repliceerbaar kader voor het diagnosticeren van script-bias in andere multi-schrift talen (bijv. Hindi-Urdu, Servisch, Koerdisch) om orthografische gelijkheid in wereldwijde AI te bereiken.

De auteurs concluderen dat het bereiken van rechtvaardige AI vereist dat we verder kijken dan taalbreedte naar orthografische diepte, om te garanderen dat visuele gronding en semantische redenering niet versnipperd raken door de keuze van het schrijfsysteem.