Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages

Probleemstelling

Hoewel Vision-Language Models (VLMs) uitstekende prestaties leveren op benchmarks voor wiskundig, wetenschappelijk en ruimtelijk redeneren, zijn deze evaluaties bijna uitsluitend in het Engels uitgevoerd. Dit creëert een kritieke kennislacune voor de Indiase context, waar 260 miljoen schoolkinderen voornamelijk in regionale talen (zoals Hindi, Tamil, Telugu, Bengaals, Kannada en Marathi) onderwijs volgen. De centrale vraag is of bestaande VLMs in staat zijn om complexe STEM-opgaven (Science, Technology, Engineering, Mathematics) correct te redeneren in deze lokale talen, of dat er een significant prestatieverlies optreedt ten opzichte van Engels. Bestaande benchmarks voor Indiase talen richten zich vaak op cultureel begrip of OCR, maar isoleren niet het vermogen tot visueel redeneren.

Methodologie

De auteur heeft een nieuw, cross-linguaal audit-framework ontwikkeld met de volgende kerncomponenten:

• Dataset Constructie: Er zijn 980 visuele redeneervragen geselecteerd uit drie bestaande Engelstalige benchmarks: MathVista (wiskunde), ScienceQA (K-12 wetenschap) en MMMU (hoger onderwijs STEM).
• Vertaling: De vragen zijn vertaald naar zes Indiase talen (Hindi, Tamil, Telugu, Bengaals, Kannada, Marathi) met behulp van IndicTrans2. De afbeeldingen bleven identiek; alleen de tekst veranderde. De vertalingen zijn gevalideerd met Gemini 2.0 Flash voor cross-verification, wat leidde tot een onderlinge overeenstemming (inter-translator agreement) van 0,79 tot 0,84.
• Model Evaluatie: Acht VLMs zijn getest, variërend van open-source modellen (7B tot 32B parameters, zoals Qwen2.5-VL, InternVL2.5, Aya-Vision-8B) tot gesloten cloud-modellen (GPT-4o, Gemma 3-27B, Llama-4-Maverick).
• Ablatiestudies: Voor het model Qwen2.5-VL-7B zijn twee specifieke experimenten uitgevoerd:
  1. Image Removal: Het verwijderen van de afbeelding om te testen of het model zich te veel op tekst verlaat.
  2. Chain-of-Thought (CoT): Het toevoegen van "Think step by step" in de doeltaal om te zien of redeneerketens helpen of schaden.
• Omvang: Het totaal omvat 68.600 inferentie-records, inclusief tekst-only en CoT-ablaties.

Belangrijkste Resultaten

1. Significante Prestatieverlies: Er is een systematisch daling van de nauwkeurigheid waargenomen bij het schakelen van Engels naar Indiase talen. De daling varieert van 9,8 tot 25 procentpunten (pp) afhankelijk van het model.

   • Gemma 3-27B toonde de kleinste daling (9,8 pp).
   • Open-source modellen verloren vaak 15–25 pp.
   • GPT-4o behaalde de hoogste absolute nauwkeurigheid in Indiase talen (43,2%), maar verloor nog steeds 11,3 pp ten opzichte van Engels.

2. Talenfamilie-effect (Dravidisch vs. Indo-Arisch): Dravidische talen (Tamil, Telugu, Kannada) presteerden consistent slechter dan Indo-Arische talen (Hindi, Bengaals, Marathi) voor elk getest model.

   • De kloof bereikte 13,2 pp voor het model Aya-Vision-8B.
   • Dit suggereert dat het probleem niet alleen ligt in de script-encoding, maar in de transfer van redeneervermogen naar specifieke taalfamilies.

3. Chain-of-Thought (CoT) werkt averechts: In tegenstelling tot het Engels, waar CoT vaak helpt, verlaagde CoT de prestaties in de meeste Indiase talen.

   • Bengaals daalde met 14,4 pp en Kannada met 11,4 pp.
   • Dit wijst erop dat de redeneerketens van de modellen "vastgezet" zijn in het Engels; het dwingen tot stap-voor-stap redeneren in een taal waarin het model minder vloeiend is, leidt tot verwardere tussenstappen en fouten.

4. Visuele Informatie-gebruik: Wanneer de afbeelding werd verwijderd, daalde de Engels-nauwkeurigheid met 15,5 pp, maar slechts met 4,9–9,7 pp voor Indiase talen. Dit impliceert dat modellen visuele informatie al onderbenutten wanneer de tekstbegrip zwak is; zonder tekst is de afbeelding dus minder cruciaal voor het model.

5. Schaalvergroting: Het vergroten van het model van 7B naar 32B (binnen de Qwen2.5-VL familie) verbeterde de prestaties in Indiase talen met 4,3 pp, maar verlaagde de Engels-prestatie licht. Schaal vergroot de taaldekking, maar lost het fundamentele probleem van cross-linguaal redeneren niet volledig op.

6. Token-lekkage: Modellen zoals Llama-4-Maverick lekten significant Engels (32% van de tokens in niet-Engelse antwoorden), wat suggereert dat ze intern in het Engels redeneren en pas aan het eind vertalen. Hoewel dit leidt tot hoge consistentie, is het problematisch voor toepassingen die vloeiende uitleg vereisen.

Bijdragen

• Eerste Cross-Linguaal Audit: Dit is het eerste werk dat visueel redeneren systematisch evalueert voor Indiase talen, specifiek gericht op STEM-domeinen.
• Openbare Dataset en Code: De auteur heeft de vertaalde benchmark (980 vragen), alle modeloutputs en evaluatiecode openbaar gemaakt voor herbruikbaarheid.
• Empirisch Bewijs voor Taalbias: Het paper levert kwantitatief bewijs dat "multilingual pretraining" op zich niet voldoende is om redeneervermogen over te dragen, en dat er een specifiek tekort is bij Dravidische talen.

Significantie en Conclusie

De studie concludeert dat het inzetten van huidige VLMs voor educatieve doeleinden in Indiase regio's (zoals vereist door het National Education Policy 2020) een risico inhoudt voor niet-Engelstalige studenten, vanwege de systematische daling in redeneernauwkeurigheid.

• Multilinguaal pretraining is niet genoeg: Zelfs modellen die op 23 talen zijn getraind (zoals Aya-Vision-8B) falen bij het redeneren in Dravidische talen.
• CoT is geen universele oplossing: Chain-of-Thought prompting kan in niet-Engelse contexten schadelijk zijn als het model niet specifiek is afgestemd op redeneren in die taal.
• Aanbeveling: Er is dringende behoefte aan "multilingual reasoning fine-tuning" met STEM-specifieke data, en niet alleen aan het uitbreiden van trainingscorpora. Voordat VLMs in Indiase scholen worden ingezet, moeten ze verplicht worden geëvalueerd op redeneerprestaties in de lokale taal.