Technische Samenvatting: M3Kang – Evaluatie van Multilinguale Multimodale Wiskundige Redenering in Vision-Language Modellen

1. Probleemstelling

Ondanks de snelle vooruitgang van Vision-Language Modellen (VLM's) en hun aangetoonde redeneervermogen, blijft hun prestatie in multilinguale wiskundige redenering onderbelicht. Huidige evaluaties zijn sterk scheefgetrokken naar hoogwaardige talen en tekstgebaseerde benchmarks. Bestaande studies wijzen erop dat modellen aanzienlijk moeite hebben met minder algemeen gebruikte talen en erin falen diagrammen nauwkeurig te interpreteren. Er is een kritiek gebrek aan benchmarks die tegelijkertijd de intersectie van multilingualiteit, multimodaliteit en wiskundige redenering adresseren. Deze kloof beperkt het begrip van de robuustheid van modellen en belemmert de ontwikkeling van inclusieve, wereldwijd toepasbare AI-systemen. Bovendien, hoewel er wel benchmarks bestaan voor individuele multilinguale of multimodale taken, beoordelen weinig van hen de gecombineerde capaciteit, en die welke dat wel doen, richten zich vaak op algemene kennis of dekken slechts een beperkte set talen.

2. Methodologie

2.1 De M3Kang Dataset

De auteurs introduceren M3Kang, de eerste massaal multilinguale, multimodale dataset voor wiskundige redenering voor VLM's. De dataset is afgeleid van de Kangaroo Math Competition, de grootste wiskundewedstrijd ter wereld, die jaarlijks meer dan zes miljoen deelnemers onder de 18 jaar uit 90+ landen betrekt.

• Bronmateriaal: De basisdataset bestaat uit 1.747 unieke meerkeuzevragen uit de edities van 2007–2024 van de competitie, oorspronkelijk afkomstig uit PDF's georganiseerd door de Societat Catalana de Matemàtiques.
• Schaal en Diversiteit: De dataset bevat vertalingen naar 108 cultureel diverse talen, variërend van hoogwaardige talen (bijv. Engels, Spaans) tot laagwaardige talen (bijv. Tsonga, Lingala). Dit resulteert in een totaal van 111.198 problemen na filtering op kwaliteit.
• Multimodale Structuur: Elk probleem wordt in twee formaten aangeboden:
  1. Een tekstversie zonder afbeelding.
  2. Een afbeelding die het volledige probleem bevat (vraag, opties en eventuele noodzakelijke diagrammen) met de tekst vertaald naar de doeltaal.
• Engelse Subsectie (M2Kang): Een Engelstalige subset wordt ook onafhankelijk uitgebracht om niet-multilinguale, multimodale redenering te evalueren.

2.2 Dataset Constructie Pipeline

De auteurs stellen een geautomatiseerde pipeline voor om multimodale problemen van een brontaal (Catalaans) te vertalen naar 108 doeltalen. Het proces bestaat uit drie stadia:

1. Basisdataset Creatie (Catalaans): PDF's worden geparsed, omgezet naar afbeeldingen en gesegmenteerd. Bounding boxes worden handmatig getekend rond vragen om Catalaans-specifieke termen in afbeeldingen uit te sluiten. Een LLM-als-rechter markeert beschadigde samples (bijv. incorrecte bounding boxes, gedeeltelijke figuurdekking), die handmatig worden gecorrigeerd. Duplicaten worden verwijderd via tekstuele gelijkenis.
2. Engelse Vertaling (M2Kang): De Catalaanse dataset wordt vertaald naar het Engels. De tekst wordt dynamisch opnieuw binnen de originele bounding boxes geplaatst om de multimodale uitlijning te behouden. Een LLM-als-rechter detecteert vertalingscorruptie, gevolgd door een rigoureuze handmatige controle waarbij 42 foutieve vertalingen zijn verwijderd om de linguïstische nauwkeurigheid te waarborgen en bias te elimineren.
3. Multilinguale Uitbreiding: De Engelse dataset wordt uitgebreid naar andere talen. Om de kwaliteit te waarborgen zonder grondwaarheid-referenties voor alle 108 talen, gebruiken de auteurs een backtranslation-gebaseerde evaluatiestrategie.
   • Kwaliteitsmetriek: Ze gebruiken een referentievrije metriek gebaseerd op de max chrf++ score tussen de brontekst en meerdere backvertalingen (met behulp van NLLB-modellen).
   • Drempelwaarde: Samples met een max chrf++ score onder een drempelwaarde ($T = 0,625$) worden weggegooid als vertalingsfouten. Een "hoge kwaliteit" split wordt ook geleverd met een striktere drempelwaarde ($T = 0,85$).

2.3 Experimentele Opstelling

De auteurs benchmarkten een diverse set van 16 modellen, inclusief zowel open-source (bijv. Qwen-2.5, Gemma, Phi-4, Kimi-Thinking) als closed-source (bijv. GPT-4o, Claude-4-Sonnet, Gemini-2.5-Pro) VLM's.

• Talen: Experimenten richtten zich op 16 talen die een gebalanceerde mix vertegenwoordigen van laag-, midden- en hoogwaardige talen op basis van internetaanwezigheid.
• Prompting: Modellen werden geprompt met Chain-of-Thought (CoT) redenering, waarbij werd geïnstrueerd om redeneersporen te genereren gevolgd door een specifiek antwoordformaat (A, B, C, D of E).
• Geëvalueerde Technieken: De studie beoordeelde standaard prompting tegenover drie multilingale redeneerstrategieën:
  1. Model Tongue Reasoning (MTR): De vraag vertalen naar het Engels en prompten met zowel de originele als de vertaalde versie.
  2. CLSP: Het toepassen van MTR over meerdere talen (Engels, Spaans, Duits, Frans) en de outputs aggregeren via meerderheidsstemming.
  3. Activation Steering: Het aanpassen van interne modelactivaties om representaties uit te lijnen richting het Engels tijdens de generatie.

3. Belangrijkste Resultaten

3.1 Modelprestaties

• Algemene Moeilijkheden: Ondanks recente vooruitgang worstelen modellen nog steeds met basiswiskunde en diagram-gebaseerde redenering. Prestaties schalen over het algemeen met de modelgrootte en de beschikbaarheid van taalbronnen, maar schalen niet met de moeilijkheidsgraad van het leerjaar.
• Top Performers: Gemini-2.5-Pro behaalde de beste prestaties over alle talen en categorieën. Onder de open modellen was Kimi-Thinking-2506 de sterkste, die GPT-4o overtrof in het Engels maar significante dalingen liet zien in laagwaardige talen.
• Correlatie met Bronnen: Voor alle modellen behalve Gemini-2.5-Pro correleert de nauwkeurigheid sterk met de internetaanwezigheid van een taal. Kleinere modellen vertonen een sterkere correlatie, wat duidt op een beperkte capaciteit om over talen heen te generaliseren. De prestaties in laagwaardige talen voor veel modellen benaderen willekeurige gokken.

3.2 Tekst-alleen versus Figuur-gebaseerde Problemen

Er werd een consistente en significante kloof waargenomen: alle capabele modellen presteren beter op tekst-alleen problemen dan op figuur-gebaseerde problemen, ongeacht het moeilijkheidsniveau.

• Mens versus AI Contrast: Deze trend is het omgekeerde van menselijke prestaties, waarbij mensen figuur-gebaseerde problemen gemakkelijker vinden dan tekst-alleen problemen.
• Implicatie: Huidige VLM's hebben moeite met het effectief integreren van visuele informatie voor wiskundige redenering. De figuur-modaliteit introduceert complexiteiten (ruimtelijke relaties, diagraminterpretatie) die huidige architecturen niet volledig lijken te vatten.

3.3 Multilingale Technieken

De studie evalueerde of tekstgebaseerde multilingale technieken kunnen worden overgedragen naar multimodale settings:

• MTR Superioriteit: Model Tongue Reasoning (MTR) behaalde consequent de sterkste algehele prestaties en verminderde de prestatiekloof tussen laagwaardige en hoogwaardige talen aanzienlijk.
• CLSP en Steering: CLSP presteerde minder goed dan MTR. Activation Steering bood slechts bescheiden winst in laagwaardige talen en slaagde er niet in om de prestaties van MTR te evenaren, zelfs niet bij kleinere modellen.
• Efficiëntie: MTR bleek effectief zelfs met kleinere vertaalmodellen, wat suggereert dat in scenario's met een laag budget kleinere vertalers kunnen worden gebruikt zonder significant verlies van capaciteit.

3.4 Mens versus Model Vergelijking

Gebruikmakend van prestatiegegevens van meer dan 68.000 studenten van de 2024 Kangaroo competitie:

• Niet-monotone Moeilijkheid: Modellen vertonen geen monotone daling in prestaties naarmate de moeilijkheidsgraad van een probleem toeneemt (gebaseerd op menselijke moeilijkheidsgraad-beoordelingen). Bijvoorbeeld, Kimi-Thinking-2506 rangschikte boven het 94e percentiel voor niveaus 3–6, maar slechts bij het 44e percentiel voor lagere niveaus.
• Redeneerdivergentie: De analyse suggereert dat er geen significante correlatie is tussen de redeneercapaciteiten van AI-modellen en die van jonge studenten. Modellen lijken verschillende probleemoplossende benaderingen te hanteren, mogelijk geworteld in patroonherkenning of specifieke training op olympiade-stijl geometrieopdrachten in plaats van menselijke stapsgewijze redenering.

4. Belangrijkste Bijdragen

1. M3Kang Dataset: Een multilingale, multimodale benchmark bestaande uit 1.747 unieke problemen in 108 talen (111.198 totalen), afgeleid van de Kangaroo Math Competition.
2. Vertalingspipeline: Een open-source framework voor het automatisch creëren van multilingale multimodale datasets vanuit monolinguale bronnen, voorzien van een backtranslation-gebaseerd kwaliteitscontrolesysteem om de integriteit van de vertaling te waarborgen zonder grondwaarheid-referenties.
3. Uitgebreide Evaluatie: Een grondige benchmark van leidende VLM's over talen en inferentie-technieken, die onthult dat modellen worstelen met basiswiskunde en diagrammen, en dat prestaties zwaar afhankelijk zijn van de beschikbaarheid van taalbronnen.
4. Menselijke Baseline: Een directe vergelijking met menselijke prestatiegegevens van meer dan 68.000 studenten, die een fundamentele discrepantie tussen AI en menselijke redeneringsstrategieën in wiskundige contexten benadrukt.

5. Betekenis en Claims

Het artikel claimt dat M3Kang een kritiek gat in AI-evaluatie vult door een hoogwaardige testomgeving te bieden voor het beoordelen van modelgeneralisatie, kruislingse consistentie en multimodale integratie in een domein dat zowel linguïstische precisie als visueel begrip vereist.

De auteurs stellen dat hun bevindingen het volgende onthullen:

• Beperkingen van de huidige SOTA: Zelfs top-tier modellen falen bij basiswiskunde en diagraminterpretatie, waarbij de prestaties sterk bevoordeeld zijn naar hoogwaardige talen.
• Effectiviteit van Eenvoudige Technieken: Multilingale technieken zoals MTR kunnen effectief worden uitgebreid naar multimodale settings, waarbij ze aanzienlijke verbeteringen bieden ten opzichte van baselines zonder de complexiteit van fine-tuning of complexe stemmechanismen.
• Noodzaak voor Nieuwe Benchmarks: De discrepantie tussen menselijke en modelprestaties (vooral met betrekking tot visuele versus tekst-alleen taken) suggereert dat toekomstige benchmarks meerstaps-redeneertaken moeten bevatten en tussenliggende redeneerstappen moeten beoordelen om menselijke probleemoplossende vaardigheden beter te vangen.

De auteurs benadrukken dat de dataset, de pipeline en de code open-source zijn om de creatie van soortgelijke datasets in diverse linguïstische en educatieve contexten te faciliteren, met als doel de ontwikkeling van meer inclusieve en robuuste AI-systemen te stimuleren.