mmPISA-bench: Do LLMs Reason Equally Well Across 43 Languages?

Technische Samenvatting van mmPISA-bench: Redeneren LLM's even goed over 43 talen?

Probleemstelling
Hoewel Large Language Models (LLM's) sterke redeneercapaciteiten hebben getoond, blijft hun prestatie over diverse talen heen onderbelicht. Het huidige LLM-ecosysteem is overwegend Engels-gecentreerd en wordt geconfronteerd met uitdagingen zoals beperkte data voor veel talen, ongelijke prestaties over taalgemeenschappen heen, en door tokenisatie veroorzaakte ongelijkheden die zowel de effectiviteit als de inferentiekosten beïnvloeden. Bestaande benchmarks vertrouwen vaak op machinaal vertaalde items of richten zich op specifieke modaliteiten, waarbij een rigoureuze, gecontroleerde evaluatie van de stabiliteit van het redeneren over een breed spectrum aan talen met behulp van hoogwaardige, door mensen gevalideerde vertalingen ontbreekt.

Methodologie
De auteurs introduceren mmPISA-bench, een compacte, hoogwaardige meertalige reasoning-benchmark afgeleid van het OECD Programme for International Student Assessment (PISA).

• Dataset Constructie: De benchmark bestaat uit 25 meerkeuzevragen die redeneren vereisen: 11 uit PISA 2022 (Wiskunde) en 14 uit PISA 2018 (Leesvaardigheid). Deze items werden geselecteerd op basis van strikte criteria: beschikbaarheid van officiële menselijke vertalingen, exclusieve afhankelijkheid van tekst (geen afbeeldingen/interactieve elementen), en een meerkeuzeformaat.
• Taaldekking: De dataset beslaat 43 talen. Voor elke taal bevat de dataset zowel de officiële menselijke vertaling als een machinaal vertaalde tegenhanger (met behulp van Google Translate), wat resulteert in een totaal van 2.150 datapunten.
• Experimenteel Ontwerp: Twee propriëtaire frontier LLM's werden geëvalueerd: OpenAI's GPT-5.1-2025-11-13 en Anthropic's Claude (Opus-4-5-20251101 en Haiku-4-5-20251001). De modellen werden getest over vijf niveaus van redeneerinspanning (geen, dubbele prompt, laag, medium, hoog) en twee vertalingstypen (menselijk vs. machinaal). Elke configuratie werd vijf keer herhaald om stabiliteit te beoordelen. De evaluatie werd uitgevoerd in een zero-shot setting met uniforme systeemprompts die meerkeuze-outputformaten afdwingen.
• Metrieken: Prestaties werden gemeten aan de hand van nauwkeurigheid, tokengebruik (input en output) en inferentiekosten.

Belangrijkste Bijdragen

1. mmPISA-bench Dataset: De publicatie van een dataset van 2.150 items met 25 redeneervragen in 43 talen, bestaande uit zowel officiële menselijke vertalingen als bijbehorende machinale vertalingen. Dit maakt een directe vergelijking mogelijk met de prestaties van studenten van 15 jaar geleden.
2. Cross-Linguïstische Analyse van Redeneren: Een systematische evaluatie van de stabiliteit van LLM-redeneren over 43 talen, waarmee verder wordt gekeken dan het Engels-gedomineerde evaluatielandschap.
3. Validiteit van Machinale Vertaling: Een empirisch onderzoek naar de vraag of machinaal vertaalde vragen de redeneerprestaties verslechteren ten opzichte van officiële menselijke vertalingen.
4. Cost-Accuracy Trade-off Analyse: Een gedetailleerde analyse van hoe tokenisatie en de lengte van het redeneren variëren per taal, waarbij deze factoren worden gekoppeld aan inferentiekosten en nauwkeurigheid.

Resultaten

• RQ1 (Consistentie): Moderne LLM's kunnen effectief redeneren over alle 43 geëvalueerde talen en behalen een nauwkeurigheid die vergelijkbaar is met die van menselijke testnemers. Hoewel er variaties in prestaties bestaan, zijn deze relatief begrensd. Onder hoge redeneerinspanning behaalde Claude een perfecte nauwkeurigheid (100%) in zeven talen, terwijl GPT dit slechts in één taal deed (Duits). GPT vertoonde minder variabiliteit tussen talen dan Claude, hoewel Claude een hogere gemiddelde nauwkeurigheid behaalde.
• RQ2 (Menselijke vs. Machinale Vertaling): Machinaal vertaalde vragen verslechterden de nauwkeurigheid niet ten opzichte van officiële menselijke vertalingen; in verschillende configuraties leverden machinaal vertaalde inputs zelfs marginaal hogere nauwkeurigheid op. Dit suggereert dat hoogwaardige machinale vertaling (synthetische data) adequaat is voor grootschalige meertalige redeneerevaluaties waar officiële vertalingen niet beschikbaar zijn.
• RQ3 (Redeneerlengte en Kosten):
  • Tokenisatie Dispariteiten: Er werden significante variaties in tokenaantallen waargenomen tussen talen als gevolg van verschillen in tokenisatie.
  • Cost-Accuracy Correlatie: Er werd een negatieve correlatie gevonden tussen kosten en nauwkeurigheid voor beide modellen. Talen die duurder waren om te verwerken (door hogere input-tokenaantallen en/of langere redeneersporen) neigden lagere nauwkeurigheid te hebben.
  • Redeneergedrag: Voor Claude was er een sterke positieve correlatie tussen input- en output-tokenaantallen (0,950), wat aangeeft dat langere inputs in bepaalde talen proportioneel langere redeneersporen uitlokten. GPT vertoonde een zwakkere correlatie (0,334), wat suggereert dat de lengte van het redeneren bij GPT minder afhankelijk is van de inputlengte.
  • Cross-Language Redeneren: Kwalitatieve analyse onthulde dat modellen soms redeneren in andere talen dan de input of het Engels (bijv. Claude die in het Russisch redeneert wanneer geprompt in het Kazachs), een fenomeen dat alleen detecteerbaar is met expertise in de moedertaal.

Betekenis en Claims
Het artikel claimt dat vooraanstaande propriëtaire LLM's een niveau van meertalige redeneer-robuustheid hebben bereikt waarbij ze vergelijkbaar kunnen presteren met menselijke studenten over een breed scala aan talen. De auteurs benadrukken echter dat "even goed redeneren" genuanceerd is: hoewel de nauwkeurigheid hoog is, variëren de efficiëntie en kosten van het redeneren systematisch per taal.

De studie benadrukt dat sommige talen tegelijkertijd duurder en minder nauwkeurig zijn, gedreven door tokenisatie-inflatie en taalspecifieke redeneerstrategieën. Daarom betogen de auteurs dat meertalige evaluatie verder moet gaan dan geaggregeerde nauwkeurigheidsmetrieken en ook de lengte van het redeneren en kostenanalyse moet bevatten. Bovendien ondersteunt de bevinding dat machinale vertaling de prestaties niet verslechtert de schaalbaarheid van meertalige benchmarks met behulp van synthetische data, mits het bronmateriaal van hoge kwaliteit is. Ten slotte onderstreept de observatie van cross-language redeneergedragingen de noodzaak van expertise in de moedertaal bij het evalueren van LLM's, aangezien geaggregeerde metrieken complexe interne linguïstische verschuivingen kunnen maskeren.