🤖 machine learning

Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap

Dit artikel toont aan dat vaste limieten voor het aantal output-tokens fungeren als een verborgen experimentele variabele die gemeten meertalige redeneerkloven kunstmatig opblaast of omdraait, waarbij wordt geargumenteerd dat evaluaties de nauwkeurigheid over een spectrum van output-budgetten moeten rapporteren in plaats van bij één enkele limiet om werkelijke tekortkomingen in het redeneervermogen te onderscheiden van afkap-artefacten.

Oorspronkelijke auteurs: Ankit Goyal, Jaideep Ray

Gepubliceerd 2026-08-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ankit Goyal, Jaideep Ray

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te meten hoe snel twee verschillende hardlopers een race kunnen voltooien. De ene hardloper spreekt een taal waarin woorden kort en krachtig zijn, terwijl de andere een taal spreekt waarin woorden lang en bloemrijk zijn. Als je tegen beide hardlopers zegt: "Je moet stoppen met rennen precies wanneer je 100 stappen hebt gezet," test je niet alleen hun snelheid, maar je test stiekem ook hoeveel stappen hun taal vereist om hetzelfde te zeggen. De hardloper met de lange woorden kan halverwege een zin worden onderbroken, niet omdat hij traag is, maar omdat de finishlijn te vroeg was gezet voor zijn specifieke paslengte. Dit is de kern van het puzzelstukje van moderne Kunstmatige Intelligentie: wanneer we AI-modellen vragen om wiskundige problemen in verschillende talen op te lossen, zien we vaak dat ze slechter presteren in hun moedertaal dan wanneer we hen vragen het probleem eerst naar het Engels te vertalen. Wetenschappers noemen dit de "multilinguale redeneerkloof". Maar is deze kloof een teken dat de AI in zijn moedertaal eigenlijk "dommer" is, of is het gewoon een meetfout veroorzaakt door hoe we de regels van het spel hebben vastgesteld?

Dit artikel, getiteld "Mind the Cap", onderzoekt of die beroemde kloof eigenlijk een truc van de meetlint is. De onderzoekers zetten een race op voor twee populaire AI-modellen (Qwen en Llama) om wiskundige problemen op te lossen in het Duits, Thais en Swahili. Ze vergeleken twee strategieën: de AI laten nadenken en antwoorden in de moedertaal (NATIVE) versus het probleem vertalen naar het Engels, in het Engels denken, en vervolgens antwoorden in de moedertaal (TRANSLATE-ACT). De twist? Ze keken niet alleen naar de eindscore; ze volgden de race stap voor stap, waarbij ze de "token cap" veranderden — de maximale hoeveelheid digitale bouwstenen (tokens) die de AI mag gebruiken om haar antwoord te schrijven.

De auteurs ontdekten dat de "kloof" geen vaste waarheid is; het is een bewegend doelwit dat volledig afhangt van hoe strak de leiband is. Wanneer de limiet erg krap is (zoals 128 tokens), verliest de moedertaal het vaak zwaar, niet omdat de AI niet kan redeneren, maar omdat ze simpelweg de ruimte niet heeft om haar zin af te maken. Echter, naarmate ze de limiet versoepelden, kromp de kloof en verdween deze soms zelfs volledig. Sterker nog, bij een specifiek budget van 1.024 tokens verdween de kloof voor één model (Qwen) bijna volledig, wat suggereert dat de AI helemaal niet een gebrek aan redeneervaardigheden had; ze had alleen meer ruimte nodig om te ademen.

De studie vond ook iets verrassends: de AI vertellen wat de limiet is voordat ze begint, kan het gedrag veranderen. Wanneer ze de Thaise-native AI vertelden: "Je hebt slechts 128 tokens," presteerde deze zelfs beter dan wanneer ze ze vertelden: "Je hebt 2.048 tokens," ook al was de harde limiet in beide gevallen hetzelfde. Het lijkt erop dat de AI probeert efficiënter te zijn wanneer zij denkt dat ze haast heeft.

Uiteindelijk betogen de auteurs dat de "redeneerkloof" vaak slechts een "budget-artefact" is. Als je de AI genoeg ruimte geeft om haar gedachten te voltooien, haalt de moedertaal vaak in. De onderzoekers testten dit door hun experimenten vooraf vast te leggen en duizenden nieuwe, onafhankelijke tests uit te voeren. Ze ontdekten dat hoewel de kloof echt is bij krappe budgetten, deze vaak verdwijnt zodra de AI wordt toegestaan een volledig antwoord te schrijven. Ze testten ook een "vocabulaire-uitbreiding" — het geven van nieuwe, kortere woorden voor de moedertaal — maar vonden dat dit alleen hielp wanneer het budget nog steeds krap genoeg was om de zinnen van de AI af te breken. Zodra de AI voldoende ruimte had, maakte de extra woorden geen verschil meer.

De belangrijkste les is dat we de tokenlimiet niet moeten behanden als een achtergrondinstelling. Het is een variabele die de uitkomst verandert. Als we willen weten of een AI werkelijk kan redeneren in een taal, kunnen we niet alleen naar een enkele score met een enkele limiet kijken. We moeten de hele race volgen, van het startschot tot de finishlijn, en beseffen dat soms de AI niet faalt in het denken, maar simpelweg faalt in het afmaken.

Technische Samenvatting: Mind the Cap

Probleemstelling
Multilinguale evaluaties van Large Language Models (LLM's) rapporteren regelmatig een "redeneergap" (reasoning gap), waarbij modellen beter presteren op redeneertaken wanneer het probleem naar het Engels is vertaald (bijv. via een "Translate-Act"-strategie) vergeleken met redeneren direct in de brontaal. Deze evaluaties meten echter doorgaans de nauwkeurigheid bij een enkele, vaste limiet van output-tokens (output-token cap). Dit artikel betoogt dat deze limiet een verborgen experimentele variabele is. Omdat verschillende talen een verschillend aantal tokens vereisen om dezelfde inhoud uit te drukken (tokenisatie-premie), beperkt een vaste limiet de native-taalsporen (native-language traces) onevenredig veel in vergelijking met Engelse vertalingen. De auteurs stellen dat de gemeten "redeneergap" een artefact kan zijn van dit mismatch in tokenbudget, in plaats van een werkelijk tekort aan multilinguale redeneervaardigheid.

Methodologie
De studie operationaliseert het "token-budget artefact" door de MGSM (Multilingual Grade School Math) benchmark te analyseren over drie talen (Duits, Thais, Swahili) en twee modellen (Qwen3-8B en Llama-3.1-8B-Instruct).

Experimenteel Ontwerp:
- Strategieën: Vier prompting-strategieën werden geëvalueerd: NATIVE (redeneren en antwoorden in de doeltaal), TRANSLATE-ACT (vertalen naar het Engels, oplossen, antwoorden in de doeltaal), PIVOT (redeneren in het Engels, antwoorden in de doeltaal) en CODE-SWITCHED.
- De Ledger (Het Grootboek): De auteurs genereerden 48.000 opgeslagen generaties (elk 4096 tokens) en scoorden elke prefix van deze generaties. Deze "ledger" maakt retrospectieve evaluatie mogelijk bij verschillende budgetniveaus ( $B$ ) zonder nieuwe data te genereren, wat ruis door sampling tussen budgetten elimineert.
- Onafhankelijke Decoding: Om de bevindingen te valideren, werd een aparte steekproef van 540.000 decodes gegenereerd met strikte limieten op specifieke budgetten, waardoor er geen gedeelde trajecten waren tussen de ontdekkings- en de bevestigingsfase.
Estimand en Metrieken:
- De kernmetriek is $\Delta_L(B) = acc_N(\lfloor r_{m,L} B \rfloor) - acc_N(B)$ , waarbij $acc_N$ de native nauwkeurigheid is, $B$ het budget is, en $r_{m,L}$ de FLORES-200 token-premie van taal $L$ ten opzichte van het Engels is.
- Deze metriek isoleert de winst in native nauwkeurigheid wanneer het budget wordt geschaald om overeen te komen met de tokenkosten van de Engelse vertaling, wat effectief de vraag stelt: "Hoeveel van de gap komt door het afkappen van het native spoor?"
- Falsifieerbare Hypothese: Als de gap een budget-artefact is, zou het schalen van het native budget de gap moeten verkleinen. Als de gap blijft bestaan na schaling, suggereert dit een werkelijk redeneertekort.
Statistische Rigor:
- De studie maakt gebruik van een "prospectief bevroren" ontwerp. Een specifiek budget ( $B^*=1024$ ) en een set van zes Holm-gecorrigeerde tests werden gedefinieerd vóór de data-analyse.
- Audits: Vijf ledger-berekenbare audits werden uitgevoerd: trace-language ID (GlotLID), vertaalkwaliteit (COMET), parser-robuustheid, decoder-pariteit en normalisator-gevoeligheid.

Belangrijkste Resultaten

Budgetafhankelijkheid van de Gap:
- De gemeten gap is zeer gevoelig voor het output-budget. Onder strikte limieten kan de gap met wel 57 punten fluctueren.
- Lengte-normalisatie: Het toepassen van lengte-normalisatie (het schalen van het native budget met de token-premie) verplaatst de gap met tot wel 38,9 punten in het "budget-bindende regime" (waar antwoorden nog steeds worden uitgegeven).
- Strategie-omkering: Bij zeer strikte limieten kan lengte-normalisatie de superieure strategie omkeren. Bijvoorbeeld, in Qwen Duits en Swahili presteert de NATIVE strategie beter dan TRANSLATE-ACT bij lage budgetten (bijv. 128 tokens), omdat de vertalingspreambule te veel tokens consumeert, waardoor er geen ruimte overblijft voor het antwoord.
De Bevroren Test bij $B^*=1024$ :
- Bij het vooraf gespecificeerde budget van 1024 tokens faalde de studie om de nulhypothese te verwerpen dat de gap nul is voor Qwen (en Llama).
- Reden: De native nauwkeurigheid was al verzadigd bij dit budget (bijv. de Qwen Duitse native nauwkeurigheid plateauerde op 79%). Zodra de nauwkeurigheid verzadigt, is het resterende verschil tussen strategieën een "strategie-prestatiegap" (gedreven door vertaalkwaliteit, prompt-herformulering, etc.) in plaats van een "redeneertekort" veroorzaakt door afkapping.
- De studie concludeert dat de "redeneergap" niet wordt geïdentificeerd bij verzadiging; het is alleen zichtbaar in het bindende regime waar sporen worden afgekort.
Onafhankelijke Bevestiging:
- Een tweede familie van tests met onafhankelijk beperkte decodes bevestigde dat de grote gaps die werden waargenomen bij ontdekkingspieken (bijv. 38,9 punten voor Thais bij 256 tokens) geen artefacten waren van gedeelde trajecten.
- Echter, bij het verzadigingspunt ( $B=1024$ ), faalden de onafhankelijke tests ook om de nulhypothese te verwerpen, wat bevestigt dat de gap verdwijnt wanneer het budget voldoende is voor het voltooien van het native spoor.
Announcement Effects (Aankondigingseffecten):
- De studie vond dat het aankondigen van een budget aan het model het gedrag verandert, zelfs wanneer de afgedwongen limiet vast blijft. Het aankondigen van een strikter budget (128 vs 2048) verhoogde de Thaise native nauwkeurigheid met 5,1 punten, wat suggereert dat nauwkeurigheid niet alleen een functie is van de afgedwongen limiet, maar ook van de interne budgetschatting van het model.
Adaptation Ladder (Woordenschatuitbreiding):
- De auteurs testten of het uitbreiden van de vocabulaire (toevoegen van doeltaal-tokens) de gap kon dichten.
- Resultaat: Woordenschatuitbreiding sloot de gap alleen waar de limiet nog steeds de sporen afkapt. Bij verzadiging ( $B=1024$ ), waar geen sporen werden afgekort, sloot de uitbreiding de gap met 0,00 punten.
- Dit bevestigt dat de gap wordt gedreven door afkapping, niet door een gebrek aan vocabulaire of redeneervermogen op zich.

Betekenis en Claims
Het artikel claimt een methodologische verschuiving in hoe multilinguale redenering moet worden geëvalueerd:

De Limiet is een Variabele: Output-limieten moeten worden behandeld als onafhankelijke variabelen, niet als achtergrondconstanten. Het rapporteren van nauwkeurigheid bij een enkel budget is onvoldoende en potentieel misleidend.
Herformulering van de Gap: De "multilingale redeneergap" is vaak een "budget-bindend artefact". Wanneer native sporen mogen worden voltooid (via lengte-normalisatie of grotere limieten), krimpt de gap of verdwijnt deze in het bindende regime.
Verzadiging vs. Tekort: Zodra de native nauwkeurigheid verzadigt, weerspiegelt het resterende verschil tussen native en vertaalde strategieën executiefactoren (vertaalkwaliteit, prompt-naleving) in plaats van een fundamenteel onvermogen om in de natuurlijke taal te redeneren.
Praktische Richtlijn: Voordat men investeert in kostbare aanpassingen (zoals fine-tuning of vocabulaire-uitbreiding), zouden beoefenaars de gerealiseerde winst van het simpelweg uitbreiden van de output-limiet moeten meten. Als de limiet niet-bindend is, zullen deze interventies geen voordeel opleveren.

De auteurs zijn bescheiden over hun reikwijdte en merken op dat hun bevindingen specif

Technische Samenvatting: Mind the Cap

Meer zoals dit