Technische Samenvatting: Acties spreken luider dan woorden

Probleemstelling

Huidige multilinguale evaluaties van tool-gebruikende agenten richten zich bijna uitsluitend op de correctheid van het uiteindelijke antwoord, waarbij de tussenliggende actietracés worden genegeerd. Deze aanpak gaat ervan uit dat als een agent in meerdere talen een correct antwoord produceert, het gedrag consistent is. Echter, voor een agent is de "route" (de sequentie van tool-aanroepen en tussenliggende stappen) het eigenlijke product. Divergerende routes leiden tot verschillende kosten, latenties, foutmodi en auditabiliteitsproblemen. Een beveiliging die gevalideerd is op een Engelse trace, houdt mogelijk niet stand voor een niet-Engelse trace als het onderliggende actiebeleid verschilt, zelfs als de uiteindelijke output identiek is.

Het kernproblek is het gebrek aan een verdedigbare metriek om cross-linguale beleidsretentie te meten: de mate waarin een agent dezelfde sequentie van acties uitvoert voor semantisch identieke taken in verschillende talen. Standaard gelijkenis-metingen zijn onbetrouwbaar vanwege vijf specifieke confounders:

1. Geen Baseline: Modellen zijn niet perfect zelfconsistent; een model dat tweemaal dezelfde vraag in dezelfde taal krijgt, produceert vaak verschillende traces. Zonder een taal-interne baseline kunnen cross-linguale verschillen niet geïsoleerd worden.
2. Trace-lengte Bias: Kortere traces scoren kunstmatig hoger op gelijkenis-metingen.
3. Lege Trace Bias: Traces zonder acties scoren perfect (1.0) op gelijkenis, wat de resultaten scheef trekt.
4. Plafondeffect: De maximale mogelijke overeenstemming wordt begrensd door de eigen reproduceerbaarheid (zelfconsistentie) van een model.
5. Toevalsvloer: Ongerelateerde traces komen door toeval vaker overeen dan 50% van de tijd, wat een niet-nul baseline voor gelijkenis creëert.

Methodologie

De auteurs stellen een protocol voor om Genormaliseerde Beleidsretentie ($\tilde{I}$) te meten door expliciet te corrigeren voor de vijf bovengenoemde confounders.

• Experimentele Opzet:

  • Modellen: 8 instructie-getunede modellen (waaronder Gemma-3, Sarvam-M, Qwen3, Llama-4, en GPT-OSS) variërend van 4B tot 235B parameters, die zowel dense als mixture-of-experts architecturen beslaan.
  • Taken: 6 parallelle benchmarks (FLORES-200, XQuAD, XNLI, Belebele, XCOPA, en een synthetische suite) gerenderd in 41 talen.
  • Schaal: 2,38 miljoen agent rollouts over 505 cellen.
  • Scaffold: Een vaste symbolische tool-gebruik scaffold (Thought/Action/Finish) met een gedeeld 5-tool alfabet. Traces worden geëxtraheerd via regex; tools zijn symbolisch (geparsed maar niet uitgevoerd).

• Meetprotocol:

  • Replicaten: Elk taak-taal paar wordt tweemaal gegenereerd onder identieke omstandigheden (dezelfde seed, taak, budget) om een taal-interne baseline ($I_{within}$) vast te stellen.
  • Cross-Linguale Vergelijking: Traces uit verschillende talen worden vergeleken ($I_{cross}$).
  • Normalisatie: De metriek wordt gedefinieerd als $\tilde{I} = I_{cross} / I_{within}$. Dit normaliseert de cross-linguale overeenstemming tegen de eigen zelfconsistentie-plafond van het model.
  • Correcties:
    • Lengte-matching in beide richtingen om trace-lengte bias te elimineren.
    • Uitsluiting van lege traces.
    • Meting van de toevalsvloer via permutatie in plaats van aanname.
    • Correctie voor het plafondeffect (zelfconsistentie).

• Interventies:

  • Temperatuur Ladder: Testen over temperaturen $T \in \{0, 0.3, 0.5, 0.7, 1.0\}$ om sampling-ruis te onderscheiden van structurele divergentie.
  • English Pivot Ablatie: Het verwijderen van de Translate tool of het verplicht stellen ervan als de eerste stap om causale afhankelijkheid van Engels te testen.
  • Trace-lengte Manipulatie: Kunstmatig variëren van trace-lengtes om effecten van lengte te isoleren.

Belangrijkste Resultaten

1. Het effect groeit met correctie

In tegenstelling tot de intuïtie dat het corrigeren voor confounders het waargenomen effect zou verminderen, verhoogde elke toegepaste correctie (lengte-matching, verwijdering van lege traces, aanpassing van de toevalsvloer) de gemeten divergentie. De ruwe kloof tussen talen was een ondergrens; de gecorrigeerde kloof was aanzienlijk groter.

2. Convergentie aan de Frontier

Onder greedy decoding ($T=0$) convergeerden vier diverse frontier-modellen (variërend in schaal, architectuur en trainingsmixen) op een bijna identieke beleidsretentie: 71–73%.

• Modelidentiteit verklaarde slechts 5,7% van de variantie in deze genormaliseerde metriek.
• In contrast hiermee verklaarde modelidentiteit bij $T=0.5$ (inclusief sampling) 74,8% van de variantie, waarbij de rangorde volledig omdraaide.
• Dit suggereert dat cross-linguale beleidsretentie een structurele eigenschap is van de modellen onder greedy decoding, en geen artefact is van sampling-ruis.

3. De grens van regelmaat

De 71–73% regelmaat stort in voor modellen onder ongeveer 10B parameters.

• Kleinere modellen (4B, 8B) vertoonden hoge variabiliteit.
• De schijnbare ordening van kleine modellen op basis van ruwe metrieken was grotendeels een artefact van de "toevalsvloer" (kortere traces in kleinere modellen leidden tot kunstmatig hoge gelijkenisscores). Eenmaal gecorrigeerd, draaide de rangorde van kleine modellen om.

4. Het English Pivot Mechanisme

De studie identificeert een causaal mechanisme voor de divergentie: Agenten routeren niet-Engelse taken via een Engelse pivot.

• Translate was de meest gebruikte tool in elke benchmark voor compliant modellen.
• Redeneertekst was ~99% ASCII, zelfs voor niet-Latijnse schriften.
• Causale Test: Het verwijderen van de Translate tool verminderde de cross-linguale overeenstemming evenredig met de afhankelijkheid van het model daarvan. Het verplichten van vertaling verbeterde de retentie voor modellen met "head-room" (lage baseline vertalingsgebruik).
• Robuustheid: Het instrueren van modellen om te redeneren in de taaktaal faalde (<1% compliance), wat aangeeft dat de Engelse pivot een structurele voorkeur is, en geen stilistische standaard die via prompting kan worden aangepast.

5. Meetpathologie

Het artikel belicht een kritiek meetfalen: een enkele trace-extractie regex zorgde ervoor dat een competent model (GPT-OSS-120B) defect leek.

• Het model antwoordde in proza ("We zullen Translate gebruiken") in plaats van de vereiste syntaxis, wat resulteerde in 76,4% lege traces.
• Omdat lege traces een score van 1.0 op gelijkenis hebben, leek het model een hoge invariantie te hebben maar een bijna nul-nauwkeurigheid.
• Het toevoegen van twee few-shot exemplaren herstelde de parseerbaarheid, waardoor de gemeten nauwkeurigheid 26-voudig toenam zonder de werkelijke capaciteit van het model te veranderen, enkel de leesbaarheid ervan.

Betekenis en Claims

Het artikel claimt dat antwoord-niveau pariteit compatibel is met significante gedragsdivergentie, wat reële gevolgen heeft voor kosten, latentie en veiligheid.

• Bijdrage aan de Metriek: De auteurs bieden een plafond-gecorrigeerde estimand ($\tilde{I}$) en een protocol dat vijf specifieke confounders prijsgeeft, waarvan er twee causaal zijn vastgesteld.
• Structureel Inzicht: Cross-linguale divergentie is geen willekeurige ruis, maar een structurele eigenschap waarbij modellen ongeveer 71–73% van hun actiebeleid behouden wanneer de taal verandert, mits ze groot genoeg zijn en greedy worden gedecodeerd.
• Mechanisme: De afhankelijkheid van een Engelse pivot is een belastend causaal factor waar modellen weerstand tegen bieden, zelfs wanneer ze expliciet worden geïnstrueerd om dit te laten.
• Validiteit: De studie toont aan dat standaard regex-gebaseerde trace-extractie schijnbaar multilinguale fouten kan fabriceren, wat het rapporteren van parse-foutpercentages naast nauwkeurigheid noodzakelijk maakt.

Het werk overbrugt de kloof tussen agentic benchmarks (die zich richten op uitkomsten) en cross-linguale evaluatie (die zich richt op uiteindelijke voorspellingen), door te stellen dat de actiepolicy zelf het object moet zijn dat gemeten wordt om het multilinguale gedrag van agenten echt te begrijpen.