Technische Samenvatting: SEATauBench

Probleemstelling

Hoewel de ontwikkeling van AI in Zuidoost-Azië (SEA) snel is uitgebreid, blijven de capaciteiten van AI-agenten in regionale talen slecht begrepen. Bestaande benchmarks beoordelen voornamelijk statische modelgedragingen (bijv. redeneren, vertaling of kennisretrieval) in plaats van de dynamische, multi-turn, door tools gemedieerde interacties die vereist zijn voor de real-world inzet van soevereine AI in sectoren zoals handel, reizen en diensten. Bovendien zijn huidige evaluatieframeworks voor agenten sterk gecentreerd rond het Engels, wat een kloof creëert waarbij Engelstalige beoordelingen de prestaties van agenten in linguïstisch diverse, minder rijke (low-resource) SEA-contexten mogelijk niet nauwkeurig reflecteren. Er is een kritieke behoefte aan een diagnostisch framework dat evalueert hoe agenten presteren wanneer niet alleen de conversatietaal verandert, maar ook de tool-specificaties en taken-domeinen worden gelokaliseerd.

Methodologie

De auteurs introduceren SEATauBench, het eerste op agenten gerichte evaluatieframework voor SEA soevereine AI. Het framework past de op het Engels gebaseerde $\tau^2$-Bench (Yao et al., 2024; Barres et al., 2025) aan naar vijf doeltalen: Mandarijn Chinees, Vietnamees, Thais, Indonesisch en Filipijns.

Adaptatie-pipeline

Om de semantiek van de taken consistent te houden terwijl de interface wordt gelokaliseerd, hebben de auteurs een tweefasige, niet-verstorende vertaalpipeline ontwikkeld:

1. Offline Vertaling: Statische domein-assets (taakdefinities, beleidsregels, database-inhoud, tool docstrings en schema's) worden vertaald. Cruciaal is dat de pipeline uitvoerbare tokens (ID's, statuscodes, toolnamen en enum-literalen) maskeert om te voorkomen dat de vertaling de executielaag verstoort. Een schema-gebaseerde aanpak stelt een glossarium vast om terminologische consistentie te garanderen.
2. Runtime Lokalisatie: Tijdens de inferentie patch de omgeving het perspectief van de agent. Tool-schema's (beschrijvingen, enum-keuzes) worden gerenderd in de doeltaal ($L_2$), maar argumenten die door de agent worden geleverd, worden genormaliseerd naar canonieke Engelse waarden vóór de uitvoering van de tool. De output van de tool wordt vervolgens gelokaliseerd naar $L_2$ voor de gebruikersinteractie. Dit zorgt ervoor dat de agent opereert in een monolinguale $L_2$-context terwijl de metrieke vergelijkbaarheid met de Engelse baseline behouden blijft.

Evaluatiescenario's

SEATauBench evalueert agenten over vier progressief gelokaliseerde scenario's om specifieke capaciteitsverschillen te isoleren:

• S1 (Alleen Engels): Baseline prestaties in het Engels.
• S2 (L2 Interactie): De gebruikers-agent conversatie is in $L_2$, maar tools, beleidsregels en contexten blijven in het Engels.
• S3 (L2 Tool): Tool-schema's zijn vertaald naar $L_2$, terwijl conversatie en domeincontext in het Engels blijven. Dit omvat zowel monolinguale als meertalige tool-instellingen.
• S4 (L2 Domein): Een volledig gelokaliseerde setting waarbij dialoog, tool-schema's, beleidsregels, taakbeschrijvingen en database-inhoud allemaal in $L_2$ zijn.

Experimentele Opstelling

De studie evalueert drie recente Large Language Model (LLM) agenten:

• GPT-5-Mini: Een propriëtair model.
• Qwen3-235B-A22B-Instruct: Een representatief open-source model.
• Kimi-K2.5: Een grootschaliger open-source model.

Prestaties worden gemeten met behulp van pass@1 (kwaliteit/succesratio) en een afgeleide robustheidmetriek ($\rho_3$), die de waarschijnlijkheid van consistente successen over drie onafhankelijke proeven meet. De evaluatie beslaat drie domeinen: Retail, Luchtvaart en Telecom.

Belangrijkste Resultaten

Prestatiedegradatie in Gelokaliseerde Settings

De resultaten laten een consistente en scherpe daling van de agentprestaties zien naarmate de evaluatiesetting verder weg beweegt van Engels alleen:

• Interactie versus Volledige Lokalisatie: Hoewel agenten redelijk goed overdragen wanneer alleen de conversatietaal verandert (S2), nemen kwaliteit en robuustheid aanzienlijk af wanneer tool-interfaces en taakontexten ook worden gelokaliseerd (S3 en S4).
• Domeinadaptatie: De meest ernstige prestatiedalingen treden op in de L2 Domein (S4) scenario. Bijvoorbeeld, in het Thais en Filipijns dalen de pass@1 scores naar de lage 0,4-range, vergeleken met hogere Engelse baselines.
• Taalvariantie: De ernst van de degradatie varieert per taal. Thais en Filipijns vertonen de grootste dalingen, mogelijk door afwijkende schrifttelsystemen of lagere beschikbaarheid van bronnen (lower-resource coverage). Echter, zelfs Latijn-geschreven talen zoals Filipijns vertonen significante zwaktes wanneer agenten moeten redeneren over volledig gelokaliseerde dialogen en schema's.

Divergentie tussen Kwaliteit en Robuustheid

De studie vindt dat kwaliteit (pass@1) en robuustheid ($\rho_3$) niet altijd correleren. In sommige talen (bijv. Indonesisch, Filipijns) daalt pass@1 in de L2 Domein, terwijl de robuustheid relatief stabiel blijft, wat suggereert dat hoewel agenten minder taken oplossen, hun succesvolle pogingen reproduceerbaar zijn. Omgekeerd vertoont Thais een daling in beide metrieken, wat wijst op een breuk in zowel het gemiddelde succes als de consistentie.

Verschillen in Model en Domein

• Modelvariantie: Geen enkel model domineert over alle SEA-talen heen. Kimi-K2.5 presteert over het algemeen het best in Vietnamees, Filipijns en Chinees, terwijl GPT-5-Mini leidt in Indonesisch en Thais. Qwen3-235BB toont consequent een lagere pass@1, maar vertoont vaak een sterkere robuustheid in minder rijke (lower-resource) settings.
• Domeinmoeilijkheid: Het Retail-domein is consistent het meest uitdagend over alle talen heen vanwege complexe beleidsregels en statusupdates. Opvallend is dat domeinspecifieke sterktes in het Engels (bijv. Qwen die goed presteert in Retail) niet noodzakelijkerwijs worden overgedragen naar gelokaliseerde settings.

Foutanalyse en Taaldrift

• Fouttypen: Kritieke fouten (afwijkingen van de gebruikersintentie) nemen aanzienlijk toe in L2-settings, met name in het Thais en Filipijns.
• Taaldrift: Hoewel agenten "taaldrift" vertonen (halverwege een conversatie overschakelen naar het Engels), laat de analyse zien dat er een zeer zwakke correlatie ($R^2 = 0,014$) is tussen taalcorrectheid en taaksucces. Dit suggereert dat taalfouten worden gedreven door het onvermogen om over gelokaliseerde schema's en beleidsregels te redeneren, in plaats door simpelweg taalwisseling.
• Meertalige Tools: Het introduceren van tools in meerdere talen tegelijkertijd veroorzaakt slechts een bescheiden daling in prestaties vergeleken met monolinguale lokalisatie, wat suggereert dat agenten een zekere mate van meertalige tool-diversiteit kunnen aan.

Betekenis en Claims

Het artikel claimt dat SEATauBench een kritieke kloof blootlegt tussen de groei van SEA-evaluatieresources en de gereedheid van huidige agenten voor de inzet van soevereine AI. De primaire bijdragen zijn:

1. Diagnostische Benchmark: Het biedt het eerste framework om de capaciteiten van agenten in SEA-talen systematisch te evalueren over variërende niveaus van lokalisatie, waarbij verder wordt gekeken dan statische benchmarks naar interactieve, door tools gemedieerde taken.
2. Onbetrouwbaarheid van Engelse Proxies: De studie demonstreert dat Engelstalige evaluaties een onbetrouwbare proxy zijn voor de capaciteiten in SEA-talen. Hoge prestaties in het Engels garanderen geen robuustheid in gelokaliseerde omgevingen, vooral wanneer tool-schema's en domeinbeleid zijn vertaald.
3. Adaptatie-pipeline: De auteurs bieden een herbruikbare, niet-verstorende vertaalpipeline die de snelle adaptatie van tool-agent benchmarks naar nieuwe talen mogelijk maakt, terwijl de integriteit van de uitvoering behouden blijft.
4. Aanbeveling: Op basis van de correlatieanalyse suggereren de auteurs dat de Filipijnse subset van SEATauBench kan dienen als een representatieve proxy voor het schatten van de prestaties over andere SEA-talen, wat een efficiëntere evaluatiestrategie voor de regio biedt.

Uiteindelijk legt SEATauBench een rigoureuze fundering voor het bouwen van betrouwbare, meertalige agenten voor linguïstisch diverse regio's, waarbij wordt benadrukt dat soevereine AI meer vereist dan alleen vertaling; het vereist een robuuste adaptatie van tool-interfaces en domeinredeneer-capaciteiten.