💬 NLP

SEATauBench: Adapting Tool-Agent-User Evaluation Into Low-Resource Southeast Asian Languages

Cet article présente SEATauBench, le premier cadre d'évaluation pour l'IA souveraine de l'Asie du Sud-Est qui adapte TauBench à cinq langues régionales, révélant que si les capacités des agents en anglais se transfèrent bien aux conversations localisées, leurs performances et leur robustesse se dégradent considérablement à mesure que les contextes de tâches et les spécifications d'outils sont pleinement localisés.

Auteurs originaux : My Chiffon Nguyen, Aulia Adila, Saksorn Ruangtanusak, Kittiphat Leesombatwathana, Vissuta Gunawan Lim, Patomporn Payoungkhamdee, Samuel Cahyawijaya

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : My Chiffon Nguyen, Aulia Adila, Saksorn Ruangtanusak, Kittiphat Leesombatwathana, Vissuta Gunawan Lim, Patomporn Payoungkhamdee, Samuel Cahyawijaya

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot assistant très intelligent et hautement entraîné. Vous l'avez testé de manière intensive en anglais, et il est excellent pour réserver des vols, acheter des vêtements et gérer des forfaits téléphoniques. Il semble être un super-héros.

Mais ensuite, vous essayez d'envoyer ce même robot travailler en Asie du Sud-Est, où les gens parlent thaï, vietnamien, indonésien, philippin et mandarin. Vous vous demandez : « S'il est si bon en anglais, fonctionnera-t-il simplement dans ces autres langues aussi ? »

Ce document, SEATauBench, est comme un test de résistance géant et réaliste conçu pour trouver la réponse. Les chercheurs ont construit un « terrain d'entraînement » spécial pour voir comment ces agents d'IA gèrent réellement des tâches concrètes lorsque tout ce qui les entoure est traduit dans les langues locales.

Voici l'histoire de ce qu'ils ont découvert, décomposée simplement :

1. La configuration : Le « gâteau à trois couches » de la difficulté

Les chercheurs n'ont pas simplement tout traduit d'un coup. Ils ont construit un test avec quatre niveaux, comme une échelle, pour voir exactement où le robot commence à trébucher.

Niveau 1 (La base en anglais) : Le robot parle anglais, les outils sont en anglais et les règles sont en anglais. C'est le « mode facile » pour voir à quel point le robot est performant dans son essence.
Niveau 2 (Le changement de conversation) : Le robot et l'utilisateur humain commencent à discuter dans une langue locale (comme le thaï), mais les outils internes et les manuels de règles du robot sont toujours en anglais. C'est comme parler à un ami en espagnol, mais que les instructions sur la carte soient encore en anglais.
Niveau 3 (Le changement d'outils) : Maintenant, la conversation est en anglais, mais les outils du robot (comme le bouton « rechercher un vol » ou le menu « vérifier le solde ») sont décrits dans la langue locale. C'est comme avoir une télécommande où tous les boutons sont étiquetés en thaï.
Niveau 4 (L'immersion totale) : Tout est dans la langue locale. Le chat, les outils, les règles et la base de données sont tous traduits. C'est le « mode difficile » où le robot doit penser, lire et agir entièrement dans une nouvelle langue.

2. La grande surprise : Le « plafond de verre »

Le document a révélé quelque chose de très intéressant.

Au Niveau 2 (Juste la discussion) : Le robot s'en est plutôt bien sorti ! Si vous lui demandiez simplement de discuter en vietnamien ou en thaï, il pouvait gérer la conversation presque aussi bien qu'en anglais. C'était comme un touriste qui a appris quelques phrases et peut commander à manger.
Aux Niveaux 3 & 4 (Outils et règles) : C'est ici que le robot a heurté un plafond de verre. Dès que les outils et les règles ont été traduits, la performance du robot a chuté brutalement.
- Imaginez un chef qui parle un italien parfait mais qui ne sait pas lire un livre de recettes italien ou utiliser des tasses à mesurer italiennes. Il peut discuter agréablement, mais il ne peut pas cuisiner le plat.
- Le document a constaté que lorsque le « livre de recettes » (les spécifications des outils) et les « règles de cuisine » (les politiques de domaine) étaient en langue locale, les robots commettaient beaucoup plus d'erreurs. Ils étaient confus, échouaient à réserver le vol ou donnaient le mauvais forfait téléphonique.

3. Le mystère de la « dérive linguistique »

Les chercheurs ont également vérifié si les robots « glissaient » et parlaient accidentellement anglais alors qu'ils étaient censés parler thaï ou philippin.

La découverte : Les robots ont effectivement fait des erreurs et ont parlé anglais parfois, surtout dans les scénarios les plus difficiles.
Le rebondissement : Étonnamment, ce « glissement » n'était pas la raison principale de leurs échecs. Même lorsque le robot parlait la langue locale correcte parfaitement, il échouait quand même à la tâche si les outils étaient déroutants.
La métaphore : C'est comme un conducteur qui conduit parfaitement du bon côté de la route (parlant la bonne langue) mais qui finit quand même par s'écraser parce qu'il ne peut pas lire les panneaux de signalisation locaux (les outils). Le problème n'est pas la langue qu'il parle, c'est sa capacité à comprendre l'environnement local.

4. Le problème du « Taille unique ne convient pas à tous »

Le document a également examiné différents types de robots (différents modèles d'IA).

Certains robots étaient meilleurs dans certaines langues que d'autres. Par exemple, un robot qui était excellent en anglais ne devenait pas nécessairement excellent en thaï simplement parce qu'il était intelligent.
Ils ont découvert que le philippin était un cas de test étonnamment efficace. Si un robot performait bien en philippin, il était susceptible de bien performer dans les autres langues d'Asie du Sud-Est. C'est comme trouver un « canari dans la mine de charbon » pour toute la région.

5. La conclusion principale

Le document conclut que nous ne pouvons pas supposer qu'une IA intelligente en anglais est automatiquement prête pour l'Asie du Sud-Est.

L'ancienne méthode : Nous pensions auparavant : « Si cela fonctionne en anglais, cela fonctionne partout. »
La nouvelle réalité : Le document montre que les tests « uniquement en anglais » sont comme tester une voiture uniquement sur une autoroute lisse. Quand on met cette voiture sur une route accidentée et non pavée avec des panneaux locaux (les outils et les règles localisés), elle tombe en panne.

En bref : SEATauBench est un outil de diagnostic qui prouve que nous devons construire et tester l'IA spécifiquement pour les langues et les outils locaux, et non pas simplement traduire les tests anglais en espérant que cela fonctionne. L'écart entre « parler la langue » et « travailler dans la langue » est immense, et ce benchmark aide à mesurer précisément l'ampleur de cet écart.

Résumé Technique : SEATauBench

Énoncé du Problème

Bien que le développement de l'IA en Asie du Sud-Est (SEA) se soit rapidement intensifié, les capacités des agents d'IA dans les langues régionales restent mal comprises. Les benchmarks existants évaluent principalement les comportements statiques des modèles (par exemple, le raisonnement, la traduction ou la récupération de connaissances) plutôt que les interactions dynamiques, multi-tours et médiées par des outils, nécessaires au déploiement de l'IA souveraine dans le monde réel pour des secteurs tels que le commerce, le voyage et les services. De plus, les cadres d'évaluation actuels des agents sont fortement centrés sur l'anglais, créant un fossé où les évaluations centrées sur l'anglais peuvent ne pas refléter fidèlement la performance des agents dans les contextes de l'Asie du Sud-Est, linguistiquement diversifiés et à faibles ressources. Il existe un besoin critique pour un cadre de diagnostic qui évalue comment les agents performent non seulement lorsque la langue de la conversation change, mais aussi lorsque les spécifications des outils et les domaines de tâches sont localisés.

Méthodologie

Les auteurs introduisent SEATauBench, le premier cadre d'évaluation axé sur les agents pour l'IA souveraine de l'Asie du Sud-Est. Le cadre adapte le $\tau^2$ -Bench basé sur l'anglais (Yao et al., 2024 ; Barres et al., 2025) en cinq langues cibles : le chinois mandarin, le vietnamien, le thaï, l'indonésien et le philippin.

Pipeline d'Adaptation

Pour garantir que la sémantique des tâches reste cohérente tout en localisant l'interface, les auteurs ont développé un pipeline de traduction en deux phases, sans rupture de fonctionnement :

Traduction Hors-ligne : Les actifs de domaine statiques (définitions de tâches, politiques, contenu de base de données, docstrings d'outils et schémas) sont traduits. Crucialement, le pipeline masque les jetons exécutables (ID, codes de statut, noms d'outils et littéraux d'énumération) pour éviter que la traduction ne brise la couche d'exécution. Une approche axée sur le schéma établit un glossaire pour assurer la cohérence terminologique.
Localisation au Moment de l'Exécution (Runtime) : Pendant l'inférence, l'environnement modifie la vue de l'agent. Les schémas d'outils (descriptions, choix d'énumération) sont rendus dans la langue cible ( $L_2$ ), mais les arguments fournis par l'agent sont normalisés vers des valeurs anglaises canoniques avant l'exécution de l'outil. Les sorties de l'outil sont ensuite localisées à nouveau en $L_2$ pour l'interaction avec l'utilisateur. Cela garantit que l'agent opère dans un contexte monolingue $L_2$ tout en maintenant la comparabilité métrique avec la référence anglaise.

Scénarios d'Évaluation

SEATauBench évalue les agents à travers quatre scénarios de localisation progressive pour isoler les lacunes de capacités spécifiques :

S1 (Anglais Uniquement) : Performance de référence en anglais.
S2 (Interaction L2) : La conversation utilisateur-agent est en $L_2$ , mais les outils, les politiques et les contextes restent en anglais.
S3 (Outil L2) : Les schémas d'outils sont traduits en $L_2$ , tandis que la conversation et le contexte de domaine restent en anglais. Cela inclut des réglages d'outils monolingues et mixtes.
S4 (Domaine L2) : Un réglage entièrement localisé où le dialogue, les schémas d'outils, les politiques, les descriptions de tâches et le contenu de la base de données sont tous en $L_2$ .

Configuration Expérimentale

L'étude évalue trois agents LLM récents :

GPT-5-Mini : Un modèle propriétaire.
Qwen3-235B-A22B-Instruct : Un modèle open-source représentatif.
Kimi-K2.5 : Un modèle open-source de plus grande échelle.

La performance est mesurée via le pass@1 (qualité/taux de succès) et une métrique de robustesse dérivée ( $\rho_3$ ), qui mesure la probabilité de succès constant sur trois essais indépendants. L'évaluation couvre trois domaines : le Commerce de détail (Retail), l'Aérien (Airline) et les Télécoms (Telecom).

Résultats Clés

Dégradation de la Performance dans les Réglages Localisés

Les résultats révèlent une déclin constant et marqué de la performance des agents à mesure que le réglage d'évaluation s'éloigne de l'anglais uniquement :

Interaction vs Localisation Complète : Bien que les agents transfèrent relativement bien leurs capacités lorsque seule la langue de la conversation change (S2), la qualité et la robustesse se dégradent significativement lorsque les interfaces d'outils et les contextes de tâches sont également localisés (S3 et S4).
Adaptation de Domaine : Les chutes de performance les plus sévères se produisent dans le scénario Domaine L2 (S4). Par exemple, en thaï et en philippin, les scores pass@1 tombent dans une plage basse de 0,4, comparés aux références anglaises plus élevées.
Variance Linguistique : La sévérité de la dégradation varie selon la langue. Le thaï et le philippin présentent les déclins les plus importants, potentiellement en raison de systèmes d'écriture distincts ou d'une couverture de ressources plus faibles. Cependant, même les langues utilisant l'alphabet latin comme le philippin présentent des faiblesses significatives lorsque les agents doivent raisonner sur des dialogues et des schémas entièrement localisés.

Divergence Qualité vs Robustesse

L'étude constate que la qualité (pass@1) et la robustesse ( $\rho_3$ ) ne sont pas toujours corrélées. Dans certaines langues (ex. indonésien, philippin), le pass@1 chute dans le Domaine L2 tandis que la robustesse reste relativement stable, suggérant que bien que les agents résolvent moins de tâches globalement, leurs tentatives réussies sont reproductibles. Inversement, le thaï montre des déclins dans les deux métriques, indiquant une rupture tant dans le succès moyen que dans la cohérence.

Différences de Modèles et de Domaines

Variance des Modèles : Aucun modèle ne domine sur toutes les langues de l'Asie du Sud-Est. Kimi-K2.5 est généralement le plus performant en vietnamien, philippin et chinois, tandis que GPT-5-Mini mène en indonésien et en thaï. Qwen3-235B affiche systématiquement un pass@1 plus faible mais présente souvent une robustesse plus forte dans les contextes de faibles ressources.
Difficulté du Domaine : Le domaine du Commerce de détail est systématiquement le plus difficile dans toutes les langues en raison de politiques complexes et de mises à jour d'état. Notamment, les forces spécifiques à un domaine en anglais (ex. la bonne performance de Qwen dans le Retail) ne se transfèrent pas nécessairement aux réglages localisés.

Analyse d'Erreur et Dérive Linguistique

Types d'Erreurs : Les erreurs critiques (écarts par rapport à l'intention de l'utilisateur) augmentent considérablement dans les réglages L2, particulièrement en thaï et en philippin.
Dérive Linguistique : Bien que les agents présentent une "dérive linguistique" (passage à l'anglais en milieu de conversation), l'analyse montre une corrélation très faible ( $R^2 = 0,014$ ) entre la correction linguistique et le succès de la tâche. Cela suggère que les échecs de tâches sont pilotés davantage par l'incapacité à raisonner sur des schémas et des politiques localisés plutôt que par un simple changement de langue.
Outils Multilingues : L'introduction d'outils dans plusieurs langues simultanément ne cause qu'une baisse modeste de performance par rapport à une localisation monolingue, suggérant que les agents peuvent gérer une certaine diversité d'outils multilingues.

Signification et Revendications

L'article affirme que SEATauBench expose un fossé critique entre la croissance des ressources d'évaluation pour l'Asie du Sud-Est et la préparation des agents actuels pour le déploiement de l'IA souveraine. Ses principales contributions sont :

Benchmark Diagnostique : Il fournit le premier cadre pour évaluer systématiquement les capacités des agents dans les langues de l'Asie du Sud-Est à travers différents niveaux de localisation, allant au-delà des benchmarks statiques vers des tâches interactives médiées par des outils.
Imprévisibilité des Proxys Anglais : L'étude démontre que les évaluations uniquement en anglais sont un proxy peu fiable pour les capacités linguistiques de l'Asie du Sud-Est. Une haute performance en anglais ne garantit pas la robustesse dans les environnements localisés, particulièrement lorsque les schémas d'outils et les politiques de domaine sont traduits.
Pipeline d'Adaptation : Les auteurs fournissent un pipeline de traduction réutilisable et sans rupture qui permet l'adaptation rapide des benchmarks outil-agent à de nouvelles langues tout en préservant l'intégrité de l'exécution.
Recommandation : Sur la base de l'analyse de corrélation, les auteurs suggèrent que le sous-ensemble Philippin de SEATauBench peut servir de proxy représentatif pour estimer la performance à travers les autres langues de l'Asie du Sud-Est, offrant une stratégie d'évaluation plus efficace pour la région.

En fin de compte, SEATauBench établit une fondation rigoureuse pour la construction d'agents multilingues fiables pour les régions linguistiquement diverses, soulignant que l'IA souveraine exige plus que de la simple traduction ; elle exige une adaptation robuste des interfaces d'outils et des capacités de raisonnement de domaine.