Resumen Técnico: SEATauBench

Planteamiento del Problema

Si bien el desarrollo de la IA en el Sudeste Asiático (SEA) se ha expandido rápidamente, las capacidades de los agentes de IA en los lenguajes regionales siguen estando poco comprendidas. Los benchmarks existentes evalúan principalmente comportamientos estáticos de los modelos (por ejemplo, razonamiento, traducción o recuperación de conocimiento) en lugar de las interacciones dinámicas, de múltiples turnos y mediadas por herramientas que se requieren para el despliegue de la IA soberana en el mundo real en sectores como el comercio, los viajes y los servicios. Además, los marcos de evaluación de agentes actuales están fuertemente centrados en el inglés, lo que crea una brecha donde las evaluaciones centradas en el inglés pueden no reflejar con precisión el rendimiento de los agentes en contextos de SEA lingüísticamente diversos y de bajos recursos. Existe una necesidad crítica de un marco de diagnóstico que evalúe cómo se desempeñan los agentes cuando no solo cambia el lenguaje de la conversación, sino también las especificaciones de las herramientas y los dominios de las tareas.

Metodología

Los autores presentan SEATauBench, el primer marco de evaluación centrado en agentes para la IA soberana de SEA. El marco adapta el $\tau^2$-Bench basado en inglés (Yao et al., 2024; Barres et al., 2025) a cinco idiomas objetivo: chino mandarín, vietnamita, tailandés, indonesio y filipino.

Pipeline de Adaptación

Para asegurar que la semántica de las tareas permanezca constante mientras se localiza la interfaz, los autores desarrollaron un pipeline de traducción de dos fases que no rompe la ejecución:

1. Traducción Offline: Se traducen los activos estáticos del dominio (definiciones de tareas, políticas, contenido de la base de datos, docstrings de herramientas y esquemas). Crucialmente, el pipeline enmascara los tokens ejecutables (IDs, códigos de estado, nombres de herramientas y literales de enumeración) para evitar que la traducción rompa la capa de ejecución. Un enfoque basado en esquemas establece un glosario para garantizar la consistencia terminológica.
2. Localización en Tiempo de Ejecución: Durante la inferencia, el entorno parchea la visión del agente. Los esquemas de las herramientas (descripciones, opciones de enumeración) se renderizan en el idioma objetivo ($L_2$), pero los argumentos suministrados por el agente se normalizan de nuevo a valores canónicos en inglés antes de la ejecución de la herramienta. Los resultados de las herramientas se localizan de nuevo hacia $L_2$ para la interacción con el usuario. Esto asegura que el agente opere en un contexto monolingüe de $L_2$ manteniendo la comparabilidad métrica con la línea base en inglés.

Escenarios de Evaluación

SEATauBench evalúa agentes a través de cuatro escenarios progresivamente localizados para aislar brechas de capacidad específicas:

• S1 (Solo Inglés): Rendimiento base en inglés.
• S2 (Interacción en L2): La conversación usuario-agente es en $L_2$, pero las herramientas, políticas y contextos permanecen en inglés.
• S3 (Herramienta en L2): Los esquemas de las herramientas se traducen a $L_2$, mientras que la conversación y el contexto del dominio permanecen en inglés. Esto incluye configuraciones de herramientas tanto monolingües como de lenguaje mixto.
• S4 (Dominio en L2): Un entorno totalmente localizado donde el diálogo, los esquemas de las herramientas, las políticas, las descripciones de las tareas y el contenido de la base de datos están todos en $L_2$.

Configuración Experimental

El estudio evalúa tres agentes de Modelos de Lenguaje Grande (LLM) recientes:

• GPT-5-Mini: Un modelo propietario.
• Qwen3-235B-A22B-Instruct: Un modelo de código abierto representativo.
• Kimi-K2.5: Un modelo de código abierto de mayor escala.

El rendimiento se mide mediante pass@1 (calidad/tasa de éxito) y una métrica de robustez derivada ($\rho_3$), que mide la probabilidad de éxito consistente a través de tres ensayos independientes. La evaluación cubre tres dominios: Retail (Venta minorista), Airline (Aerolíneas) y Telecom (Telecomunicaciones).

Resultados Clave

Degradación del Rendimiento en Entornos Localizados

Los resultados revelan una disminución constante y aguda en el rendimiento del agente a medida que el escenario de evaluación se aleja del inglés únicamente:

• Interacción vs. Localización Total: Aunque los agentes se transfieren razonablemente bien cuando solo cambia el idioma de la conversación (S2), la calidad y la robustez se degradan significativamente cuando las interfaces de las herramientas y los contextos de las tareas también se localizan (S3 y S4).
• Adaptación de Dominio: Las caídas más severas de rendimiento ocurren en el escenario de Dominio en L2 (S4). Por ejemplo, en tailandés y filipino, las puntuaciones de pass@1 caen al rango bajo de 0.4, en comparación con las bases de inglés más altas.
• Varianza Lingüística: La severidad de la degradación varía según el idioma. El tailandés y el filipino muestran las mayores caídas, potencialmente debido a sistemas de escritura distintos o una cobertura de bajos recursos. Sin embargo, incluso los idiomas de alfabeto latino como el filipino exhiben debilidades significativas cuando los agentes deben razonar sobre diálogos y esquemas totalmente localizados.

Divergencia entre Calidad y Robustez

El estudio encuentra que la calidad (pass@1) y la robustez ($\rho_3$) no siempre se correlacionan. En algunos idiomas (por ejemplo, indonesio, filipino), el pass@1 cae en el Dominio L2 mientras que la robustez permanece relativamente estable, lo que sugiere que, aunque los agentes resuelven menos tareas en total, sus intentos exitosos son reproducibles. Por el contrario, el tailandés muestra declives en ambas métricas, indicando una ruptura tanto en el éxito promedio como en la consistencia.

Diferencias de Modelo y Dominio

• Varianza de Modelos: Ningún modelo domina en todos los idiomas de SEA. Kimi-K2.5 generalmente rinde mejor en vietnamita, filipino y chino, mientras que GPT-5-Mini lidera en indonesio y tailandés. Qwen3-235B muestra consistentemente un pass@1 más bajo, pero a menudo exhibe una robustez más fuerte en entornos de bajos recursos.
• Dificultad del Dominio: El dominio de Retail es consistentemente el más desafiante en todos los idiomas debido a las complejas políticas y actualizaciones de estado. Notablemente, las fortalezas específicas del dominio en inglés (por ejemplo, el buen desempeño de Qwen en Retail) no se transfieren necesariamente a los entornos localizados.

Análisis de Errores y Deriva Lingüística

• Tipos de Error: Los errores críticos (desviaciones de la intención del usuario) aumentan significamente en entornos L2, particularmente en tailandés y filipino.
• Deriva Lingüística: Aunque los agentes exhiben "deriva lingüística" (cambio al inglés a mitad de la conversación), el análisis muestra una correlación muy débil ($R^2 = 0.014$) entre la corrección del lenguaje y el éxito de la tarea. Esto sugiere que los fallos en las tareas son impulsados más por la incapacidad de razonar sobre esquemas y políticas localizadas que por un simple cambio de lenguaje.
• Herramientas de Lenguaje Mixto: La introducción de herramientas en múltiples idiomas simultáneamente causa solo una caída modesta en el rendimiento en comparación con la localización monolingüe, lo que sugiere que los agentes pueden manejar cierta diversidad de herramientas multilingües.

Significación y Reivindicaciones

El artículo afirma que SEATauBench expone una brecha crítica entre el crecimiento de los recursos de evaluación de SEA y la preparación de los agentes actuales para el despliegue de la IA soberana. Sus contribuciones primarias son:

1. Benchmark de Diagnóstico: Proporciona el primer marco para evaluar sistemáticamente las capacidades de los agentes en los idiomas de SEA a través de niveles variables de localización, yendo más allá de los benchmarks estáticos hacia tareas interactivas mediadas por herramientas.
2. Imprecisión de los Proxies en Inglés: El estudio demuestra que las evaluaciones exclusivamente en inglés son un proxy poco fiable para las capacidades de los idiomas de SEA. El alto rendimiento en inglés no garantiza la robustez en entornos localizados, particularmente cuando los esquemas de las herramientas y las políticas de dominio son traducidos.
3. Pipeline de Adaptación: Los autores proporcionan un pipeline de traducción reutilizable y que no rompe la ejecución, que permite la rápida adaptación de los benchmarks de herramientas-agentes a nuevos idiomas preservando la integridad de la ejecución.
4. Recomendación: Basándose en el análisis de correlación, los autores sugieren que el subconjunto de filipino de SEATauBench puede servir como un proxy representativo para estimar el rendimiento en otros idiomas de SEA, ofreciendo una estrategia de evaluación más eficiente para la región.

En última instancia, SEATauBench establece una base rigurosa para construir agentes multilingües confiables para regiones lingüísticamente diversas, destacando que la IA soberana requiere más que solo traducción; demanda la adaptación robusta de las interfaces de herramientas y las capacidades de razonamiento de dominio.