Resumo Técnico: SEATauBench

Declaração do Problema

Embora o desenvolvimento de IA no Sudeste Asiático (SEA) tenha se expandido rapidamente, as capacidades dos agentes de IA em idiomas regionais permanecem pouco compreendidas. Os benchmarks existentes avaliam primariamente comportamentos estáticos de modelos (ex: raciocínio, tradução ou recuperação de conhecimento) em vez das interações dinâmicas, de múltiplos turnos e mediadas por ferramentas necessárias para a implantação de IA soberana no mundo real em setores como comércio, viagens e serviços. Além disso, os atuais frameworks de avaliação de agentes são fortemente centrados no inglês, criando uma lacuna onde avaliações centradas no inglês podem não refletir com precisão o desempenho do agente em contextos de SEA linguisticamente diversos e de baixos recursos. Há uma necessidade crítica de um framework de diagnóstico que avalie como os agentes performam quando não apenas a linguagem da conversa muda, mas também as especificações das ferramentas e os domínios de tarefas são localizados.

Metodologia

Os autores introduzem o SEATauBench, o primeiro framework de avaliação focado em agentes para a IA soberana do SEA. O framework adapta o $\tau^2$-Bench baseado em inglês (Yao et al., 2024; Barres et al., 2025) para cinco idiomas alvo: Chinês Mandarim, Vietnamita, Tailandês, Indonésio e Filipino.

Pipeline de Adaptação

Para garantir que a semântica da tarefa permaneça consistente enquanto a interface é localizada, os autores desenvolveram um pipeline de tradução de duas fases que não causa quebras:

1. Tradução Offline: Ativos de domínio estáticos (definições de tarefas, políticas, conteúdo de banco de dados, docstrings de ferramentas e esquemas) são traduzidos. Crucialmente, o pipeline mascara tokens executáveis (IDs, códigos de status, nomes de ferramentas e literais de enumeração) para evitar que a tradução quebre a camada de execução. Uma abordagem baseada em esquema estabelece um glossário para garantir a consistência terminológica.
2. Localização em Tempo de Execução: Durante a inferência, o ambiente aplica patches na visão do agente. Os esquemas das ferramentas (descrições, escolhas de enumeração) são renderizados no idioma alvo ($L_2$), mas os argumentos fornecidos pelo agente são normalizados de volta para valores canônicos em inglês antes da execução da ferramenta. As saídas das ferramentas são então localizadas de volta para $L_2$ para a interação com o usuário. Isso garante que o agente opere em um contexto monolíngue $L_2$ enquanto mantém a comparabilidade métrica com a linha de base em inglês.

Cenários de Avaliação

O SEATauBench avalia agentes através de quatro cenários progressivamente localizados para isolar lacunas específicas de capacidade:

• S1 (Apenas Inglês): Desempenho de linha de base em inglês.
• S2 (Interação em L2): A conversa usuário-agente é em $L_2$, mas as ferramentas, políticas e contextos permanecem em inglês.
• S3 (Ferramenta em L2): Os esquemas das ferramentas são traduzidos para $L_2$, enquanto a conversa e o contexto de domínio permanecem em inglês. Isso inclui configurações de ferramentas monolíngues e de linguagem mista.
• S4 (Domínio em L2): Um cenário totalmente localizado onde diálogo, esquemas de ferramentas, políticas, descrições de tarefas e conteúdo de banco de dados estão todos em $L_2$.

Configuração Experimental

O estudo avalia três agentes de modelos de linguagem de grande escala (LLM) recentes:

• GPT-5-Mini: Um modelo proprietário.
• Qwen3-235B-A22B-Instruct: Um modelo de código aberto representativo.
• Kimi-K2.5: Um modelo de código aberto de maior escala.

O desempenho é medido usando pass@1 (qualidade/taxa de sucesso) e uma métrica de robustez derivada ($\rho_3$), que mede a probabilidade de sucesso consistente através de três tentativas independentes. A avaliação cobre três domínios: Varejo, Companhia Aérea e Telecomunicações.

Principais Resultados

Degradação de Desempenho em Configurações Localizadas

Os resultados revelam uma queda consistente e acentuada no desempenho do agente à medida que o cenário de avaliação se afasta do inglês:

• Interação vs. Localização Total: Embora os agentes transfiram habilidades razoavelmente bem quando apenas a linguagem da conversa muda (S2), a qualidade e a robustez degradam significamente quando as interfaces de ferramentas e os contextos de tarefa também são localizados (S3 e S4).
• Adaptação de Domínio: As quedas de desempenho mais severas ocorrem no cenário de Domínio em L2 (S4). Por exemplo, no Tailandês e no Filipino, as pontuações pass@1 caem para a faixa baixa de 0.4, comparado às bases mais altas em inglês.
• Variância Linguística: A severidade da degradação varia por idioma. O Tailandês e o Filipino apresentam os maiores declínios, potencialmente devido a sistemas de escrita distintos ou cobertura de baixos recursos. No entanto, mesmo idiomas de escrita latina como o Filipino exibem fraquezas significativas quando os agentes devem raciocinar sobre diálogos e esquemas totalmente localizados.

Divergência entre Qualidade e Robustez

O estudo descobre que qualidade (pass@1) e robustez ($\rho_3$) nem sempre se correlacionam. Em alguns idiomas (ex: Indonésio, Filipino), o pass@1 cai no Domínio L2 enquanto a robustez permanece relativamente estável, sugerindo que, embora os agentes resolvam menos tarefas no total, suas tentativas bem-sucedidas são reproduzíveis. Inversamente, o Tailandês mostra declínios em ambas as métricas, indicando uma quebra tanto no sucesso médio quanto na consistência.

Diferenças de Modelo e Domínio

• Variância de Modelo: Nenhum modelo único domina em todos os idiomas do SEA. O Kimi-K2.5 geralmente apresenta melhor desempenho em Vietnamita, Filipino e Chinês, enquanto o GPT-5-Mini lidera em Indonésio e Tailandês. O Qwen3-235B mostra consistentemente um pass@1 mais baixo, mas frequentemente exibe uma robustez mais forte em configurações de baixos recursos.
• Dificuldade de Domínio: O domínio de Varejo é consistentemente o mais desafiador em todos os idiomas devido a políticas complexas e atualizações de estado. Notavelmente, as forças específicas de domínio em inglês (ex: Qwen performando bem em Varejo) não se transferem necessariamente para configurações localizadas.

Análise de Erro e Deriva Linguística

• Tipos de Erro: Erros críticos (desvios da intenção do usuário) aumentam significamente em configurações L2, particularmente em Tailandês e Filipino.
• Deriva Linguística: Embora os agentes exibam "deriva linguística" (mudança para o inglês no meio da conversa), a análise mostra uma correlação muito fraca ($R^2 = 0.014$) entre correção linguística e sucesso da tarefa. Isso sugere que as falhas de tarefa são impulsionadas mais pela incapacidade de raciocinar sobre esquemas e políticas localizadas do que por uma simples troca de idioma.
• Ferramentas de Linguagem Mista: Introduzir ferramentas em múltiplos idiomas simultaneamente causa apenas uma queda modesta no desempenho em comparação com a localização monolíngue, sugerindo que os agentes podem lidar com certa diversidade de ferramentas multilíngues.

Significância e Alegações

O artigo alega que o SEATauBench expõe uma lacuna crítica entre o crescimento dos recursos de avaliação do SEA e a prontidão dos atuais agentes para a implantação de IA soberana. Suas principais contribuições são:

1. Benchmark Diagnóstico: Fornece o primeiro framework para avaliar sistematicamente as capacidades dos agentes em idiomas do SEA através de níveis variados de localização, indo além de benchmarks estáticos para tarefas interativas mediadas por ferramentas.
2. Não Confiabilidade de Proxies em Inglês: O estudo demonstra que avaliações apenas em inglês são um proxy não confiável para as capacidades de idiomas do SEA. O alto desempenho em inglês não garante robustez em ambientes localizados, particularmente quando os esquemas de ferramentas e as políticas de domínio são traduzidos.
3. Pipeline de Adaptação: Os autores fornecem um pipeline de tradução reutilizável e que não causa quebras, permitindo a rápida adaptação de benchmarks de agente-ferramenta para novos idiomas enquanto preserva a integridade da execução.
4. Recomendação: Com base na análise de correlação, os autores sugerem que o subconjunto de Filipino do SEATauBench pode servir como um proxy representativo para estimar o desempenho em outros idiomas do SEA, oferecendo uma estratégia de avaliação mais eficiente para a região.

Em última análise, o SEATauBench estabelece uma fundação rigorosa para a construção de agentes multilíngues confiáveis para regiões linguisticamente diversas, destacando que a IA soberana requer mais do que apenas tradução; ela exige a adaptação robusta das interfaces de ferramentas e das capacidades de raciocínio de domínio.