Resumo Técnico: MAPS (Multilingual Agentic AI Benchmark Suite)

1. O Problema (Contexto e Motivação)

Com o avanço da IA Agêntica (sistemas baseados em LLMs que utilizam ferramentas, memória e raciocínio multi-etapas para resolver tarefas complexas), surge um risco de desigualdade e insegurança. Embora os LLMs sejam usados globalmente, sua performance e segurança são comprovadamente inferiores em idiomas que não o inglês.

Os autores identificam que os sistemas agênticos herdam essas limitações, mas o impacto disso no raciocínio agêntico, planejamento e uso de ferramentas ainda não foi explorado. Usuários que interagem em outros idiomas podem enfrentar:

• Degradação de performance: Falhas na execução de tarefas do mundo real.
• Vulnerabilidades de segurança: Maior facilidade para contornar políticas de segurança (jailbreaks) através de prompts em outros idiomas.
• Inacessibilidade: Sistemas pouco confiáveis para populações não anglófonas.

2. Metodologia

Para preencher essa lacuna, os pesquisadores propuseram o MAPS, um conjunto de benchmarks multilingues que estende quatro benchmarks agênticos estabelecidos:

1. GAIA: Tarefas do mundo real (raciocínio e navegação).
2. SWE-Bench: Engenharia de software (correção de bugs e código).
3. MATH: Raciocínio matemático simbólico.
4. Agent Security Benchmark (ASB): Testes de estresse de segurança e robustez.

Principais componentes da metodologia:

• Escopo Linguístico: Tradução para 11 idiomas diversos (Alemão, Espanhol, Português-BR, Japonês, Russo, Chinês, Italiano, Árabe, Hebraico, Coreano e Hindi), totalizando 9.660 instâncias.
• Pipeline de Tradução Híbrida: Utilizaram uma abordagem que combina Tradução Automática Neural (NMT) para manter a estrutura, refinamento via LLM para fluência contextual e verificação por especialistas nativos para garantir a integridade semântica e a "capacidade de resposta" (answerability).
• Design de Avaliação: O benchmark mantém o ambiente (ferramentas, código, documentação) em inglês, traduzindo apenas a instrução do usuário. Isso simula o cenário real onde o usuário fala um idioma, mas o sistema/ferramenta opera predominantemente em inglês.

3. Principais Contribuições

• Criação do MAPS: O primeiro framework de avaliação padronizado, multi-domínio e consciente de segurança para IA agêntica multilingue.
• Análise Quantitativa de Vulnerabilidades: Demonstração de que a tradução de prompts de ataque pode aumentar significativamente o sucesso de ataques de segurança em agentes.
• Validação de Qualidade: Um processo rigoroso de verificação humana que garante que o benchmark seja um indicador confiável de performance, não apenas de qualidade de tradução.

4. Resultados Principais

Os experimentos com agentes de código aberto de ponta revelaram padrões críticos:

• Efeito Multilingue (Degradação): Observou-se uma queda clara de performance ao transitar do inglês para outros idiomas. No benchmark GAIA, a queda chegou a 16%. No ASB, a vulnerabilidade de segurança aumentou em até 27%.
• Correlação com a Carga Linguística: A degradação é diretamente proporcional à quantidade de tokens de linguagem natural no prompt. Tarefas baseadas em sintaxe formal (como MATH e SWE-Bench) mostraram-se muito mais resilientes, pois dependem menos de nuances linguísticas e mais de lógica estrutural/código.
• Falha no Planejamento: A análise qualitativa mostrou que a degradação ocorre frequentemente na fase inicial de planejamento. Em idiomas não ingleses, o agente falha em decompor a instrução original em passos de ação coerentes, resultando em "deriva de planejamento" (planning drift).
• Ineficácia de Traduções Simples: Mesmo quando se utiliza tradução determinística (traduzir tudo para o inglês antes da execução), a performance não retorna totalmente ao nível do inglês original, sugerindo que o problema reside em falhas de alinhamento e representação interna do modelo, e não apenas no ruído da tradução.

5. Significância e Conclusões

O trabalho do MAPS é fundamental para o desenvolvimento de uma IA agêntica equitativa e segura. Ele estabelece que:

1. A robustez multilingue não pode ser inferida apenas por benchmarks de texto (LLM puro); ela deve ser testada no nível do agente (execução de ferramentas).
2. A segurança agêntica deve incluir o red-teaming multilingue como padrão, dado que idiomas não ingleses servem como vetores de ataque facilitados.
3. O benchmark serve como uma base para que desenvolvedores criem sistemas que sejam confiáveis para usuários globais, independentemente de sua língua nativa.