GAIA-v2-LILT: Multilingual Adaptation of Agent Benchmark beyond Translation

1. Declaração do Problema

Os benchmarks atuais de agentes (por exemplo, GAIA) são predominantemente centrados no inglês. Quando esses benchmarks são adaptados para idiomas não ingleses, o fluxo de trabalho padrão envolve Tradução Automática (TA) seguida de edição pós-tradução mínima. Os autores argumentam que esse "fluxo de trabalho mínimo" é insuficiente para tarefas agênticas (tarefas que exigem raciocínio multi-etapa e uso de ferramentas), pois introduz três modos de falha críticos que comprometem a validade do benchmark:

• Desalinhamento Funcional: A TA frequentemente falha em preservar as restrições da tarefa. Por exemplo, traduzir um código de país do COI (por exemplo, "CUB") como um substantivo comum ("filhote de leão") ou vazar a resposta para o prompt. Isso faz com que os agentes falhem não devido a erros de raciocínio, mas devido a uma lógica de tarefa quebrada.
• Desalinhamento Cultural: Traduções literais frequentemente retêm pressupostos da região de origem (por exemplo, geografia dos EUA, unidades imperiais ou leis específicas de reciclagem) que são antinaturais ou irrelevantes para a população-alvo. Isso força os agentes a resolverem uma versão "traduzida" de uma tarefa centrada nos EUA ou a traduzirem o prompt de volta para o inglês para resolvê-lo, contornando o verdadeiro raciocínio multilíngue.
• Calibração de Dificuldade: A tradução pode alterar inadvertidamente a dificuldade da tarefa. Por exemplo, se informações relevantes forem escassas no idioma-alvo, a tarefa torna-se mais difícil; inversamente, se uma tradução simplificar um enigma complexo, ela torna-se mais fácil.

2. Metodologia

Os autores propõem um fluxo de trabalho de adaptação refinado que vai além da simples tradução para garantir alinhamento funcional, alinhamento cultural e calibração de dificuldade. Este fluxo de trabalho foi aplicado para criar o conjunto de dados GAIA-v2-LILT.

O Conjunto de Dados GAIA-v2-LILT

• Escopo: Uma extensão do benchmark GAIA cobrindo cinco idiomas não ingleses: Árabe, Alemão, Hindi, Coreano e Português (Brasil).
• Tamanho: 165 pares de consulta-resposta por idioma (conjunto de validação).
• Fonte: Baseado na versão traduzida automaticamente do GAIA do pacote MAPS.

O Fluxo de Trabalho de Revisão Híbrido

Para abordar as limitações da TA padrão, os autores implementaram um processo de revisão em três etapas projetado para mitigar o viés de auto-preferência dos LLM e o viés de fluência humana:

1. Filtragem Determinística (Automática):
   • Scripts baseados em regras verificam defeitos objetivos antes da revisão humana/LLM.
   • Verificações incluem: Identificação de idioma, detecção de vazamento de resposta (garantindo que a resposta de ouro não esteja no prompt) e recuperação de espaços reservados (garantindo que números/URLs sejam preservados).
2. Julgadores LLM (Avaliação Decomposta):
   • Em vez de pontuação holística, LLMs separados avaliam eixos específicos: fluência, adequação, compatibilidade consulta-resposta e adequação cultural.
   • Essa abordagem estreita e de eixo único reduz o viés e rastreia o julgamento humano mais de perto do que a análise global.
3. Auditoria Humana (Linguistas Bilíngues):
   • Linguistas bilíngues realizam uma revisão final, treinados para priorizar a integridade funcional sobre a mera fluência.
   • Eles verificam se a tarefa é solucionável, culturalmente apropriada e mantém o nível de dificuldade original.
   • Meta-revisão: Um segundo linguista e um pesquisador de ML revisam as correções do linguista para garantir consistência.

3. Contribuições Principais

• Identificação de Armadilhas Específicas de Agentes: O artigo categoriza falhas de tradução específicas únicas para benchmarks de agentes, distinguindo entre "sub-tradução" (localizar termos que devem permanecer em inglês) e "sobre-tradução" (localizar termos que quebram restrições).
• Um Fluxo de Trabalho de Adaptação Rigoroso: Um pipeline inovador combinando filtros determinísticos, julgamento LLM decomposto e auditoria humana estruturada para garantir a solucionabilidade da tarefa e a relevância cultural.
• Conjunto de Dados GAIA-v2-LILT: Um conjunto de dados de benchmark multilíngue de alta qualidade e auditado que serve como base para avaliar o desempenho de agentes não ingleses.
• Evidência Empírica: Demonstração de que benchmarks baseados em TA padrão subestimam significativamente as capacidades dos agentes devido a erros de medição introduzidos por um alinhamento precário.

4. Resultados Experimentais

Os autores avaliaram três modelos de fronteira (GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.6) usando o framework de agente Open Deep Research em ambos os rascunhos brutos de TA e no GAIA-v2-LILT auditado por humanos.

• Ganhos de Desempenho: Corrigir os problemas de alinhamento resultou em melhorias massivas de desempenho. As taxas de sucesso dos agentes aumentaram de 10,9% a 32,7% nos cinco idiomas em comparação com as versões brutas de TA.
• Fechando a Lacuna: A auditoria reduziu a lacuna de desempenho entre idiomas não ingleses e a base em inglês. Nos melhores casos, a lacuna foi reduzida para dentro de 3,1% do desempenho em inglês. No entanto, lacunas significativas permaneceram em alguns casos (por exemplo, o Árabe mostrou uma lacuna de 30,3%), indicando que, embora o alinhamento ajude, outros fatores (como escassez de dados) ainda existem.
• Análise de Edições:
  • Alinhamento Funcional teve a maior "taxa de inversão" (67,9%), o que significa que corrigir erros funcionais (como vazamento de resposta ou violações de formato) alterou mais frequentemente o resultado de um modelo de errado para certo.
  • Fluência teve a menor taxa de inversão (40,6%), sugerindo que a perfeição estilística é menos crítica para o sucesso do agente do que a correção funcional.
  • Alinhamento Cultural e Calibração de Dificuldade também impactaram significativamente a correção (taxa de inversão de aproximadamente 50%).

5. Significado e Conclusão

O artigo conclui que uma parte substancial da "lacuna de desempenho multilíngue" em agentes de IA é, na verdade, erro de medição induzido pelo benchmark e não uma verdadeira falta de capacidade do modelo.

• Implicação para Pesquisa: Futuras avaliações de agentes multilíngues não podem depender de tradução automática simples. Elas exigem alinhamento em nível de tarefa para garantir que o benchmark teste o raciocínio, e não a capacidade do modelo de decodificar instruções quebradas ou navegar em incompatibilidades culturais.
• Alocação de Recursos: Os autores sugerem que os esforços de localização devem priorizar a fidelidade funcional e cultural sobre a fluência estilística, pois esses fatores têm o maior impacto na validade da avaliação.
• Limitações: O fluxo de trabalho atual não inclui testes automatizados de agentes (por exemplo, verificar se as APIs de pesquisa funcionam na região-alvo) ou a localização de anexos de arquivo (imagens/PDFs), que são deixados para trabalhos futuros.

Em resumo, o GAIA-v2-LILT demonstra que um alinhamento rigoroso com intervenção humana é essencial para criar benchmarks válidos, justos e precisos para agentes autônomos em idiomas não ingleses.