Multilingual Prompt Localization for Agent-as-a-Judge: Language and Backbone Sensitivity in Requirement-Level Evaluation

Resumo Técnico: Localização Multilingue para Agentes como Juízes

1. Problema e Motivação

A avaliação de agentes de codificação (AI coding agents) depende tradicionalmente de benchmarks focados no resultado final, muitas vezes utilizando o inglês como padrão fixo para os prompts de avaliação ("Agent-as-a-Judge" ou AAAJ). No entanto, a literatura carece de evidências sobre como a língua do prompt de avaliação interage com a arquitetura do modelo juiz (backbone).

Os autores identificam um viés de confusão anteriormente não medido: a língua de avaliação e o modelo juiz não são independentes. A suposição de que a avaliação em inglês é universal pode levar a rankings de modelos enganosos quando esses agentes são implantados em cenários multilíngues. O objetivo do estudo é quantificar como a localização do prompt de julgamento afeta a consistência e a classificação dos modelos.

2. Metodologia

O estudo apresenta uma abordagem sistemática e controlada para avaliar a sensibilidade linguística em tarefas de desenvolvimento de software de longo prazo.

• Dataset e Tarefas: Utilização do benchmark DevAI, composto por 55 tarefas realistas de desenvolvimento de IA (processamento de dados, modelagem, treinamento, etc.), decompostas em 365 requisitos explícitos e hierárquicos.
• Configuração Experimental:
  • Línguas: 5 línguas tipologicamente diversas: Inglês (baseline), Árabe (direita para esquerda, rico morfologicamente), Turco (aglutinante), Chinês (sistema de escrita não segmentado) e Hindi (script Devanagari).
  • Frameworks de Agentes Desenvolvedores: 3 frameworks (MetaGPT, GPT-Pilot, OpenHands).
  • Backbones de Juízes (LLMs): 6 modelos diferentes (GPT-4o, GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2, Qwen3.5-9B).
  • Escala: Total de 4.950 execuções de julgamento (55 tarefas × 5 línguas × 3 frameworks × 6 backbones).
• Protocolo de Avaliação:
  • O pipeline do juiz (Planejar, Localizar, Recuperar, Perguntar, Julgar) foi localizado para cada língua, mantendo a estrutura lógica e os artefatos do código inalterados.
  • A métrica principal foi a Taxa de Satisfação de Requisitos (porcentagem de requisitos atendidos por tarefa), além da Taxa de Resolução de Tarefas (TSR - 100% de satisfação).
  • Estudo de Ablação: Comparação entre "Localização Total" (instruções do juiz + texto do benchmark na língua alvo) e "Localização Parcial" (apenas o texto do benchmark traduzido, instruções do juiz em inglês).

3. Principais Contribuições

1. Evidência Sistemática de Interação: Demonstração de que a classificação dos modelos backbones inverte dependendo da língua de avaliação. Não existe um "melhor modelo" universal; o desempenho é condicional à língua.
2. Novo Benchmark Multilíngue: Criação de um conjunto de dados padronizado para avaliação de agentes de código em 5 línguas, com 4.950 execuções de julgamento.
3. Método de Localização de Prompts: Introdução de uma metodologia para localizar o stack de prompts do AAAJ preservando a estrutura de evidências, mostrando que a localização das instruções do juiz é crítica.
4. Reprodutibilidade: Liberação de métricas resumidas, julgamentos completos em nível de requisito e estatísticas de tempo de execução.

4. Resultados Chave

• Inversão de Rankings por Língua:

  • Inglês: O GPT-4o foi o modelo mais forte (44,72% de satisfação).
  • Árabe: O Gemini superou significativamente o GPT-4o (51,72% vs. 26,25%, p < 0.001).
  • Hindi: O Gemini também liderou (53,22%), enquanto o GPT-4o teve desempenho moderado (44,02%).
  • Isso indica que uma avaliação apenas em inglês pode subestimar ou superestimar drasticamente a capacidade de um modelo em outras línguas.

• Sensibilidade por Tipo de Requisito:

  • Requisitos operacionais (ex: "Carregamento de Dados", "Treinamento") são mais estáveis entre línguas.
  • Requisitos semanticamente densos (ex: "Métricas de Avaliação", "Construção de Modelo") mostram alta variabilidade e fragilidade sob localização, especialmente em backbones mais fortes.

• Acordo Inter-Backbone Baixo:

  • O acordo entre os diferentes modelos juízes sobre quais requisitos foram atendidos foi modesto (Fleiss' κ ≤ 0,231 em todas as línguas), sugerindo que a escolha do modelo juiz altera substancialmente a veredito final.

• Impacto da Localização das Instruções (Estudo de Ablação):

  • Para o Hindi, a localização parcial (instruções em inglês) causou uma queda drástica na satisfação (de 42,8% para 23,2%).
  • Para o Árabe, o efeito foi menor, sugerindo que modelos como o GPT-4o podem lidar melhor com instruções em inglês para tarefas em árabe devido à maior presença desse idioma nos dados de treinamento, ao contrário do Hindi.

• Desempenho e Eficiência:

  • O Gemini obteve a maior satisfação agregada (43,44%), mas o GPT-4o foi o mais eficiente em tempo e tokens.
  • Modelos mais fracos (DeepSeek, Qwen) mostraram variação quase nula entre línguas, não porque são robustos, mas porque seu desempenho base é tão baixo que a língua não faz diferença mensurável.

5. Significado e Implicações

O estudo conclui que a língua não é um parâmetro neutro na avaliação de agentes.

• Viés de Medição: Benchmarks que utilizam apenas inglês para julgar agentes podem produzir rankings que não se generalizam para implantações multilíngues.
• Recomendações Práticas:
  1. A identidade do backbone e a língua de avaliação devem ser relatadas como metadados de primeira classe.
  2. Avaliações não em inglês devem ser validadas com pelo menos dois backbones diferentes.
  3. A localização das instruções do juiz é tão crítica quanto a tradução do conteúdo do benchmark; ignorar isso pode levar a avaliações instáveis.
• Futuro: A comunidade deve adotar métricas de progresso parcial (além da conclusão total da tarefa) e considerar a calibração cruzada entre backbones e línguas para garantir avaliações justas e precisas.

Em suma, o trabalho alerta que a suposição de que "o inglês é suficiente para julgar qualquer agente" é falsa e que a interação entre modelo e língua deve ser tratada como uma variável experimental explícita.