Resumo Técnico: O Juiz Prefere o Inglês? Avaliando a Invariância de Troca de Idioma em LLM-as-a-Judge

1. Declaração do Problema

A adoção generalizada de Grandes Modelos de Linguagem (LLMs) como juízes automáticos para a avaliação de seguimento de instruções de código aberto introduz uma questão crítica de confiabilidade: O juiz avalia a qualidade semântica de uma resposta ou sua preferência reage ao idioma no qual a comparação é apresentada?

Embora o LLM-as-a-Judge ofereça escalabilidade e consciência semântica superior às métricas baseadas em referência, ele herda os vieses dos modelos generativos. Trabalhos anteriores documentaram viés de posição, viés de verbosidade e sensibilidade ao prompt. Este artigo isola um modo de falha de confiabilidade específico: invariância de troca de idioma (language-switching invariance). Especificamente, investiga-se se um juiz preserva sua preferência quando uma comparação pareada é apresentada em inglês, chinês ou uma variante de troca de idioma chinês-inglês, assumindo que a relação de qualidade subjacente (o "rótulo de ouro" ou gold label) permanece inalterada.

2. Metodologia: O Protocolo Judge-LS

Os autores propõem o Judge-LS, um protocolo de meta-avaliação leve, sem necessidade de treinamento, projetado para testar a invariância de troca de idioma usando apenas chamadas de API.

2.1 Dados Base e Transformação

• Dataset: O estudo utiliza o LLMBar benchmark completo, consistindo em 419 itens pareados (um subconjunto natural e quatro subconjuntos adversariais) com rótulos de ouro objetivos indicando qual resposta segue melhor uma instrução.
• Variantes de Idioma: Para cada item, três versões são geradas:
  1. EN: A versão original em inglês.
  2. ZH: Uma tradução natural para o chinês simplificado da instrução e de ambas as saídas candidatas.
  3. LS: Uma variante de troca de idioma (language-switched) chinês-inglês natural, preservando termos técnicos, entidades nomeadas e termos de tarefas em inglês onde apropriado.
• Modelo de Transformação: O gpt-4.1-mini é usado para a tradução. O prompt instrui explicitamente o modelo a preservar todos os erros fatuais, matemáticos, de formatação e de seguimento de instrução para garantir que a validade do rótulo de ouro não seja comprometida por "reparos silenciosos".
• Auditoria: Uma auditoria automática verifica a completude dos campos e sinaliza variantes de alto risco (ex: redução severa de comprimento, incompatibilidade de tokens numéricos). 19 itens (4,5%) foram sinalizados, e uma análise de sensibilidade os exclui.

2.2 Design Experimental

• Juízes: Quatro modelos acessíveis via API foram avaliados:
  • GPT-4.1 Mini
  • Claude Haiku 4.5
  • Gemini 2.5 Flash
  • DeepSeek V4 Flash
• Construção do Julgamento: Cada item é avaliado sob todas as três condições de idioma. Para cada condição, o juiz recebe tanto a ordem original quanto a ordem invertida das respostas (A vs. B). Adicionalmente, sondas de empate equivalentes à tradução (translation-equivalent tie probes) são criadas comparando a resposta de ouro em inglês contra sua tradução para o chinês, para testar a preferência de idioma em cenários de "Empate".
• Volume Total: O experimento gerou 13.408 julgamentos pareados únicos bem-sucedidos.

2.3 Métricas

O estudo reporta diversas métricas diagnósticas além da precisão simples:

• Precisão Estrita e de Meio-Empate (Strict and Tie-Half Accuracy): Mede a concordância com os rótulos de ouro, sendo que a última concede crédito parcial a previsões de "Empate".
• Taxa de Inversão de Invariância de Idioma (Language-Invariance Flip Rate): A porcentagem de julgamentos onde a preferência muda apenas devido à transformação do idioma (EN vs. ZH/LS).
• Taxa de Inversão de Correção de Ouro (Gold-Correctness Flip Rate): A porcentagem de casos onde um julgamento correto torna-se incorreto (ou vice-versa) após a tradução.
• Inconsistência de Posição: A taxa na qual o vencedor muda quando a ordem das respostas é invertida.
• Preferência de Idioma em Sondas de Empate: A distribuição de vitórias entre inglês e chinês nas sondas de empate equivalentes à tradução.
• Rigor Estatístico: O artigo utiliza intervalos de confiança de Wilson de 95% e testes exatos de McNemar/binomiais de dois lados para comparações pareadas.

3. Resultados Principais

3.1 Precisão e Estabilidade

• Superioridade do Inglês: Todos os quatro juízes alcançaram sua maior precisão em inglês. Por exemplo, a precisão de meio-empate do DeepSeek caiu de 90,5% (EN) para 87,8% (ZH) e 88,9% (LS).
• Taxas de Inversão Significativas: As transformações de idioma induziram inversões de preferência em 10,7% a 14,4% dos casos em relação ao inglês.
  • GPT-4.1 Mini e Claude Haiku foram mais sensíveis às traduções para o chinês (taxas de inversão de 14,4% e 14,2%, respectivamente).
  • DeepSeek e Gemini mostraram taxas de inversão menores, mas ainda substanciais (~11,1%).
• Impacto na Correção: As taxas de inversão de correção de ouro espelharam de perto as taxas de inversão de preferência, indicando que estas não são trocas inofensivas entre uma resposta correta e um empate, mas mudanças reais no alinhamento do juiz com a verdade objetiva. Testes de significância pareados rejeitaram a simetria para todas as comparações modelo-idioma ($p \le 0,011$).

3.2 Preferência de Idioma vs. Instabilidade

• Sem Viés Sistemático de Inglês em Empates: Contrariando a hipótesia de que os juízes inerentemente preferem o inglês, as sondas de empate equivalentes à tradução foram julgadas como "Empate" na vasta maioria dos casos (ex: DeepSeek: 97,5%, GPT-4.1 Mini: 95,6%).
• Preferência pelo Chinês em Não-Empates: Quando os juízes não declararam empate, eles favoreceram mais frequentemente a versão em chinês sobre a versão em inglês. Isso sugere que o problema não é um simples prior de "inglês primeiro", mas sim instabilidade na forma como os juízes processam diferentes apresentações linguísticas.

3.3 Interação com o Viés de Posição

• A Troca de Idioma Amplifica a Sensibilidade de Posição: A inconsistência de posição (mudar o vencedor quando a ordem é invertida) aumentou significativamente nas condições de troca de idioma (LS).
  • A inconsistência de posição média subiu de 12,1% (EN) para 18,1% (LS) entre os modelos.
  • O Gemini Flash mostrou o maior aumento, de 10,3% (EN) para 22,2% (LS).
• Dificuldade Adversarial: Os subconjuntos adversariais (ex: Adv-GPTOut) exibiram menor precisão e maiores taxas de inversão, sugerindo que as transformações de idioma adicionam uma camada de dificuldade a tarefas de raciocínio já desafiadoras.

4. Contribuições

1. Protocolo Judge-LS: Introdução de um protocolo simples e de baixo recurso para testar a invariância de troca de idioma na avaliação de LLM-as-a-Judge sem treinamento de modelo.
2. Benchmarking Abrangente: Transformação do benchmark LLMBar completo de 419 itens em variantes de inglês, chinês e troca de idioma com preservação de rótulos de ouro.
3. Avaliação em Larga Escala: Avaliação de quatro diversos juízes de API através de 13.408 julgamentos, incluindo inversões de ordem de resposta e sondas de empate equivalentes à tradução.
4. Estrutura Diagnóstica: Relato de um conjunto multidimensional de métricas, incluindo taxas de inversão, inconsistência de posição, estimativas de incerteza e análises de sensibilidade que excluem variantes mecanicamente arriscadas.

5. Significância e Alegações

O artigo alega que o risco central na avaliação multilíngue de LLMs não é necessariamente que os juízes "preferem o inglês", mas que eles são sensíveis à apresentação da linguagem de formas que alteram a correção e interagem com o viés de posição.

• Implicação de Confiabilidade: Uma taxa de inversão de 10–14% é grande o suficiente para alterar o ranking de modelos quando os sistemas possuem pontuações próximas. Se um leaderboard utiliza um prompt de juiz em inglês para avaliar respostas em chinês ou com troca de idioma, o desempenho relatado pode confundir a qualidade da resposta com a sensibilidade do juiz ao idioma.
• Princípio de Design: Pipelines de avaliação devem ser tratadas como sistemas sob teste. Um juiz robusto deve preservar preferências centrais sob transformações superficiais que preservam o rótulo, de forma semelhante a como classificadores robustos devem lidar com perturbações irrelevantes de entrada.
• Fluxo de Trabalho Prático: Os autores recomendam um fluxo de trabalho de cinco estágios para avaliação multilíngue: (1) avaliação de linha de base em inglês com inversão de ordem, (2) transformação para os idiomas alvo, (3) auditoria e análise de sensibilidade, (4) cálculo de inversões de invariância com intervalos de confiança, e (5) sondas de empate para distinguir viés de instabilidade.

O estudo conclui que os atuais juízes de LLM ainda não são invariantes à apresentação de idioma, e confiar em uma única condição de idioma para seleção de modelos multilíngues é uma prática frágil.