💬 NLP

Rank Reversal in Multilingual LLM Judges: A Label-Free Double-Centering Calibrator

Este artigo introduz o Consensus-Based Calibration (CBC), um calibrador post-hoc livre de rótulos derivado de ANOVA de duas vias que elimina a reversão de ranking induzida pela linguagem em juízes de LLM multilíngues ao recuperar e remover termos de interação da estrutura linguística, melhorando significativamente a consistência de ranking e o alinhamento com as preferências humanas sem exigir rótulos de verdade fundamental.

Autores originais: Alhasan Mahmood, Samir Abdaljalil, Hasan Kurban

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alhasan Mahmood, Samir Abdaljalil, Hasan Kurban

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, os pesquisadores frequentemente precisam saber qual programa de computador é o melhor para resolver um problema. Para descobrir, eles usam outros programas de computador, conhecidos como "juízes", para ler as respostas e atribuir uma pontuação a elas. Este método tornou-se uma forma padrão de testar novos modelos porque é rápido e escalável. No entanto, uma complicação oculta surgiu: esses juízes nem sempre concordam consigo mesmos. Quando um juiz avalia o mesmo conjunto de respostas em diferentes idiomas, como inglês, árabe ou espanhol, ele frequentemente muda de ideia sobre qual modelo é o melhor. Um modelo que recebe uma pontuação máxima em um idioma pode cair para o fundo em outro. Essa inconsistência cria um cenário confuso onde o "vencedor" depende inteiramente do idioma usado para fazer a pergunta, tornando difícil confiar nos resultados ou escolher a ferramenta certa para o trabalho.

Uma equipe de pesquisadores identificou agora a fonte dessa confusão e desenvolveu uma maneira de corrigi-la sem a necessidade de especialistas humanos para reavaliar milhares de respostas. Eles descobriram que o problema não é um ruído aleatório, mas sim um padrão específico e previsível onde o idioma do juiz e o modelo sendo testado interagem de uma forma que distorce as pontuações. Ao tratar as pontuações como uma coleção de pontos de dados em vez de verdades absolutas, eles criaram um ajuste matemático que remove esse viés linguístico. O resultado é um ranking mais claro e consistente que se mantém verdadeiro, independentemente de o comando ser escrito em inglês, suaíli ou japonês.

Os pesquisadores começaram testando este fenômeno em grande escala. Eles pegaram seis modelos de IA poderosos diferentes e pediram que resolvessem cinquenta e cinco tarefas diferentes de engenharia de software. Em seguida, usaram outros seis modelos de IA para julgar a qualidade dessas soluções. Crucialmente, eles realizaram todo este experimento em oito idiomas diferentes. Os resultados foram impressionantes. Em sete de quinze combinações possíveis de modelos, o ranking mudou completamente dependendo do idioma. Por exemplo, um modelo pode ser o favorito claro quando o juiz fala inglês, mas ficar atrás de um concorrente quando o juiz fala espanhol. Em alguns casos, a diferença foi tão grande que o modelo preferido em um idioma era o menos preferido em outro. Isso provou que os juízes não estavam simplesmente sendo inconsistentes; eles estavam reagindo de forma diferente ao mesmo conteúdo com base no idioma do comando.

Para resolver isso, os pesquisadores trataram as pontuações como uma grade de medições. Eles perceberam que a pontuação final que um modelo recebeu era composta por três partes: o quão difícil era a tarefa, o quão habilidoso o modelo realmente era e um terceiro fator invisível que misturava o idioma com o modelo. Este terceiro fator era o culpado. Ele agia como um filtro que distorcia a visão da habilidade do modelo dependendo do idioma usado. A equipe desenvolveu um método chamado Calibração Baseada em Consenso para remover este filtro. O processo é surpreendentemente simples: eles observaram as pontuações médias entre todos os idiomas e todos os modelos, calcularam a distorção específica para cada par de idioma-modelo e a subtraíram. Esta operação, que eles chamam de dupla centralização, cancela efetivamente o viés linguístico, mantendo intacta a verdadeira habilidade dos modelos.

A eficácia deste método foi testada rigorosamente. Antes do ajuste, os rankings dos modelos mudavam drasticamente de idioma para idioma, com um índice de consistência de apenas 0,650. Após aplicar a calibração, os rankings tornaram-se quase perfeitamente estáveis em todos os oito idiomas, com o índice de consistência saltando para 0,902. Em um teste separado usando um conjunto diferente de 10.500 itens em sete idiomas, a melhoria foi ainda mais dramática, com a consistência subindo de 0,430 para 0,900. Talvez o mais importante seja que, quando compararam seus rankings corrigidos com um conjunto de respostas preferidas por humanos, o acordo subiu de 68,7% para 76,6%. Isso sugere que, ao remover o viés linguístico, os juízes de computador estavam, na verdade, aproximando-se do que os especialistas humanos teriam decidido.

Os pesquisadores fazem questão de notar que este método não cria uma verdade universal perfeita. Ele funciona melhor quando as mesmas tarefas são avaliadas através do mesmo conjunto de idiomas. Também não pode corrigir uma situação em que cada juiz é mais rigoroso ou mais benevolente com um idioma específico de forma generalizada; ele apenas corrige a maneira como o idioma interage com o modelo específico sendo testado. Além disso, o método depende de se ter um conjunto completo de dados onde cada modelo é julgado em cada idioma. Se houver dados ausentes, o cálculo torna-se mais difícil. No entanto, para a vasta maioria das avaliações multilíngues onde os dados estão disponíveis, esta abordagem oferece uma ferramenta poderosa. Ela permite que os pesquisadores parem de adivinhar qual modelo é realmente melhor e comecem a ver os resultados claramente, livres da distorção do idioma usado para fazer a pergunta.

Este trabalho muda a forma como pensamos sobre a avaliação da inteligência artificial em um contexto global. Ele move o campo de aceitar pontuações inconsistentes e dependentes de idioma como a palavra final. Em vez disso, fornece uma maneira confiável de alinhar diferentes idiomas em um único padrão de qualidade compartilhado. Ao fazer isso, garante que, quando dissermos que um modelo de IA é melhor que outro, essa afirmação seja verdadeira, quer a conversa aconteça em Tóquio, no Cairo ou em Nova York. A solução não requer mão de obra humana cara ou nova coleta de dados; ela exige apenas uma maneira mais inteligente de olhar para os dados que já possuímos.

Resumo Técnico: Inversão de Ranking em Juízes de LLM Multilíngues

Definição do Problema
Juízes de Grandes Modelos de Linguagem (LLM) multilíngues exibem um comportamento instável dependendo da linguagem do prompt. Em um benchmark de oito línguas do tipo "Agente-como-Juiz" (Agent-as-a-Judge), o ranking dos backbones avaliadores (os LLMs subjacentes usados para pontuação) alterna significativamente entre as línguas (Inglês, Árabe, Chinês, Hindi, Japonês, Espanhol, Turco e Suaíli). Especificamente, 7 de 15 pares de backbones apresentam inversões de ranking pareadas estatisticamente significativas, o que significa que um backbone que supera outro em uma língua pode ser superado por ele em outra. Este fenômeno é tratado como um problema de medição onde a pontuação observada é confundida por um termo de interação língua-backbone. As soluções existentes frequentemente dependem de anotações humanas caras ou métodos de ensemble que não visam diretamente a interação aditiva língua-backbone inerente aos benchmarks multilingues com múltiplos avaliadores.

Metodologia: Calibração Baseada em Consenso (CBC)
O artigo propõe um calibrador post-hoc livre de rótulos chamado Calibração Baseada em Consenso (Consensus-Based Calibration - CBC). A abordagem modela a pontuação do juiz $S(t, \ell, b)$ para uma tarefa $t$ , língua $\ell$ e backbone $b$ usando um layout aditivo de duas vias com interação:
$S(t, \ell, b) = \mu(t) + \alpha(b) + \beta(\ell, b) + \gamma(t, \ell) + \epsilon$
Onde:

$\mu(t)$ é a dificuldade da tarefa.
$\alpha(b)$ é a habilidade do backbone.
$\beta(\ell, b)$ é a interação língua-backbone (o alvo para remoção).
$\gamma(t, \ell)$ é um resíduo de efeito tarefa-língua.
$\epsilon$ é o ruído.

O Estimador:
A CBC estima o termo de interação $\beta(\ell, b)$ através da dupla centralização (double-centering) da matriz de médias das células. Dada a média da pontuação $\bar{S}(\ell, b)$ para cada par língua-backbone:
$\hat{\beta}(\ell, b) = \bar{S}(\ell, b) - \bar{S}(\cdot, b) - \bar{S}(\ell, \cdot) + \bar{S}(\cdot, \cdot)$
A pontuação calibrada é então obtida subtraindo este estimador: $\hat{S}(t, \ell, b) = S(t, \ell, b) - \hat{\beta}(\ell, b)$ .

Garantias Teóricas:

Identificabilidade: Sob restrições de soma zero, $\beta(\ell, b)$ é unicamente identificável a partir das médias populacionais das células via dupla centralização.
Concentração de Amostra Finita: Assumindo ruído Gaussiano homocedástico independente, o estimador converge a uma taxa de $O(1/\sqrt{n})$ com uma constante de variância explícita de $(1 - 1/m)(1 - 1/k)$ , onde $m$ é o número de backbones e $k$ é o número de línguas.
Robustez à Especificação Incorreta: Crucialmente, o estimador permanece não viesado para $\beta(\ell, b)$ mesmo quando interações tarefa-língua $\gamma(t, \ell)$ estão presentes, pois esses termos se cancelam durante a operação de dupla centralização. O método não corrige, contudo, interações de três vias genuínas $\gamma(t, \ell, b)$ ou deslocamentos de nível de língua compartilhados onde todos os backbones são uniformemente enviesados em uma língua específica.

Principais Contribuições

Caracterização Empírica: Os autores demonstram que a inversão de ranking é um problema pervasivo, com o topo do ranking de backbones alternando entre todas as 8 línguas em seu benchmark expandido.
Estimador Livre de Rótulos: A CBC não requer rótulos humanos, utilizando apenas os dados de avaliação de múltiplos backbones já existentes.
Limites Teóricos Explícitos: O artigo fornece um limite de concentração de amostra finita e prova a ausência de viés sob erro de especificação de tarefa-língua, distinguindo este trabalho de aplicações padrão de ANOVA que assumem a especificação correta do modelo.
Validação: O método é validado tanto em um benchmark interno quanto em um painel externo coletado separadamente (M-RewardBench).

Resultados

Benchmark Interno (8 Línguas, 6 Backbones, 55 Tarefas):
- Consistência de Ranking: A CBC aumentou a correlação de ranking de Kendall ( $\tau$ ) cruzada para tarefas mantidas (held-out) de 0.650 (bruto) para 0.902.
- Precisão de Decisão: Em decisões de implantação por língua, a CBC concordou com o oráculo de modelo aditivo mantido em 100% dos casos, comparado a 68,5% para as pontuações brutas.
- Alinhamento de Ranking: Pós-calibração, todas as 8 línguas alinharam-se em uma única ordenação de backbone (Gemini > GPT-4o > GPT-5.4 > Sonnet > DeepSeek > Qwen).
Validação Externa (M-RewardBench, 7 Línguas, 5 Avaliadores):
- Consistência de Ranking: $\tau$ melhorou de 0.430 para 0.900.
- Concordância com Âncora Humana: A concordância com as preferências de ouro públicas humanas aumentou de 68,7% para 7 de 76,6% (um ganho de 7,9 pontos percentuais, IC 95% [6,0, 9,9]).
- Comparação: A CBC superou significativamente as bases, incluindo normalização de quantis, ComBat-EB e modelos Bradley-Terry-Luce pareados adaptados.

Significância e Alegações
O artigo alega que a CBC oferece uma solução prática e livre de rótulos para a instabilidade dos juízes de LLM multilíngues. Ao remover o termo de interação língua-backbone, ela permite a derivação de um ranking de avaliador invariante à língua, que é o objetivo operacional para muitos cenários de implantação.

Os autores são modestos em suas alegações, enfatizando que:

Os resultados são diagnósticos de consistência e melhorias de modelo de referência, não medidas absolutas de correção fundamentada em humanos.
O método assume um painel completo e equilibrado de pontuações; não resolve a transferência zero-shot para línguas não vistas (resultados LOLO mostraram ganhos apenas modestos).
Não corrige deslocamentos de nível de língua compartilhados (ex: se todos os juízes são uniformemente mais severos em uma língua) ou interações de três vias (adaptação de tarefa específica do backbone em línguas específicas).
A "melhoria da âncora humana" no M-RewardBench é apresentada como a evidça externa mais forte de utilidade downstream, mas é uma evidência agregada, não um diagnóstico por língua de viés versus especialização genuína.

O trabalho posiciona a CBC não como uma correção universal para todos os vieses de avaliação, mas como uma ferramenta estatisticamente fundamentada para recuperar termos de interação em matrizes de avaliação multilingues onde múltiplos backbones pontuam os mesmos itens através de múltiplas línguas.

Resumo Técnico: Inversão de Ranking em Juízes de LLM Multilíngues

Mais como este