Resumo Técnico: Avaliadores de LLM são Enviesados entre Idiomas

1. Declaração do Problema

Avaliadores de Grandes Modelos de Linguagem (LLMs), abrangendo tanto sistemas de "LLM-como-Juiz" baseados em prompts quanto modelos de recompensa treinados, são ferramentas padrão para benchmarking automatizado, auditoria de segurança e Aprendizado por Reforço com Feedback Humano (RLHF). Esses sistemas são rotineiramente validados usando a acurácia de pares (pairwise accuracy), que mede se um avaliador classifica corretamente uma resposta preferida sobre uma rejeitada.

A premissa predominante em ambientes multilíngues é que uma alta acurácia de pares implica em pontuação neutra em relação ao idioma: conteúdos semanticamente idênticos devem receber a mesma pontuação absoluta, independentemente do idioma no qual são expressos. Este artigo desafia essa premissa, demonstrando que os avaliadores de LLM exibem desvios sistemáticos e dependentes do idioma nas pontuações pontuais (pointwise scores). Consequentemente, avaliadores que parecem robustos sob métricas de pares induzem disparidades substanciais em decisões baseadas em limiares (thresholds), prejudicando ou descalibrando particularmente idiomas de baixos recursos.

2. Metodologia

Datasets e Escopo

Os autores conduziram experimentos em 23 idiomas utilizando pares de instrução–resposta semanticamente idênticos. Os dados foram extraídos do RewardBench e sua extensão multilíngue validada por humanos, o M-RewardBench. Estes benchmarks cobrem quatro categorias distintas: Chat, Chat-Hard, Segurança (Safety) e Raciocínio (Reasoning), garantindo que as descobertas abranjam formatos de tarefas e domínios heterogêneos. Todos os dados no M-RewardBench foram profissionalmente traduzidos e validados por humanos para preservar o paralelismo semântico, evitando artefatos de tradução automática.

Avaliadores

O estudo avaliou oito modelos distintos representando diferentes arquiteturas e paradigmas de treinamento:

• LLM-as-a-Judge (4 modelos): Aya Expanse 32B, Qwen 2.5 72B, LLaMA 3.1 70B Instruct e M-Prometheus 14B. Estes foram submetidos a prompts com uma rubrica padrão de escala Likert de 1 a 5.
• Modelos de Recompensa (4 modelos): URM-LLaMA-3.1-8B, BTRM-Qwen-2-7B, Skywork-Reward-Gemma-2-27B e Skywork-Reward-LLaMA-3.1-8B-v0.2. Estes geram scores escalares contínuos sem rubricas explícitas.

Design Experimental

1. Análise de Desvio de Pontuação: Os autores compararam as médias das pontuações pontuais entre idiomas para conteúdos idênticos.
2. Validação de Pares vs. Absoluta: Analisaram a relação entre a acurácia de pares e as taxas de aceitação sob um limiar de decisão global fixo.
3. Investigação de Mecanismo: Para entender por que idiomas de baixos recursos recebiam pontuações mais altas, os autores modelaram a relação entre a incerteza do modelo (medida via Negative Log-Likelihood, NLL) e os scores de recompensa. Eles empregaram regressões de Mínimos Quadrados Ordinários (OLS) aninhadas para decompor a variância da pontuação em componentes explicados pela incerteza, identidade do idioma e sua interação.
4. Análise de Superfície de Ataque: Testaram a vulnerabilidade de estratégias de limiar por idioma contra prompts com alternância de código (code-switching).

3. Resultados Principais

Viés Sistemático de Pontuação

• Desvio Direcional: Os avaliadores atribuem pontuações absolutas significativamente diferentes a conteúdos semanticamente idênticos com base no idioma. O viés é substancial, totalizando um desvio de ~0,4–0,5 pontos em uma escala de 1 a 5.
• Correlação de Recursos: Contrariando a expectativa de que os modelos performam pior em idiomas de baixos recursos, os avaliadores pontuam idiomas de baixos recursos de forma mais generosa. Existe uma forte correção negativa entre o nível de recurso do idioma (disponibilidade de dados de treinamento) e o rigor da pontuação (Spearman $\rho = -0,81$ para modelos de recompensa). Idiomas como Hindi, Hebraico e Árabe recebem as pontuações mais altas, enquanto Inglês, Italiano e Francês recebem as mais baixas.
• Consistência entre Modelos: Este viés não é um artefato de um único modelo. Ele persiste em todos os oito avaliadores, incluindo modelos de fronteira (GPT-4.1-mini, Qwen3-32B), e é consistente entre diferentes arquiteturas (LLaMA, Qwen, Gemma) e paradigmas de treinamento.

O Ponto Cego da Acurácia de Pares

• Alta Acurácia, Resultados Divergentes: Os avaliadores mantêm uma acurácia de pares uniformemente alta (>90%) em todos os idiomas. No entanto, sob um limiar de decisão global fixo (ex: o percentil 50), as taxas de aceitação variam em até 43 pontos percentuais entre os idiomas.
• Implicações de Segurança: Esta discrepância significa que o conteúdo nocivo em idiomas de baixos recursos tem uma probabilidade significativamente maior de passar pelos filtros de segurança do que o conteúdo idêntico em idiomas de altos recursos. Por exemplo, uma resposta rejeitada em inglês pode pontuar -4,51 (filtrada), enquanto sua contraparte em ucraniano pontua +3,57 (passou), apesar do conteúdo semântico ser idêntico.

Mecanismo: Incerteza vs. Viés Estrutural

• Correlação de Incerteza: Existe uma forte correlação positiva entre a incerteza do modelo (NLL mais alto) e os scores de recompensa. Os modelos tendem a dar pontuações mais altas quando estão menos confiantes sobre o conteúdo.
• Incerteza não é a Única Causa: Embora a incerteza explique parte da variância, a identidade do idioma permanece um preditor significativo mesmo após controlar o NLL.
• Desalinhamento Estrutural: Regressões dentro do mesmo idioma mostram que a relação entre a dificuldade da instância (NLL) e a pontuação é inconsistente e dependente do domínio (frequentemente negativa em tarefas de Chat). Isso confirma que o viés é um desalinhamento estrutural de nível linguístico, e não apenas uma reação à dificuldade do conteúdo.

Vulnerabilidade de Estratégias de Mitigação

• Ataques de Code-Switching: Uma mitigação proposta — o uso de limiares por idioma — requer Identificação de Idioma (LID) confiável. Os autores demonstram que prompts com alternância de código (ex: um invólucro em inglês em torno de conteúdo em Hindi) podem derrotar ferramentas de LID. Se o sistema identificar erroneamente o idioma como inglês, ele aplica um limiar de inglês leniente para um conteúdo que o modelo na verdade pontua contra uma base de Hindi mais rigorosa, inflando artificialmente as taxas de aceitação de 50% para 75%.

4. Contribuições

1. Desvios de Pontuação Dependentes de Idioma: O artigo demonstra que avaliadores de LLM exibem um viés sistemático e consistente entre modelos nas pontuações pontuais, onde idiomas de baixos recursos são pontuados de forma mais generosa. Este viés persiste em juízes de fronteira.
2. Ponto Cego da Acuração de Pares: Estabelece que a acurácia de pares é estruturalmente cega para esses desvios, mascarando disparidades severas nas taxas de aceitação sob limiares globais. Destaca que as estratégias de limiar por idioma são vulneráveis a entradas de alternância de código.
3. Análise de Mecanismo: O estudo investiga o "porquê", encontrando que, embora a incerteza do modelo se correlacione com o viés, a identidade do idioma permanece preditiva após o controle da incerteza. O efeito não pode ser reduzido apenas à dificuldade da instância.

5. Significância e Alegações

Os autores argumentam que a dependência atual da acurácia de pares como a principal métrica de validação para avaliadores multilíngues é insuficiente. As descobertas sugerem que biases de pontuação translinguais não calibrados representam um risco para a implementação de idiomas de baixos recursos em auditoria de segurança e RLHF.

• Implicação Prática: Tratar scores brutos de avaliadores como comparáveis entre idiomas sem calibração é perigoso. Embora correções de offset por idioma possam reduzir as lacunas de taxa de aceitação em ~60%, elas não eliminam a variância estrutural (interação língua $\times$ item) e introduzem novas superfícies de ataque via falhas de LID.
• Direção Futura: O artigo chama para uma mudança do ajuste post-hoc para soluções fundamentadas no treinamento, como a calibração de recompensa consciente do idioma, a normalização de scores condicionados ao idioma durante o RLHF e protocolos de avaliação que testam explicitamente a consistência de pontuação translingual junto com a acurácia de pares.

O trabalho conclui que a comunidade deve reconhecer o viés multilíngue em avaliadores de LLM como uma questão estrutural, indo além de métricas de ranking relativo para garantir uma pontuação absoluta justa e confiável entre idiomas.