Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge

Título: Decodificação Contrastiva Mitiga o Viés de Faixa de Pontuação em LLMs como Juízes

1. O Problema: Viés de Faixa de Pontuação (Score Range Bias)

O uso de Grandes Modelos de Linguagem (LLMs) como juízes para avaliação automática de saídas (como resumos de texto) tem se tornado comum. No entanto, a confiabilidade dessas avaliações enfrenta desafios significativos.

• Contexto: A maioria das avaliações diretas (direct assessment) exige que o modelo atribua uma pontuação numérica dentro de um intervalo pré-definido (ex: 1-5, 0-4, 2-6) sem referências externas.
• A Descoberta: O artigo identifica um novo viés, denominado Viés de Faixa de Pontuação. Os LLMs demonstram uma sensibilidade extrema à mudança no intervalo de pontuação definido.
  • Um modelo ideal deveria manter uma correlação consistente com julgamentos humanos independentemente do intervalo usado (desde que representem a mesma escala relativa, como 0-4 vs 1-5).
  • Os resultados mostram que os modelos tendem a favorecer pontuações específicas dependendo do intervalo (ex: modelos Llama tendem a dar nota 4 no intervalo 2-6, enquanto modelos Qwen tendem a dar nota 2), resultando em distribuições distorcidas e baixa correlação com humanos quando o intervalo muda.
• Viés Familiar: O estudo observa que modelos da mesma família (ex: Llama-3 3B e 8B, ou Qwen2.5 7B e 14B) codificam vieses semelhantes, sugerindo que o problema é estrutural e compartilhado entre modelos treinados com dados ou arquiteturas similares.

2. Metodologia: Decodificação Contrastiva

Para mitigar esse viés, os autores propõem o uso de Decodificação Contrastiva, uma técnica adaptada de trabalhos anteriores (Li et al., 2023) e combinada com a observação de vieses familiares.

• Mecanismo: O método utiliza dois modelos:
  1. Modelo Principal (Main Model): O modelo que realiza a avaliação.
  2. Modelo Assistente (Assistant Model): Um modelo menor da mesma família que serve como referência para "cancelar" o viés.
• Fórmula de Ajuste: A probabilidade do próximo token é ajustada subtraindo a probabilidade do modelo assistente da do modelo principal:
  $$\log p_{main} - \lambda \log p_{asst}$$
  Onde $\lambda$ é um hiperparâmetro que controla a magnitude da influência do assistente.
• Hipótese Central: Como modelos da mesma família compartilham vieses de faixa de pontuação (ex: ambos tendem a favorecer a nota 4), usar um modelo menor como assistente permite subtrair esse viés comum do modelo principal, resultando em uma distribuição de pontuações mais alinhada com a realidade humana.
• Configuração Experimental:
  • Tarefa: Avaliação de resumos (Summarization) usando o dataset SummEval.
  • Métricas: Correlação de Pearson, Spearman e Kendall em relação às anotações humanas.
  • Intervalos Testados: 0-4, 1-5, 2-6 e 3-7.
  • Modelos: Famílias Llama-3 (1B, 3B, 8B) e Qwen2.5 (3B, 7B, 14B).

3. Contribuições Principais

1. Identificação do Viés: Demonstração empírica de que juízes LLMs sofrem de viés de faixa de pontuação, onde a correlação com humanos varia drasticamente apenas ao alterar o intervalo numérico, mesmo para o mesmo conteúdo.
2. Validação de Viés Familiar: Evidência de que modelos de diferentes tamanhos dentro da mesma família (ex: Llama 3B e 8B) exibem padrões de viés idênticos, o que torna possível o uso de um para corrigir o outro.
3. Solução via Decodificação Contrastiva: Proposta e validação de que a decodificação contrastiva é uma estratégia robusta para mitigar esse viés, estabilizando a correlação entre diferentes faixas de pontuação.

4. Resultados Chave

Os experimentos mostraram melhorias significativas na robustez e precisão das avaliações:

• Melhoria na Correlação: O uso de decodificação contrastiva resultou em uma melhoria relativa média de 11,7% na correlação de Spearman com julgamentos humanos em comparação com a decodificação gulosa (greedy decoding) padrão, ao considerar todos os intervalos de pontuação.
• Estabilidade entre Intervalos:
  • Sem o método, a correlação cai drasticamente em certos intervalos (ex: no intervalo 2-6, o Llama 3B teve correlação próxima de zero).
  • Com a decodificação contrastiva, a correlação permaneceu estável e alta em todos os intervalos testados.
• Exemplo Específico (Qwen): No modelo Qwen 14B, houve uma melhoria de 11,7% na correlação média de Spearman (de 0,392 para 0,438) ao usar um assistente de 3B.
• Escolha do Assistente: Modelos assistentes menores (ex: 3B ou 1B) funcionaram melhor do que assistentes maiores (ex: 7B para um principal de 14B). Assistente muito grandes tendem a penalizar os logit corretos do modelo principal, degradando o desempenho.
• Distribuição de Pontuação: As distribuições de pontuação geradas pela decodificação contrastiva aproximaram-se significativamente da distribuição de anotações humanas, eliminando os picos artificiais (ex: excesso de notas 4 ou 2) observados na decodificação padrão.

5. Significância e Impacto

• Confiabilidade em Avaliação Automática: O trabalho fornece uma solução prática para um problema crítico na avaliação de LLMs, permitindo que juízes sejam mais confiáveis independentemente da escala de pontuação escolhida pelo usuário.
• Expansão de Escalas: Ao mitigar o viés de faixa, o método permite explorar faixas de pontuação além do padrão 1-5 (como 0-4 ou 2-6), o que pode ser útil para otimizar métricas específicas (como relevância ou consistência) em diferentes contextos.
• Eficiência Computacional: Embora a decodificação contrastiva exija a execução de dois modelos, o artigo nota que isso pode ser integrado em pipelines de speculative decoding (decodificação especulativa), onde o modelo assistente já é usado para acelerar a inferência, tornando o custo computacional adicional mínimo ou nulo em cenários de produção.
• Limitações: O estudo foi limitado a tarefas de resumo em inglês e modelos com até 14B parâmetros devido a restrições orçamentárias.

Em resumo, o artigo demonstra que o viés de faixa de pontuação é um obstáculo real para a avaliação automática e que a decodificação contrastiva, aproveitando a similaridade de vieses entre modelos familiares, é uma ferramenta eficaz e robusta para corrigir essas distorções.