Resumo Técnico: Quebrando o Espelho – Mitigação Baseada em Ativação da Preferência Própria em Avaliadores de LLM

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados como avaliadores automatizados ("LLMs-as-judges") para tarefas que carecem de uma verdade fundamental (ground truth), como o ajuste de preferência e o roteamento de modelos. No entanto, esses avaliadores sofrem de viés de preferência própria (self-preference bias): uma tendência de favorecer desproporcionalmente seus próprios resultados sobre os de outros modelos, mesmo quando a autoria é oculta. Esse viés escala com o tamanho e o desempenho do modelo, comprometendo a justiça e a confiabilidade das etapas de avaliação. Embora trabalhos anteriores tenham se concentrado em detectar esse viés ou mitigá-lo por meio de ajustes finos caros (ex: Otimização de Preferência Direta - DPO) ou mudanças de estilo, há uma carência de intervenções leves em tempo de inferência que possam corrigir a preferência própria injustificada sem retreinar o modelo.

Metodologia

Os autores propõem um framework para desvincular o viés de preferência própria da qualidade real do resultado e aplicar vetores de direção (steering vectors) para mitigar o viês durante a inferência.

1. Desvinculando Viés de Qualidade

Para distinguir entre a preferência própria ilegítima (viés) e a preferência própria legítima (onde o resultado do modelo é objetivamente melhor), os autores constroem um conjunto de avaliação curado baseado no dataset XSUM.

• Configuração: Um modelo autoavaliador $J$ e um modelo de comparação $K$ geram resumos de artigos originais.
• Padrão de Ouro: Um conjunto de "juízes de ouro" ($G$) de diversas famílias de modelos (Phi-4, DeepSeek V3, Claude 3.5-Sonnet) determina o resumo objetivamente melhor para cada par.
• Categorização: Cada instância de avaliação é classificada em três resultados:
  1. Preferência Própria Ilegítima: O modelo $J$ prefere seu próprio resultado, mas os juízes de ouro preferem o de $K$.
  2. Preferência Própria Legítima: Tanto $J$ quanto os juízes de ouro preferem o resultado de $J$.
  3. Acordo Imparcial: Tanto $J$ quanto os juízes de ouro preferem o resultado de $K$.
• Validação: A validação humana confirma alta concordância entre os juízes de ouro e humanos para casos legítimos e concordância imparcial, embora a concordância caia para o subconjunto de viés, destacando a dificuldade da tarefa.

2. Construção de Vetores de Direção

Os autores constroem vetores de direção leves para modular as ativações do modelo durante a inferência usando dois métodos:

• Adição de Ativação Contrastiva (CAA): Calcula a diferença nas ativações do estado oculto entre prompts que levam a conclusões imparciais ($X^+$) e conclusões enviesadas ($X^-$). O vetor é a média da diferença: $v_{CAA} = \text{mean}(h_L(X^+)) - \text{mean}(h_L(X^-))$.
• Direcionamento Baseado em Otimização: Utiliza o gradiente descendente para aprender um vetor aditivo que minimiza uma função de perda contrastiva, promovendo a conclusão desejada ($Y^+$) e suprimindo a indesejada ($Y^-$). Isso é otimizado nas camadas 14–16 do Llama-3.1-8B-Instruct.

3. Métricas de Avaliação

A eficácia dos vetores de direção é medida por:

• Efetividade: A "taxa de inversão" (flip rate) da preferência própria ilegítima (com que frequência o modelo direcionado corrige uma decisão enviesada).
• Estabilidade: A preservação de decisões corretas em casos de preferência própria legítima e concordância imparcial (baixas taxas de inversão nessas categorias são desejadas).

Principais Resultados

O estudo avalia os vetores de direção contra o Llama-3.1-8B-Instruct incluindo baselines como prompting e Otimização de Preferência Direta (DPO).

• Alta Efetividade no Viés: Os vetores de direção reduziram com sucesso a preferência própria injustificada em até 97%. Tanto o método CAA quanto o baseado em otimização superaram o prompting (0% de taxa de inversão) e o DPO (49% de taxa de inversão).
• Generalização Surpreendente: Vetores construídos em um cenário de "desconhecimento" (ocultando a autoria) tiveram desempenho comparável ou superior ao cenário de "conhecimento", sugerindo que a representação da preferência própria possui uma estrutura parcialmente linear no espaço de ativação.
• Instabilidade em Casos Legítimos: Uma limitação crítica é a falta de estabilidade. Os mesmos vetores que corrigem com sucesso o viés ilegítimo também frequentemente invertem a preferência própria legítima e a concordância imparcial. Por exemplo, os vetores CAA inverteram 93% dos casos de preferência própria legítima e 20% dos casos de concordância imparcial.
• Implicação: Esta instabilidade sugere que, embora a preferência própria ilegítima possa ser codificada linearmente, a preferência própria legítima e a concordância imparcial provavelmente abrangem múltiplas direções ou direções não lineares no espaço de ativação, tornando-as difíceis de isolar com um único vetor linear.

Significância e Alegações

O artigo alega demonstrar que vetores de direção leves oferecem uma alternativa promissora e de baixo custo ao ajuste fino para mitigar o viés de preferência própria em avaliadores de LLM. A principal contribuição é a demonstração empírica de que edições de ativação em tempo de inferência podem reduzir drasticamente a preferência própria injustificada (até 97% de correção).

No entanto, os autores mantêm uma postura modesta quanto à universalidade desta solução. Eles declaram explicitamente que a abordagem atual não é robusta para preservar julgamentos legítimos. Os resultados enfatizam que a preferência própria é um fenômeno complexo onde o viés e a qualidade estão emaranhados na representação do modelo. O artigo conclui que, embora os vetores de direção sejam uma ferramenta poderosa para "quebrar o espelho" da preferência própria, suas limitações lineares atuais exigem intervenções mais robustas, potencialmente não lineares, para salvaguardar sistemas de LLM-as-judge sem comprometer as avaliações válidas.

Os autores enfatizam que seu trabalho fornece um conjunto de dados curado e um framework reproduzível para pesquisas futuras em interpretabilidade mecânica e mitigação de viés, em vez de uma solução final e perfeita para todos os cenários de avaliação.