Debiasing Reward Models via Causally Motivated Inference-Time Intervention

1. Formulação do Problema

Modelos de Recompensa (RMs) são componentes críticos no Aprendizado por Reforço a partir de Feedback Humano (RLHF), utilizados para alinhar Modelos de Linguagem de Grande Escala (LLMs) com preferências humanas. No entanto, os RMs são propensos a correlações espúrias (vieses), onde atribuem pontuações mais altas a respostas com base em características estilísticas superficiais, em vez de utilidade real ou veracidade.

• Vieses Comuns: O artigo identifica cinco vieses específicos:
  1. Comprimento: Preferência por respostas mais longas, independentemente da qualidade.
  2. Parágrafos: Preferência por estruturas de múltiplos parágrafos.
  3. Sobreposição: Preferência por respostas que apresentam sobreposição lexical com o prompt.
  4. Pontos de Exclamação: Preferência por pontuação entusiástica.
  5. Texto em Negrito: Preferência pelo uso de negrito em Markdown para ênfase.
• Limitações das Soluções Existentes:
  • Métodos em tempo de treinamento: Exigem o re-treinamento de RMs ou a coleta de novos dados, o que é custoso e lento para se adaptar a novos tipos de viés.
  • Métodos em tempo de inferência: Abordagens existentes (por exemplo, Penalidade de Comprimento, Regressão Ponderada Localmente) geralmente focam apenas no comprimento da resposta. Frequentemente, elas criam um compromisso de desempenho, melhorando o desempenho em subconjuntos não enviesados enquanto degradam o desempenho em subconjuntos enviesados (ou vice-versa), falhando em generalizar para múltiplos tipos de viés.

2. Metodologia: CIRM (Intervenção Causal para Modelos de Recompensa)

Os autores propõem o CIRM, um método de intervenção em tempo de inferência em nível de neurônio que não exige re-treinamento. O método fundamenta-se na Análise de Mediação Causal.

A. Identificação de Neurônios Específicos para Viés

1. Análise de Correlação: Os autores calculam a correlação de Spearman $\rho$ entre a ativação de cada neurônio no RM e a magnitude de características espúrias específicas (por exemplo, contagem de tokens para comprimento, contagem de "!" para pontos de exclamação).
2. Seleção: Eles identificam os $k$ neurônios superiores e inferiores com a maior correlação absoluta para cada tipo de viés. Estes são denominados neurônios específicos para viés.
3. Localização: A análise revela que esses neurônios estão predominantemente localizados nas camadas iniciais do transformador e em camadas de projeção específicas (projeções Query, Up e Gate), sugerindo que os vieses são codificados por meio de transformações de características rasas, em vez de processamento semântico profundo.

B. Mecanismo de Intervenção Causal

Os autores modelam o processo de decisão do RM usando um grafo causal onde:

• $x$: Entrada (par Query-Resposta).
• $m$: Mediador (Ativações dos neurônios específicos para viés).
• $r$: Resultado (Pontuação de recompensa).

RMs padrão estimam o Efeito Total (TE) da entrada na recompensa, que inclui tanto o valor do conteúdo verdadeiro quanto o viés espúrio mediado por $m$. Para remover o viés, o CIRM visa estimar o Efeito Direto Controlado (CDE).

• Intervenção: No momento da inferência, as ativações dos neurônios específicos para viés identificados ($m(x)$) são substituídas por um valor estático $m^*$, especificamente a ativação mediana observada em um conjunto de dados de validação.
• Fórmula: Em vez de calcular $r_\theta(x_1, m(x_1)) - r_\theta(x_2, m(x_2))$, o modelo calcula:
  $$\hat{CDE} = r_\theta(x_1, m^*) - r_\theta(x_2, m^*)$$
• Efeito: Ao fixar o mediador em um valor mediano neutro, a influência das características espúrias na previsão da recompensa é suprimida, isolando a contribuição do conteúdo real.

3. Contribuições Principais

1. Método Inovador em Tempo de Inferência: Introdução do CIRM, um método que remove o viés de RMs em tempo de inferência intervindo em menos de 2% do total de neurônios, evitando o custo do re-treinamento.
2. Mitigação de Múltiplos Vieses sem Compromissos: Demonstrou que o CIRM mitiga eficazmente cinco tipos distintos de vieses simultaneamente. Crucialmente, evita o comum "compromisso de desempenho" observado em trabalhos anteriores, melhorando a precisão em subconjuntos não enviesados enquanto mantém ou melhora as pontuações em subconjuntos enviesados.
3. Melhoria no Alinhamento Descendente: Mostrou que o uso de RMs com viés removido pelo CIRM para anotação de preferências (treinamento DPO) leva a LLMs com melhor alinhamento. RMs pequenos (2B e 7B) equipados com CIRM alcançaram desempenho comparável a um RM de 70B state-of-the-art em benchmarks como AlpacaEval e MT-Bench.
4. Interpretabilidade Mecanística: Fornecer evidências de que os sinais de viés são codificados principalmente nas camadas iniciais dos RMs, oferecendo insights sobre como os RMs exploram pistas superficiais.

4. Resultados Experimentais

Benchmarks de Modelo de Recompensa (RewardBench & RM-Bench)

• Desempenho: O CIRM melhorou a precisão em subconjuntos não enviesados para vieses de comprimento, sobreposição e pontos de exclamação.
• Resolução de Compromisso: Diferentemente da Penalidade de Comprimento (LP) e da Regressão Ponderada Localmente (LWR), que frequentemente degradavam o desempenho em subconjuntos enviesados para corrigir os não enviesados, o CIRM melhorou ou manteve o desempenho em ambos.
• Robustez: No RM-Bench (que testa robustez a variações estilísticas sutis), o CIRM evitou a degradação de desempenho nas divisões "Fáceis" (onde o estilo geralmente vence) que afligiam outros métodos.

Benchmarks de Alinhamento (AlpacaEval 2.0, MT-Bench, TruthfulQA)

• Treinamento DPO: LLMs (Llama-3-8B, Gemma-2-9B) treinados em conjuntos de dados de preferências anotados por RMs com viés removido pelo CIRM mostraram:
  • Maiores Taxas de Vitória (WR) e Taxas de Vitória Controladas por Comprimento (LCWR) no AlpacaEval.
  • Pontuações melhoradas no MT-Bench.
  • Veracidade: Desempenho melhorado no TruthfulQA, sugerindo que a remoção do viés de formato força o modelo a priorizar a correção factual.
• Eficiência: RMs pequenos (2B/7B) com CIRM superaram ou igualaram a linha de base INF-ORM de 70B em tarefas de alinhamento, provando a eficácia da técnica de remoção de viés.

Estudos de Ablação

• Intervenção Simultânea: Mitigar os cinco vieses simultaneamente produziu os melhores resultados, sugerindo uma interação entre diferentes sinais de viés.
• Amplificação de Viés: RMs comuns frequentemente amplificavam vieses (por exemplo, gerando respostas mais longas e verbosas) durante o DPO. O CIRM reduziu significativamente essa amplificação sem tornar as respostas artificialmente curtas (um efeito colateral de LP/LWR).

5. Significado e Conclusão

Este artigo apresenta um passo significativo para tornar o RLHF mais confiável e eficiente.

• Custo-Efetividade: Ao operar em tempo de inferência e exigir apenas um pequeno conjunto de validação para ajuste de hiperparâmetros, o CIRM oferece uma alternativa leve ao re-treinamento dispendioso.
• Generalizabilidade: O método é agnóstico ao modelo e aplicável a várias arquiteturas de RM.
• Segurança e Veracidade: Ao desacoplar sinais de recompensa de formatações superficiais, o CIRM ajuda a prevenir o "hacking de recompensa", onde modelos aprendem a manipular o sistema com estilo em vez de substância, levando a assistentes de IA mais verazes e úteis.

Os autores concluem que a intervenção causal em tempo de inferência é uma ferramenta poderosa e generalizável para melhorar a confiabilidade dos Modelos de Recompensa e o alinhamento subsequente de Modelos de Linguagem de Grande Escala. Trabalhos futuros podem estender isso a outros tipos de viés (por exemplo, listas) e outros componentes do pipeline de RLHF.