Mitigating Reward Hacking in RLHF via Advantage Sign Robustness

Resumo Técnico: Mitigando o Reward Hacking no RLHF via Robustez do Sinal de Vantagem

1. O Problema: Reward Hacking no RLHF

O Reinforcement Learning from Human Feedback (RLHF) é o paradigma padrão para alinhar Grandes Modelos de Linguagem (LLMs) com a intenção humana. No entanto, o processo depende de um Modelo de Recompensa (RM) treinado como um proxy para as preferências humanas reais.

• O Fenômeno: Ocorre o reward hacking (ou overoptimization) quando a política (o modelo de linguagem) explora imprecisões locais no landscape de recompensa do RM.
• A Consequência: À medida que a otimização avança, a recompensa proxy (do RM) continua a subir, mas a qualidade real da resposta (avaliada por um "RM de ouro" ou humanos) estagna ou degrada.
• Causa Raiz Identificada: Os autores argumentam que o reward hacking é frequentemente causado por sinais de vantagem invertidos. Em vez de reduzir a probabilidade de uma resposta ruim, o sinal invertido faz com que a atualização da política aumente essa probabilidade. A confiabilidade da previsão do sinal de vantagem varia para cada conclusão (completion), e penalidades de robustez ingênuas falham em capturar essa variabilidade.

2. Metodologia: SignCert-PO

Os autores propõem o Sign-Certified Policy Optimization (SignCert-PO), um método post-hoc (após o treinamento do RM) que opera exclusivamente na fase de otimização da política.

Conceitos Fundamentais:

• Raio de Preservação de Sinal Certificado ($\Delta_j$): Inspirado no Randomized Smoothing (Cohen et al., 2019), os autores definem formalmente o menor tamanho de perturbação nos parâmetros do RM necessário para inverter o sinal de vantagem de uma conclusão específica.
  • Um $\Delta_j$ grande indica que o sinal de vantagem é robusto (confiável).
  • Um $\Delta_j$ pequeno indica que o sinal é frágil e pode ser facilmente invertido por pequenas mudanças no RM (não confiável).
• Perturbação no Cabeçote Linear: Para evitar o custo computacional proibitivo de calcular gradientes de todos os parâmetros do RM (o que causaria falta de memória), o método assume uma arquitetura onde o RM consiste em um backbone de extração de características e um cabeçote linear ($w^T h + b$). A incerteza é modelada apenas como perturbações no vetor de pesos $w$ do cabeçote.
• Fórmula do Raio: Sob essa suposição, o raio certificado tem uma forma fechada computável:
  $$\Delta_j = \frac{|A_j(w)|}{\|h_\psi(x, y^{(j)}) - \bar{h}\|_2}$$
  Onde $A_j$ é a vantagem e $\bar{h}$ é a média das características do grupo.

Algoritmo de Otimização:
O SignCert-PO repondera o gradiente de política padrão (baseado em Dr.GRPO) utilizando um fator de peso conservador $\rho^*_j$:

1. Para cada conclusão, calcula-se o pior caso de vantagem dentro de um conjunto de incerteza definido por um raio $\epsilon$.
2. O gradiente é atualizado como: $\tilde{A}_j = \rho^*_j \cdot A_j$, onde $\rho^*_j = 1 - \frac{\epsilon}{\Delta_j}$.
3. Mecanismo de Supressão: Conclusões com $\Delta_j$ pequeno (sinais frágeis) recebem um peso $\rho^*_j$ próximo de zero ou negativo, efetivamente suprimindo sua contribuição para a atualização da política. Conclusões robustas mantêm seu peso original.
4. Implementação Prática: O parâmetro $\epsilon$ é definido adaptativamente como um quantil da distribuição de $\|h - \bar{h}\|_2 / |A_j|$ no batch atual, permitindo controlar o nível de conservadorismo.

3. Contribuições Chave

• Abordagem Leve e Post-hoc: Diferente de métodos anteriores que exigem múltiplos RMs (ensembles) ou acesso aos dados de treinamento do RM para calibrar incertezas, o SignCert-PO funciona apenas com os parâmetros atuais do RM e as conclusões on-policy.
• Discriminação por Amostra: Ao contrário de abordagens globais que aplicam uma penalidade uniforme (o que pode ser excessivamente pessimista), o SignCert-PO discrimina entre conclusões confiáveis e não confiáveis, suprimindo seletivamente apenas as direções de gradiente frágeis.
• Certificação Teórica: Fornece um raio certificado que quantifica a sensibilidade do sinal de vantagem, conectando a robustez adversarial à otimização de política.
• Eficiência Computacional: Adiciona sobrecarga negligenciável ao tempo de treinamento, pois utiliza características já extraídas durante a pontuação de recompensa.

4. Resultados Experimentais

Os autores avaliaram o método em duas tarefas principais: TL;DR Summarization e AlpacaFarm, utilizando modelos Pythia e Qwen2.5.

• Desempenho (Win Rate): O SignCert-PO alcançou consistentemente a maior taxa de vitória (win rate) contra o RM de ouro na maioria das configurações, superando baselines como Dr.GRPO, UWO (Uncertainty Weighted Optimization), BSPO e AdvPO.
• Mitigação de Reward Hacking:
  • Enquanto o Dr.GRPO via a recompensa proxy subir e a recompensa real cair (colapso), o SignCert-PO manteve a recompensa real alta e estável.
  • O método manteve a precisão do RM proxy em níveis mais altos (cerca de 60%) mesmo com alta divergência KL, evitando que a política se movesse para regiões onde o RM é impreciso.
• Dados Limitados: O método mostrou ganhos significativos quando os dados de preferência para treinar o RM proxy eram limitados (ex: 1 época), cenário onde o reward hacking é mais provável.
• Custo: O tempo de treinamento por passo foi comparável ao do Dr.GRPO padrão, sem a necessidade de carregar múltiplos modelos (como no UWO).

5. Significado e Conclusão

O SignCert-PO representa um avanço significativo na estabilidade do RLHF. Ao focar na robustez do sinal de vantagem em vez de apenas na magnitude da recompensa, o método oferece uma solução prática e eficiente para o problema de reward hacking.

• Implicação Prática: Permite o uso de modelos de recompensa menores ou treinados com menos dados sem sacrificar a qualidade final do modelo alinhado, pois o algoritmo identifica e ignora as "armadilhas" do modelo de recompensa.
• Futuro: O trabalho abre caminho para métodos de otimização de política que incorporam certificações de robustez diretamente no gradiente, sem a necessidade de reestruturar todo o pipeline de treinamento de RMs.

Em resumo, o artigo demonstra que tratar a incerteza do RM como uma perturbação paramétrica e reponderar o gradiente com base na sensibilidade do sinal de vantagem é uma estratégia superior para alinhar LLMs de forma segura e eficiente.