Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

Resumo Técnico: FiMi-RM (Bias Fitting to Mitigate Length Bias of Reward Model in RLHF)

Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) é o framework padrão para alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas. No entanto, este processo é suscetível ao reward hacking (exploração de recompensa), onde a política explora falhas no modelo de recompensa treinado para maximizar pontuações sem aderir genuinamente à intenção humana. Uma forma prevalente deste hacking é o viés de comprimento (length bias), onde os modelos de recompensa favorecem sistematicamente respostas longas, independentemente de sua qualidade real. Isso leva a gerações excessivamente verbosas em modelos downstream.

As estratégias de mitigação existentes sofrem de limitações significativas:

1. Falta de Caracterização: Algumas abordagens (ex: RRM) tentam equilibrar distribuições de dados ou usar frameworks causais sem modelar explicitamente a forma do viés.
2. Suposições Lineares: Muitos métodos (ex: Penalidade de Comprimento, ODIN, Huang et al.) assumem uma relação linear entre o comprimento da resposta e a recompensa. Eles ou subtraem um coeficiente fixo baseado no comprimento ou usam regressão linear para desacoplar o comprimento da qualidade.
3. Inadequação: Estas suposições lineares falham em capturar a natureza intrincada e não linear de como o comprimento interage com as pontuações de recompensa, particularmente os padrões complexos observados em diferentes regimes de comprimento.

Metodologia: FiMi-RM

Os autores propõem o FiMi-RM (Bias Fitting to Mitigate Length Bias of Reward Model), um framework projetado para aprender e corrigir autonomamente padrões de viés não lineares subjacentes. A abordagem opera em três estágios distintos:

1. Estágio de Warm-Up (Aquecimento):

   • Um modelo de recompensa padrão ($model_r$) é treinado usando a perda de Bradley-Terry em dados de preferência.
   • Crucialmente, este estágio preserva o viés de comprimento inerente do modelo de recompensa em vez de tentar corrigi-lo imediatamente. Isso garante que o modelo possua uma tendência forte e sistemática de atribuir pontuações mais altas a respostas longas, fornecendo um alvo claro para o subsequente estágio de ajuste (fitting).

2. Estágio de Ajuste de Viés de Comprimento (Length Bias Fitting):

   • Um modelo de ajuste ($model_f$) leve é introduzido para caracterizar explicitamente a relação entre o comprimento da resposta ($len(y)$) e a saída de recompensa enviesada ($r$).
   • Arquitetura: O escalar de comprimento é projetado em um espaço de características de $d$ dimensões (usando Codificação de Comprimento inspirada em Positional Encoding), processado através de uma arquitetência ResNet, e passado por um cabeçalho de projeção linear para prever a recompensa ($\hat{r}$).
   • Objetivo: O modelo de ajuste é treinado para minimizar a discrepância entre sua previsão ($\hat{r}$) e a saída real do modelo de recompensa ($r$). A otimização utiliza uma perda de correlação de Pearson ($L_{pearson}$) para maximizar a correlação entre as recompensas previstas e reais.
   • Insight Chave: O uso da perda de Pearson alinha os padrões de correlação sem impor uma restrição de linearidade ao próprio modelo de ajuste. O $model_f$ baseado em ResNet é livre para aprender dependências complexas e não lineares.

3. Estágio de Desenviesamento de Comprimento (Length Debiasing):

   • O modelo de recompensa original é ajustado (fine-tuned) para desacoplar suas saídas do comprimento da resposta, preservando sua capacidade de modelar preferências humanas.
   • Mecanismo de Treinamento: O framework emprega uma estratégia de treinamento alternado entre o modelo de recompensa e o modelo de ajuste.
   • Função de Perda: O modelo de recompensa é otimizado usando uma perda composta:
     $$L_{debiased} = L'_{pearson} + L_{BT}$$
     • $L'_{pearson}$: Força a saída do modelo de recompensa a ser não correlacionada com a previsão do modelo de ajuste (efetivamente removendo o viés aprendido).
     • $L_{BT}$: A perda padrão de Bradley-Terry, garantindo que o modelo retenha sua capacidade discriminativa para preferências humanas.
   • A função indicadora $I(step)$ alterna os passos de treinamento entre o ajuste do viés e o desenviesamento do modelo de recompensa.

Principais Contribuições

1. Modelagem de Viés Não Linear: O artigo introduz um framework de múltiplos estágios que aprende autonomamente a relação não linear entre o comprimento da resposta e a recompensa "hackeada", indo além das suposições lineares simplistas de trabalhos anteriores.
2. Validação Empírica de Não Linearidade: Através do processo de ajuste, os autores identificam um padrão de viés de múltiplos estágios:
   • Respostas curtas (<100 tokens): Exibem uma forte correlação linear onde a recompensa aumenta com o comprimento.
   • Respostas mais longas: A relação se estabiliza e, em alguns casos, mostra uma leve tendência de queda, indicando que o efeito positivo do comprimento na recompensa diminui ou se inverte para saídas estendidas.
3. Avaliação Abrangente: O método é validado através de análise de distribuição de comprimento-recompensa, taxas de vitória controladas por comprimento e distribuições de comprimento de resposta em múltiplos algoritmos de alinhamento (DPO e Best-of-N).

Resultados Experimentais

Os autores avaliaram o FiMi-RM usando os modelos Qwen2.5-7B e Gemma2-9B no dataset Anthropic HH, comparando-o com Vanilla Reward Models, Length Penalty e ODIN.

• Precisão de Preferência: O FiMi-RM alcançou uma precisão mais equilibrada entre subconjuntos onde a resposta escolhida era mais longa (C-longer) versus mais curta (R-longer). Embora a precisão geral no subconjunto C-longer tenha diminuído ligeiramente, os autores argumentam que isso indica a remoção bem-sucedida do "atalho de comprimento" em vez de uma perda de compreensão semântica.
• Distribuição Comprimento-Recompensa: Gráficos de dispersão revelaram que o FiMi-RM produz uma distribuição de recompensa mais simétrica e plana através de bins de comprimento em comparação aos baselines, confirmando o desenviesamento eficaz.
• Desempenho Downstream (BoN & DPO):
  • Taxas de Vitória: O FiMi-RM alcançou a maior Taxa de Vitória Controlada por Comprimento (LC-WR) e Taxa de Vitória (WR) padrão tanto no cenário Best-of-N (BoN) quanto no Direct Preference Optimization (DPO).
  • Verbocidade: O método reduziu significativamente o comprimento médio de tokens das respostas geradas em comparação ao Vanilla RM e ao Length Penalty, mantendo ou melhorando o desempenho em benchmarks como MT-Bench e IFEval.
  • Viés de Seleção: Na seleção BoN, o FiMi-RM demonstrou uma preferência mais forte por saídas concisas em comparação ao ODIN, que tendia a deslocar as preferências para respostas de comprimento médio em vez de curtas.

Significância e Alegações

O artigo afirma que o FiMi-RM oferece uma abordagem mais precisa e eficaz para mitigar o viés de comprimento ao modelar explicitamente a natureza não linear do problema. Ao desacoplar o comprimento da recompensa sem comprometer as capacidades centrais de modelagem de preferência, o método permite que os pipelines de RLHF gerem respostas que são simultaneamente de alta qualidade e apropriadamente concisas.

Os autores observam que, embora seu método reduza efetivamente as correlações espúrias, a questão de se as preferências humanas são inteiramente independentes do comprimento permanece aberta. Eles reconhecem que, em certos contextos (ex: tarefas que exigem explicações detalhadas), uma correlação positiva entre comprimento e qualidade pode ser genuína. No entanto, seu framework distingue com sucesso entre o viés explorável e a preferência genuína, levando a um alinhamento de modelo mais seguro e eficaz.