Resumo Técnico: O Outro Lado do RLHF (SAVE)

Declaração do Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) via Aprendizado por Reforço com Feedback Humano (RLHF) depende fortemente da qualidade do Modelo de Recompensa (RM). No entanto, a construção de RMs robustos enfrenta dois gargalos primários:

1. Custos de Aquisição de Dados: Obter dados de preferência diversos e de alta qualidade é caro, exigindo significativa anotação humana ou destilação de modelos julgadores mais fortes e, muitas vezes, inacessíveis.
2. Descompasso Distribucional: Os RMs padrão são treinados em dados de preferência estáticos e offline. À medida que o modelo de política evolui durante o treinamento de RL, sua distribuição de geração afasta-se do conjunto de treinamento estático. Isso leva à descalibragem nas regiões mais frequentemente visitadas pela política otimizada, induzindo o "ataque de recompensa" (reward hacking) e a sobre-otimização (Lei de Goodhart).

Remédios convencionais, como a coleta de novos rótulos humanos ou a consulta recorrente a juízes externos, apenas reproduzem os gargalos de custo originais ou perpetuam a dependência de supervisão externa. O artigo levanta uma questão crítica: Pode um modelo de recompensa melhorar a si mesmo usando as respostas on-policy geradas durante o treinamento de RL, sem rótulos humanos adicionais ou juízes externos?

Metodologia: Estrutura SAVE

Os autores propõem o SAVE (Melhoria de modelo de recompensa autossupervisionada via Feedback On-policy Ancorado em Valor), uma estrutura que trata as respostas on-policy como feedback autossupervisionado para refinar continuamente o RM.

Componentes Principais

1. Modelo de Recompensa Ancorado em Valor:
   O RM é aumentado com uma cabeça de valor ($V(x)$) específica para o prompt, juntamente com a cabeça de recompensa padrão ($R(x, y)$). A cabeça de valor estima a recompensa esperada das respostas para um prompt $x$ sob a política de amostragem atual. Isso é alcançado compartilhando o backbone do RM ($f_\omega$) e adicionando uma cabeça de valor leve ($v_\psi$).

   • Vantagem do RM: A vantagem de uma resposta específica $y$ é definida como $a_{RM}(x, y) = R(x, y) - V(x)$. Isso mede se uma resposta é melhor ou pior do que a expectativa média da política para aquele prompt.

2. Filtragem de Feedback Adaptativa:
   Para garantir que o sinal autossupervisionado seja confiável, o SAVE emprega um mecanismo de filtragem orientado por currículo:

   • Para cada prompt, um grupo de $G$ respostas on-policy é amostrado.
   • Respostas com vantagens de RM próximas de zero (amostras ambíguas) são filtradas usando um limiar dinâmico $\mu(t)$ que decai ao longo dos passos de treinamento.
   • Apenas prompts que geram subconjuntos tanto positivos ($a_{RM} \ge 0$) quanto negativos ($a_{RM} < 0$) de respostas são retidos para fornecer um sinal contrastivo.

3. Objetivos Autossupervisionados:
   A estrutura otimiza o RM usando dois objetivos distintos nos dados filtrados:

   • Perda de Recompensa Contrastiva ($L_R$): Um objetivo contrastivo ancorado em valor que empurra as respostas de vantagem positiva acima da âncora de valor e as respostas de vantagem negativa abaixo dela. Isso atualiza a cabeça de recompensa ($h_\phi$) e o backbone ($f_\omega$).
   • Perda de Calibração de Valor ($L_V$): Uma perda de Erro Quadrático Médio (MSE) que treina a cabeça de valor para prever a média empírica não enviesada da recompensa do grupo amostrado. Isso garante que a âncora permaneça uma base calibrada.

4. Formulação Minimax:
   Teoricamente, o SAVE é enquadrado como um problema minimax centrado no modelo de recompensa:
   $$\min_\eta \max_\theta M_t(\eta, \theta)$$
   Onde a política ($\theta$) atua como um gerador de dados adaptativo que naturalmente busca regiões onde o RM atual está descalibrado (expondo suas fraquezas), e o RM ($\eta$) minimiza seus erros de classificação e calibração nessas amostras desafiadoras.

Contribuições Principais

1. Estrutura SAVE: Um framework geral e autossupervisionado que melhora continuamente os modelos de recompensa usando o feedback on-policy da própria RL, eliminando a necessidade de anotação humana adicional ou juízes externos.
2. Justificativa Teórica: Os autores formalizam o processo como um problema minimax, demonstrando teoricamente que a otimização da política naturalmente produz dados informativos para a melhoria do RM ao expor erros epistêmicos no modelo de recompensa.
3. Validação Empírica: Experimentos extensos em seis benchmarks diversos e múltiplos algoritmos de RL (GRPO, RLOO, GSPO) e backbones de política.

Resultados Experimentais

O artigo avalia o SAVE em seis benchmarks de modelo de recompensa: RewardBench, RewardBench 2, RM-Bench, PPE Preference, PPE Correctness e JudgeBench.

• Desempenho do Modelo de Recompensa:

  • Partindo de um RM base (Skywork-Reward-V2-Llama-3.2-3B) com uma pontuação média de 76,0, o SAVE melhorou a média para 77,3 ao usar um backbone de política mais forte (Qwen3-4B).
  • O SAVE alcançou as melhores pontuações em todos os seis benchmarks, superando baselines incluindo treinamento offline contínuo, baselines de Recompensa Média e o método HL-BT (Highest-Lowest Bradley-Terry).
  • Estudos de ablação confirmaram que tanto o mecanismo de filtragem de currículo quanto as atualizações dinâmicas da política são críticos; congelar a política ou remover o currículo levou a quedas de desempenho.

• Desempenho da Política Downstream:

  • RMs melhorados traduziram-se em melhor desempenho da política downstream. No AlpacaEval 2, a taxa de vitória controlada pelo comprimento aumentou de 51,68% para 54,24%.
  • No Arena-Hard-v2.0, a taxa de vitória subiu de 30,2% para 33,9%.
  • O RM melhorado provou ser transferível, aumentando o desempenho de políticas treinadas com ele mesmo quando não foram co-treinadas.

Significância e Alegações

O artigo afirma que o SAVE oferece uma solução escalável para o "gargalo" do treinamento de modelos de recompensa. Ao aproveitar a própria evolução da política para gerar feedback on-policy informativo, o SAVE quebra a dependência de dados offline estáticos e juízes externos.

Os autores enfatizam que:

• A Auto-Melhoria é Viável: Modelos de recompensa podem efetivamente melhorar a si mesmos usando apenas os dados gerados durante o processo de RL.
• A Ancoragem em Valor é Crucial: Usar uma âncora de valor aprendida e específica para o prompt é superior ao ranking pareado ingênuo (como HL-BT), que pode sofrer overfitting a diferenças estruturais superficiais entre respostas semanticamente equivalentes.
• Robustez: O método é agnóstico ao otimizador, mostrando ganhos consistentes em diferentes algoritmos de RL sem crítico (GRPO, RLOO, GSPO).

O artigo conclui que o feedback on-policy serve como um sinal de supervisão eficaz para melhorar tanto os modelos de recompensa quanto as políticas downstream que eles guiam, mudando o paradigma de modelagem de recompensa isolada para uma evolução conjunta online.

Limitações

Os autores reconhecem modestamente algumas limitações:

• Escala do Modelo: Os experimentos foram conduzidos em modelos na faixa de 3B–4B; a dinâmica para modelos substancialmente maiores ainda precisa ser verificada.
• Métricas de Avaliação: Dependência de benchmarks automáticos e juízes baseados em LLM; estudos de preferência humana forneceriam evidências mais fortes, particularmente para tarefas subjetivas ou de segurança crítica.
• Custo Computacional: O SAVE introduz computação adicional devido à amostragem de múltiplas respostas por prompt e à atualização do RM durante o treinamento, embora o overhead de tempo seja relatado como moderado em comparação ao aumento de memória.