OR Else: A Differentiable Trust Region for Policy Optimization

Resumo Técnico: OR ELSE: UMA REGIÃO DE CONFIANÇA DIFERENCIÁVEL PARA OTIMIZAÇÃO DE POLÍTICA

Declaração do Problema
O Aprendizado por Reforço com Feedback Humano (RLHF) para Grandes Modelos de Linguagem (LLMs) baseia-se comumente na Otimização de Política Próxima (PPO) e em sua variante, Otimização de Política Relativa de Grupo (GRPO). Ambos os métodos utilizam um objetivo substituto com truncamento (clipped surrogate objective) para restringir as atualizações da política. Embora o mecanismo de truncamento crie uma região de gradiente zero unilateral para evitar o excesso de deriva da política na direção "favorável", a transição para essa região é geometricamente abrupta: a derivada da função objetivo em relação à razão de probabilidade muda descontinuamente no limite de truncamento. Os autores investigam se o Output Reset (OR), uma regra de saturação suave e unilateral originalmente projetada para o treinamento de classificadores, oferece uma alternativa superior para o pós-treinamento de LLMs. Especificamente, o artigo questiona se substituir o substituto truncado por uma perda baseada em OR diferenciável pode melhorar a estabilidade da otimização e as pontuações finais de recompensa sem introduzir novas patologias.

Metodologia
O artigo apresenta o PPO-OR e o GRPO-OR, duas variantes que substituem o termo de política truncado por uma perda de margem quadrática derivada de OR no espaço das razões de log de tokens.

• Mecanismo Central: Em vez de usar a razão de probabilidade $r_t(\theta)$, os métodos operam na razão de log-probabilidade por token $\rho_t = \log \pi_\theta(a_t|s_t) - \log \pi_{\theta_{old}}(a_t|s_t)$.
• A Perda OR: Para um token com uma vantagem estimada não nula $\hat{A}_t$, uma margem alvo $\sigma_t \alpha_{OR}$ é definida (onde $\sigma_t = \text{sign}(\hat{A}_t)$). A perda é uma margem quadrática unilateral: $\ell_{OR,t} = [\max(0, \alpha_{OR} - \sigma_t \rho_t)]^2$.
• Comportamento de Output Reset: Uma vez que $\rho_t$ cruza a margem na direção favorecida pelo sinal da vantagem, o alvo é "resetado" para o $\rho_t$ atual. Isso resulta em um resíduo zero e contribuição direta de gradiente zero para aquele token. A derivada aproxima-se de zero continuamente na fronteira, tornando a perda $C^1$ contínua (ao contrário do truncamento PPO, que é $C^0$ contínuo, mas não diferenciável).
• Estimativa de Vantagem:
  • PPO-OR: Mantém a Estimativa de Vantagem Generalizada (GAE) com um cabeçalho de valor aprendido.
  • GRPO-OR: Mantém vantagens relativas ao grupo (computadas a partir de $G=2$ respostas por prompt) sem um crítico.
• Configuração Experimental: O estudo utiliza o Llama-3.2-1B-Instruct no conjunto de dados Anthropic hh-rlhf. Todos os métodos compartilham um único modelo de recompensa congelado e são avaliados ao longo de três sementes (seeds). Os experimentos foram desenhados como comparações pareadas dentro da mesma família: PPO-clip vs. PPO-OR (sob GAE) e GRPO vs. GRPO-OR (sob vantagens relativas ao grupo). Comparações entre famílias são observadas como não controladas devido às diferenças na estimativa de vantagem, uso de crítico e comprimentos de resposta.

Contribuições Principais

1. Proposta Algorítmica: A introdução do PPO-OR e GRPO-OR, que substituem o substituto truncado por uma perda de margem quadrática, diferenciável e unilateral no espaço da razão de log.
2. Caracterização Teórica: Prova formal de que o objetivo OR é $C^1$ contínuo na fronteira de saturação e que a direção de atualização ao nível de amostra é determinada estritamente pelo sinal da vantagem, desaparecendo continuamente ao cruzar a margem.
3. Avaliação Empírica: Uma comparação rigorosa entre o truncamento e o OR dentro de duas famílias distintas de estimativa de vantagem, destacando que os benefícios do OR não são uniformes, mas dependem do pipeline de otimização circundante.
4. Insight Diagnóstico: A identificação de que substituir o truncamento por OR não resolve inerentemente o problema da grande deriva cumulativa da política observada em configurações de relação de grupo, distinguindo a saturação de gradiente local do controle global da política.

Resultados
O artigo reporta pontuações de modelo de recompensa durante o treinamento e diagnósticos de otimização através de três sementes:

• Família GAE (PPO-clip vs. PPO-OR):

  • Pontuação de Recompensa: O PPO-OR alcançou uma média de pontuação final superior (+0,500) em comparação ao PPO-clip (+0,195), uma diferença de +0,305.
  • Estabilidade: O PPO-OR exibiu um desvio padrão entre sementes maior (0,158) comparado ao PPO-clip (0,110).
  • Deriva (Drift): Ambos os métodos mantiveram um deslocamento de razão de log (rollout-to-current) semelhante e baixo (aprox. 0,3–0,5).

• Família de Relação de Grupo (GRPO vs. GRPO-OR):

  • Pontuação de Recompensa: O GRPO-OR não melhorou a pontuação média; foi ligeiramente inferior (+0,457) ao GRPO (+0,488).
  • Estabilidade: O GRPO-OR mostrou um desvio padrão significativamente menor (0,027) comparado ao GRPO (0,080).
  • Diagnósticos: O GRPO-OR alcançou um resíduo OR terminal próximo de zero e uma fração de excesso (overshoot) decrescente, enquanto o traço correspondente do GRPO permaneceu grande e altamente variável.
  • Deriva (Drift): Crucialmente, o GRPO-OR não reduziu o grande deslocamento (rollout-to-current) observado no GRPO. Ambos os métodos de relação de grupo exibiram um deslocamento substancialmente maior (aprox. 5–13) comparado aos métodos GAE.

Significância e Alegações
O artigo conclui de forma modesta, enfatizando que os efeitos observados do OR são dependentes de contexto:

• Não é uma Região de Confiança Universal: Os autores afirmam explicitamente que a saturação suave do objetivo OR não constitui uma região de confiança formal. Ela suprime a contribuição direta do gradiente de tokens individuais após cruzarem uma margem, mas não restringe a deriva cumulativa da política causada por parâmetros compartilhados, perdas auxiliares ou mudanças nos sinais de vantagem entre iterações.
• Dependência de Pipeline: A eficácia do OR está atrelada ao método de estimativa de vantagem. No cenário GAE, o OR correlacionou-se com pontuações de recompensa mais altas, mas aumentou a variância. No cenário de relação de grupo, o OR reduziu a variância e estabilizou o traço da perda, mas não melhorou a pontuação média de recompensa nem reduziu a deriva da política.
• Limitações: O estudo reconhece que os resultados são específicos para um modelo leve de 1B, um único modelo de recompensa congelado e um tamanho de grupo restrito ($G=2$). Os achados caracterizam este cenário experimental específico, em vez de estabelecer uma superioridade geral sobre o PPO ou GRPO. O artigo postula que a grande deriva de política nos métodos de relação de grupo permanece um problema não resolvido que o OR sozinho não consegue corrigir, sugerindo que trabalhos futuros devem abordar o deslocamento cumulativo através de uma regularização de referência mais forte ou penalidades de deslocamento explícitas.

Em resumo, o artigo demonstra que o Output Reset oferece uma alternativa diferenciável ao truncamento que altera o comportamento de otimização e pode melhorar as pontuações de recompensa em contextos específicos, mas não resolve inerentemente os desafios de estabilidade de política ou deriva em RLHF de relação de grupo.