A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment

Resumo Técnico: Uma Família Unificada Pair-GRPO

Declaração do Problema
O Aprendizado por Reforço a partir de Preferências Humanas (RLHF) é o padrão para alinhar Modelos de Linguagem de Grande Escala (LLMs) com valores humanos, no entanto, os paradigmas principais de aprendizado de preferência por pares sofrem de quatro limitações críticas: atualizações instáveis da política, direções de gradiente ambíguas, baixa interpretabilidade e alta variância do gradiente. Especificamente, métodos existentes como a Otimização de Política Relativa por Grupo (GRPO) dependem de recompensas escalares contínuas normalizadas por grupo. Essa abordagem introduz informações redundantes (as magnitudes absolutas das recompensas são frequentemente arbitrárias), permite deslocamentos globais de probabilidade irrestritos que diluem os sinais de alinhamento e resulta em gradientes estocásticos ruidosos que carecem de determinismo direcional.

Metodologia: A Família Pair-GRPO
O artigo propõe um arcabouço teórico unificado centrado na família Pair-GRPO, que preenche a lacuna entre a otimização ponderada por recompensa implícita e restrições de preferência explícitas. A família consiste em duas variantes intimamente acopladas:

1. Soft-Pair-GRPO (Restrições Implícitas):

   • Mecanismo: Uma modificação mínima da GRPO padrão que substitui recompensas contínuas normalizadas por grupo por recompensas binárias de preferência por pares ($+1$ para a resposta preferida $a_p$, $-1$ para a resposta rejeitada $a_r$).
   • Estrutura: Mantém a função objetivo substituta truncada e a estrutura regularizada por KL da GRPO.
   • Insight Teórico: Os autores provam um Teorema de Equivalência de Gradiente. Sob uma expansão de Taylor de primeira ordem em torno da política atual, o gradiente do Soft-Pair-GRPO é mostrado como um múltiplo escalar positivo do gradiente padrão da GRPO. Isso explica por que descartar as magnitudes contínuas das recompensas não compromete a estabilidade; o sinal de otimização permanece direcionalmente idêntico ao da GRPO, mas com ruído reduzido.

2. Hard-Pair-GRPO (Restrições Explícitas):

   • Mecanismo: Uma variante avançada que introduz restrições locais de probabilidade explícitas. Em vez de depender exclusivamente do sinal de recompensa, ela constrói uma distribuição alvo $\pi_{tar}$ que transfere massa de probabilidade estritamente entre as respostas preferida e rejeitada ($a_p$ e $a_r$), congelando todas as outras respostas.
   • Otimização: Formulada como um problema de ajuste KL com restrições ($\min D_{KL}(\pi_\theta \parallel \pi_{tar})$) sujeito a uma restrição de região de confiança ($D_{KL}(\pi_\theta \parallel \pi_{old}) \le \beta$).
   • Dinâmica: Emprega um tamanho de passo de decaimento dinâmico ($\delta_t$) para garantir convergência estável sem oscilação.

Principais Contribuições

1. Teorema de Equivalência de Gradiente: O artigo estabelece que o gradiente do Soft-Pair-GRPO é direcionalmente equivalente ao da GRPO padrão sob aproximação de primeira ordem, fornecendo uma base teórica para o uso de recompensas binárias sem perder os benefícios do arcabouço GRPO.
2. Formulação de Restrição Explícita: O Hard-Pair-GRPO introduz uma abordagem inovadora de ajuste KL com restrições que isola os sinais de otimização para o par de preferência crítico, eliminando o desvio global da política.
3. Garantias Teóricas Abrangentes: Os autores fornecem provas rigorosas para:
   • Melhoria Monotônica da Política: Garantia de não diminuição no retorno esperado sob restrições de região de confiança.
   • Direcionalidade Determinística do Gradiente: O gradiente consistentemente empurra a probabilidade da resposta preferida para cima e a da resposta rejeitada para baixo, com sinal zero para respostas irrelevantes no Hard-Pair-GRPO.
   • Redução da Variância do Gradiente: Uma hierarquia estrita é provada onde $V_{Hard-Pair-GRPO} < V_{Soft-Pair-GRPO} < V_{GRPO}$, demonstrando que restrições explícitas e comparações por pares reduzem significativamente o ruído estocástico.
   • Convergência com Tamanho de Passo Dinâmico: Prova de que o tamanho de passo de decaimento garante convergência estável para um ótimo local.

Resultados Experimentais
Extensos experimentos foram conduzidos em benchmarks de alinhamento de LLMs (HH-RLHF, UltraFeedback) e na tarefa geral de controle contínuo HalfCheetah-v4 (MuJoCo).

• Desempenho de Alinhamento: O Hard-Pair-GRPO superou consistentemente as linhas de base mais avançadas (GRPO Padrão, DPO, ORPO) em métricas automáticas de alinhamento (Utilidade, Inofensividade) e em pontuações de avaliação humana (Coerência, Relevância, Geral).
• Estabilidade de Treinamento: A família Pair-GRPO demonstrou variância de gradiente e desvio padrão de divergência KL estritamente decrescentes em comparação com as linhas de base. O Hard-Pair-GRPO alcançou a menor variância (variância da norma do gradiente de 0,031 versus 0,087 para a GRPO Padrão).
• Generalização: A hierarquia de desempenho ($PPO < GRPO < Soft\text{-}Pair\text{-}GRPO < Hard\text{-}Pair\text{-}GRPO$) manteve-se verdadeira no ambiente HalfCheetah-v4, confirmando a aplicabilidade do arcabouço além dos LLMs para aprendizado por reforço geral.
• Estudos de Ablação: Validou que o decaimento dinâmico do tamanho de passo, a regularização de região de confiança e as restrições locais explícitas são todos componentes críticos para alcançar alto desempenho e estabilidade.

Significado e Alegações
O artigo alega estabelecer uma fundação teórica unificada para a otimização de RL baseada em preferências. Ao provar que a magnitude absoluta das recompensas escalares é redundante para o aprendizado de preferências, o trabalho desafia o paradigma padrão de modelagem de recompensas. Sugere que o mecanismo central do RLHF pode ser simplificado para ordenação relativa por pares, aprimorado por restrições distribucionais explícitas. Os autores postulam que a família Pair-GRPO oferece um espectro de compensações de design: o Soft-Pair-GRPO serve como uma linha de base estável com modificação mínima, enquanto o Hard-Pair-GRPO entrega estabilidade e desempenho superiores através de controle explícito, unificando efetivamente restrições de preferência implícitas e explícitas dentro de um único arcabouço teoricamente fundamentado.