Resumo Técnico: f-GRPO e Além: Algoritmos de Aprendizado por Reforço Baseados em Divergência para Alinhamento Geral de LLMs

1. Declaração do Problema

O alinhamento de Modelos de Linguagem de Grande Escala (LLMs) tipicamente ocorre em dois regimes distintos:

1. Aprendizado por Reforço com Recompensas Verificáveis (RLVR): O feedback é fornecido via recompensas escalares $r(x, y)$ (por exemplo, correção em matemática ou código). Aqui, respostas alinhadas e não alinhadas não são explicitamente observadas como pares; em vez disso, devem ser inferidas a partir do sinal de recompensa. Abordagens padrão, como a Otimização de Política Relativa em Grupo (GRPO), utilizam amostragem on-policy e vantagens padronizadas.
2. Alinhamento por Preferência: O feedback é fornecido via preferências humanas (respostas escolhidas versus rejeitadas). Métodos como Otimização de Preferência Direta (DPO) ou Otimizadores de f-divergência (FDO) tratam isso como a separação de uma distribuição alinhada $D_+$ de uma distribuição não alinhada $D_-$.

Trabalhos recentes (Haldar et al., 2025) estabeleceram que o alinhamento por preferência pode ser interpretado como a estimação de divergências estatísticas entre $D_+$ e $D_-$. No entanto, essa perspectiva baseada em divergência tem sido limitada a dados de preferência. No RLVR, onde distribuições explícitas de $D_+$ e $D_-$ estão indisponíveis, permanece uma questão em aberto se a estimação de divergência pode fornecer uma base teórica unificada. Além disso, o alinhamento de segurança on-policy frequentemente sofre de "exploração de recompensa" (reward hacking) ao usar modelos de recompensa aprendidos, pois a política pode explorar fraquezas do modelo em vez de aprender restrições de segurança verdadeiras.

2. Metodologia

Os autores propõem estender o framework baseado em divergência para o alinhamento geral de LLMs, induzindo distribuições alinhadas e não alinhadas diretamente a partir de recompensas escalares.

2.1 Indução de Distribuições a partir de Recompensas

No RLVR, para um prompt dado $x$, os autores definem distribuições alinhadas à recompensa ($D_{(r,\theta)}^+$) e não alinhadas à recompensa ($D_{(r,\theta)}^-$) com base na política atual $\pi_\theta$:

• $D_{(r,\theta)}^+$: Atribui massa a respostas com recompensas acima da recompensa média $\mu_\theta^r(x)$.
• $D_{(r,\theta)}^-$: Atribui massa a respostas com recompensas abaixo da média.

Isso permite a formulação de um problema de estimação de divergência on-policy, onde o objetivo é separar respostas de alta recompensa de respostas de baixa recompensa sem pares de preferência explícitos.

2.2 f-GRPO (Otimização de Política Relativa em Grupo f)

Os autores derivam o f-GRPO, uma classe de objetivos on-policy baseados em representações variacionais de f-divergências.

• Mecanismo: Em vez de reponderar amostras exclusivamente por vantagens padronizadas (como no GRPO), o f-GRPO estima a divergência entre as distribuições induzidas de alinhamento e não alinhamento à recompensa.
• Amostragem por Importância: O objetivo utiliza um grupo de $G$ respostas amostradas. Ele constrói pesos de importância usando um softmax sobre as recompensas (corrigido pela verossimilhança da política de amostragem) e truncar a atualização para incluir apenas respostas acima da média para o termo alinhado e respostas abaixo da média para o termo não alinhado.
• Função de Perda: A perda combina a recompensa implícita da política $r_\theta$ com esses pesos induzidos pela recompensa, otimizando efetivamente uma f-divergência variacional entre as duas distribuições induzidas.

2.3 f-HAL (Perda de Alinhamento Híbrido f)

Para abordar as limitações de métodos puramente on-policy no alinhamento de segurança (onde as recompensas são aprendidas e imperfeitas), os autores introduzem o f-HAL.

• Objetivo Híbrido: O f-HAL interpola entre a otimização de recompensa on-policy (f-GRPO) e a supervisão de preferência off-policy (FDO).
• Fórmula: $L_{f-HAL} = \lambda L_{FDO} + (1-\lambda) L_{f-GRPO}$.
• Função: Utiliza recompensas on-policy para exploração, enquanto ancora a política com dados de preferência off-policy para prevenir a exploração de recompensa. Teoricamente, isso estima uma divergência entre misturas de distribuições induzidas por recompensa e distribuições induzidas por preferência.

3. Contribuições Teóricas Principais

O artigo fornece garantias teóricas rigorosas para os objetivos propostos:

• Estimação de Divergência: Os autores provam que o f-GRPO e o f-HAL não são meramente heurísticas, mas estimam consistentemente f-divergências entre distribuições alinhadas e não alinhadas bem definidas (Teorema 4.3).
• Consistência de Alinhamento: As atualizações de política de ponto fixo são mostradas como consistentes com o alinhamento. Especificamente, respostas com maior densidade na distribuição alinhada em relação à distribuição não alinhada são reponderadas para cima.
• Melhoria de Recompensa: Sob funções de ligação canônicas (onde $g^{-1}(f'_\infty) = \infty$), os autores provam melhoria monotônica esperada de recompensa. Diferentemente do GRPO padrão, que pode atribuir probabilidade não nula a respostas abaixo da média, o f-GRPO com ligações canônicas concentra a massa de probabilidade estritamente em respostas acima da média no limite, garantindo convergência para a política de recompensa máxima.
• Comparação com GRPO: O artigo caracteriza o ponto fixo do GRPO não truncado, mostrando que ele repondera a política de referência pelo exponencial das recompensas padronizadas. No entanto, o f-GRPO oferece uma separação "mais nítida", atribuindo massa zero a respostas abaixo da média sob condições específicas, levando a garantias teóricas de melhoria mais fortes.

4. Resultados Experimentais

Os autores avaliaram o f-GRPO e o f-HAL em duas tarefas principais:

4.1 Raciocínio Matemático (Tarefa RLVR)

• Configuração: Ajuste fino de modelos Qwen2.5-Math (1,5B e 7B) nos conjuntos de dados GSM8K, LIMR e OpenRS usando recompensas verificáveis.
• Descobertas: O f-GRPO superou consistentemente o GRPO padrão em várias escolhas de f-divergência (por exemplo, Pearson, KL, Hellinger).
  • No desafiador conjunto de dados LIMR, variantes do f-GRPO alcançaram pontuações Pass@1 mais altas e classificações agregadas melhores em comparação com o GRPO.
  • Os maiores ganhos foram observados em conjuntos de dados mais difíceis (LIMR, OpenRS), validando a vantagem teórica de uma separação de distribuição mais nítida.

4.2 Alinhamento de Segurança (Tarefa de Preferência com Recompensas Aprendidas)

• Configuração: Alinhamento de modelos em um conjunto de dados de conformidade-recusa usando um modelo de recompensa aprendido (DeBERTa-v3-large) para métodos on-policy, comparando contra alinhadores diretos off-policy (DPO, KTO, BCO).
• Descobertas:
  • Exploração de Recompensa: Métodos puramente on-policy (GRPO) performaram mal, exibindo comportamento de "recusa generalizada" (recusando prompts seguros) devido à exploração do modelo de recompensa aprendido.
  • Mitigação Híbrida: O f-HAL híbrido (com $\lambda=0,5$) mitigou com sucesso a exploração de recompensa. Ao combinar exploração on-policy com supervisão de preferência off-policy, manteve a consciência contextual (respondendo corretamente a prompts seguros) enquanto recusava os prejudiciais.
  • Desempenho: O f-HAL híbrido frequentemente superou o alinhamento direto puro em modelos maiores (7B), sugerindo que a exploração on-policy é benéfica quando a capacidade do modelo é suficiente. Em modelos menores (1,5B), os alinhadores diretos permaneceram ligeiramente mais fortes, mas o f-HAL ainda superou significativamente o RL on-policy puro.

5. Significado e Alegações

O artigo alega fornecer uma base unificada e prática para algoritmos de alinhamento de LLMs:

• Unificação: Estende a visão baseada em divergência do alinhamento de dados de preferência para o RLVR, mostrando que ambos os regimes podem ser entendidos como a estimação de divergências entre distribuições alinhadas e não alinhadas.
• Rigor Teórico: Estabelece que esses objetivos oferecem garantias de melhoria de recompensa mais fortes do que métodos on-policy padrão como o GRPO, ao modelar explicitamente a separação de distribuições.
• Utilidade Prática: A abordagem híbrida (f-HAL) oferece uma solução robusta para alinhamento de segurança quando recompensas verificáveis estão indisponíveis, equilibrando efetivamente a exploração (via recompensas) e a estabilidade (via preferências) para prevenir a exploração de recompensa.

Os autores observam modestamente que, embora a teoria suporte melhoria monotônica para todas as f-divergências canônicas, diferentes divergências podem induzir dinâmicas de amostragem finita diferentes. Os experimentos são limitados a modelos de até 7B parâmetros para validar a viabilidade do framework, com código de código aberto fornecido para reprodutibilidade.