Resumo Técnico: F-GRPO: Não Deixe Sua Política Aprender o Óbvio e Esquecer o Raro

Declaração do Problema

A Aprendizagem por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma padrão para o pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs) em tarefas de raciocínio. No entanto, um corpo crescente de evidências sugere que a RLVR frequentemente afina a distribuição de saída em direção a soluções já acessíveis ao modelo base, potencialmente degradando o desempenho em métricas como pass@k (onde k é grande) ao reduzir a diversidade de soluções.

A maioria dos sistemas modernos de RLVR, como a Otimização Relativa de Política por Grupos (GRPO), depende de amostragem por grupos (geração de $N$ respostas por prompt) para estimar vantagens. Embora grupos pequenos ($N=2$) sejam computacionalmente eficientes e grupos grandes forneçam cobertura ampla, restrições práticas frequentemente limitam $N$ a tamanhos intermediários (por exemplo, $N=8$). O artigo identifica uma lacuna crítica na compreensão de como esses tamanhos de grupo finitos afetam a dinâmica de otimização. Especificamente, ele postula que tamanhos de grupo intermediários podem criar um regime de "falha na cauda" (tail-miss), onde as atualizações estão ativas (recompensas mistas), mas falham em amostrar trajetórias corretas raras, levando a uma concentração de massa de probabilidade em soluções comuns amostradas, enquanto suprimem comportamentos corretos não amostrados.

Metodologia

Análise Teórica

Os autores derivam a probabilidade de um evento de falha na cauda ($B_{E,N}(x)$), definido como uma atualização ativa (onde o grupo contém tanto rollouts corretos quanto incorretos) que falha em amostrar um subconjunto correto específico de baixa massa $E_x$.

• Comportamento Não Monotônico: A probabilidade desse evento é não monotônica em relação ao tamanho do grupo $N$. Pequenos $N$ frequentemente resultam em atualizações inativas (todos corretos ou todos incorretos), preservando a diversidade através da inatividade. Grandes $N$ garantem a cobertura de modos raros. No entanto, $N$ intermediário maximiza a probabilidade de atualizações ativas que perdem regiões corretas raras.
• Mecanismo de Redistribuição: Usando um framework de política categórica, os autores analisam como a massa de probabilidade é redistribuída. Eles mostram que, mesmo quando a massa correta total ($Q_{pos}$) aumenta, a massa correta não amostrada ($Q_{u,pos}$) pode diminuir. Isso ocorre porque lotes com recompensa positiva empurram os logits não amostrados para baixo através da subtração da linha de base e normalização softmax, efetivamente "esquecendo" soluções corretas que não foram amostradas no grupo atual.

Solução Proposta: F-GRPO

Para mitigar isso sem aumentar o custo computacional (tamanho do rollout), os autores propõem F-GRPO (Otimização Relativa de Política por Grupos Focal).

• Ponderação Focal: Inspirado na Focal Loss, o método introduz um coeficiente de escalonamento sensível à dificuldade $g(x)$ aplicado à vantagem relativa ao grupo.
• Mecanismo: O peso é definido como $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$, onde $\hat{\mu}_{pos}(x)$ é a taxa de sucesso empírica do grupo amostrado (número de rollouts corretos $X$ dividido por $N$).
• Efeito: Isso reduz o peso das atualizações de grupos com altas taxas de sucesso empírico (onde o modelo já "aprendeu o óbvio" para aquele prompt) e preserva o sinal de grupos com sucesso misto onde comportamentos corretos raros podem ainda estar sub-representados. É uma modificação leve que escala o sinal de vantagem uniformemente para todos os rollouts em um prompt, sem exigir redes adicionais ou alterar os valores de recompensa.

Principais Contribuições

1. Derivação da Probabilidade de Falha na Cauda: O artigo caracteriza explicitamente a probabilidade de atualizações ativas perderem subconjuntos corretos raros, demonstrando sua dependência não monotônica do tamanho do grupo. Isso ajuda a reconciliar achados anteriores conflitantes sobre tamanhos de grupo ótimos.
2. Análise da Massa Correta Não Amostrada: Os autores mostram teoricamente e empiricamente que a massa correta total pode crescer enquanto a massa correta não amostrada diminui, explicando o mecanismo por trás do afunilamento da distribuição em configurações de grupos finitos.
3. Validação de Solução Única: Usando um ambiente Labirinto onde cada prompt tem exatamente uma trajetória correta, o artigo demonstra que a degradação do pass@K pode ocorrer mesmo sem múltiplas soluções corretas por prompt, isolando o efeito para a cobertura da sequência-alvo em vez da diversidade intra-prompt.
4. Algoritmo F-GRPO: Um esquema simples de reponderação plug-in aplicável a GRPO, DAPO e CISPO que melhora o pass@256 enquanto mantém ou melhora o pass@1, sem aumentar os custos de rollout.

Resultados Experimentais

Os autores avaliaram o F-GRPO em Qwen2.5-7B, Qwen3-4B-Base e Llama-3.2-3B-Instruct em vários benchmarks (MATH500, AIME, AMC, GPQA, IFEval, SynLogic).

• Simulação Categórica: Confirmou que tamanhos de grupo intermediários levam à menor massa positiva retida ($M_{ret}$), enquanto a ponderação focal ($\gamma=1$) melhora significativamente a retenção de massa nessa "zona de concentração".
• Experimentos em Labirinto: Em um cenário de solução única, o F-GRPO reduziu a queda inicial no tempo de treinamento do pass@K e melhorou o pass@1 e pass@256 finais em todos os tamanhos de grupo testados ($N \in \{4, \dots, 128\}$).
• Benchmarks de LLM (N=8):
  • Desempenho em Matemática: No Qwen2.5-7B, o F-GRPO melhorou o pass@256 médio em matemática de 64,1 (GRPO) para 70,3, e de 69,3 (DAPO) para 72,5.
  • Desempenho OOD: O pass@256 fora de domínio (OOD) também melhorou consistentemente em todos os métodos (por exemplo, GRPO: 55,9 $\to$ 63,3; DAPO: 58,4 $\to$ 63,6).
  • Eficiência: O F-GRPO em $N=8$ alcançou desempenho comparável ao GRPO padrão em $N=32$ no pass@256, efetivamente recuperando os benefícios de grupos maiores com 4$\times$ menos computação.
  • Generalização: O método transferiu-se efetivamente entre diferentes otimizadores (GRPO, DAPO, CISPO) e escalas de modelo.
• Ablação: Os ganhos não foram replicados por simples redução da taxa de aprendizado ou regularização padrão (entropia/KL), sugerindo que a melhoria decorre especificamente do mecanismo de reponderação baseado no sucesso.

Significado e Alegações

O artigo afirma fornecer uma resolução teórica e prática ao problema de "afunilamento" na RLVR relativa a grupos. Ao identificar que tamanhos de grupo intermediários maximizam o risco de perder trajetórias corretas raras, os autores argumentam que simplesmente aumentar $N$ nem sempre é viável devido a restrições computacionais.

O F-GRPO oferece uma estratégia de mitigação de baixo custo que:

1. Recupera o desempenho pass@256 tipicamente perdido ao usar tamanhos de grupo intermediários.
2. Preserva ou melhora o pass@1 (precisão de amostra única).
3. Funciona em diferentes variantes de RLVR e arquiteturas de modelo.
4. Não requer aumentar o orçamento de rollout ou adicionar redes auxiliares.

Os autores posicionam o F-GRPO como um ajuste necessário ao pipeline padrão de RLVR, garantindo que as atualizações da política não reforcem inadvertidamente apenas as soluções "óbvias" expostas em uma amostra finita, enquanto esquecem os comportamentos corretos "raros" necessários para um raciocínio robusto.