Resumo Técnico: GRPO Aumentado por Transformação (TA-GRPO)

Declaração do Problema

A Otimização de Política Relativa por Grupo (GRPO) emergiu como o método dominante para Aprendizado por Reforço com Recompensas Verificáveis (RLVR) em Modelos de Linguagem de Grande Escala (LLMs), particularmente para tarefas de raciocínio complexo. No entanto, o artigo identifica duas limitações estruturais críticas na GRPO padrão que impedem uma exploração eficaz:

1. Desvanecimento do Gradiente: Quando uma questão de treinamento é percebida como muito fácil (todas as respostas amostradas estão corretas) ou muito difícil (todas estão incorretas), o grupo de $G$ respostas recebe recompensas idênticas. Consequentemente, o desvio padrão das recompensas é zero, levando a vantagens nulas e a nenhum sinal de gradiente para atualizações do modelo. Embora a Amostragem Dinâmica (DAPO) tente mitigar isso descartando tais questões, isso resulta em desperdício significativo de dados.
2. Colapso da Diversidade: O modelo tende a convergir para um único padrão de raciocínio em todas as $G$ respostas amostradas. A regularização de entropia clássica falha em prevenir isso devido ao vasto espaço de ações dos LLMs. Uma vez que a política se concentra em um conjunto estreito de trajetórias de raciocínio, a distribuição de amostragem herda essa concentração, e a função objetivo carece de um mecanismo para recompensar o alargamento do suporte, fazendo com que o espaço de soluções explorável contraia-se monotonicamente.

Avanços existentes na GRPO frequentemente abordam essas questões de forma fragmentada ou dependem do descarte de dados, em vez de resolver conjuntamente as causas raízes dentro do framework de otimização.

Metodologia: GRPO Aumentado por Transformação (TA-GRPO)

Os autores propõem o TA-GRPO, um método de otimização de política que aborda tanto o desvanecimento do gradiente quanto o colapso da diversidade por meio de reformulação de questões. A ideia central é que perturbações linguísticas (mudanças na redação, formato ou ordem das informações) podem alterar a dificuldade percebida por um modelo e induzir estratégias de solução distintas, preservando a semântica subjacente do problema.

O pipeline do TA-GRPO modifica o processo padrão da GRPO da seguinte forma:

1. Transformação da Questão: Para cada questão original de treinamento $q_0$, o sistema gera automaticamente $N$ reformulações equivalentes ao problema $\{q_n\}_{n=1}^N$ (denominadas "vizinhas") usando o GPT-4-Turbo. Essas reformulações preservam o significado subjacente, mas alteram a forma superficial.
2. Grupo de Respostas Expandido: Em vez de amostrar $G$ respostas apenas para $q_0$, o modelo amostra $G$ respostas para a questão original e $G$ respostas para cada uma das $N$ vizinhas. Isso cria um grupo expandido de $(N+1) \times G$ respostas.
3. Cálculo Conjunto de Vantagens: As vantagens são computadas via normalização relativa ao grupo sobre o conjunto expandido completo de $(N+1) \times G$ respostas, em vez de normalizar separadamente para cada reformulação.
   • Mitigação do Desvanecimento do Gradiente: Mesmo que a questão original produza recompensas uniformes, as vizinhas reformuladas frequentemente produzem recompensas mistas (algumas corretas, algumas incorretas) devido à mudança na dificuldade percebida. A normalização conjunta garante que o desvio padrão seja não nulo, preservando o sinal de gradiente.
   • Mitigação do Colapso da Diversidade: As reformulações diversas elicam padrões de raciocínio distintos dentro do mesmo grupo, impedindo que a política colapse em um único modo.
4. Razões de Importância Ancoradas: Para garantir que o modelo aprenda a resolver a questão original, todas as razões de importância são condicionadas à questão original $q_0$, independentemente de qual reformulação ($q_n$) gerou a resposta específica. Isso trata as reformulações como uma distribuição de amostragem substituta para $q_0$, justificada pela suposição de que reformulações equivalentes ao problema produzem trajetórias de raciocínio semelhantes.

A função objetivo maximiza a perda substituta truncada sobre este grupo expandido, com vantagens derivadas da normalização conjunta e razões de importância ancoradas ao prompt original.

Principais Contribuições

O artigo delineia quatro contribuições primárias:

• Identificação de Questões Ignoradas: Destaca que o desvanecimento do gradiente e o colapso da diversidade são amplamente negligenciados pelos avanços existentes na GRPO, que frequentemente os abordam separadamente ou por meio de filtragem de dados.
• Algoritmo TA-GRPO: Uma extensão simples que aborda simultaneamente ambas as questões agrupando respostas de uma questão e seus vizinhos reformulados, computando vantagens conjuntas e ancorando atualizações à questão original.
• Eficácia Empírica: Experimentos extensivos demonstram melhorias consistentes no pass@k em quatro LLMs (Qwen3-1.7B/4B, Llama-3.2-1B/3B) tanto em benchmarks de nível de competição (AMC, OlympiadBench, AIME24/25) quanto em benchmarks fora da distribuição (Minerva, GPQA-Diamond).
• Eficiência de Dados: O TA-GRPO alcança desempenho comparável a baselines treinados com até 2,5× mais dados sem exigir a coleta de dados de treinamento adicionais de alta qualidade, oferecendo uma alternativa econômica à escalabilidade de dados.

Resultados Experimentais

Os autores avaliaram o TA-GRPO usando o conjunto de dados MATH (7.498 questões) como conjunto de treinamento.

• Diagnóstico do Sinal de Treinamento: A análise dos checkpoints de treinamento mostrou que, enquanto a GRPO padrão sofre cada vez mais de desvanecimento do gradiente (até 93,2% das questões produzindo recompensas uniformes) e colapso da diversidade (distâncias de embedding concentradas) à medida que o treinamento avança, o TA-GRPO mantém uma margem estável de recompensas mistas e caminhos de raciocínio diversos ao longo de todo o treinamento.
• Ganhos de Desempenho:
  • Em benchmarks de nível de competição, o TA-GRPO melhorou o pass@32 médio em 5,09 e 5,01 pontos para Qwen3-1.7B e Qwen3-4B, respectivamente, e em 3,50 e 5,25 pontos para Llama-3.2-1B e Llama-3.2-3B.
  • Melhorias notáveis de pico incluíram +9,98 no AIME24 (Qwen3-4B) e +8,58 no GPQA-Diamond (Qwen3-1.7B).
• Experimentos de Controle:
  • Amostragem Equivalente: Quando comparado a baselines que simplesmente aumentaram o número total de respostas amostradas para igualar o orçamento do TA-GRPO (sem reformulação), o TA-GRPO ainda manteve uma margem clara (por exemplo, +6,86 no AIME24 para Qwen3-4B). Isso confirma que os ganhos derivam da diversidade do espaço amostrado e da normalização conjunta, e não meramente do tamanho da amostra.
  • Escalabilidade de Dados: O TA-GRPO treinado com 1x de dados igualou o desempenho de baselines GRPO treinados com 2,5x de dados, demonstrando eficiência significativa de dados.

Significado e Alegações

O artigo posiciona o TA-GRPO como um método que desloca o paradigma do pós-treinamento por RL. Enquanto trabalhos anteriores focaram em otimizar a função de perda ou os eixos de recompensa, o TA-GRPO introduz a distribuição de entrada como uma terceira alavanca para aprimorar a exploração. Ao aproveitar reformulações equivalentes ao problema, o método permite que os modelos aprendam de um conjunto mais rico de tentativas de solução sem descartar dados ou depender de regularização de entropia. Os autores afirmam que essa abordagem fornece um caminho robusto e eficiente em termos de dados para melhorar as capacidades de raciocínio em LLMs, particularmente em cenários onde a coleta de dados é custosa ou onde a GRPO padrão falha em fornecer sinais de gradiente suficientes.