Resumo Técnico: VeriGate (Verificação de Supervisão por Etapas para GRPO)

1. Definição do Problema

O Otimização de Política Relativa ao Grupo (GRPO) emergiu como um método eficaz para treinar Modelos de Raciocínio Grandes (LRMs) usando recompensas de verificador baseadas em resultados. No entanto, os autores identificam duas limitações críticas no GRPO padrão que prejudicam o desempenho em tarefas de raciocínio complexas:

1. Colapso de Gradiente Zero (Degeneração de Recompensa): O GRPO depende de vantagens relativas ao grupo. Quando todas as trajetórias amostradas para um determinado prompt recebem a mesma recompensa do verificador (por exemplo, todas incorretas, recebendo uma recompensa de 0), a vantagem relativa ao grupo colapsa para zero. Nesses lotes "degenerados", o sinal de aprendizado impulsionado pela recompensa desaparece, deixando apenas o termo de regularização KL. Isso faz com que o aprendizado estagne precisamente nos prompts difíceis onde o modelo mais precisa de orientação.
2. Falta de Atribuição de Crédito por Etapa: Recompensas baseadas apenas no resultado atribuem um único escalar a toda a trajetória de raciocínio. Consequentemente, cada token em uma solução correta recebe a mesma vantagem positiva, e cada token em uma solução incorreta recebe a mesma vantagem negativa. Isso impede que o modelo distinga entre etapas de raciocínio genuinamente úteis e etapas incidentais ou espúrias, limitando a exploração e a capacidade de aprender processos de raciocínio robustos.

Embora os Modelos de Recompensa de Processo (PRMs) ofereçam supervisão mais densa, ao nível da etapa, a integração ingênua deles no GRPO introduz novos riscos:

• Exploração de Recompensa (Reward Hacking): PRMs são modelos aprendidos com vieses inerentes. Otimizar diretamente as pontuações agregadas dos PRMs (tratando-as como recompensas de resultado) pode levar a política a explorar padrões que o PRM favorece sem melhorar a correção real.
• Agregação Frágil: Colapsar as pontuações das etapas em um único escalar de trajetória (por exemplo, via produto ou mínimo) pode distorcer a recompensa efetiva se uma única etapa for mal pontuada, descartando a atribuição de crédito detalhada.
• Perda de Autoridade do Verificador: Substituir sinais de verificadores confiáveis por sinais de PRM imperfeitos pode degradar o desempenho em tarefas onde o verificador é confiável.

2. Metodologia: VeriGate

Os autores propõem o VeriGate (Verificação de Supervisão por Etapas para GRPO), um método que integra a supervisão de processo no GRPO apenas quando o sinal do verificador não é informativo. A abordagem é construída sobre três escolhas de design principais:

S1: Supervisão Controlada pelo Verificador (Verifier-Gated Supervision)

O VeriGate implementa um mecanismo de alternância dinâmica baseado na informatividade das recompensas do verificador dentro de um grupo amostrado:

• Verificador Informativo: Se as trajetórias amostradas para um prompt gerarem recompensas de verificador mistas (algumas corretas, outras incorretas), o VeriGate opera exatamente como o GRPO padrão, dependendo exclusivamente do sinal do verificador.
• Verificador Degenerado: Se todas as trajetórias amostradas receberem a mesma recompensa do verificador (especificamente, todas zero), a vantagem do GRPO padrão colapsa. Neste caso específico, o VeriGate ativa a supervisão de nível de token baseada em PRM como um mecanismo de contingência.
• Racional: Isso preserva a confiabilidade do verificador sempre que ele consegue distinguir a correção, restringindo o uso do PRM imperfeito apenas àqueles prompts difíceis onde o verificador não fornece sinal de aprendizado.

S2: Recompensas de Tokens Futuros Acumulados (Future-Cumulated Token Rewards - FCTR)

Em vez de agregar as pontuações de etapa do PRM em um único escalar de nível de trajetória (o que causa uma atribuição de crédito frágil), o VeriGate converte as pontuações de etapa em recompensas futuras acumuladas.

• Para uma trajetória com etapas $j=1 \dots S$, a recompensa para a etapa $j$ é definida como a soma das pontuações do PRM da etapa $j$ até o final da trajetória: $c_{i,j} = \sum_{k=j}^{S} r_{i,k}$.
• Este design atribui crédito a um token não apenas pela qualidade da etapa imediata, mas pela qualidade da continuação que ela permite. Isso suaviza o ruído local do PRM e garante que os tokens iniciais sejam recompensados por permitir um raciocínio correto subsequente.

S3: Vantagens de Nível de Token Normalizadas pelo Grupo

Para integrar essas recompensas densas na estrutura do GRPO sem reintroduzir a exploração absoluta de recompensa (reward hacking), o VeriGate transforma as recompensas futuras acumuladas em vantagens de nível de token normalizadas pelo grupo.

• A vantagem para um token na etapa $j$ da trajetória $i$ é calculada como: $A_{i,j} = \frac{c_{i,j} - \bar{c}}{\sigma(c)}$, onde $\bar{c}$ é a média e $\sigma(c)$ é o desvio padrão de todas as recompensas futuras acumuladas no grupo amostrado.
• Propriedade de Robustez: Os autores provam (Proposição 3.1) que essas vantagens são invariantes a transformações afins positivas por prompt das recompensas do PRM ($c' = a \cdot c + b$). Isso significa que, se uma política aprender a deslocar ou redimensionar uniformemente as pontuações do PRM (uma forma comum de exploração de recompensa), as vantagens normalizadas permanecerão inalteradas, impedindo a política de explorar tais artefatos.

3. Principais Contribuições

1. Supervisão de Processo Controlada pelo Verificador: Uma extensão simples ao GRPO que preserva as atualizações padrão do verificador quando informativas e recorre à supervisão de nível de token baseada em PRM apenas para grupos de verificação com todos os valores zero.
2. Atribuição de Crédito Consciente da Continuação: Um mecanismo inovador usando recompensas futuras acumuladas e vantagens normalizadas pelo grupo para fornecer sinais de aprendizado densos em nível de etapa sem colapsar as pontuações das etapas em um único escalar.
3. Redução da Suscetibilidade à Exploração de Recompensa (Reward Hacking): Evidência teórica e empírica mostrando que a formulação de vantagem normalizada do VeriGate é invariante às transformações afins das recompensas do PRM, limitando a otimização excessiva de sinais de PRM imperfeitos em comparação com métodos que otimizam pontuações agregadas de PRM.
4. Ganhos Empíricos: Demonstrou melhorias na precisão do raciocínio, redução de falhas de gradiente zero e melhoria na qualidade do raciocínio em múltiplos benchmarks.

4. Resultados Experimentais

Os autores avaliaram o VeriGate usando modelos Qwen2.5-Instruct (1.5B e 7B parâmetros) treinados nos conjuntos de dados MATH e GSM8K, com avaliação em seis benchmarks de raciocínio (GSM8K, MATH-500, AMC, AIME-24, MinervaMath, OlympiadBench).

• Melhorias de Precisão: O VeriGate melhorou a precisão média em aproximadamente 20% para o modelo 1.5B e 12% para o modelo 7B em comparação com o GRPO de apenas resultado e com as bases de PRM-como-resultado (PRM-as-outcome).
• Mitigação de Gradiente Zero: O método reduziu substancialmente a fração de prompts que recebiam recompensas de verificação zero após o treinamento, indicando melhor exploração e saída de regimes de aprendizado degenerados.
• Resistência à Exploração de Recompensa (Reward Hacking):
  • Quantitativo: Ao contrário do PRM-as-ORM, onde as pontuações do PRM subiam enquanto as pontuações do verificador permaneciam estáveis (indicando hacking), o VeriGate mostrou um crescimento alinhado tanto nas recompensas do verificador quanto do PRM.
  • Qualitativo: A análise de respostas "hackeadas" (alta pontuação de PRM, baixa pontuação de verificador) mostrou que os modelos PRM-as-ORM frequentemente produziam raciocínios verbosos, estruturalmente plausíveis, mas logicamente falhos. O VeriGate produziu trajetórias de raciocínio coerentes que levaram a respostas corretas.
  • Verificação por Cross-PRM: Quando avaliado com um PRM externo (Math-Shepherd) diferente do PRM de treinamento, o Veri_Gate manteve o alto desempenho, enquanto o desempenho do PRM-as-ORM caiu significativamente, sugerindo que o VeriGate aprende raciocínio genuíno em vez de sofrer overfitting às idiossincrasias específicas do PRM.
• Ablações: Remover o controle do verificador ou o mecanismo de acumulação futura resultou em quedas significativas de desempenho, validando ambas as escolhas de design.

5. Significância e Alegações

O artigo afirma que o VeriGate oferece uma "modificação simples de substituição" (drop-in modification) para o GRPO que aborda suas fraquezas fundamentais em problemas de raciocínio difíceis sem sacrificar a confiabilidade das recompensas baseadas em verificadores.

• Confiabilidade: Ao controlar o uso do PRM, o método garante que o verificador confiável direcione o aprendizado sempre que possível, usando os PRMs apenas como um mecanismo de recuperação para casos degenerados.
• Robustez: O uso de vantagens centralizadas e normalizadas derivadas de recompensas futuras acumuladas fornece uma defesa matematicamente fundamentada contra uma classe comum de exploração de recompensa de PRM (transformações afins).
• Qualidade do Raciocínio: Os resultados sugerem que o VeriGate melhora a qualidade do raciocínio (derivação passo a passo fiel) em vez de apenas otimizar para as preferências de um modelo de recompensa específico.

Os autores reconhecem limitações, observando que o método ainda depende da disponibilidade e qualidade dos PRMs e que uma segmentação de etapas ruim pelo modelo pode enfraquecer a atribuição de crédito. Eles também observam que os experimentos atuais estão focados em raciocínio matemático e que uma avaliação mais ampla é necessária para outros domínios, como geração de código ou uso de ferramentas. No entanto, o trabalho estabelece um framework para integrar a supervisão de processo densa em RLVR de uma forma que seja teoricamente robusta e empiricamente eficaz.