Resumo Técnico: Não Apenas Onde, Mas Quando: Agendamento Temporal para RLVR

Declaração do Problema

A Aprendizagem por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma dominante para o pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs), particularmente para tarefas de raciocínio. No entanto, as abordagens padrão de RLVR, como a Otimização de Política Relativa por Grupo (GRPO), tipicamente transmitem uma única recompensa escalar por toda a sequência gerada. Isso resulta em um sinal de otimização uniforme onde todos os tokens amostrados participam igualmente das atualizações da política, negligenciando os comportamentos de política heterogêneos exibidos ao longo de uma trajetória (por exemplo, andaime de raciocínio, conexões lógicas, reflexão e convergência da resposta).

Soluções existentes tentam abordar isso introduzindo mecanismos de alocação de crédito para determinar onde os sinais de aprendizado devem ser distribuídos. Estes incluem:

• Modelos de Recompensa de Processo (PRMs): Fornecendo feedback em nível de etapa (alto custo de anotação).
• Proxies em Nível de Token: Usando métricas como entropia de token, verossimilhança ou divergência KL para reponderar vantagens ou selecionar subconjuntos esparsos de tokens para otimização.

A Limitação Central: Embora esses métodos identifiquem tokens específicos para priorizar, os critérios de alocação permanecem estagnados durante todo o processo de treinamento. Uma vez que um proxy (por exemplo, alta entropia) é selecionado, o comportamento de política correspondente é continuamente enfatizado. Os autores argumentam que essa abordagem estática limita a evolução resiliente da política e pode levar ao sacrifício da entropia da política ao tentar acomodar comportamentos diversos simultaneamente. O artigo postula que a dimensão temporal—especificamente quando os sinais de aprendizado são agendados—tem sido pouco explorada e é tão crítica quanto onde são alocados.

Metodologia

O artigo propõe o Agendamento Temporal, um framework que ajusta dinamicamente os critérios de alocação de crédito ao longo do treinamento em vez de fixá-los.

1. Percentis de Trajetória como uma Perspectiva Natural

Em vez de depender exclusivamente de proxies de política complexos, os autores introduzem a Pontuação de Percentil de Trajetória (TP-Score) para distinguir comportamentos de política com base na posição do token.

• Análise: A análise empírica revela distribuições distintas de tokens e perfis de entropia através das posições da trajetória.
  • Percentis Iniciais: Associados ao andaime de raciocínio e padrões restritos; exibem menor entropia.
  • Percentis Intermediários: Associados à reflexão e raciocínio crítico; exibem a maior entropia e comportamento exploratório.
  • Percentis Posteriores: Associados à realização da resposta e sumarização; exibem entropia intermediária.
• Insight: Os percentis de trajetória fornecem uma âncora natural e simples para distinguir comportamentos heterogêneos sem exigir cálculos complexos de proxy.

2. O Mecanismo de Agendamento Temporal

A inovação central é agendar o fator de alocação de crédito, $\hat{f}_t(\tau)$, como uma função do progresso do treinamento $\tau$.
$$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$$
Onde:

• $\hat{f}_t$ é o fator de alocação de crédito original derivado de métodos existentes (por exemplo, reponderação baseada em entropia ou seleção esparsa).
• $S(\tau)$ é uma função de agendamento monotonicamente decrescente variando de 1 a 0.
• Estratégia: A otimização começa priorizando os tokens mais direcionados (por exemplo, aqueles identificados pelo proxy específico ou posições posteriores da trajetória) para reforçar comportamentos específicos. À medida que o treinamento progride, os critérios gradualmente atenuam, expandindo o escopo de otimização para incluir tokens mais gerais.

3. Integração com Paradigmas Existentes

O método é projetado como uma substituição "plug-and-play" para estratégias existentes de alocação de crédito:

• Reponderação Contínua de Vantagem: O peso $\psi(\mu_t)$ é escalado por $S(\tau)$.
• Otimização Esparsa Discreta: O limiar de seleção $\epsilon$ é dinamicamente relaxado: $\mu_t \geq S(\tau) \cdot \epsilon$. Isso inclui gradualmente mais tokens no conjunto de otimização ao longo do tempo.

4. Agendamento de Percentil de Trajetória (TP-Schedule)

Os autores propõem uma instanciação específica usando percentis de trajetória diretamente:

• Inicialização: Focar exclusivamente em tokens posteriores (percentis altos) responsáveis pela continuação confiável.
• Progressão: Incorporar gradualmente tokens anteriores (percentis mais baixos) responsáveis pelo andaime de raciocínio.
• Fórmula: $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$, onde $t/T$ é a posição normalizada. Isso cria uma mudança estruturada onde a otimização se propaga do final da sequência de volta para o início.

Contribuições Principais

1. Identificação da Dimensão Temporal: O artigo argumenta que o timing da alocação de crédito é uma dimensão de otimização crítica e pouco explorada. Desafia o paradigma de alocação estagnada, propondo que agendar critérios ao longo das etapas de treinamento leva a uma evolução de política mais resiliente.
2. Framework de Agendamento Temporal: Um método geral para complementar técnicas existentes de alocação de crédito (tanto reponderação contínua quanto otimização esparsa) priorizando tokens direcionados no início e atenuando gradualmente em direção à otimização geral.
3. Percentis de Trajetória como um Proxy Eficaz: Os autores identificam que percentis simples de trajetória servem como um critério natural e eficaz para distinguir comportamentos de política, trabalhando sinergicamente com o agendamento temporal para evitar o colapso de entropia observado em métodos padrão.
4. Validação Empírica: Demonstrou melhorias consistentes em múltiplas escalas de modelo (Qwen3-4B, Qwen3-8B), algoritmos de RL (GRPO, GSPO) e benchmarks (raciocínio matemático e geral).

Resultados Experimentais

Os autores avaliaram seu método nos modelos Qwen3-4B e Qwen3-8B usando conjuntos de dados do OpenMathReasoning e DeepMath-103K. Os benchmarks incluíram tarefas matemáticas in-distribution (AIME, HMMT, Minerva) e tarefas de raciocínio out-of-distribution (Winogrande, GPQA, MuSR).

• Ganhos de Desempenho:
  • O TP-Schedule (usando percentis de trajetória) superou o GRPO vanilla em 2,2% nos benchmarks matemáticos e 2,7% nos benchmarks de raciocínio geral para o modelo de 4B.
  • Aplicar o agendamento temporal a métodos estagnados existentes (por exemplo, Entropy-Adv, Forking-Tok) produziu melhorias consistentes, com agendamento discreto (expansão de subconjuntos de tokens) mostrando potencial particularmente forte.
  • Melhorias foram observadas em diferentes tamanhos de modelo e algoritmos de RL (incluindo GSPO).
• Dinâmicas de Treinamento:
  • Preservação de Entropia: A otimização padrão frequentemente sacrifica a entropia da política para acomodar comportamentos heterogêneos. O agendamento temporal preservou uma entropia de política significativamente maior (mais de 33,9% maior em algumas comparações) durante todo o treinamento, levando a dinâmicas mais saudáveis.
  • Alinhamento Estruturado: A análise de divergência KL mostrou que o agendamento temporal induz uma mudança progressiva nas atualizações da política, começando a partir de percentis posteriores da trajetória e propagando-se gradualmente para os anteriores, em vez de atualizar uniformemente.

Significado e Alegações

O artigo alega que o agendamento temporal constitui uma dimensão de otimização promissora para RLVR. Seu significado reside em:

• Mudança de Paradigma: Mover de um foco estático "onde" (seleção de token) para um foco dinâmico "quando" (agendamento).
• Mitigação do Colapso de Entropia: Ao evitar a acomodação simultânea de todos os comportamentos heterogêneos, o método previne o colapso rápido da entropia da política frequentemente observado no RLVR padrão.
• Simplicidade e Compatibilidade: A abordagem depende de percentis simples de trajetória e é compatível com estratégias existentes de alocação de crédito, não exigindo novos modelos de recompensa complexos ou custos de anotação.

Os autores concluem que, embora o framework seja atualmente aplicado a critérios específicos de alocação, trabalhos futuros envolvem orquestrar critérios diversos de alocação de crédito dentro deste framework temporal. Os resultados sugerem que o timing dos sinais de aprendizado é tão crucial quanto sua distribuição espacial através dos tokens.