Resumo Técnico: Remodelação de Suporte Induzida por Verificador em Otimização On-Policy

1. Declaração do Problema

O artigo aborda uma limitação crítica no Aprendizado por Reforço On-Policy Contínuo com Recompensas Verificáveis (RLVR). Enquanto a literatura existente frequentemente foca em se um modelo retém o desempenho em tarefas anteriores (esquecimento catastrófico) após se adaptar a um novo objetivo, este trabalho identifica um problema prospectivo: a Remodelação de Suporte Induzida por Verificador.

A questão central é que otimizar uma política para um verificador específico (ex: correção matemática) pode alterar a distribuição de amostragem da política de tal forma que trajetórias bem-sucedidas para objetivos futuros (ex: seguimento de instruções) tornem-se raras demais para serem amostradas dentro de um orçamento fixo de rollout. Mesmo que a capacidade subjacente não seja "esquecida", a política pode não gerar mais os comportamentos "bem-sucedidos" com a frequência necessária para fornecer um sinal de treinamento positivo para estágios subsequentes. Os autores definem suporte recompensável efetivo como o conjunto de trajetórias bem-sucedidas que permanecem prováveis o suficiente para serem amostradas sob um determinado orçamento.

2. Metodologia

O estudo emprega um design experimental controlado e bidirecional usando duas famílias de modelos (Qwen3-8B-Base e Qwen2.5-Math-7B) e dois objetivos de pós-treinamento distintos:

1. Raciocínio Matemático (Math-RLVR): Treinado no conjunto de dados MATH com um verificador checando a correção da resposta final.
2. Seguimento de Instruções Restrito (IF-RLVR): Treinado no IFTrain/IFBench com verificadores checando restrições explícitas (formato, comprimento, conteúdo).

Design Experimental

• Treinamento Bidirecional: Os autores treinam um ramo com Math-RLVR e medem seu impacto no suporte de IF, e vice-versa.
• Treinamento Sequencial: Eles testam a ordem das operações (Math $\to$ IF e IF $\to$ Math) para observar como o primeiro estágio restringe o segundo.
• Métricas de Avaliação:
  • Pass@1 (mean@k): Taxa média de sucesso.
  • Best@k: Se qualquer trajetória bem-sucedida existe dentro de $k$ amostras (medindo a pesquisabilidade).
  • Análise de Balde de Prompts (Prompt Bucket Analysis): Categorizando prompts em "todos-errados", "mistos" e "todos-corretos" com base em $k=32$ rollouts.
  • Benchmarks Conjuntos: Usando MathIF e ReasonIF para testar se uma única resposta satisfaz tanto a correção quanto as restrições.

Análise de Mecanismo

• Distribuição ao Nível de Token: Analisando a divergência de Jensen-Shannon (JS) para localizar onde ocorrem as mudanças na política.
• Intervenções Causais: Forçando aberturas de resposta específicas (ex: "Answer" vs. "Alright") durante a decodificação para testar se a escolha do primeiro token afeta causalmente a pesquisabilidade subsequente.
• Estratégias de Mitigação: Testando Restrições de Política de Referência (divergência KL), Priors de Roteamento (SFT em tipos específicos de abertura) e Destilação On-Policy (OPD).

3. Principais Resultados

3.1 Remodelação de Suporte Assimétrica

• Math-RLVR $\to$ IF: O Math-RLVR aumenta o sucesso médio de seguimento de instrução (pass@1), mas reduz significativamente o best@32. Os prompts mudam de "mistos" (alguns sucessos, algumas falhas) para "todos-corretos" ou "todos-errados". Essa polarização reduz o número de prompts onde a amostragem pode recuperar um sucesso, efetivamente encolhendo o suporte efetivo para o treinamento futuro de IF.
• IF-RLVR $\to$ Math: O IF-RLVR reduz a pesquisabilidade matemática (best@k cai em todos os orçamentos testados de $k=4$ a $k=32$). Crucialmente, ele altera o estilo de resposta de Iniciação de Raciocínio Deliberado (DRI) (passo a passo) para Iniciação de Resposta Direta (DAI) (resposta direta). Essa mudança correlaciona-se fortemente com a perda de pesquisabilidade matemática.

3.2 Consequências do Treinamento Sequencial

• IF-Primeiro: Treinar em IF primeiro deixa o subsequente Math-RLVR quase sem prompts "mistos" (apenas todos-errados ou todos-corretos). Sem prompts mistos, as atualções relativas ao grupo carecem de variação de recompensa, impedindo o modelo de recuperar estratégias de raciocínio baseadas em DRI.
• Math-Primeiro: Treinar em Math primeiro permite que o IF-RLVR melhore os escores de IF, mas isso ocorre ao custo de um declínio acentuado no desempenho matemático previamente ganho. Restrições de política de referência (KL) podem reter o desempenho matemático, mas falham em igualar os ganhos de IF da linha de base sem restrições.

3.3 Mecanismo: O Papel Causal das Aberturas

• Localização: As maiores mudanças distributivas ocorrem no primeiro token gerado. A razão da divergência JS no primeiro token versus tokens internos varia de $9.8\times$ a $106.7\times$.
• Reranking vs. Apagamento: O RLVR principalmente reclassifica (rerank) candidatos já presentes no top-3 da política base, em vez de introduzir tokens inteiramente novos. No entanto, pode promover tokens de baixa probabilidade (ex: "Answer") ao domínio.
• Causalidade: Intervenções controladas confirmam que forçar uma abertura DRI (ex: "Alright") em um modelo IF-RLVR recupera a pesquisabilidade matemática, enquanto forçar uma abertura DAI a suprime. Isso prova que a escolha da abertura dita causalmente a pesquisabilidade do caminho de raciocínio.

3.4 Limites da Mitigação

• Priors de Roteamento: Um prior de SFT enviesado para DRI atrasa a mudança para DAI, mas não a impede; até o passo 100, o domínio de DAI é alcançado independentemente do prior.
• Destilação On-Policy (OPD): Os resultados da OPD são altamente sensíveis ao estado do professor. Um professor IF convergido não preserva o suporte matemático, e nenhum estado de professor simultaneamente otimiza a transferência de IF e a retenção de matemática.

3.5 Capacidade Conjunta

Nos benchmarks MathIF e ReasonIF, ganhos marginais em um domínio (ex: Math-RLVR melhorando a correção) não se traduzem proporcionalmente em sucesso conjunto (correção + seguimento de restrição). O suporte conjunto ($J = C \land F$) aumenta apenas ligeiramente, indicando que melhorias nos pontos finais de um objetivo não garantem treinabilidade ou capacidade conjunta.

4. Contribuições

1. Framework de Remodelação de Suporte: O artigo enquadra o RLVR contínuo em termos de treinabilidade futura, definindo "suporte recompensável efetivo" e demonstrando que verificadores remodelam esse suporte, potencialmente tornando objetivos futuros inalcançáveis.
2. Papel Causal das Aberturas: Localiza as mudanças entre tarefas nos primeiros tokens e estabelece um elo causal entre aberturas de resposta (DRI vs. DAI) e a pesquisabilidade subsequente, sugerindo que o problema é a seleção de rota, e não o apagamento amplo de habilidade.
3. Limites da Preservação: Demonstra empiricamente que técnicas de mitigação padrão (treinamento sequencial, restrições KL, priors de roteamento, OPD) apenas preservam parcialmente o suporte ou trocam ganhos da tarefa alvo, e que melhorias em métricas isoladas não garantem capacidade conjunta.

5. Significância e Alegações

O artigo alega que melhorias nos pontos finais não garantem treinabilidade futura ou capacidade conjunta sob otimização on-policy. Diferente do esquecimento catastrófico, que mede o desempenho retido, a remodelação de suporte mede se trajetórias bem-sucedidas para tarefas futuras permanecem descobertas.

Os autores argumentam que a escolha do verificador no RLVR altera fundamentalmente o "espaço de iniciação" do modelo. Se um verificador empurra o modelo para uma abertura específica (ex: respostas diretas), ele pode inadvertidamente fechar o espaço de busca necessário para outras tarefas (ex: raciocínio passo a passo). Consequentemente, o artigo sugere que as futuras estratégias de otimização on-policy devem estimar e preservar explicitamente o suporte recompensável efetivo através de otimizações de múltiplos verificadores, em vez de confiar apenas em pontuações da tarefa atual ou métricas padrão de esquecimento.