Resumo Técnico: DenoiseRL

Declaração do Problema

O aprendizado por reforço (RL) tornou-se um paradigma dominante para aprimorar o raciocínio em modelos de linguagem de grande escala (LLMs). No entanto, as abordagens atuais de última geração enfrentam um gargalo estrutural: elas frequentemente dependem de supervisão a partir de modelos professores mais fortes ou de conjuntos de dados altamente curados e difíceis para impulsionar a melhoria. Essa dependência cria um problema de escalabilidade; quando professores prontos suficientemente capazes não estão disponíveis, ganhos adicionais de capacidade tornam-se difíceis. Além disso, os métodos padrão de RL on-policy frequentemente sofrem de um gargalo de exploração, onde a política satura ao gerar principalmente trajetórias corretas ou modos de falha estreitamente confinados, deixando "falhas informativas" muito escassas para atualizações de gradiente significativas. Tentativas existentes de abordar isso, como a Generalização de Fraco para Forte (W2SG), são limitadas pelo ruído e pela capacidade do professor fraco, enquanto as abordagens de síntese de dados exigem engenharia complexa e manual.

Metodologia: DenoiseRL

O artigo propõe o DenoiseRL, um framework de aprendizado por reforço que reformula a melhoria do raciocínio como um problema de remoção de ruído e recuperação. Em vez de usar modelos fracos para gerar pseudorótulos corretos ou dados difíceis, o DenoiseRL utiliza modelos fracos para gerar perturbações estruturadas (prefixos de raciocínio incorretos) que servem como sinais de treinamento.

Mecanismo Central

1. Injeção de Prefixo Ruidoso: O framework amostra trajetórias de raciocínio incorretas de um modelo fraco (por exemplo, Qwen2.5-1.5B). Ele seleciona um prefixo dessa trajetória incorreta (determinado por uma razão de prefixo $\rho$) e o antepõe à entrada do modelo de política.
2. Objetivo de Recuperação: O modelo de política é treinado não para imitar o modelo fraco, mas para recuperar-se do estado errôneo. Ele deve reconhecer a corrupção, revisar seu raciocínio, mudar para um caminho correto e alcançar a resposta verificada.
3. Distribuição de Treinamento: O processo de treinamento mistura dois tipos de trajetórias para cada problema:
   • Trajetórias Principais ($N$): Trajetórias padrão on-policy começando a partir da pergunta.
   • Trajetórias de Remoção de Ruído ($K$): Trajetórias começando a partir do prefixo ruidoso gerado pelo modelo fraco.
4. Equidade no Orçamento de Saída: Para garantir uma comparação justa, o comprimento total da resposta é limitado. O prefixo ruidoso consome parte do orçamento de tokens, e a continuação do modelo é truncada de acordo. Apenas os tokens gerados pela política (a continuação) são atualizados durante a retropropagação; o prefixo ruidoso é mascarado no cálculo da perda para evitar instabilidade.
5. Otimização: O framework emprega a Otimização de Política Relativa em Grupo (GRPO). Uma única linha de base de vantagem é compartilhada entre todas as $N+K$ trajetórias para um dado problema. Isso permite que as trajetórias de remoção de ruído (que frequentemente resultam em falha se o modelo não conseguir recuperar) sirvam como amostras negativas, enquanto recuperações bem-sucedidas fornecem sinais de aprendizado positivos em relação ao grupo.

Contribuições Principais

• Novo Paradigma de RL: A introdução do DenoiseRL, que unifica a aprendizagem de fraco para forte com a síntese de dados impulsionada por dificuldade. Ele reaproveita erros de modelos fracos como ruído estruturado em vez de sinais de aprendizagem, permitindo melhoria escalável sem supervisão externa.
• Autocorreção Aprimorada: O método treina explicitamente o modelo a recuperar-se de estados intermediários corrompidos, elevando a autocorreção de um comportamento emergente a um alvo direto de treinamento.
• Validação Empírica: O artigo demonstra que o DenoiseRL supera consistentemente fortes baselines de RL on-policy (GRPO e DAPO) em benchmarks competitivos de matemática e raciocínio geral (MATH500, AMC23, AIME2024/2025, BBEH) em modelos de 4B e 8B parâmetros.
• Análise de Design: Os autores fornecem uma análise detalhada de hiperparâmetros chave, identificando que:
  • Razão de Prefixo ($\rho$): Ruído moderado ($\rho=0.2$) é ótimo; ruído excessivo ($\rho=0.8$) induz "superpensamento" e loops infinitos de autoduvida.
  • Intensidade de Recuperação ($K$): Uma mistura equilibrada de trajetórias de remoção de ruído ($K=4$ de um total de 16) produz o melhor equilíbrio. Muito poucas ($K=1$) fornecem sinal insuficiente, enquanto muitas ($K=8$) distraem do objetivo central de resolver problemas do zero.
  • Atualizações Off-Policy: Atualizar a política nos tokens do prefixo ruidoso leva ao colapso do treinamento, confirmando que os gradientes devem fluir apenas através da própria continuação do modelo.

Resultados

Experimentos conduzidos nos modelos Qwen3-4B e Qwen3-8B mostram melhorias consistentes:

• Ganhos de Desempenho: O DenoiseRL-GRPO melhorou a pontuação média no Qwen3-4B de 39,6% (baseline GRPO) para 42,0%. O DenoiseRL-DAPO alcançou os melhores resultados gerais no modelo de 8B, atingindo uma média de 44,8% comparado à baseline DAPO de 42,8%.
• Especificidades dos Benchmarks: Ganhos notáveis foram observados em benchmarks mais difíceis como AIME2024 e AIME2025, onde o DenoiseRL-DAPO no modelo de 8B alcançou 27,0% e 24,8%, respectivamente, superando todas as outras configurações.
• Mudanças Comportamentais: Estudos de caso revelam que o modelo aprende a preservar informações estruturais úteis do prefixo enquanto descarta lógica falha, trocando efetivamente de estratégias (por exemplo, de busca de raiz explícita para fórmulas de Vieta) para recuperar a resposta correta.

Significado e Afirmações

O artigo afirma que o DenoiseRL oferece uma via alternativa escalável e eficaz para melhorar o raciocínio em LLMs. Seu significado principal reside em:

1. Redução de Dependência: Elimina a necessidade de curadoria de dados cara ou de modelos professores mais fortes, confiando, em vez disso, na própria capacidade do modelo de aprender com suas falhas (e as de modelos mais fracos).
2. Escalabilidade: Ao converter erros de modelos fracos em perturbações estruturadas, o método aumenta automaticamente a dificuldade de treinamento sem gerar novos dados.
3. Robustez: O framework promove um comportamento de autocorreção mais forte, particularmente à medida que a dificuldade de treinamento aumenta, sugerindo que o treinamento de recuperação influencia dinâmicas de raciocínio mais profundas além de métricas de desempenho simples.

Os autores concluem que os próprios erros do modelo podem servir como uma poderosa fonte de sinal de aprendizagem, fornecendo uma nova perspectiva para o pós-treinamento de modelos de raciocínio. Eles reconhecem limitações, observando que a qualidade do sinal de recuperação depende da natureza dos erros do modelo fraco e que corrupção excessiva pode levar a trajetórias de raciocínio ineficientes e excessivamente longas.