Resumo Técnico: Aprender para Resolver, Esquecer para Reter: Rotatividade do Conjunto de Acertos em RLVR

1. Definição do Problema: Rotatividade do Conjunto de Acertos (Correct-Set Turnover)

O artigo identifica uma limitação sistemática no Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para Grandes Modelos de Linguagem (LLMs). Embora os métodos de RLVR como GRPO e DAPO alcancem ganhos de precisão impressionantes, eles frequentemente ocultam um custo invisível: a rotatividade do conjunto de acertos (correct-set turnover).

Este fenômeno é definido como a dinâmica acoplada de aquisição (novos problemas resolvidos) e regressão (problemas anteriormente resolvidos tornando-se insolúveis). Os autores argumentam que os pipelines padrão de RLVR tratam o esquecimento meramente como um efeito colateral a ser minimizado. No entanto, eles propõem visualizar o processo de forma simétrica: à medida que o treinamento avança, as atualizações da política concentram a massa de probabilidade em novas soluções reforçadas, fazendo com que a probabilidade de sucesso de prompts anteriormente dominados derive para baixo devido à interferência de gradiente.

Observações principais incluem:

• Assimetria do Custo de Reparação: Baseando-se na pesquisa de repetição espaçada (Ebbinghaus, 1885), o artigo estabelece que o custo de restaurar um prompt regredido cresce bruscamente com o atraso da intervenção. Existe uma "janela de reparação" onde o prompt ainda está parcialmente dominado; revisá-lo aqui é barato. Uma vez que o prompt regride totalmente, o reaprendizado exige um esforço comparável ao aprendizado inicial.
• Limitações dos Métodos Existentes: Os pipelines padrão revisitam prompts apenas passivamente ao longo das épocas, sem rastrear o status de domínio. Métos de replay existentes (ex: ExGRPO, RLEP) reutilizam trajetórias históricas fixas, mas não conseguem detectar se um exemplo anteriormente dominado regrediu, tornando-os ineficazes contra este tipo específico de esquecimento intra-tarefa.

2. Metodologia: ReMind

Para abordar a rotatividade do conjunto de acertos, os autores propõem o ReMind, um mecanismo de revisão consciente da retenção projetado para operar dentro do loop de treinamento padrão de RLVR com zero de overhead adicional de rollout.

Componentes Principais

1. Métrica de Domínio Graduada: Diferente dos sinais binários de "correto/incorreto", o ReMind utiliza a taxa de sucesso por prompt ($\hat{q}_t(p)$) derivada de $K$ rollouts (já computados para estimativa de vantagem no GRPO). Um exemplo é considerado "dominado" se $\hat{q}_t(p) = 1$.
2. Fila de Revisão (FIFO):
   • Quando um exemplo do fluxo de treinamento padrão atinge o domínio, ele é anexado a uma fila de revisão FIFO com uma probabilidade $p_{add}$.
   • A fila armazena apenas identificadores de amostras; novos rollouts são gerados a partir da política atual durante a revisão, evitando o armazenamento de trajetórias obsoletas.
3. Substituição de Lote Pré-Rollout:
   • Em passos de revisão designados (a cada $f$ passos), uma fração $r$ do lote de treinamento é substituída por amostras extraídas da fila de revisão.
   • Isso garante que o modelo seja lembrado de soluções anteriores antes que elas deixem a janela de reparação de baixo custo.
   • Como as amostras de revisão substituem, em vez de aumentar o lote, o orçamento total de rollout permanece idêntico ao baseline.
4. Regra de Atualização Autocorretiva:
   • Recém-Dominado: Incluído na fila.
   • Retido: Se um exemplo revisado permanecer totalmente correto, ele é removido da fila (retenção confirmada).
   • Regredido: Se um exemplo revisado falhar ($\hat{q}_t(p) < 1$), ele é reinserido no final da fila para reparação futura.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Formalização da Rotatividade do Conjunto de Acertos: Os autores definem as dinâmicas conjuntas de aquisição e regressão em RLVR e estabelecem o princípio da janela de reparação: o custo de reparar prompts regredidos aumenta não linearmente com o atraso da intervenção.
2. Algoritmo ReMind: Um mecanismo leve, de zero overhead, que mantém uma memória de revisão baseada em domínio e utiliza a substituição pré-rollout para detectar e reparar a regressão sem aumentar o orçamento de rollout.
3. Validação Empírica: Demonstração de que o ReMind melhora a precisão tardia e a retenção sobre os baselines padrão de RLVR (GRPO, DAPO) e métodos de replay em 20 benchmarks abrangendo raciocínio de imagem-texto, vídeo e apenas texto.

4. Resultados Experimentais

Os autores avaliaram o ReMind usando Qwen3-VL-8B-Instruct (multimodal) e Qwen2.5-7B-Math (apenas texto) através de 20 benchmarks.

• Ganhos de Desempenho: O ReMind supera consistentemente o GRPO, DAPO e baselines de replay (ExGRPO, RLEP, RePO).
  • No raciocínio imagem-texto, o ReMind melhorou a precisão média em +3,81% sobre o GRPO e +3,44% sobre o DAPO.
  • Os ganhos foram mais pronunciados em benchmarks densos em matemática (ex: +5,67% na média de Raciocínio Matemático), apoiando a hipótese de que cadeias de raciocínio mais longas são mais frágeis à deriva de política.
• Mecanismo de Melhoria: A análise das dinâmicas de treinamento (Figura 5) revela que o ReMind não acelera a aquisição de novas soluções (tanto o GRPO quanto o ReMind resolvem novas amostras em taxas similares). Em vez disso, a melhoria é impulsionada inteiramente pela redução do esquecimento. O ReMind reduziu o acúmulo de amostras esquecidas em aproximadamente 35 em comparação ao GRPO padrão.
• Estabilidade de Entropia: O ReMind mitiga o colapso de entropia observado no GRPO padrão, onde a política concentra a massa de probabilidade em menos caminhos de geração. A revisão periódica sustenta a entropia da política, preservando estratégias de solução diversas.
• Sensibilidade ao Orçamento: O método é robusto em uma ampla gama de orçamentos de revisão. Mesmo um orçamento de revisão de 1% é suficiente para quebrar o impasse aquisição-regressão, enquanto o desempenho declina ligeiramente em orçamentos muito altos (>4%) devido ao deslocamento de sinais de treinamento novos.
• Generalização Cross-Modal: Os benefícios estendem-se à compreensão de vídeo e ao raciocínio matemático puro de texto, confirmando que o mecanismo aborda um modo de falha agnóstico à modalidade.

5. Significância e Alegações

O artigo conclui que uma parte significativa do potencial em RLVR não é apenas sobre "aprender mais", mas sobre "perder menos".

• Causa Sistemática de Platôs: Os autores identificam a rotatividade do conjunto de acertos como uma causa sistemática de platôs de precisão em RLVR, distinta do esquecimento catastrófico entre tarefas no aprendizado contínuo.
• Mudança de Paradigma de Design: O trabalho argumenta pela importância de tratar a retenção ao nível da amostra como um eixo de design primário no RL de raciocínio, juntamente com o design de recompensa e exploração.
• Eficiência: O ReMind alcança esses ganhos com overhead computacional desprezível (apenas ~3% do tempo de execução), não exigindo réplicas de modelos adicionais ou buffers complexos.
• Natureza Intrínseca da Regressão: Os autores observam modestamente que, embora o ReMind reduza a regressão, ele não a elimina totalmente. Certo grau de rotatividade do conjunto de acertos parece intrínseco ao processo de otimização de RLVR, sugerindo que a regressão residual é uma característica fundamental do método, e não um artefato transitório.

O artigo não afirma resolver todos os problemas de esquecimento ou eliminar a necessidade de um design de recompensa cuidadoso; em vez disso, fornece um mecanismo direcionado e de baixo custo para estabilizar o "conjunto de acertos" durante o treinamento.