Resumo Técnico: LatentRevise: Aprendendo com o Raciocínio de Zero Acertos (Zero-Hit)

1. Definição do Problema: O Regime de Zero Acertos no RLVR

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR - Reinforcement Learning with Verifiable Rewards) tornou-se uma abordagem padrão para aprimorar o raciocínio em modelos de linguagem. No entanto, ele enfrenta um gargalo fundamental conhecido como o regime de zero acertos (zero-hit regime). Neste cenário, um prompt é apresentado onde a política atual falha em gerar uma única trajetória correta dentro de um orçamento de amostragem prático (ou seja, $pass@N = 0$).

Algoritmos de RLVR padrão, como o Group Relative Policy Optimization (GRPO), dependem de vantagens normalizadas por grupo para atualizar a política. Quando todas as trajetórias amostradas em um grupo falham, elas recebem recompensas idênticas (tipicamente zero ou negativas). Consequentemente, a média do grupo é igual às recompensas individuais, fazendo com que a vantagem normalizada colapse para zero. Isso resulta na falta de sinais de gradiente construtivos, efetivamente descartando esses prompts "difíceis" como ruído impossível de aprender.

Remédios existentes tentam abordar isso:

1. Aumentar o orçamento de amostragem: Elevar $N$ ou a temperatura de decodificação, o que é computacionalmente caro e ainda assim focado apenas no resultado (carecendo de orientação intermediária).
2. Destilação on-policy: Usar um modelo professor ou informações privilegiadas para fornecer alvos ao nível de token. No entanto, esses métodos dependem de orientação externa que pode ser fraca, desalinhada ou indisponível quando o modelo estudante já está enfrentando dificuldades.

O problema central é que esses prompts de zero acertos geralmente residem na "fronteira de amostragem" onde novos comportamentos de raciocínio são mais necessários, mas os pipelines padrão não conseguem aprender com eles porque carecem de um sinal positivo.

2. Metodologia: LatentRevise

Os autores propõem o LatentRevise, um método de revisão latente de primeira ordem projetado para recuperar sinais de treinamento de rollouts falhos sem exigir modelos professores externos ou traços de referência. Em vez de descartar uma trajetória falha, o LatentRevise trata essa trajetória como um traço informativo e otimiza os embeddings de entrada do prefixo de raciocínio no espaço latente contínuo.

Pipeline Principal

1. Entrada: Um rollout falho $y_{fail} = [r; c]$, onde $r$ é o prefixo de raciocínio e $c$ é a continuação falha, junto com a resposta de ouro (gold answer) $y_{GT}$.
2. Congelar & Otimizar: Os parâmetros do modelo $\theta$ são congelados. Os embeddings de entrada do prefixo de raciocínio, $E_r$, são otimizados para deslocar a trajetória para longe da falha e em direção à solução.
3. Objetivo Composto: A otimização minimiza uma perda total $L_{total}$ composta por três termos:
   • Perda de Exploração Latente ($L_{explore}$): Um sinal repulsivo que minimiza a probabilidade de reproduzir a continuação falha original $c$. Isso encoraja o estado latente a explorar caminhos alternativos.
   • Perda de Guia Latente ($L_{guide}$): Um sinal de guia que maximiza a probabilidade de gerar a resposta de ouro $y_{GT}$ (condicionada a um template de resposta fixo). Isso ancora a revisão em direção à solução correta.
   • Prior de Fluência de Linguagem ($L_{NLL}$): Um termo de regularização que mantém a log-verossimilhança negativa dos tokens de raciocínio originais $r$. Isso garante que o latente otimizado permaneça semanticamente coerente e não derive para um ruído adversário.
4. Restrição de Manifold (Frank-Wolfe): Para evitar que os embeddings contínuos derivem para um espaço de características não interpretável (onde o modelo poderia "trapacear" codificando respostas em vetores arbitrários), a otimização é restringida ao invólucro convexo (convex hull) dos embeddings do vocabulário do modelo. Isso é alcançado usando o algoritmo de Frank-Wolfe (Gradiente Condicional). Em cada etapa, a atualização é uma combinação convexa do embedding atual e do vértice ótimo (token do vocabulário) que minimiza a aproximação linear da perda.
5. Recuperação Discreta: O prefixo suave otimizado $E^*_r$ é projetado de volta para tokens discretos via busca de vizinho mais próximo contra a matriz do vocabulário. Uma nova continuação é decodificada de forma autorregressiva. Se a trajetória resultante passar no verificador, ela é retida como dado de supervisão ou injetada de volta nos grupos de RL.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Reenquadramento da Fronteira de Zero Acertos: Os autores identificam os prompts de zero acertos não como outliers impossíveis de aprender, mas como uma fronteira recuperável. Eles demonstram que sinais de treinamento válidos podem ser recuperados algoritmicamente dessas falhas usando o próprio espaço latente do modelo.
2. Algoritmo LatentRevise: Um novo framework de revisão latente de primeira ordem que converte rollouts falhos em bem-sucedidos. Crucialmente, ele opera sem distribuições de professores externos ou traços privilegiados, confiando apenas na resposta de ouro e na própria continuação falha do modelo para gerar sinais de correção densos e por posição.
3. Validação Empírica: As trajetórias recuperadas mostram ser dados de treinamento de alto valor. Elas melhoram tanto o $pass@1$ quanto o $pass@k$ em benchmarks de raciocínio matemático, particularmente em cenários onde o RL padrão e orçamentos de amostragem maiores falham em gerar melhorias.

4. Resultados Experimentais

O método foi avaliado no DAPO-Math-14K utilizando os modelos Qwen2.5-1.5B-Instruct e Qwen3-8B-Base através de benchmarks incluindo MATH500, AIME 24/25, AMC 23, OlympiadBench e Minerva Math.

• Regime de Zero Acertos (DAPO-Hard): No subconjunto de consultas onde o modelo base obteve $pass@32 = 0$ (aprox. 46% do dataset para o modelo menor), o GRPO padrão forneceu melhoria negligível devido ao colapso das vantagens. O LatentRevise, quando usado para gerar dados de SFT ou injetado em grupos de RL, superou significativamente os baselines.
  • Para o Qwen2.5-1.5B, o GRPO+Ours alcançou um $pass@32$ médio de 53,51%, comparado a 44,84% para o GRPO padrão e 50,69% para o GRPO com um grupo de rollout dobrado ($N=16$).
  • Notavelmente, o método superou o OPSD (On-Policy Self-Distillation), que depende de um professor condicionado à resposta de ouro, sugerindo que a otimização latente interna do LatentRevise é mais eficaz do que o condicionamento de professor por retrospectiva (hindsight) neste regime.
• Dataset Completo (DAPO-Full): Quando aplicado ao conjunto completo de distribuição de treinamento (misturando prompts fáceis e difíceis), o LatentRevise continuou a superar o GRPO, DAPO e baselines de maior rollout, com os ganhos mais significativos observados em valores de $k$ mais altos ($pass@32$).
• Eficiência: O LatentRevise incorreu em um overhead computacional menor do que simplesmente dobrar o tamanho do grupo de rollout ($N=16$). Ele adicionou ~24% de tempo de treinamento e ~3% de memória sobre o GRPO padrão ($N=8$), enquanto dobrar o tamanho do grupo aumentou o tempo em ~66% e a memória em ~14%.
• Análise Qualitativa: As trajetórias revisadas exibiram aumento no comprimento e marcadores explícitos de autorreflexão (ex: "Espere, deixe-me reconsiderar"), indicando que o método traz à tona comportamentos de correção de erro que a amostragem discreta raramente alcança.

5. Significância e Alegações

O artigo afirma que o LatentRevise oferece um eixo complementar para o RL de raciocínio. Quando a amostragem ao nível de token atinge sua fronteira de orçamento finito, a revisão de primeira ordem no próprio espaço latente do modelo pode transformar rollouts falhos em supervisão verificável.

Os autores afirmam que:

• Prompts de zero acertos são valiosos: Eles não são meramente ruído, mas representam uma fronteira de treinamento de alto valor. Uma vez revisados, eles fornecem sinais que expandem a cobertura de soluções do modelo.
• A recuperação interna é viável: Um modelo pode aprender com suas próprias falhas sem precisar de um professor mais forte ou traços de referência externos, desde que a otimização seja restrita ao manifold do vocabulário.
• Eficiência: Recuperar sinais de rollouts falhos é computacionalmente mais eficiente do que a expansão bruta da amostragem, especialmente à medida que as escalas dos modelos e as cadeias de raciocínio se tornam mais longas.

O trabalho sugere que, conforme as tarefas de raciocínio se tornam mais difíceis, a fronteira do treinamento baseado em amostragem pode ser empurrada não apenas amostrando mais, mas revisando o que já foi amostrado, transformando os "becos sem saída" da política atual em uma fonte de currículo e sinal de treinamento.