🤖 AI

Credit Assignment with Resets in Language Model Reasoning

Este artigo propõe a Otimização de Política com Reinício Aleatório e Reinício Automático (RRPO e SRPO) para melhorar o raciocínio de modelos de linguagem, permitindo a atribuição precisa de crédito por meio do reinício para estados intermediários e da reamostragem de continuação, com o SRPO alcançando desempenho superior ao localizar e corrigir autonomamente etapas errôneas sem supervisão externa.

Autores originais: Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

Publicado 2026-05-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ankur Samanta, Akshayaa Magesh, Ayush Jain, Youliang Yu, Daniel Jiang, Kavosh Asadi, Daniel Jiang, Kaveh Hassani, Paul Sajda, Jalaj Bhandari, Yonathan Efroni

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um estudante a resolver um problema matemático complexo ou a escrever um trecho de código. Nos métodos tradicionais, se o estudante errar a resposta final, o professor pode dizer: "Você falhou", e fazer o estudante reescrever a solução inteira do zero, esperando que ele acerte na próxima vez. O problema com essa abordagem é que o estudante não sabe qual passo específico causou a falha. Será que ele cometeu um erro na primeira frase? Ou se perdeu três parágrafos depois?

Este artigo apresenta uma maneira mais inteligente de ensinar modelos de IA (especificamente Modelos de Linguagem de Grande Porte) a raciocinar. É chamado de Atribuição de Crédito com Reinícios.

Abaixo está a explicação de suas ideias usando analogias simples:

1. O Problema: A "Punição Uniforme"

Atualmente, quando uma IA falha em uma tarefa de raciocínio de múltiplos passos, os métodos padrão de treinamento tratam cada palavra que a IA gerou como igualmente responsável pela falha.

A Analogia: Imagine uma corrida de revezamento em que a equipe perde porque o corredor da 3ª etapa deixou cair o bastão. Mas o treinador grita com a equipe inteira, fazendo o primeiro corredor, o segundo corredor e o quarto corredor correrem voltas extras. O primeiro corredor não fez nada de errado, mas é punido de qualquer forma. Isso é ineficiente e confuso.

2. A Solução: O "Botão de Reinício"

Os autores propõem um mecanismo chamado Reinício. Em vez de começar tudo do início, a IA é enviada de volta a um ponto específico no meio da tentativa falha. A partir desse ponto, ela tenta gerar um novo final (uma continuação "contrafactual") para ver se uma escolha diferente leva ao sucesso.

A Analogia: Imagine que você está dirigindo e dá uma virada errada, ficando perdido. Em vez de dirigir de volta até sua casa para começar tudo de novo, você para exatamente no cruzamento onde cometeu o erro. Você diz: "Ok, eu não deveria ter virado à esquerda aqui; vamos tentar virar à direita". Você só refaz a parte da jornada que importa.

3. Duas Maneiras de Encontrar o Erro

O artigo propõe dois métodos para decidir onde apertar o botão de reinício:

RRPO (Reinício Aleatório): Isso é como chutar. A IA escolhe um passo aleatório na cadeia falha e tenta novamente a partir dali.
- A Analogia: Um professor escolhendo aleatoriamente uma página no ensaio falhado de um estudante e dizendo: "Vamos reescrever a partir daqui". Pode funcionar, mas é principalmente sorte.
SRPO (Auto-Reinício): Este é o destaque do show. A IA examina sua própria tentativa falha e pergunta: "Onde exatamente eu errei?". Ela identifica o pensamento ou passo específico onde a lógica se quebrou e reinicia exatamente ali.
- A Analogia: O estudante lê seu próprio ensaio, identifica a frase exata onde a lógica ficou confusa e diz: "Ah, vejo o problema. Vou reescrever começando daquela frase". Isso não requer ajuda externa; a IA faz isso sozinha.

4. Por Que Isso Funciona Melhor (A "Atribuição de Crédito")

Ao reiniciar no ponto específico do erro e tentar múltiplos novos finais, a IA pode ver claramente: "Se eu tivesse escolhido o caminho A em vez do caminho B neste momento específico, eu teria tido sucesso."

O Resultado: A IA aprende a corrigir o hábito específico ruim, em vez de apenas memorizar a solução inteira. É como um cirurgião removendo um tumor em vez de amputar todo o membro.

5. Os Resultados: Mais Rápido e Mais Inteligente

Os pesquisadores testaram isso em problemas matemáticos, perguntas de ciências e tarefas de programação.

As Descobertas: O método SRPO (onde a IA encontra seu próprio erro) consistentemente superou os métodos padrão e o método de "chute aleatório".
Velocidade: Em tarefas de programação, o SRPO aprendeu 2 a 3 vezes mais rápido do que os métodos padrão. Ele atingiu uma taxa de sucesso maior porque não desperdiçava tempo reaprendendo passos que já sabia que estavam corretos.
Auto-correção: O artigo descobriu que, quando a IA identificou corretamente o erro (um prefixo "limpo"), ela conseguiu corrigir o problema quase duas vezes mais frequentemente do que quando chutou o local errado. Isso prova que saber onde reiniciar é a chave para o sucesso.

Resumo

Pense neste artigo como ensinar uma IA a ser sua própria melhor crítica. Em vez de tentar reexecutar tarefas inteiras cegamente, a IA aprende a identificar o momento exato em que saiu do caminho, aperta o botão de "reinício" e tenta um caminho diferente a partir desse momento específico. Isso torna o aprendizado muito mais eficiente, preciso e eficaz, especialmente para tarefas complexas como matemática e programação.

Resumo Técnico: Atribuição de Crédito com Reinícios no Raciocínio de Modelos de Linguagem

Declaração do Problema

Os métodos contemporâneos de Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para pós-treinamento de modelos de linguagem em tarefas de raciocínio multi-etapa tipicamente propagam uma única recompensa de resultado uniformemente por todos os tokens em uma trajetória. Essa abordagem de "atribuição de crédito uniforme" obscurece quais etapas específicas de raciocínio contribuíram para o sucesso ou o fracasso. Consequentemente, as atualizações da política são aplicadas indiscriminadamente a toda a trajetória, mesmo quando apenas um subconjunto de etapas é defeituoso. Essa ineficiência é particularmente problemática para tarefas de raciocínio de longo horizonte, onde a relação sinal-ruído para aprendizado é baixa.

O artigo postula que melhorar a atribuição de crédito requer mecanismos para isolar e refinar etapas específicas de raciocínio defeituosas, em vez de atualizar trajetórias inteiras. Inspirando-se em sistemas biológicos que reestabelecem pontos de decisão de alto impacto para aprender com resultados contrafactuais do tipo "e se", os autores propõem o uso de reinícios como um primitivo para atribuição de crédito. Um reinício reentra em um estado previamente visitado e reamostra uma continuação, permitindo que diferenças de resultado sejam atribuídas especificamente às decisões tomadas a partir desse estado.

Metodologia

O artigo introduz dois métodos de pós-treinamento RLVR baseados em reinícios, ambos operando no nível de pensamento (onde cada ação é uma etapa de raciocínio semanticamente coerente) e não no nível de token. Ambos os métodos constroem um buffer de treinamento contendo um grupo base de rolagens padrão e um "grupo de prefixo compartilhado" de rolagens reamostradas a partir de um estado específico de reinício $x^*$ derivado de uma trajetória falhada.

1. Otimização de Política com Reinício Aleatório (RRPO)

O RRPO corresponde a uma realização prática da Iteração Conservadora de Política (CPI) com reinícios aleatórios (CPI-RR).

Mecanismo: Ao encontrar uma trajetória falhada (a "semente"), o estado de reinício $x^*$ é escolhido uniformemente ao acaso a partir das etapas de raciocínio dessa semente.
Processo: Múltiplas continuações de sufixo são amostradas a partir de $x^*$ . O gradiente da política é aplicado apenas aos tokens do sufixo, enquanto o prefixo compartilhado é mascarado.
Objetivo: Aproximar a linha de base teórica CPI-RR, onde os estados de reinício são drawn uniformemente a partir da distribuição on-policy.

2. Otimização de Política com Auto-Reinício (SRPO)

O SRPO corresponde a uma realização prática da CPI com um Oráculo de Reinício de Atribuição de Crédito (CPI-CARO).

Mecanismo: Em vez de seleção aleatória, o modelo auto-localiza o primeiro pensamento errôneo na trajetória de semente falhada. Essa auto-localização atua como um proxy para o oráculo teórico de atribuição de crédito, que identifica estados admitindo uma ação estritamente melhor (estados melhoráveis).
Processo: O modelo analisa seu próprio rastro de raciocínio para identificar o índice do primeiro erro. O estado de reinício $x^*$ é definido como o prefixo imediatamente anterior a esse erro. Múltiplas continuações de sufixo são então amostradas a partir desse prefixo verificado como correto.
Característica Chave: O SRPO não requer supervisão externa no nível de etapa (por exemplo, Modelos de Recompensa de Processo ou anotações humanas); ele aproveita a própria capacidade do modelo de detectar seu primeiro erro, uma capacidade apoiada por trabalhos anteriores (Samanta et al., 2026).

Estrutura Teórica

Os autores analisam esses métodos dentro da estrutura da Iteração Conservadora de Política (CPI). Eles introduzem uma variante teórica, CPI-CARO, que usa um oráculo de atribuição de crédito para amostrar estados de reinício apenas a partir de "estados melhoráveis" (estados onde existe uma ação com vantagem maior que um limiar $\tau$ ).

Resultado Teórico: O artigo prova que o CPI-CARO alcança uma melhoria na complexidade de amostragem de $1/p_\pi^2$ e um ganho de melhoria por iteração de $1/p_\pi$ em comparação com o CPI-RR padrão (reinícios aleatórios), onde $p_\pi$ é a probabilidade on-policy de alcançar um estado melhorável.
Implicação: Ao concentrar reinícios em estados com potencial de melhoria, o algoritmo evita diluir o sinal de aprendizado com estados não melhoráveis.

Contribuições Principais

Conceitual: O artigo enquadra os reinícios como um primitivo fundamental de atribuição de crédito para pós-treinamento. Ele argumenta que diferenças de resultado através de sufixos reamostrados a partir de um estado melhorável vinculam o crédito especificamente às decisões tomadas naquele estado.
Teórico: Estende a estrutura CPI com um oráculo de atribuição de crédito, fornecendo garantias prováveis de que concentrar reinícios em estados melhoráveis produz complexidade de amostragem superior e melhoria por iteração em comparação com reinícios aleatórios.
Algorítmica e Empírica: Propõe o SRPO, um método livre de treinamento que utiliza auto-localização para impulsionar reinícios. O SRPO demonstra que modelos de linguagem podem auto-localizar erros efetivamente para impulsionar a auto-correção sem supervisão externa.

Resultados Experimentais

Os autores avaliaram o SRPO e o RRPO em dois modelos base (Qwen2.5-14B-Instruct e OLMo-3-7B-Instruct) treinados em NuminaMath-Olympiads e testados em uma suíte de 10 benchmarks cobrindo raciocínio matemático, científico, estratégico e de senso comum, bem como um benchmark de codificação (LiveCodeBench).

Raciocínio Geral: O SRPO superou consistentemente o GRPO padrão e o RRPO. No modelo Qwen2.5-14B, o SRPO alcançou os melhores resultados em 7 de 10 tarefas; no OLMo-3-7B, foi o melhor em 6 de 10. Notavelmente, esses ganhos ocorreram em benchmarks fora da distribuição (ciência, estratégia, senso comum) apesar do treinamento apenas em dados matemáticos.
Tarefas de Codificação: No LiveCodeBench, o SRPO convergiu para uma taxa de aprovação mais alta e aprendeu 2–3× mais rápido que o GRPO e o RRPO.
Estratégia de Amostragem: Um estudo de ablação sobre a razão entre rolagens base e rolagens de prefixo compartilhado (por exemplo, 1×4 vs. 2×4 vs. 1×8) encontrou que uma divisão 1×4 (4 rolagens base, 4 sufixos de um prefixo auto-localizado) ofereceu o melhor equilíbrio entre cobertura da política base e profundidade do prefixo compartilhado.
Qualidade da Auto-localização: A análise do mecanismo de auto-localização revelou que é um proxy imperfeito, mas eficaz, para o oráculo. Quando o modelo localizou corretamente o erro (criando um prefixo "limpo"), a taxa de correção foi quase 2× maior (28,7% vs. 16,3%) em comparação com quando a localização ultrapassou para a região errônea.

Significado e Alegações

O artigo alega que reinícios auto-localizados representam um avanço significativo no pós-treinamento por RL para raciocínio. Ao afastar-se da atribuição de crédito uniforme, o SRPO permite um aprendizado mais eficiente ao mirar nas etapas específicas responsáveis pelo fracasso.

Eficiência: O método alcança desempenho superior com menos amostras em comparação com o GRPO padrão, particularmente em tarefas de codificação onde a convergência é acelerada.
Autossuficiência: O SRPO opera sem supervisão externa no nível de etapa, confiando exclusivamente na capacidade interna do modelo de identificar seu primeiro erro. Isso torna a abordagem escalável e aplicável a domínios onde anotação humana ou Modelos de Recompensa de Processo estão indisponíveis.
Alinhamento Teórico: O sucesso empírico do SRPO valida a premissa teórica de que concentrar atualizações de política em "estados melhoráveis" (via um oráculo de atribuição de crédito) produz ganhos prováveis sobre estratégias de exploração aleatória.

Os autores concluem que, embora a auto-localização não seja perfeita, ela é suficiente para impulsionar melhorias significativas. Sugere-se que trabalhos futuros se concentrem em melhorar a qualidade da auto-localização (por exemplo, via localizadores dedicados) e estender esses mecanismos de atribuição de crédito baseados em reinícios para tarefas agênticas de horizonte mais longo e diálogos multi-turno.