🤖 AI

How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

Este artigo demonstra que incorporar explicitamente o backtracking na fase de aquecimento do ajuste fino supervisionado é essencial para otimizar o aprendizado por reforço em grandes modelos de linguagem, com a profundidade ideal de backtracking escalando diretamente com a dificuldade da tarefa para permitir um raciocínio de busca em árvore não linear eficaz.

Autores originais: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver um labirinto. Antigamente, você poderia apenas dizer ao robô: "Ande para frente até bater em uma parede, depois vire à direita". Isso é como o Ajuste Fino Supervisionado (SFT - Supervised Fine-Tuning): você mostra ao robô um exemplo perfeito de como fazer isso, e ele tenta te copiar. Mas e se o labirinto for um labirinto gigante e sinuoso onde o caminho "certo" não é óbvio? O robô pode andar para um beco sem saída, continuar andando e ficar preso.

Para corrigir isso, os cientistas começaram a usar o Aprendizado por Reforço (RL - Reinforcement Learning). Pense nisso como um treinador de videogame. O robô tenta resolver o labirinto e, se ele obtiver a resposta correta, o treinador lhe dá um "high-five" (uma recompensa). Se ele falhar, o treinador diz: "Tente de novo". Com o tempo, o robô aprende a explorar diferentes caminhos, às vezes até mesmo retrocedendo quando percebe que está indo pelo caminho errado. Recentemente, vimos robôs ficarem incrivelmente bons nisso, mas os pesquisadores ficaram intrigados: Como exatamente o robô aprende a "retroceder"? É apenas um palpite ou existe um ingrediente secreto no treinamento que o ensina a dizer: "Espere, eu cometi um erro, deixe-me voltar"? Essa questão é importante porque, se pudermos descobrir a receita perfeita para treinar esses cérebros, poderemos fazê-los resolver problemas muito mais difíceis, desde matemática complexa até enigmas de lógica, sem que eles se percam irremediavelmente.

Este artigo, intitulado "Quanto Retrocesso é Suficiente?", mergulha exatamente nesse mistério. Os autores, uma equipe da Universidade de Duke e do Mila, queriam encontrar a zona "Goldilocks" (o ponto ideal) para treinar a IA em tarefas de raciocínio. Eles perguntaram: Quanto de "retrocesso" (o ato de perceber um erro e voltar para tentar um caminho diferente) devemos mostrar à IA antes de começarmos o jogo de aprendizado por reforço?

Eles testaram suas ideias em oito tipos diferentes de jogos de lógica, variando de tarefas fáceis como "Arc 1D" (identificar padrões em grades) a médias como "Countdown" (fazer números somarem um alvo) e superdifíceis como "Sudoku" (preencher uma grade com números).

Aqui está o que eles descobriram, usando uma analogia divertida: Treinar a IA é como ensinar um trilheiro a navegar em uma floresta.

A Abordagem "Apenas Ande" (RL Puro)

Primeiro, eles tentaram enviar o trilheiro (a IA) para a floresta sem um mapa e sem prática, apenas deixando-o aprender por tentativa e erro (RL Puro).

O Resultado: O trilheiro conseguia aprender a andar em linha reta e às vezes até encontrava uma solução por acaso. Mas para as florestas realmente densas e complicadas (como o Sudoku), o trilheiro apenas andava em círculos ou ficava preso. Ele não conseguia entender como voltar quando encontrava um beco sem saída.

A Abordagem "Copie o Mapa" (SFT de Autoamostragem)

Em seguida, deram ao trilheiro um mapa de uma viagem bem-sucedida (SFT de autoamostragem). Eles deixaram a IA praticar em seus próprios caminhos gerados antes do treinamento de RL começar.

O Resultado: Isso ajudou um pouco! O trilheiro ficou um pouco melhor em caminhar. Mas para as florestas mais difíceis, isso não foi suficiente. O trilheiro ainda não sabia como lidar com o fato de estar perdido. Era como dar a um trilheiro um mapa de um caminho simples, mas depois soltá-lo em uma selva.

A Abordagem "Aprenda a Voltar Atrás" (Retrocesso Sintético)

Foi aqui que a mágica aconteceu. Os pesquisadores perceberam que o segredo não era apenas mostrar à IA um caminho correto, mas sim mostrar um caminho onde a IA comete um erro, percebe o erro e volta. Eles criaram dados de treinamento "sintéticos" onde a IA era forçada a praticar essa habilidade específica:

Seguir um caminho.
Perceber que está errado.
Dizer: "Espere!" e voltar ao último ponto seguro.
Tentar um caminho diferente.

Eles testaram diferentes "profundidades" dessa prática:

Para a floresta fácil (Arc 1D): O trilheiro não precisava praticar o retrocesso de forma alguma. Na verdade, mostrar a ele como retroceder o tornava mais lento! A melhor estratégia era apenas mostrar o caminho perfeito e reto. Zero retrocessos foi o vencedor.
Para a floresta média (Countdown): O trilheiro precisava praticar o retrocesso apenas uma vez. Eles precisavam aprender que, se um cálculo matemático parecer estranho, devem parar e tentar uma combinação diferente. Um retrocesso era o ponto ideal.
Para a selva superdifícil (Sudoku): O trilheiro precisava praticar o retrocesso cinco ou mais vezes. Esses quebra-cabeças são tão complexos que você precisa estar disposto a desfazer seu trabalho muitas, muitas vezes para encontrar a solução. Se ensinassem apenas a retroceder uma vez, eles ainda ficariam presos.

A Grande Conclusão

O artigo descobriu que um tamanho não serve para todos.

Se você ensinar uma IA a retroceder demais em uma tarefa fácil, ela fica confusa e tem um desempenho pior.
Se você não ensinar a retroceder o suficiente em uma tarefa difícil, ela desiste.
A quantidade "perfeita" de retrocesso depende inteiramente de quão difícil é o quebra-cabeça.

Eles também descobriram algo surpreendente: não importa se o mapa de prática está errado, desde que a estrutura de "retrocesso" esteja lá. Mesmo que mostrassem à IA um caminho cheio de erros, mas que incluísse as etapas de "Espere, vamos voltar", a IA ainda aprendia a resolver o quebra-cabeça melhor do que se apenas mostrassem uma linha reta. É como ensinar uma criança a andar de bicicleta deixando-a cair e se levantar, em vez de apenas mostrar um vídeo de alguém pedalando perfeitamente. O ato de se recuperar da queda é o que constrói a memória muscular.

No fim, os autores sugerem que, para tornar a IA verdadeiramente inteligente em raciocínios complexos, precisamos parar de apenas mostrar a resposta e começar a ensinar como se recuperar de seus erros. Ao ajustar o "botão de retrocesso" para combinar com a dificuldade da tarefa, podemos desbloquear um nível de inteligência muito mais alto, permitindo que até modelos menores resolvam quebra-c cabeças que antes exigiam computadores massivos e superpotentes.

Resumo Técnico: Quanto Backtracking é Suficiente? Explorando a Interação de SFT e RL no Aperfeiçoamento do Raciocínio de LLMs

Declaração do Problema

Avanços recentes em Grandes Modelos de Linguagem (LLMs), como o DeepSeek-R1 e o o1 da OpenAI, demonstram que o Aprendizado por Reforço (RL) pode melhorar significativamente as capacidades de raciocínio ao internalizar estratégias de busca através de cadeias de pensamento (CoT) estendidas. Embora o backtracking — a revisão explícita de etapas de raciocínio anteriores — seja amplamente reconhecido como um mecanismo central para essa melhoria, sua dinâmica precisa permanece mal compreendida. Especificamente, não está claro como os warm-ups de Ajuste Fino Supervisionado (SFT) interagem com o RL para otimizar o backtracking, se os warm-ups padrão de auto-amostragem de CoT são suficientes para tarefas complexas, e qual é a frequência ou profundidade ideal de backtracking para diferentes níveis de dificuldade de problemas. As abordagens existentes frequentemente dependem de RL de "partida a frio" (cold-start) ou CoTs simples de auto-amostragem, que os autores argumentam que estagnam em tarefas combinatorialmente complexas como o Sudoku.

Metodologia

Os autores conduzem experimentos controlados em oito tarefas de raciocínio (Countdown, Sudoku, Arc 1D, Geometria Avançada, Rotação de Cubo de Cores, Funções de Lista, Quebra-cabeças Zebra e Autorreferência) usando os modelos Qwen2.5 e Llama3.2. O estudo isola os efeitos de diferentes estratégias de warm-up de SFT no subsequente treinamento de RL:

Comparações de Linha de Base: Os autores comparam o "Pure RL" (sem warm-up de SFT) contra o "Cold-start RL" (usando CoTs auto-amostrados do modelo base como warm-up). Eles distinguem ainda entre warm-ups derivados de trajetórias corretas versus trajetórias incorretas.
Datasets Sintéticos de Backtracking: Para estudar sistematicamente o backtracking, os autores constroem datasets sintéticos para três tarefas representativas (Countdown, Arc 1D, Sudoku) com profundidades de backtrack ( $k$ $k$ ) ajustáveis.
- Para Countdown e Sudoku, eles utilizam solvers de Busca em Profundidade (DFS) para gerar árvores de operações ou preenchimentos de grade, criando trajetórias que incluem "desvios" explícitos (ramos incorretos) seguidos de recuperação (backtracking) para o caminho correto.
- Para Arc 1D, eles utilizam busca heurística com funções de transformação criadas manualmente para gerar padrões de backtrack semelhantes.
- Eles definem uma trajetória de $k$ -backtrack como aquela que contém $k$ eventos de recuperação explícitos onde o modelo retorna a um estado válido após um erro.
Pipeline de Treinamento: Os modelos são primeiro treinados via SFT nesses datasets sintéticos ou auto-amostrados e, em seguida, submetidos ao treinamento de RL (usando PPO ou GRPO) com recompensas baseadas em regras (precisão de formato + correspondência exata da resposta).
Estudos de Ablação: Os autores testam o impacto do embaralhamento de prompts e conclusões para analisar a sensibilidade do RL ao ruído semântico versus estrutura sintática.

Principais Contribuições

Limitações de Warm-ups Padrão: O estudo demonstra que, embora os warm-ups de auto-amostragem de CoT proporcionem um modesto aumento sobre o Pure RL, eles falham em escalar efetivamente em tarefas combinatórias difíceis (ex: Sudoku), onde o modelo base não consegue gerar dados de inicialização corretos suficientes.
Backtracking como um Hiperparâmetro Ajustável: Os autores estabelecem que o backtracking é um operador crítico para a transição da geração linear para a busca em árvore não linear. Eles mostram que a profundidade de backtrack ideal depende da tarefa:
- Arc 1D (Fácil): Zero backtracks (demonstrações ideais) são o melhor.
- Countdown (Médio): Exatamente um backtrack é o ideal.
- Sudoku (Difícil): Cinco ou mais backtracks são necessários para um treinamento de RL estável e eficaz.
Eficácia de Dados Sintéticos: Uma receita de treinamento "centrada em backtracking", onde os dados de SFT são gerados sinteticamente com profundidades de backtrack calibradas, consistentemente impulsiona os modelos além de suas capacidades de raciocínio base e supera modelos de raciocínio pré-treinados maiores (ex: QwQ-32B) em tarefas específicas.
Robustez a Trajetórias Incorretas: O artigo observa que o RL ainda pode se beneficiar de warm-ups contendo CoTs semanticamente incorretos, mas alinhados ao formato, sugerindo que o andaime sintático (a estrutura de busca e recuperação) é suficiente para preparar o modelo para o refinamento de RL. Por outro lado, o RL é altamente sensível a dados embaralhados (semanticamente incoerentes), o que causa a estagnação do treinamento.

Resultados

Ganhos de Desempenho: No Sudoku, iniciar o RL com cinco backtracks melhorou a precisão de 14,4% (zero backtracks) para 28,9% para o Qwen2.5-3B, e de 11,8% para 32,1% para o Qwen2.5-7B. Esses resultados superaram a linha de base QwQ-32B, que alcançou 0,0% no Sudoku.
Otimização Específica da Tarefa:
- Countdown: Warm-ups de um backtrack renderizaram as maiores recompensas e precisão final (até 69,7% para o Qwen2.5-3B), superando tanto as configurações de zero quanto as de alto backtrack.
- Arc 1D: Trajetórias de zero backtrack (ideais) tiveram o melhor desempenho, sendo que o backtracking na verdade degradou o desempenho.
Generalização: O treinamento em uma tarefa (ex: Geometria Avançada) induziu a generalização para tarefas relacionadas (ex: Quebra-cabeças Zebra), embora isso tenha sido limitado para problemas altamente combinatórios.
Eficiência de Tokens: O estudo nota que, embora os datasets sintéticos de backtrack sejam mais longos, eles permitem uma convergência de RL mais eficiente em comparação com a estagnação observada no Pure RL ou em cenários de cold-start incorretos.

Significância e Alegações

O artigo argumenta que o backtracking principiado é essencial para melhorar as capacidades de raciocínio de LLMs em tarefas complexas. Ele postula que o backtracking atua como um operador geral para busca em árvore, permitindo que os modelos detectem soluções parciais falhas e se recuperem, em vez de apenas gerar linearmente.

Os autores alegam que a "receita" para um RL eficaz não é meramente CoTs mais longos, mas sim dados de SFT sintéticos contendo um número apropriado de backtracks compatíveis com a dificuldade da tarefa. Essa abordagem permite que o modelo internalize estratégias de busca que o Pure RL ou os warm-ups padrão não conseguem descobrir. O trabalho sugere que a interação entre SFT e RL não é apenas sobre o volume de dados, mas sobre a estrutura dos rastros de raciocínio fornecidos durante a fase de warm-up. Ao tratar a frequência de backtrack como um hiperparâmetro, os autores fornecem um controle mensurável para otimizar o comportamento de busca, preenchendo a lacuna entre a geração linear e a busca em árvore eficaz em LLMs.