🤖 machine learning

A Verifiable Search Is Not a Learnable Chain-of-Thought

Este artigo demonstra que, embora os modelos possam aprender efetivamente a verificar e memorizar soluções para tarefas de raciocínio, eles falham fundamentalmente em aprender procedimentos de busca verificáveis como derivações de cadeia de pensamento (chain-of-thought) progressivas, independentemente da escala do modelo ou do método de treinamento, porque tais tarefas carecem de um caminho passo a passo fiel e preservador de informação para imitar.

Autores originais: Harsh Patel

Publicado 2026-06-23

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Harsh Patel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aprendiz muito inteligente, mas de mente literal, a resolver um quebra-cabeça complexo. Você tem um mestre solucionador perfeito que consegue decifrar o quebra-cabeça todas as vezes. Seu plano é simples: escrever o processo de pensamento passo a passo do mestre (a "Cadeia de Pensamento") em um caderno, mostrar ao aprendiz e esperar que ele aprenda a lógica e resolva por conta própria.

Este artigo argumenta que este plano funciona para alguns quebra-cabeças, mas falha espetacularmente para outros, e a razão não é que o aprendiz seja "burro". É por causa de como o quebra-cabeça é resolvido.

Aqui está a divisão das descobertas do artigo usando analogias simples:

1. Os Dois Tipos de Quebra-Cabeças

O pesquisador testou o aprendiz em nove tipos diferentes de quebra-cabeças de lógica. Eles se dividiram em dois grupos distintos:

Os Quebra-Cabeças de "Linha Reta" (Os Fáceis):
Pense neles como seguir uma receita. "Misture a farinha, adicione os ovos, asse por 20 minutos." Os passos acontecem em uma linha reta do início ao fim. Se você escrever esses passos e ensiná-los ao aprendiz, ele aprende perfeitamente. O artigo descobriu que, para tarefas como numerais romanos ou conversões matemáticas simples, o aprendiz conseguia copiar os passos do mestre e acertar a resposta 9-vezes em cada 10 (99% das vezes).
- A Lição: Se a solução é um caminho direto, você pode ensiná-la mostrando o caminho.
Os Quebra-Cabeças de "Backtracking" (Os Difíceis):
Pense neles como navegar em um labirinto enorme e escuro onde você tem que adivinhar qual porta é a correta. Se você atingir um beco sem saída, tem que voltar todo o caminho até o início e tentar uma porta diferente. O mestre solucionador faz isso tentando uma porta, percebendo que é a errada, apagando esse pensamento e tentando outra.
- O Problema: Você não consegue escrever uma história de "linha reta" sobre esse processo. Uma história que diz "Eu tentei a Porta A, falhou, tentei a Porta B, falhou..." é, na verdade, uma mentira se o aprendiz não tiver a capacidade real de voltar e apagar seus pensamentos anteriores em tempo real.

2. A Armadilha do "Veredito como Token"

O artigo descobriu um modo de falha específico nos quebra-cabeças de "Backtracking" (especificamente um tipo chamado Criptaritmia, onde você tem que descobrir qual letra corresponde a qual número).

Quando o pesquisador ensinou ao aprendiz o processo de "busca" do mestre, o aprendiz não aprendeu a lógica da busca. Em vez disso, ele aprendeu a forma da resposta.

A Analogia: Imagine que o mestre diz: "Eu verifiquei a porta vermelha, ela estava errada, então a eliminei". O aprendiz memoriza a frase "Eliminar porta vermelha", mas não entende realmente por que ela estava errada.
O Resultado: Quando o aprendiz tenta resolver um novo quebra-cabeça sozinho, ele vê uma porta vermelha e diz cegamente: "Eliminar porta vermelha", mesmo que a porta vermelha fosse, na verdade, a correta. Ele está recitando um roteiro sem entender a história. O artigo chama isso de "Veredito como Token": o modelo trata a conclusão como uma palavra fixa a ser dita, em vez de uma decisão baseada em evidências.

3. Por Que Cérebros Maiores Não Ajudaram

O pesquisador tentou isso com muitos modelos, desde os pequenos até os massivos e superinteligentes (até 671 bilhões de parâmetros).

A Descoberta: Mesmo os modelos gigantes falharam nos quebra-cabeças de "Backtracking" (especificamente o tipo Criptaritmia) quando solicitados a mostrar seu trabalho passo a passo. Todos atingiram o mesmo teto baixo (cerca de 5% de precisão).
A Razão: O problema não era o tamanho do cérebro; era o tipo de pensamento exigido. Você não pode forçar um modelo a "lembrar o que tentou e voltar" se a sua arquitetura interna não foi projetada para manter esse tipo de "estado de busca" enquanto escreve uma história.

4. O Experimento da "Chave Mágica"

Para provar que o problema era a busca e não a matemática, o pesquisador fez um truque inteligente. Ele deu ao aprendiz uma "folha de dicas" (a chave de cifra) que transformou o labirinto em uma linha reta.

O Resultado: Assim que a busca foi removida e a tarefa se tornou um cálculo de linha reta, a precisão do aprendiz saltou de 3% para 57%.
A Conclusão: O modelo podia fazer a matemática e a lógica perfeitamente bem. Ele apenas não conseguia realizar a parte da "busca" enquanto escrevia a história.

5. A Solução Real: Memorização, Não Raciocínio

Então, como o vencedor da competição resolveu os quebra-cabeças difíceis? Eles não ensinaram o modelo a buscar.

A Estratégia: Eles perceberam que o labirinto tinha um número finito de caminhos possíveis. Em vez de ensinar o modelo a percorrer o labirinto, eles fizeram o modelo memorizar um mapa de todos os layouts de labirinto possíveis.
A Analogia: Em vez de ensinar o aprendiz a navegar em um labirinto, você dá a ele um livro que diz: "Se o labirinto for assim, a resposta é aquela". O modelo memorizou esse livro (um catálogo de soluções) e depois só precisou fazer uma verificação rápida para garantir que a resposta se encaixava.
A Lição: O artigo conclui que, para esses problemas difíceis de busca, a memorização funciona, mas a destilação do processo de busca não.

Resumo

A mensagem principal do artigo é: Você não pode ensinar um modelo a "buscar" apenas mostrando-lhe os passos da busca.

Se a tarefa é uma linha reta, mostrar os passos funciona.
Se a tarefa exige backtracking (tentar, falhar e tentar novamente), o modelo apenas memorizará as palavras da falha, não a lógica.
Para resolver essas tarefas difíceis, você deve ou ensinar o modelo a realizar a busca por conta própria (o que é difícil) ou pré-computar as respostas e ensinar o modelo a memorizar o catálogo de possibilidades.

O artigo é um aviso aos pesquisadores de IA: Só porque um programa de computador consegue resolver um problema, não significa que um modelo de linguagem possa aprender a "pensar" o seu caminho para essa solução apenas lendo as notas do programa. Às vezes, a única maneira de aprender é memorizando o mapa, não a jornada.

Resumo Técnico: Uma Busca Verificável Não é uma Cadeia de Pensamento Aprendível

Declaração do Problema

O artigo investiga uma hipótese central na destilação de raciocínio: se uma tarefa pode ser resolvida por um programa determinístico curto, esse programa pode ter sua lógica ensinada a um modelo de linguagem menor como uma Cadeia de Pensamento (CoT) verificável? A intuição sugere que escrever os passos de um solver em linguagem natural e realizar o ajuste fino (fine-tuning) do modelo sobre eles deve permitir que o modelo reproduza o raciocínio.

O autor desafia essa intuição usando um benchmark controlado de nove tarefas de raciocínio. O benchmark possui uma propriedade única: o conjunto de teste oculto é gerado pelos mesmos geradores determinísticos do conjunto de treinamento público. Isso garante que uma fatia retida dos dados de treinamento seja um substituto fiel para a precisão do teste, permitindo que o autor meça o "gap de aprendizado" entre um solver simbólico perfeito e um modelo com ajuste fino sem acesso a rótulos de teste externos.

A questão central é se a cobertura de um solver verificável prevê a precisão de um modelo que tenta aprender o procedimento via CoT. O estudo foca especificamente em tarefas onde a solução requer busca (ex: backtracking) versus tarefas que são computáveis de forma direta/forward (ex: aritmética, consulta de tabela).

Metodologia

A pesquisa emprega um pipeline rigoroso e instrumentado para isolar a aprendibilidade do ruído de dados ou limitações arquiteturais:

Construção do Benchmark: Nove categorias de tarefas foram definidas, incluindo numerais romanos, conversão de unidades, física de queda livre, cifras de substituição monoalfabética, indução de regra booleana de 8 bits, indução de equações e duas famílias de criptaritmia (deduzir e adivinhar).
Engenharia Reversa do Solver: O autor realizou engenharia reversa dos geradores determinísticos em solvers Python. Cinco tarefas resultaram em solvers com $\ge$ 98% de precisão. A tarefa de criptaritmia foi resolvida via um solver de busca por backtracking que alcançou ~71% de precisão (o restante sendo informacionalmente ambíguo).
Geração de CoT Sintética: Os solvers foram instrumentados para narrar seus próprios passos no estilo ASCII nativo do modelo base. Uma disciplina crítica foi imposta: cada "veredito" (ex: "descartar este candidato") tinha que ser testemunhado, o que significa que a evidência que forçou a decisão tinha que ser explicitamente reafirmada na mesma linha.
Regime de Treinamento:
- Modelo Base: Nemotron-3-Nano-30B-A3B (um modelo híbrido Mamba-2/Mixture-of-Experts).
- Adapter: Adapters LoRA de Rank- $\le$ 32 treinados via Supervised Fine-Tuning (SFT) em CoT sintética.
- Escalações: Quando o SFT estagnou, o autor aplicou Reinforcement Learning from Verifiable Rewards (RLVR/GRPO) e treinamento Self-Taught Reasoner (STaR), colhendo os próprios rollouts bem-sucedidos do modelo.
Avaliação: Os modelos foram avaliados em linhas reais de treinamento retidas (atuando como o conjunto de teste) sob decodificação gulosa (greedy decoding). O estudo também incluiu um controle de arquitetura (testando Transformers densos e MoE de 3B a 671B) e uma intervenção causal (revelando partes da chave da cifra para testar a derivabilidade direta).

Contribuições Principais e Descobertas

1. O Gap de Solubilidade–Aprendibilidade

O artigo quantifica uma divergência acentuada entre a precisão do solver e a precisão do modelo.

Tarefas Computáveis de Forma Direta (Forward-Computable): Para tarefas como numerais romanos, conversão de unidades e cifras simples, a cobertura do solver (perto de 100%) traduz-se diretamente para a precisão do modelo ( $\ge$ 0.99).
Tarefas de Busca: Para criptaritmia, o solver alcança ~71% de precisão, mas o modelo com ajuste fino trava em 0.01–0.07, independentemente do método de treinamento (SFT, RLVR, STaR) ou do design da CoT (11 designs diferentes testados).
Manipulação de Bits: Esta tarefa situa-se no meio termo. O solver atinge 98.9%, mas o modelo atinge apenas 0.678. O gap é fechado parcialmente pelo STaR, que permite ao modelo imitar suas próprias buscas bem-sucedidas, sugerindo que o modelo pode aprender a busca se conseguir executar a busca dentro da janela de contexto.

2. O Mecanismo de Falha: "Veredito-como-Token"

O artigo identifica um modo de falha específico em tarefas de busca chamado "verdict-as-token" (veredito-como-token).

Observação: Nos rastros de criptaritmia, o modelo realiza aritmética corretamente em 97–100% das linhas. No entanto, o veredito (a conclusão de que um candidato é inválido) é frequentemente desacoplado da evidência naquela linha.
Mecanismo: Sob teacher forcing, o modelo aprende a emitir uma frase fixa (ex: "nenhum coincide $\to$ descartar") porque ela sempre aparece em um contexto correto durante o treinamento. Na inferência (execução livre), essa frase dispara incondicionalmente, mesmo quando a aritmética na linha contradiz tal conclusão.
Evidência: Uma auditoria de fidelidade por linha mostrou que, embora a correção aritmética fosse quase perfeita, a fidelidade lógica do veredito (a conclusão segue dos números?) era de apenas 16–57%.

3. Independência de Arquitetura e Derivabilidade Direta

A falha não é específica da arquitetura híbrida Mamba-2/MoE.

Controle de Arquitetura: Treinar o mesmo corpus de criptaritmia em Transformers densos (Llama-3.2-3B, Qwen3.5-4B) e Transformers MoE (gpt-oss-20b) resultou no mesmo piso de precisão de $\le$ 0.04.
Intervenção Causal: Revelar a chave completa da cifra (transformando a tarefa de busca em consulta direta) elevou a precisão do modelo de 0.03 para 0.571. Revelar apenas metade da chave pouco ajudou.
Conclusão: A restrição vinculante é a derivabilidade direta (forward-derivability). Uma tarefa cuja única solução honesta é a busca por backtracking sobre uma estrutura sem informação não admite uma CoT direta fiel. Sem um rastro direto para imitar, o SFT aprende apenas a forma superficial da busca, não sua lógica.

4. A Fuga: Memorização, Não Busca

O artigo demonstra que a tarefa é aprendível, mas não através da destilação do processo de busca.

A Solução do 1º Lugar: O vencedor da competição (Private LB 0.92) não ensinou o modelo a buscar. Em vez disso, ele pré-computou o núcleo combinatório da busca (um catálogo de 4.205 assinaturas de candidatos para criptaritmia) e o memorizou. A CoT do modelo então reduziu-se à recuperação (consultar o catálogo) mais verificação limitada.
Implicação: O que se destila é a memorização e a verificação, não a busca em si. Uma busca verificável é aprendível como uma CoT apenas se sua estrutura de candidatos puder ser comprimida em um catálogo finito pequeno o suficiente para ser memorizado.

Significância e Alegações

A principal contribuição do artigo é um resultado negativo com evidências convergentes: uma busca verificável não é uma cadeia de pensamento aprendível.

Refutação da Intuição: A suposição de que "qualquer tarefa solucionável é aprendível via CoT" falha para procedimentos que exigem backtracking sobre estruturas sem informação.
Identificação do Mecanismo: O artigo isola o "verdict-as-token" como o modo de falha específico onde o SFT desacopla a forma de um passo de raciocínio de seu conteúdo lógico, levando a rastros infiéis que colapsam na inferência.
Heurística Preditiva: O autor propõe um teste de pré-treinamento para aprendibilidade: O fechamento puramente direto (sem backtracking) cobre uma fração significativa das instâncias? Se não, a tarefa provavelmente resistirá à destilação de CoT.
Distinção: O artigo distingue entre solubilidade (uma resposta existe) e aprendibilidade (um modelo consegue raciocinar para chegar nela). A cobertura do solver prevê a precisão do modelo apenas quando o solver é um mapa direto; para procedimentos de busca, ela prevê quase nada.

O autor afirma explicitamente que a contribuição não é uma nova capacidade de modelo ou um ranking de competição (seu melhor score foi 0.85, a mediana do campo), mas um "relato limpo e instrumentado de onde e por que uma busca verificável falha em se tornar raciocínio de modelo". As descobertas sugerem que, para tarefas de busca complexas, o caminho para o alto desempenho reside em reformular a tarefa para separar a memorização da computação, em vez de tentar destilar o processo de busca em si.