💬 NLP

Training Continuous Chain of Thought Models: A Tale of Two Regimes

Este artigo apresenta o C-MTP, um método de supervisão direta mais rápido para o treinamento de modelos de Cadeia de Pensamento contínua que supera abordagens diretas anteriores e iguala métodos indiretos mais lentos em traços de raciocínio curtos, ao mesmo tempo em que revela que as técnicas atuais de CoT contínua apresentam dificuldades significativas quando aplicadas a tarefas complexas com cadeias de raciocínio mais longas.

Autores originais: Varun Yerram, He He, Eunsol Choi

Publicado 2026-07-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Varun Yerram, He He, Eunsol Choi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a resolver um quebra-cabeça difícil. No passado, o robô simplesmente cuspia a resposta, muitas vezes errando por não pensar direito. Então, os cientistas descobriram um truque de mágica: se eles dissessem ao robô para "pensar em voz alta" primeiro, escrevendo cada pequeno passo de seu raciocínio, o robô se tornaria muito melhor em resolver problemas. Isso é chamado de "Cadeia de Pensamento" (Chain-of-Thought). É como um aluno mostrando o desenvolvimento de um cálculo em uma prova de matemática; quanto mais passos ele escreve, maior a probabilidade de obter a resposta correta.

No entanto, há um porém. Escrever cada passo detalhadamente consome muito tempo e poder computacional. É como pedir a um corredor para parar e escrever um diário após cada passo que dá. Isso o torna lento como uma tartaruga. Então, os pesquisadores começaram a perguntar: "Podemos fazer o robô pensar em uma linguagem secreta e comprimida? Ele pode fazer todo esse pensamento em sua cabeça usando notas curtas e densas em vez de frases longas?" Essa ideia é chamada de "Cadeia de Pensamento Contínua" (Continuous Chain-of-Thought). O objetivo é manter o pensamento inteligente, mas perder a fala longa e verbosa. Mas aqui está a grande questão: podemos realmente ensinar um robô a pensar nessas notas secretas sem perder sua inteligência?

Este artigo, intitulado "Treinando Modelos de Cadeia de Pensamento Contínua: Um Conto de Dois Regimes", mergulha profundamente nessa questão. Os autores, Varun Yerram, He He e Eunsol Choi, atuam como detetives testando duas maneiras diferentes de ensinar essa linguagem secreta ao robô. Eles chamam esses dois métodos de "Supervisão Indireta" e "Supervisão Direta".

Pense na Supervisão Indireta como um professor que observa um aluno resolver um problema passo a passo em um quadro branco. O professor usa um processo especial onde o robô prediz autoregressivamente pensamentos intermediários (latentes) um por um. Para guiar essa predição lenta e serial, o modelo professor (que já resolveu o problema usando texto completo) compartilha seus "estados cerebrais" internos (ativações) com o robô estudante. O robô aprende a imitar esses estados internos para gerar sua própria sequência de pensamentos, um após o outro, como uma linha de dominós caindo. É preciso, mas lento.

A Supervisão Direta, que os autores introduzem como um novo método chamado C-MTP, é mais como um professor entregando ao aluno uma pilha de cartões de índice. Cada cartão representa um bloco do processo de pensamento. O professor diz: "Aqui está a resposta para todo este bloco de pensamento; apenas aprenda a prever as palavras que vão neste cartão". Isso permite que o rob em aprenda muitos passos ao mesmo tempo, como ler uma página inteira de um livro em vez de uma letra por vez. É muito mais rápido e eficiente.

Os pesquisadores testaram ambos os métodos em três níveis de dificuldade, como escalar uma montanha com três acampamentos.

Acampamento 1: O Caminho Fácil e Estruturado.
Em problemas matemáticos simples onde o pensamento é curto e organizado (como "18 vezes 12 é igual a 216"), o novo método de Supervisão Direta (C-MTP) foi um astro. Foi mais rápido de treinar, precisou de menos exemplos para aprender e, na verdade, tornou-se melhor em resolver problemas que nunca tinha visto antes em comparação ao antigo método indireto e lento. Foi como um velocista que consegue correr tão rápido quanto o maratonista, mas com muito menos treinamento.

Acampamento 2: O Caminho Verboso e Conversador.
Quando os problemas se tornavam um pouco mais complexos e o pensamento exigia explicações longas e detalhadas (como escrever frases completas para cada passo), a maré virou. O método de Supervisão Indireta assumiu a liderança. Por quê? Porque ele foi projetado para comprimir pensamentos longos e desordenados em algumas notas curtas. O método Direto teve dificuldades aqui porque tentava prever cada palavra da explicação longa e, se cometesse um pequeno erro, toda a cadeia de pensamento desmoronava. Era como tentar copiar uma história longa adivinhando cada palavra; um erro de digitação estraga o parágrafo inteiro.

Acampamento 3: O Cume Realista e Caótico.
Finalmente, os pesquisadores testaram ambos os métodos nos problemas mais difíceis e realistas — quebra-cabeças matemáticos complexos com centenas de palavras de raciocínio, exatamente como um humano escreveria. Foi aqui que a história tomou um rumo triste. Ambos os métodos, o rápido Direto e o cuidadoso Indireto, fracassaram miseravelmente. O desempenho de ambos caiu cerca de 65% em comparação ao método padrão de deixar o robô escrever todos os seus pensamentos.

Os autores descobriram que, nessas tarefas longas e realistas, nenhum dos métodos conseguiu lidar com a complexidade. O método Direto continuava cometendo pequenos erros matemáticos que se acumulavam, e o método Indireto não conseguia comprimir os pensamentos longos e desordenados com precisão suficiente. Acontece que a atual "linguagem secreta" da Cadeia de Pensamento Contínua ainda não está pronta para o mundo real. O artigo sugere que os benchmarks fáceis que usamos para testar esses robôs podem estar nos enganando, fazendo-os parecer mais inteligentes do que realmente são quando confrontados com problemas reais e caóticos.

No fim, o artigo não declara um único vencedor. Em vez disso, ele nos diz que, embora o novo método Direto seja uma ferramenta rápida e fantástica para tarefas simples e estruturadas, ainda temos um longo caminho a percorrer antes que os robôs possam pensar em códigos secretos para problemas complexos do mundo real. O sonho de um robô que pensa rápido e de forma inteligente sem precisar escrever tudo ainda é um trabalho em progresso.

Problema
Grandes Modelos de Linguagem (LLMs) alcançam alto desempenho em tarefas de raciocínio complexo ao gerar longas trilhas de Cadeia de Pensamento (Chain-of-Thought - CoT). No entanto, a geração autoregressiva dessas sequências verbosas de tokens acarreta custos computacionais significativos durante a inferência. Métodos de Cadeia de Pensamento Contínua (Continuous Chain-of-Thought ou ContinuousCoT) visam mitigar isso, substituindo tokens de raciocínio discretos por uma sequência curta de representações latentes densas. As abordagens existentes geralmente se dividem em duas categorias: supervisão indireta, que treina modelos para prever autoregressivamente latentes que são posteriormente decodificados ou destilados (ex: COCONUT, CODI), e supervisão direta, que tenta mapear trilhas de raciocínio diretamente para espaços latentes (ex: CoLaR).

Métodos indiretos sofrem com o treinamento sequencial lento devido à geração de latentes autoregressiva e frequentemente dependem de pipelines de destilação complexos. Métodos diretos, embora permitam o treinamento paralelo, historicamente enfrentam desafios de otimização, como a modelagem de distribuições complexas sobre espaços latentes, e demonstraram degradação de desempenho em trilhas de raciocínio verbosas ou realistas em comparação ao ajuste fino (fine-tuning) padrão de CoT.

Metodologia: C-MTP
Os autores introduzem o C-MTP (Continuous Chain-of-Thought via Multi-Token Prediction), um novo framework de supervisão direta projetado para simular o raciocínio latente contínuo de forma mais eficiente.

Conceito Central: Em vez de modelar latentes como distribuições Gaussianas parametrizadas (como no CoLaR) ou prevê-los de forma autoregressiva (como nos métodos indiretos), o C-MTP trata um latente intermediário como um embedding de token agregado de um intervalo (span) de tokens da trilha de CoT original.
Objetivo de Treinamento: O modelo é treinado usando Previsão de Múltiplos Tokens (Multi-Token Prediction - MTP). Dada uma trilha de raciocínio $y$ , ela é particionada em intervalos não sobrepostos de $s$ tokens. Cada intervalo é comprimido em um único vetor latente $z_i$ através da média dos embeddings dos tokens. O modelo é então treinado para prever os $s$ tokens que compõem cada intervalo latente em paralelo, condicionado ao prompt de entrada e aos latentes anteriores.
Função de Perda: O objetivo combina uma perda de previsão de múltiplos tokens (prevendo os tokens dentro de cada intervalo) e uma perda padrão de geração de resposta. Os autores também utilizam um professor de CoT para destilação de conhecimento ( $L_{KD}$ ) para guiar o treinamento, embora estudos de ablação mostrem que o C-MTP permanece eficaz sem ele.
Inferência: Durante a fase de raciocínio, o modelo amostra $s$ tokens em cada etapa, agrega seus embeddings para formar o próximo latente e repete o processo até que um token de fim de pensamento (end-of-thinking) seja gerado. O modelo então muda para a geração autoregressiva padrão para a resposta final.

Principais Contribuições

Framework C-MTP: Um novo método de supervisão direta que utiliza MTP para alinhar o raciocínio latente contínuo com objetivos de pré-treinamento padrão, permitindo treinamento totalmente paralelo via teacher forcing.
Comparação Sistemática de Regimes: Uma avaliação empírica abrangente através de três regimes distintos de trilhas de CoT:
- Estruturado: Expressões matemáticas compactas (ex: GSM8k-Aug).
- Semi-Natural: Explicações em linguagem natural verbosas (ex: GSM8k-Aug-NL).
- Realista: Trilhas longas e complexas geradas por LLMs fortes (ex: dataset MATH).
Identificação de Limitações: O artigo demonstra que, embora o C-MTP se destaque em configurações estruturadas, tanto a supervisão direta quanto a indireta falham em igualar o ajuste fino de CoT padrão (CoT-SFT) em tarefas de raciocínio de longo horizonte e realistas.

Resultados Experimentais

Trilhas Estruturadas (GSM8k-Aug): O C-MTP supera significativamente os métodos existentes de supervisão direta (CoLaR) em todas as taxas de compressão. Ele iguala ou excede os métodos de supervisão indireta (CODI) em precisão, sendo mais rápido (aproximadamente 2x de aceleração no treinamento) e mais eficiente em termos de amostras. O C-MTP também demonstra generalização superior para estruturas de problemas fora da distribuição (out-of-distribution) em comparação ao treinamento sequencial dos métodos indiretos.
Trilhas Semi-Naturais (GSM8k-Aug-NL): Em trilhas verbosas, a supervisão indireta (CODI) supera os métodos diretos. Os autores atribuem isso à natureza de "compressão" dos métodos indiretos, que força o modelo a descartar tokens de preenchimento (filler tokens), enquanto os métodos diretos lutam com o acúmulo de erros ao serem forçados a prever trilhas verbosas completas via teacher forcing.
Trilhas Realistas (MATH): Em tarefas complexas com centenas de tokens de raciocínio, ambos os regimes de supervisão direta e indireta colapsam, atingindo apenas ~30–35% da precisão do CoT-SFT padrão. A análise revela que erros em etapas iniciais de raciocínio (particularmente em expressões aritméticas) cascateiam de forma irremediável, levando a respostas finais incorretas.

Significância e Alegações
O artigo alega que os benchmarks atuais que dependem de trilhas estruturadas ou semi-naturais superestimam a utilidade prática dos métodos de ContinuousCoT. Embora o C-MTP ofereجça uma solução mais eficiente e eficaz para tarefas de raciocínio estruturado, as limitações fundamentais de comprimir longas e complexas trilhas de raciocínio em orçamentos latentes fixos permanecem sem solução. Os autores sugerem que o progresso futuro pode exigir abordagens híbridas que alternem adaptativamente entre o raciocínio baseado em tokens e o contínuo, em vez de depender apenas de um regime de supervisão. O trabalho ressalta a necessidade de avaliação em tarefas de longo horizonte e realistas para avaliar verdadeiramente a viabilidade do raciocínio latente.

Mais como este