💬 NLP

CopT: Contrastive On-Policy Thinking with Continuous Spaces for General and Agentic Reasoning

CopT é um framework de raciocínio sem treinamento que inverte o paradigma padrão de cadeia de pensamento ao gerar primeiro uma resposta preliminar e, em seguida, empregar verificadores contrastivos em espaço contínuo para acionar dinamicamente reflexão em política apenas quando necessário, melhorando significativamente a precisão e reduzindo custos de tokens em diversas tarefas de raciocínio.

Autores originais: Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive brilhante tentando resolver um mistério.

O Jeito Antigo (Cadeia de Pensamento):
Tradicionalmente, quando Modelos de Linguagem de Grande Escala (LLMs) tentam resolver um problema, eles agem como um detetive que insiste em escrever um relatório policial de 10 páginas antes de poder dizer quem é o culpado. Eles pensam, pensam, pensam, anotam cada passo e então dão a resposta.

O Problema: Às vezes, o detetive já sabe a resposta no primeiro segundo. Mas, como as regras dizem "pense primeiro", ele continua escrevendo o relatório de qualquer maneira. Isso desperdiça tempo (tokens) e energia, mesmo que a resposta fosse óbvia. Isso é chamado de "raciocínio performativo" — pensar apenas pelo sake de pensar.

O Jeito Novo (CopT):
O artigo apresenta o CopT (Pensamento Contrastivo em Política). Ele inverte o roteiro. Em vez de pensar antes de responder, o CopT age como um detetive que grita uma resposta de rascunho imediatamente.

Passo 1: O Cheque Intuitivo. O modelo diz: "Acho que a resposta é X."
Passo 2: O Espelho Mágico. Antes de aceitar essa resposta, o CopT usa um "Espelho Mágico" especial (um mecanismo contrastivo) para verificar se a resposta é confiável.
- Ele examina a resposta usando uma visão padrão (tokens discretos).
- Ele examina a resposta usando uma visão "embaçada e incerta" (incorporações contínuas que seguram todas as possibilidades de "talvez" que o modelo considerou).
- Se o modelo estiver confiante, as duas visões combinam perfeitamente. Se o modelo estiver chutando ou confuso, as duas visões colidem.
Passo 3: A Decisão.
- Se o espelho disser "Parece Bom": O detetive aceita a resposta imediatamente. Não há necessidade de escrever o relatório longo. Resultado: Economia enorme de tempo e dinheiro.
- Se o espelho disser "Parece Instável": O detetive diz: "Ok, preciso pensar mais." Mas aqui está a parte inteligente: eles não apenas esquecem sua primeira tentativa. Eles usam um "interruptor de visibilidade". Eles podem esconder a primeira tentativa instável se estiver confundindo-os, ou mantê-la visível se for uma dica útil, enquanto fazem o pensamento profundo para corrigi-la.

A Metáfora Central: A "Lente Embaçada" vs. A "Lente Nítida"

Para entender o "Espelho Mágico" (o verificador contrastivo), imagine olhar para uma pintura através de duas lentes diferentes:

A Lente Nítida (Entrada Discreta): Você vê as pinceladas finais e nítidas que o modelo decidiu pintar. Esta é a "resposta de rascunho".
A Lente Embaçada (Entrada Contínua): Você vê a paleta inteira de cores que o modelo estava considerando antes de escolher o traço final. Isso inclui todos os "e se" e incertezas.

Como o CopT usa isso:
O CopT pergunta: "A Lente Nítida parece a mesma que a Lente Embaçada?"

Sim: O modelo estava seguro. A resposta provavelmente está correta. Pare de pensar, economize os tokens.
Não: A Lente Embaçada mostra que o modelo estava realmente muito confuso ou considerando muitas possibilidades diferentes, mesmo tendo escolhido uma cor específica. A resposta provavelmente está errada. Comece a pensar (pensamento em política) para corrigi-la.

Por Que Isso Importa (De Acordo com o Artigo)

O artigo afirma que este método é um divisor de águas porque impede que o modelo "execute" pensamentos desnecessários.

Velocidade e Custo: Em problemas fáceis onde o modelo sabe a resposta instantaneamente, o CopT ignora completamente o longo processo de pensamento. O artigo mostra que isso corta o "custo" (número de palavras/tokens gerados) pela metade em alguns casos.
Pensamento Mais Inteligente: Em problemas difíceis onde a primeira tentativa está errada, o CopT não desiste apenas. Ele usa o "Espelho Mágico" para perceber: "Espere, estou confuso", e então se envolve em pensamento profundo apenas quando necessário.
Sem Treinamento Necessário: Isso não é um novo modelo que precisa de anos de treinamento. É uma nova maneira de usar modelos existentes. É como dar a um detetive inteligente um novo conjunto de regras a seguir, em vez de ensiná-lo um novo idioma.

O "Interruptor de Visibilidade"

Quando o modelo percebe que precisa pensar mais, ele precisa decidir se continua olhando para sua primeira tentativa (possivelmente errada).

Se o processo de pensamento ficar confuso, o CopT pode esconder a primeira tentativa para que o modelo não se confunda com seu próprio erro.
Se a primeira tentativa tiver uma boa dica nela, o CopT a mostra para ajudar a guiar a correção.
Isso é controlado por uma segunda verificação do "Espelho Mágico" durante o processo de pensamento.

Resumo

O CopT é uma maneira mais inteligente de usar o raciocínio de IA. Em vez de forçar a IA a pensar por muito tempo antes de falar, ele permite que a IA fale primeiro, verifica se essa fala é confiável usando um "detector de incerteza" especial, e só a força a pensar profundamente se o detector disser: "Ei, isso não parece certo". Isso torna a IA mais rápida, mais barata e tão inteligente (ou mais inteligente) em problemas difíceis.

Resumo Técnico: CopT: Pensamento Contrastivo On-Policy com Espaços Contínuos para Raciocínio Geral e Agêntico

Declaração do Problema

O prompting de Cadeia de Pensamento (CoT) tornou-se o padrão para elicitar capacidades de raciocínio em Modelos de Linguagem de Grande Escala (LLMs). No entanto, o paradigma predominante de CoT trata o pensamento como um pré-requisito estrito para a resposta, forçando os modelos a gerar uma trilha de raciocínio completa antes de produzir uma resposta final. Observações recentes indicam que os LLMs frequentemente exibem "raciocínio performativo", onde continuam a gerar etapas de raciocínio mesmo após identificar internamente uma resposta plausível. Esse comportamento atrasa o acesso a respostas corretas e incorre em custos de tokens desnecessários. Além disso, métodos existentes que utilizam embeddings contínuos (CoT Latente) frequentemente sacrificam a legibilidade do raciocínio explícito ou introduzem problemas, como representações não vistas e deriva para o ruído quando usados diretamente para geração.

Metodologia: CopT

Os autores propõem o CopT (Pensamento Contrastivo On-Policy), um pipeline de raciocínio sem treinamento que inverte a ordem padrão de operações: Resposta Primeiro, Depois Pensar. A metodologia consiste em duas etapas principais e um mecanismo de verificação contrastiva inovador.

1. Pipeline de Raciocínio Invertido

Elicitação de Resposta Rascunho: Em vez de pensar primeiro, o modelo é forçado a emitir um token <answer> imediatamente e gerar uma resposta rascunho ( $a$ ) com base na pergunta de entrada ( $q$ ).
Pensamento On-Policy: Se a resposta rascunho for considerada não confiável, o modelo aciona uma fase subsequente de pensamento condicionada ao rascunho. Isso permite reflexão e correção apenas quando necessário.

2. Estimativa Contrastiva de Confiabilidade

Para determinar se uma resposta rascunho deve ser confiada ou se é necessário mais pensamento, o CopT introduz um estimador de KL reverso normalizado ao nível de sequência ( $\kappa$ ). Esse mecanismo aproveita embeddings contínuos como verificadores no momento da inferência, sem usá-los para geração.

Entradas Discretas vs. Contínuas: Durante a geração, o modelo armazena em cache duas representações para cada etapa:
1. Prefixo Discreto: A probabilidade padrão $p_t$ do token escolhido dada o histórico de tokens discretos.
2. Prefixo Contínuo: Um embedding contínuo $e_t$ calculado como a média ponderada por probabilidade de todos os embeddings do vocabulário, preservando informações de incerteza.
O Estimador: Após gerar um rascunho de comprimento $T_a$ , o modelo compara a probabilidade dos tokens gerados sob o prefixo discreto ( $p_\theta(a_t | q, a_{<t})$ ) contra a probabilidade sob o prefixo contínuo ( $p_\theta(a_t | q, e_{<t})$ ).
$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$
Interpretação: Um $\kappa_a$ alto indica que a resposta é significativamente menos apoiada quando informações de incerteza (embeddings contínuos) são consideradas, sugerindo que o rascunho não é confiável. Se $\kappa_a$ exceder um limiar $\tau_a$ , o modelo entra na etapa de pensamento on-policy.

3. Controle Dinâmico de Visibilidade

Durante a fase de pensamento on-policy, a resposta rascunho pode ainda conter informações parciais úteis, mas também pode enganar o modelo se for fundamentalmente falha. O CopT aborda isso controlando dinamicamente a visibilidade da resposta rascunho durante os blocos subsequentes de pensamento.

A trajetória de pensamento é partitionada em blocos.
Um segundo estimador de KL ( $\kappa_r$ ) é calculado para cada bloco para avaliar a estabilidade do processo de pensamento atual.
Se $\kappa_r$ indicar instabilidade (alta discrepância), a resposta rascunho é ocultada ( $m_k=0$ ) para o próximo bloco, a fim de evitar que o modelo seja enganado. Se estiver estável, o rascunho permanece visível ( $m_k=1$ ).

4. Fundamentação Teórica

O artigo fornece uma análise teórica mostrando que, sob uma suposição "misto-linear", o valor esperado do estimador de KL reverso é igual à informação mútua $I(S; A)$ entre o estado de raciocínio latente não resolvido $S$ e o token de resposta emitido $A$ . Isso prova que o estimador mede incerteza relevante para a resposta, e não incerteza arbitrária no estado latente. Consequentemente, a pontuação aumenta apenas quando a incerteza preservada nos embeddings contínuos altera efetivamente o suporte do modelo para os tokens gerados.

Contribuições Principais

Paradigma Invertido: Propõe um pipeline sem treinamento onde os LLMs geram uma resposta rascunho primeiro e invocam o pensamento on-policy apenas quando o rascunho é considerado não confiável, permitindo acesso mais precoce a respostas e correção seletiva.
Verificação Contrastiva: Introduz um mecanismo que reclassifica embeddings contínuos (anteriormente usados para geração no CoT Latente) como verificadores no momento da inferência. Ao contrastar entradas discretas e contínuas, estima a confiabilidade do rascunho e modula a visibilidade do rascunho sem sacrificar a legibilidade do CoT explícito.
Insight Teórico: Demonstra que o estimador proposto mede a informação mútua entre estados latentes e respostas, explicando por que captura efetivamente a incerteza relevante para a resposta.
Validação Empírica: Valida extensivamente o método em tarefas de matemática, codificação e raciocínio agêntico, mostrando ganhos consistentes sobre as linhas de base CoT padrão.

Resultados Experimentais

Os autores avaliaram o CopT nos modelos Qwen3 e Qwen3.5 (escalas 2B, 8B e 35B) em 10 benchmarks, incluindo GSM8K, Math500, AIME, HumanEval, LeetCode-Contest e benchmarks agênticos (BFCL v4, ZebraArena).

Precisão e Eficiência: O CopT melhora a precisão máxima em até 23% (por exemplo, no ZebraArena, divisão grande) e reduz o uso de tokens em até 57% em níveis de precisão comparáveis ou superiores, em comparação com o CoT padrão.
Matemática e Codificação: No GSM8K, o CopT alcançou um ganho de precisão de +0,23% com uma redução de 55,1% em tokens. Em benchmarks desafiadores de AIME, melhorou a precisão em +3,34% (AIME24) e +2,92% (AIME25).
Raciocínio Agêntico: Em tarefas agênticas de múltiplas voltas (ZebraArena), o CopT melhorou a precisão em +23,03% na divisão grande, enquanto reduziu o uso de tokens em 19,6%.
Comparação com Métodos Latentes: Diferentemente de métodos sem treinamento que usam embeddings contínuos para geração (por exemplo, Soft-Thinking, SwiReasoning), o CopT mantém um raciocínio totalmente explícito e legível, alcançando maior precisão com menos tokens.
Latência: As economias de tokens traduzem-se diretamente em reduções de latência, com o CopT reduzindo a latência média por amostra em até 69% no HumanEval.

Significado e Afirmações

O artigo afirma que o CopT oferece um caminho prático para um raciocínio de LLM mais custo-efetivo no momento da inferência, sem exigir treinamento adicional. Ao inverter a ordem de pensamento-resposta e utilizar embeddings contínuos como verificadores contrastivos, o CopT equilibra com sucesso o compromisso entre precisão, eficiência e transparência do raciocínio. Os autores enfatizam que essa abordagem evita as armadilhas da geração contínua direta (como desdiversificação e ruído), ao mesmo tempo em que aproveita a informação de incerteza inerente aos espaços contínuos para tomar decisões mais inteligentes sobre quando pensar e quando parar. O método é apresentado como um framework generalizável aplicável a várias arquiteturas de modelos e domínios de raciocínio.