🤖 machine learning

ChainPrune: Evaluating and Reducing Redundancy in Long Chain-of-Thought Reasoning

O artigo apresenta o ChainPrune, um método inovador que otimiza o raciocínio de Cadeia de Pensamento (Chain-of-Thought) longa ao consolidar caminhos autogerados em uma estrutura de árvore para seleção multicritério e aplicar o aprendizado de preferência baseado em DPO, reduzindo efetivamente a redundância e a sobrecarga computacional enquanto mantém ou melhora a precisão.

Autores originais: Weihang Pan, Zhengxu Yu, Yuxiang Zhang, Wenzhi Li, Zhongming Jin, Binbin Lin, Xiaofei He, Jieping Ye

Publicado 2026-08-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Weihang Pan, Zhengxu Yu, Yuxiang Zhang, Wenzhi Li, Zhongming Jin, Binbin Lin, Xiaofei He, Jieping Ye

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala tornaram-se extraordinariamente habilidosos na resolução de problemas complexos, mas frequentemente o fazem de uma forma que parece observar alguém a pensar excessivamente sobre uma decisão simples. Quando estes sistemas de inteligência artificial são solicitados a resolver um problema matemático ou a escrever código, frequentemente geram um rastro longo e sinuoso de pensamentos antes de chegarem a uma resposta. Este processo, conhecido como raciocínio de cadeia de pensamento (chain-of-thought reasoning), imita a forma como os humanos decompõem tarefas difíceis em passos menores. Embora este método tenha melhorado a precisão da IA, surgiu um novo problema: os modelos estão a pensar demais. Eles produzem quantidades excessivas de texto, repetindo-se, verificando o seu trabalho desnecessariamente e dando muito mais passos do que o necessário. Este "pensar excessivo" desperdiça poder de computação e abranda o sistema, tornando-o menos prático para uso no mundo real. Os investigadores estão agora a tentar ensinar estes modelos a serem concisos sem perderem a sua capacidade de pensar profundamente.

Uma equipa de investigadores desenvolveu uma nova abordagem chamada ChainPrune para resolver este problema do pensamento excessivo. Eles descobriram que simplesmente dizer a um modelo para usar menos palavras muitas vezes tem o efeito oposto. Quando os modelos são recompensados apenas por textos curtos, tendem a fragmentar a sua lógica em pedaços minúsculos e desconexos. Isto cria uma situação em que a contagem total de palavras é baixa, mas o número de passos permanece elevado, deixando o caminho de raciocínio longo e ineficiente. Os investigadores chamam a isto "pseudo-concisão". É como tentar poupar tempo ao caminhar com passos muito pequenos e rápidos; pode até dar menos passos por segundo, mas continua a percorrer uma longa distância. O objetivo, perceberam eles, era reduzir tanto o número de palavras como o número de passos simultaneamente, garantindo que o raciocínio permanecesse claro e lógico.

Para alcançar isto, os investigadores construíram um sistema que trata os pensamentos do modelo como uma árvore de ramificações. Quando o modelo gera várias formas diferentes de resolver o mesmo problema, o sistema procura passos que signifiquem a mesma coisa, mesmo que sejam expressos de formas diferentes. Por exemplo, se um caminho diz "adicionar cem ao total" e outro diz "aumentar a soma em cem", o sistema reconhece estas como ações idênticas. Ele então funde estes passos duplicados num único nó limpo, podando efetivamente as ramificações redundantes da árvore. Este processo cria um mapa compacto do raciocínio que mantém toda a lógica necessária, mas remove a repetição.

Uma vez que o sistema possui este mapa simplificado, ele seleciona a melhor versão do caminho de raciocínio. Não escolhe apenas o mais curto; procura o caminho que é simultaneamente curto em palavras e curto em passos, mantendo-se correto. Se um caminho for demasiado longo ou contiver erros, é descartado. Os investigadores utilizam então estes dados de alta qualidade e eficientes para treinar o modelo novamente. Eles combinaram um método que ensina o modelo a preferir melhores respostas com uma técnica que garante que o modelo não perde a sua capacidade de raciocinar corretamente ao tentar ser breve. Este treino ajuda o modelo a aprender a gerar pensamentos que são naturalmente concisos e estruturados, em vez de apenas cortar palavras de uma frase longa.

Os resultados deste treino foram significativos. Quando testados em problemas matemáticos difíceis e desafios de programação, os modelos treinados com o ChainPrune resolveram problemas com a mesma precisão de antes, mas fizeram-no com muito menos esforço. Os investigadores descobriram que os modelos reduziram o número de passos de raciocínio em quase vinte e sete por cento e cortaram a quantidade total de texto em mais de vinte e oito por cento. Mais importante ainda, a qualidade do pensamento melhorou. Os modelos cometeram menos erros lógicos, pararam de refletir sobre o seu trabalho desnecessariamente e eliminaram passos redundantes em mais de sessenta por cento em comparação com as suas versões não treinadas. Isto sugere que, ao focar-se na estrutura do raciocínio em vez de apenas no comprimento do texto, é possível tornar a inteligência artificial mais inteligente e eficiente ao mesmo tempo.

O estudo também destacou uma falha crítica em tentativas anteriores de tornar a IA mais rápida. Muitos métodos anteriores tentavam forçar os modelos a serem mais curtos penalizando-os por usarem demasiadas palavras. Os investigadores mostraram que esta abordagem frequentemente levava ao problema da "pseudo-concisão", onde o modelo parecia curto, mas era na verdade ineficiente. Em contraste, o ChainPrune demonstrou que a verdadeira eficiência vem da compreensão do significado dos passos e da remoção de duplicados, não apenas da contagem de palavras. Esta descoberta oferece um caminho mais claro para o desenvolvimento de sistemas de IA que possam pensar profundamente sem ficarem presos em detalhes desnecessários, tornando-os mais úteis para tarefas do quotidiano onde a velocidade e a clareza são importantes.

Resumo Técnico: ChainPrune

Problema

Embora o raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT) tenha aprimorado significativamente as capacidades de resolução de problemas de múltiplos passos de Grandes Modelos de Linguagem (LLMs), os modelos avançados de raciocínio (LRMs) frequentemente exibem comportos de "overthinking" (pensar excessivamente). Estes incluem etapas de raciocínio excessivamente longas, trajetórias redundantes e alta carga computacional.

As estratégias de mitigação existentes, particularmente aquelas que dependem de recompensas de comprimento de token durante o Aprendizado por Reforço (RL), frequentemente resultam em pseudo-concisão. Neste fenômeno, os modelos reduzem a contagem total de tokens fragmentando a lógica em muitos micro-passos com frases curtas e secas. Embora a contagem de tokens caia, o comprimento da cadeia estrutural (número de etapas de raciocínio) aumenta, levando a caminhos de raciocínio ineficientes e potencial acúmulo de erros. Os pipelines atuais de aprendizado de preferência frequentemente selecionam respostas "escolhidas" baseando-se apenas no comprimento mínimo de tokens entre saídas corretas, falhando em alinhar-se com o objetivo de minimizar simultaneamente o uso de tokens e as etapas de raciocínio.

Metodologia: ChainPrune

Os autores propõem o ChainPrune, um método de otimização estrutural semântica de caminhos de raciocínio de baixo custo, projetado para sintetizar dados de treinamento de alta qualidade e reduzir a redundância sem sacrificar a correção. O framework opera através de três estágios sinérgicos:

1. Fusão de Caminhos de Raciocínio

O método consolida múltiplos caminhos de raciocínio autogerados em uma estrutura unificada baseada em árvore.

Correspondência de Nós Semânticos: As etapas são representadas como vetores de embedding. Novas etapas são correspondidas a nós existentes com base na similaridade de cosseno. Se a similaridade exceder um limiar ( $\theta_{sim}$ ), a etapa é considerada semanticamente equivalente e fundida.
Verificação Baseada em Entropia: Para evitar a fusão de nós lexicalmente similares, mas logicamente distintos, aplica-se um critério de entropia de nível de token. O modelo simula a substituição de um candidato a nó pelo nó existente e calcula a entropia de Shannon da distribuição de tokens subsequente. As fusões são aceitas apenas se a incerteza preditiva não aumentar ( $\Delta H \le \epsilon$ ), garantindo a consistência lógica.

2. Seleção de Caminho Dominante Multi-Critério

A partir da árvore fundida, um conjunto de dados de preferência é construído usando um processo de seleção de duas fases para evitar o trade-off entre token vs. etapa:

Seleção Pareto-Dominante: O sistema define um escore de eficiência combinando o comprimento de token ( $\ell_{token}$ ) e o comprimento da cadeia ( $\ell_{step}$ ). Ele seleciona o caminho Pareto-dominante (mais curto em ambas as dimensões) entre as respostas corretas. Se nenhum caminho único dominar, seleciona-se o caminho de menor número de tokens entre os candidatos não dominados.
Rejeição Baseada em Limiar: As respostas rejeitadas são estritamente filtradas para garantir que sejam inequivocamente inferiores. Elas devem ser ou "Excessivamente Longas, mas Corretas" (excedendo o caminho escolhido por margens específicas tanto em etapas quanto em tokens) ou "Mais Longas e Incorretas".

3. Otimização de Preferência

O modelo é ajustado finamente usando um objetivo de Otimização de Preferência Direta (DPO) modificado combinado com perda de Ajuste Fino Supervisionado (SFT).

Função Objetivo: A perda conjunta inclui o termo DPO padrão e um termo de log-verossimilhança negativa (NLL) para os pares vencedores.
Racional: O termo NLL é crucial para evitar o "colapso de sincronização de recompensa", um fenômeno onde métodos de margem (como DPO padrão ou SimPO) inadvertidamente diminuem as probabilidades tanto das respostas escolhidas quanto das rejeitadas, degradando o desempenho. O termo SFT maximiza explicitamente a verossimilhança das saídas preferidas, impedando que o modelo degenerar em raciocínios excessivamente breves ou incompletos.

Principais Contribuições

Identificação da Pseudo-Concisão: O artigo revela que os métodos atuais de otimização de contagem de tokens frequentemente falham em reduzir a redundância estrutural, levando a cadeias de raciocínio fragmentadas.
Framework ChainPrune: Um novo método de compressão baseado em similaridade estrutural semântica que funde nós equivalentes em caminhos de raciocínio amostrados, reduzindo etapas redundantes enquanto preserva a lógica central.
Construção Automatizada de Dados de Preferência: Um pipeline que busca dinamicamente caminhos Pareto-otimizados a partir de árvores fundidas, gerando dados de treinamento de alta qualidade sem anotação manual.
Estratégia de Aprendizado Otimizada: Evidência empírica demonstrando que um objetivo de perda DPO + NLL encurta significativamente as etapas de raciocínio enquanto mantém a qualidade do raciocínio, superando o DPO padrão e o SimPO em configurações de preferência de escolha curta.

Resultados Experimentais

Os autores avaliaram o ChainPrune em dois modelos de longo COT (DeepSeek-R1-Distilled-Qwen-7B e 1.5B) em cinco benchmarks (AIME24, AIME25, AMC23, LiveCodeBench e MATH500).

Ganhos de Eficiência: O ChainPrune alcançou uma redução média de 26,8% no comprimento da cadeia e 28,1% no comprimento de tokens em comparação com os modelos base, sem degradação de precisão.
Precisão: O método consistentemente igualou ou superou a precisão do modelo base, superando baselines como Kimi-1.5 e DAST (reproduzido) que mostraram quedas perceptíveis de precisão.
Qualidade do Raciocínio (LLM-as-a-Judge): Utilizando um framework de LLM-como-Juiz verificado por checagem humana, o ChainPrune demonstrou melhorias significativas na qualidade do raciocínio em relação ao modelo base:
- 57,8% de redução em etapas de raciocínio falhas.
- 62,1% de redução em reflexões inválidas.
- 65,9% de redução em etapas redundantes.

Significância e Alegações

O artigo afirma que o ChainPrune aborda o desafio crítico da "pseudo-concisão" ao mudar o foco da otimização de mera compressão de tokens para a eficiência estrutural semântica. Ao fundir nós semanticamente equivalentes e selecionar caminhos Pareto-otimizados, o método gera sequências de raciocínio genuinamente eficientes, que são mais curtas tanto em expressão quanto em estrutura.

Os autores posicionam este trabalho como o estabelecimento de novos padrões para avaliar a eficiência do raciocínio, enfatizando a coerência semântica sobre a simples redução de tokens. Embora o estudo atual foque em otimização offline, o artigo observa que a natureza de baixo custo da abordagem possui potencial para integração em frameworks de RL online (ex: PPO) para aumentar a eficiência da exploração, embora esta extensão não tenha sido implementada devido a restrições de recursos.