💬 NLP

Demystifying Entropy-based Selection for Chain-of-Thought Compression in Large Reasoning Models

Este artigo desafia a eficácia da poda baseada em entropia para comprimir o raciocínio de Cadeia de Pensamento (Chain-of-Thought), demonstrando que tais heurísticas não oferecem vantagem sobre a seleção aleatória e que a informação crítica para a tarefa está distribuída por toda a cadeia de raciocínio, em vez de concentrada em tokens específicos identificáveis por métricas de entropia.

Autores originais: Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

Publicado 2026-08-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô brilhante, mas tagarela, a resolver um quebra-cabeça difícil. Para chegar à resposta correta, o robô não apenas solta uma solução de imedi-to; ele fala consigo mesmo primeiro, escrevendo uma longa lista de pensamentos, cálculos e momentos de "eureka!". Esse monólogo interno é chamado de "Cadeia de Pensamento" (Chain-of-Thought). É como um detetive anotando cada pista, mesmo aquelas que parecem óbvias, antes de capturar o criminoso. Embora esse método torne o robô muito mais inteligente, também o torna muito lento e faminto por memória de computador, porque a lista de pensamentos pode se tornar incrivelmente longa. Cientistas estão agora tentando descobrir como encurtar essa lista sem perder a genialidade do detetive. Eles querem saber: podemos apenas deletar as partes chatas da história e manter apenas os trechos emocionantes e importantes?

Por um tempo, muitos pesquisadores acreditaram que haviam encontrado um filtro mágico. Eles pensaram que, ao observar o quão "surpreso" o robô ficava com sua própria próxima palavra (um conceito chamado "entropia"), poderiam dizer quais pensamentos eram cruciais e quais eram apenas enchimento. A ideia era que, se o robô estivesse muito confiante sobre o que diria a seguir (baixa surpresa), essa parte provavelmente era apenas uma repetição entediante e poderia ser cortada. Se o robô estivesse incerto (alta surpresa), esse seria o momento de pensamento real e deveria ser mantido. Parecia uma maneira perfeita de encolher o diário do robô para algumas páginas, mantendo todas as partes boas. Mas será que esse filtro mágico é real ou é apenas um palpite de sorte?

Este artigo é um choque de realidade para essa ideia. Os autores, uma equipe de cientistas curiosos, decidiram testar esse "filtro de entropia" contra um método muito mais simples e bobo: apenas deletar pensamentos aleatoriamente. Eles trataram as longas cadeias de raciocínio do robô como um quarto bagunçado e tentaram arrumá-lo usando duas estratégias diferentes. A primeira estratégia foi a "inteligente", usando o filtro de entropia para escolher o que manter. A segunda foi a "aleatória", onde eles apenas pegaram um punhado de frases ou palavras para manter, ignorando o conteúdo inteiramente. Eles testaram isso em uma variedade de robôs (diferentes modelos de IA) e deram a eles diferentes tipos de lição de casa, incluindo problemas de matemática, enigmas de lógica e questões de ciências.

Os resultados foram uma reviravolta no enredo. Quando os cientistas observaram frases inteiras, o "inteligente" filtro de entropia não foi melhor do que o palpite aleatório. Na verdade, o método aleatório frequentemente fazia tão bem quanto, ou até melhor, em manter o desempenho do robô elevado. Acontece que o "nível de surpresa" de uma frase não é um mapa confiável para onde a informação importante está escondida. Os autores sugerem que a razão pela qual alguns estudos anteriores acharam que a entropia estava funcionando pode ser porque eles estavam testando principalmente em problemas de matemática, onde as palavras "importantes" são frequentemente números.

Quando deram um zoom para observar palavras individuais (tokens) em vez de frases inteiras, um padrão estranho surgiu. Em testes de matemática, manter as palavras com baixa surpresa pareceu ajudar. Mas os autores investigaram mais a fundo e perceberam que isso não era porque essas palavras eram palavras de "pensamento". Era porque, em problemas de matemática, as palavras de baixa entropia eram quase sempre números (como "2", "7" ou "5"). Como os números são previsíveis na matemática, eles têm baixa entropia. O filtro não estava encontrando as partes "inteligentes"; estava apenas pegando acidentalmente os números. Quando os cientistas removeram os números da mistura, o filtro de baixa entropia parou de funcionar e tornou-se tão ruim quanto o palpite aleatório.

Para provar isso, eles usaram um truque especial chamado "patching de ativação" (activation patching). Imagine que você pega a atividade cerebral do robô da versão completa e longa da história e a cola na versão curta e comprimida. Isso permite ver se o contexto ausente era realmente o problema. Eles descobriram que, mesmo com esse truque de reforço cerebral, o filtro de entropia ainda não conseguia vencer o método aleatório, a menos que estivesse mantendo especificamente os números em problemas de matemática. Em tarefas não matemáticas, como enigmas de lógica, o filtro de entropia falhou completamente, não performando melhor do que o acaso.

Então, qual é a conclusão? O artigo sugere que a ideia de usar a "surpresa" (entropia) para encontrar e manter automaticamente as partes mais importantes do processo de pensamento de um robô é, em grande parte, um mito. O conteúdo semântico — o significado e a lógica reais do raciocínio — não está concentrado em algumas palavras especiais de baixa surpresa que uma regra simples possa encontrar. Em vez disso, a informação importante está espalhada por toda a cadeia de pensamento. Embora manter números ajude com a matemática, não existe um "filtro mágico" universal que possa comprimir a cadeia de raciocínio de um robô sem perder sua inteligência. A melhor maneira de encurtar a lista pode ser simplesmente manter mais dela, ou encontrar uma maneira mais inteligente de cortá-la que não dependa de adivinhar quais palavras são entediantes.

Resumo Técnico: Desmistificando a Seleção Baseada em Entropia para Compressão de Cadeia de Pensamento (Chain-of-Thought)

Declaração do Problema

O escalonamento de inferência via raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT) melhorou a precisão de Grandes Modelos de Linguagem (LLMs) em tarefas complexas, mas frequentemente resulta em traços de raciocínio excessivamente longos que esgotam as janelas de contexto. Para mitigar isso, a literatura recente propôs estratégias de poda baseadas em entropia, hipotetizando que a entropia de tokens ou sentenças serve como um proxy confiável para a relevância. Especificamente, alguns trabalhos sugerem a retenção de tokens de alta entropia (marcando bifurcações de raciocínio) enquanto descartam os de baixa entropia (vistos como redundantes), enquanto outros argumentam o oposto: que tokens de baixa entropia carregam conteúdo semântico e devem ser retidos.

No entanto, essas afirmações carecem de comparação contra baselines aleatórios e são predominantemente testadas em benchmarks matemáticos. Isso levanta questões críticas: A entropia é realmente indicativa de conteúdo de raciocínio, ou o sucesso observado é meramente um resultado de compressão genérica? Isso se generaliza além do raciocínio matemático?

Metodologia

Os autores conduzem uma avaliação abrangente de robustez dos métodos de seleção baseados em entropia através de diversas condições:

Modelos: Seis modelos abrangendo três famílias (gpt-oss, Gemma-4, Qwen3) e variando em escalas de parâmetros (4B a 120B).
Datasets: Raciocínio matemático (AIME 2024–2026, MATH-500), enigmas lógicos (ZebraLogic) e questões de ciência de senso comum (GPQA-Diamond).
Critérios de Seleção:
- Nível de sentença: Classificação por média de entropia de tokens (baixa vs. alta), fração de tokens numéricos e amostragem uniforme aleatória.
- Nível de token: Classificações semelhantes baseadas em entropia, além de seletores específicos para tokens numéricos, quebras de linha e marcadores de fim de sentença.
Protocolos de Compressão:
1. Não Patcheado (Apenas Texto): O modelo gera uma resposta baseada apenas no texto comprimido.
2. Patcheado (Consciente de Ativação): O modelo gera a partir do texto comprimido, mas utiliza estados ocultos (ativações) em cache da traça original completa no nível dos tokens retidos. Isso isola o efeito da retenção de conteúdo da perda de fluência contextual.
Avaliação: O desempenho é medido pela Retenção de Desempenho Relativo (RPR) e pela Área Sob a Curva (AUC) do RPR ao longo das taxas de retenção, comparado a um baseline aleatório ( $\Delta$ AUC).

Resultados Principais

1. Poda ao Nível de Sentença: A Entropia Não Oferece Vantagem

Em todos os modelos, escalas e domínios de raciocínio (matemáticos e não matemáticos), a seleção aleatória de sentenças consistentemente domina ou performa no mesmo nível ou acima das estratégias de seleção de baixa e alta entropia.

Em taxas de compressão moderadas a altas, a poda aleatória retém 78–90% do desempenho da CoT completa.
Estratégias baseadas em entropia (tanto de baixa quanto de alta) geralmente falham em isolar o conteúdo necessário, muitas vezes caindo significativamente abaixo dos baselines aleatórios, embora existam exceções específicas onde empatam ou excedem levemente o desempenho aleatório.
Isso sugere que, ao nível de sentença, a entropia não é um sinal confiável para relevância de raciocínio.

2. Poda ao Nível de Token: O "Confundimento do Token Numérico"

Ao nível de token, uma vantagem aparente para a seleção de baixa entropia emerge apenas em benchmarks matemáticos, mas isso não se deve à entropia em si.

O Mecanismo: Em CoTs matemáticas, tokens numéricos (dígitos) exibem inerentemente uma entropia muito baixa porque as opções de vocabulário do modelo são restritas (0–9) quando o contexto implica um número.
Evidência: Quando os tokens numéricos são explicitamente excluídos do seletor de baixa entropia ("baixa entropia sem números"), o desempenho cai drasticamente, muitas vezes abaixo da seleção aleatória. Inversamente, um seletor que visa apenas tokens numéricos ("números") performa comparavelmente ou melhor que a seleção de baixa entropia.
Generalização: Em tarefas não matemáticas (ZebraLogic, GPQA), a vantagem da seleção de token de baixa entropia desaparece inteiramente, performando de forma equivalente à seleção aleatória.

3. O Papel do Patching de Ativação

O estudo revela que a compressão apenas de texto frequentemente produz traças ilegíveis ou sintaticamente quebradas (ex: sequências de dígitos sem operadores).

Efeito de Patching: Quando as ativações dos tokens retidos são "patcheadas" da traça completa, o modelo consegue recuperar um desempenho quase perfeito mesmo em taxas de compressão extremas.
Conteúdo vs. Contexto: O patching permite que o modelo utilize o conteúdo semântico dos tokens retidos (especificamente números em tarefas de matemática) sem a necessidade do contexto sintático circundante.
Eficiência do Seletor: Com o patching, o seletor "números" é o mais eficiente, recuperando o desempenho total usando apenas 10–20% dos tokens. A seleção de baixa entropia também melhora, mas seu sucesso deve-se amplamente à inclusão desses tokens numéricos. Outros seletores (alta entropia, baixa entropia sem números) não apresentam recuperação comparável.

4. Reavaliando Alegações Anteriores

Remoção de Alta Entropia: As alegações de que remover tokens de alta entropia melhora a precisão são atribuídas à sobreposição entre a remoção de alta entropia e a retenção de tokens numéricos (baixa entropia) em contextos matemáticos, em vez de um mecanismo de redução de ruído.
Redundância de Baixa Entropia: Embora o artigo confirme que estratégias de poda podem levar a uma melhoria no desempenho (igualando ou excedendo a precisão da traça completa em alguns casos), ele demonstra que a seleção aleatória alcança os mesmos resultados em taxas de compressão comparáveis ou até superiores. Portanto, a alegação de que etapas de baixa entropia são unicamente redundantes não é sustentada; os ganhos observados não são específicos para a poda baseada em entropia, mas são alcançáveis através da seleção aleatória, embora com possíveis diferenças de eficiência.

Significância e Conclusões

O artigo conclui que a entropia não é um sinal generalizável para identificar o conteúdo semântico de uma traça de raciocínio.

Refutação da Entropia como Heurística: O sucesso percebido da compressão baseada em entropia na literatura anterior é amplamente uma correlação espúria impulsionada pelas propriedades específicas de tarefas matemáticas (onde números são de baixa entropia e ricos em conteúdo).
Distribuição de Informação: A informação relevante para a tarefa não está concentrada em um pequeno conjunto de tokens identificáveis por entropia. Em vez disso, ela está distribuída por toda a cadeia de raciocínio.
Realidade da Compressão: A compressão eficaz requer a retenção de tokens com conteúdo semântico significativo (como números em matemática) e, crucialmente, a preservação das ativações contextuais associadas a eles. A simples poda de texto baseada em entropia falha em capturar essa complexidade.

Os autores enfatizam que suas descobertas desafiam a premissa de que a entropia pode ser usada como um proxy universal para relevância de raciocínio, sugerindo que métodos de compressão futuros devem olhar além das métricas simples de entropia para identificar e preservar os reais drivers semânticos do raciocínio.