💬 NLP

Demystifying Entropy-based Selection for Chain-of-Thought Compression in Large Reasoning Models

Este artículo cuestiona la eficacia de la poda basada en la entropía para comprimir el razonamiento de Cadena de Pensamiento (Chain-of-Thought), demostrando que tales heurísticas no ofrecen ventaja alguna sobre la selección aleatoria y que la información crítica para la tarea está distribuida a lo largo de toda la cadena de razonamiento en lugar de estar concentrada en tokens específicos identificables mediante métricas de entropía.

Autores originales: Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

Publicado 2026-08-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot brillante pero parlanchín a resolver un rompecabezas difícil. Para obtener la respuesta correcta, el robot no solo suelta una solución de golpe; primero habla consigo mismo, escribiendo una larga lista de pensamientos, cálculos y momentos de "¡eureka!". Este monólogo interno se llama "Cadena de Pensamiento" (Chain-of-Thought). Es como un detective que anota cada pista, incluso las que parecen obvias, antes de atrapar al criminal. Si bien este método hace al robot mucho más inteligente, también lo hace muy lento y hambriento de memoria informática, porque la lista de pensamientos puede volverse increíblemente larga. Los científicos están tratando ahora de averiguar cómo acortar esta lista sin perder la genialidad del detective. Quieren saber: ¿podemos simplemente borrar las partes aburridas de la historia y quedarnos solo con los fragmentos emocionantes e importantes?

Durante un tiempo, muchos investigadores creyeron haber encontrado un filtro mágico. Pensaron que al observar qué tan "sorprendido" estaba el robot por su propia palabra siguiente (un concepto llamado "entropía"), podrían distinguir qué pensamientos eran cruciales y cuáles eran solo relleno. La idea era que si el robot estaba muy seguro de lo que iba a decir a continuación (baja sorpresa), esa parte probablemente era solo una repetición aburrida y podía cortarse. Si el robot estaba inseguro (alta sorpresa), ese era el momento de pensamiento real y debía conservarse. Sonaba como una forma perfecta de reducir el diario del robot a unas pocas páginas manteniendo todo lo bueno. Pero, ¿es este filtro mágico real, o es solo un golpe de suerte?

Este artículo es un baño de realidad para esa idea. Los autores, un equipo de científicos curiosos, decidieron probar este "filtro de entropía" contra un método mucho más simple y torpe: simplemente borrar pensamientos al azar. Trataron las largas cadenas de razonamiento del robot como una habitación desordenada e intentaron ordenarla usando dos estrategias diferentes. La primera estrategia fue la "inteligente", utilizando el filtro de entropía para elegir qué conservar. La segunda fue la "aleatoria", donde simplemente tomaron un puñado de frases o palabras para mantener, ignorando el contenido por completo. Probaron esto en una variedad de robots (diferentes modelos de IA) y les dieron diferentes tipos de tareas, incluyendo problemas matemáticos, acertijos lógicos y preguntas científicas.

Los resultados fueron un giro inesperado en la trama. Cuando los científicos observaron frases completas, el "inteligente" filtro de entropía no fue mejor que el azar. De hecho, el método aleatorio a menudo funcionó igual de bien, o incluso mejor, para mantener el alto rendimiento del robot. Resulta que el "nivel de sorpresa" de una frase no es un mapa fiable para saber dónde se esconde la información importante. Los autores sugieren que la razón por la que algunos estudios previos pensaron que la entropía estaba funcionando es porque se centraban principalmente en problemas matemáticos, donde las palabras "importantes" suelen ser simplemente números.

Cuando hicieron zoom para observar palabras individuales (tokens) en lugar de frases completas, surgió un patrón extraño. En las pruebas matemáticas, mantener las palabras con baja sorpresa sí pareció ayudar. Pero los autores profundizaron y se dieron cuenta de que esto no era porque esas palabras fueran palabras de "pensamiento". Era porque, en los problemas matemáticos, las palabras de baja sorpresa eran casi siempre números (como "2", "7" o "5"). Dado que los números son predecibles en matemáticas, tienen una entropía baja. El filtro no estaba encontrando las partes "inteligentes"; simplemente estaba eligiendo accidentalmente los números. Cuando los científicos eliminaron los números de la mezcla, el filtro de baja entropía dejó de funcionar y se volvió tan malo como el método aleatorio.

Para demostrar esto, utilizaron un truco especial llamado "parcheo de activación" (activation patching). Imagina que tomas la actividad cerebral del robot de la versión larga y completa de la historia y la pegas en la versión corta y comprimida. Esto les permite ver si el contexto faltante era realmente el problema. Descubrieron que, incluso con este truco de potenciación cerebral, el filtro de entropía aún no podía superar al método aleatorio a menos que específicamente conservara los números en los problemas matemáticos. En tareas que no eran matemáticas, como acertijos lógicos, el filtro de entropía falló por completo, rindiendo no mejor que el azar.

Entonces, ¿cuál es la conclusión? El artículo sugiere que la idea de usar la "sorpresa" (entropía) para encontrar y conservar automáticamente las partes más importantes del proceso de pensamiento de un robot es, en gran medida, un mito. El contenido semántico —el significado real y la lógica del razonamiento— no está concentrado en unas pocas palabras especiales de baja sorpresa que una regla simple pueda encontrar. En cambio, la información importante está distribuida a lo largo de toda la cadena de pensamiento. Si bien mantener los números ayuda con las matemáticas, no existe un "filtro mágico" universal que pueda comprimir la cadena de razonamiento de un robot sin perder su inteligencia. La mejor manera de acortar la lista podría ser simplemente conservar más de ella, o encontrar una forma más inteligente de recortarla que no dependa de adivinar qué palabras son aburridas.

Resumen Técnico: Desmitificando la selección basada en la entropía para la compresión de la Cadena de Pensamiento (Chain-of-Thought)

Declaración del Problema

El escalado en el tiempo de inferencia mediante el razonamiento de Cadena de Pensamiento (CoT, por sus siglas en inglés) ha mejorado la precisión de los Grandes Modelos de Lenguaje (LLM) en tareas complejas, pero a menudo resulta en trazas de razonamiento excesivamente largas que agotan las ventanas de contexto. Para mitigar esto, la literatura reciente ha propuesto estrategias de poda basadas en la entropía, bajo la hipótesis de que la entropía de los tokens o de las oraciones sirve como un indicador fiable de la relevancia. Específicamente, algunos trabajos sugieren retener los tokens de alta entropía (que marcan bifurcaciones en el razonamiento) mientras se descartan los de baja entropía (vistos como redundantes), mientras que otros argumentan lo contrario: que los tokens de baja entropía portan contenido semántico y deben ser retenidos.

Sin embargo, estas afirmaciones suelen carecer de comparaciones contra líneas base aleatorias y se prueban predominantemente en evaluaciones matemáticas. Esto plantea preguntas críticas: ¿Es la entropía realmente indicativa del contenido del razonamiento, o es el éxito observado simplemente un resultado de una compresión genérica? ¿Se generaliza esto más allá del razonamiento matemático?

Metodología

Los autores llevan a cabo una evaluación de robustez exhaustiva de los métodos de selección basados en la entropía bajo diversas condiciones:

Modelos: Seis modelos que abarcan tres familias (gpt-oss, Gemma-4, Qwen3) y escalas de parámetros variables (de 4B a 120B).
Conjuntos de Datos: Razonamiento matemático (AIME 2024–2026, MATH-500), acertijos lógicos (ZebraLogic) y preguntas de ciencia de sentido común (GPQA-Diamond).
Criterios de Selección:
- A nivel de oración: Clasificación por la media de la entropía de los tokens (baja vs. alta), fracción de tokens numéricos y muestreo uniforme aleatorio.
- A nivel de token: Clasificaciones similares basadas en la entropía, además de selectores específicos para tokens numéricos, saltos de línea y marcadores de fin de oración.
Protocolos de Compresión:
1. Sin parchear (Solo texto): El modelo genera una respuesta basándose únicamente en la traza de texto comprimida.
2. Parcheado (Conciencia de activación): El modelo genera a partir del texto comprimido pero utiliza estados ocultos (activaciones) almacenados en caché de la traza original completa en las posiciones correspondientes a los tokens retenidos. Esto aisla el efecto de la retención de contenido de la pérdida de fluidez contextual.
Evaluación: El rendimiento se mide mediante la Retención de Rendimiento Relativo (RPR) y el Área Bajo la Curva (AUC) del RPR a través de las tasas de retención, en comparación con una línea base aleatoria ( $\Delta$ AUC).

Resultados Clave

1. Poda a Nivel de Oración: La Entropía no Ofrece Ventaja

En todos los modelos, escalas y dominios de razonamiento (matemáticos y no matemáticos), la selección aleatoria de oraciones domina consistentemente o se sitúa por encima de las estrategias de selección de baja y alta entropía.

En tasas de compresión moderadas a altas, la poda aleatoria retiene entre el 78% y el 90% del rendimiento de la CoT completa.
Las estrategias basadas en la entropía (tanto de baja como de alta) generalmente fallan al aislar el contenido necesario, reduciendo a menudo el rendimiento significativamente por debajo de las líneas base aleatorias, aunque existen excepciones específicas donde igualan o superan ligeramente el rendimiento aleatorio.
Esto sugiere que, a nivel de oración, la entropía no es una señal fiable de relevancia para el razonamiento.

2. Poda a Nivel de Token: El Confundido de los "Tokens Numéricos"

A nivel de token, una aparente ventaja para la selección de baja entropía emerge solo en las evaluaciones matemáticas, pero esto no se debe a la entropía en sí misma.

El Mecanismo: En las CoT matemáticas, los tokens numéricos (dígitos) exhiben inherentemente una entropía muy baja porque las opciones del vocabario del modelo están restringidas (0–9) cuando el contexto implica un número.
Evidencia: Cuando los tokens numéricos se excluyen explícitamente del selector de baja entropía ("baja entropía sin números"), el rendimiento cae drásticamente, a menudo por debajo de la selección aleatoria. Por el contrario, un selector que apunta solo a los tokens numéricos ("números") rinde de manera comparable o mejor que la selección de baja entropía.
Generalización: En tareas no matemáticas (ZebraLogic, GPQA), la ventaja de la selección de tokens de baja entropía desaparece por completo, rindiendo a la par de la selección aleatoria.

3. El Papel del Parcheo de Activaciones

El estudio revela que la compresión basada solo en texto suele producir trazas ilegibles o sintácticamente rotas (por ejemplo, secuencias de dígitos sin operadores).

Efecto del Parcheo: Cuando las activaciones de los tokens retenidos se parchean desde la traza completa, el modelo puede recuperar un rendimiento casi perfecto incluso en tasas de compresión extremas.
Contenido vs. Contexto: El parcheo permite al modelo utilizar el contenido semántico de los tokens retenidos (específicamente los números en tareas matemáticas) sin necesidad del contexto sintáctico circundante.
Eficiencia del Selector: Con el parcheo, el selector de "números" es el más eficiente, recuperando el rendimiento total utilizando solo el 10–20% de los tokens. La selección de baja entropía también mejora, pero su éxito se debe en gran medida a la inclusión de estos tokens numéricos. Otros selectores (alta entropía, baja entropía sin números) no muestran una recuperación comparable.

4. Reevaluación de Afirmaciones Previas

Eliminación de Alta Entropía: Las afirmaciones de que eliminar los tokens de alta entropía mejora la precisión se atribuyen al solapamiento entre la eliminación de alta entropía y la retención de los tokens numéricos (de baja entropía) en contextos matemáticos, en lugar de un mecanismo de reducción de ruido.
Redundancia de Baja Entropía: Si bien el artículo confirma que las estrategias de poda pueden conducir a una mejora en el rendimiento (igualando o superando la precisión de la traza completa en algunos casos), demuestra que la selección aleatoria logra los mismos resultados a tasas de compresión comparables o incluso superiores. Por lo tanto, la afirmación de que los pasos de baja entropía son únicamente redundantes no está respaldada; las ganancias observadas no son específicas de la poda basada en la entropía, sino que son alcanzables mediante la selección aleatoria, aunque con posibles diferencias en la eficiencia.

Significado y Conclusiones

El artículo concluye que la entropía no es una señal generalizable para identificar el contenido semántico de una traza de razonamiento.

Refutación de la Entropía como Heurística: El éxito percibido de la compresión basada en la entropía en la literatura previa es en gran medida una correlación espuria impulsada por las propiedades específicas de las tareas matemáticas (donde los números son de baja entropía y ricos en contenido).
Distribución de la Información: La información relevante para la tarea no está concentrada en un pequeño conjunto de tokens identificables por la entropía. En cambio, está distribuida a lo largo de toda la cadena de razonamiento.
Realidad de la Compresión: Una compresión efectiva requiere retener tokens con contenido semántico significativo (como los números en matemáticas) y, crucialmente, preservar las activaciones contextuales asociadas con ellos. La simple poda de texto basada en la entropía no logra capturar esta complejidad.

Los autores enfatizan que sus hallazgos desafían la premisa de que la entropía puede usarse como un proxy universal para la relevancia del razonamiento, sugiriendo que los métodos de compresión futuros deben mirar más allá de las simples métricas de entropía para identificar y preservar los verdaderos impulsores semánticos del razonamiento.