Shorter, but Still Trustworthy? An Empirical Study of Chain-of-Thought Compression

Título: ¿Más corto, pero aún confiable? Un estudio empírico de la compresión del pensamiento encadenado (Chain-of-Thought)

1. El Problema

Los modelos de lenguaje grandes (LLM) con capacidades de razonamiento de pensamiento encadenado extenso (Long-CoT), como OpenAI o1 o DeepSeek-R1, han demostrado un alto rendimiento en tareas complejas (matemáticas, ciencias, codificación) generando trazas de razonamiento largas. Sin embargo, estas cadenas verbosas incurrir en costos sustanciales de inferencia, lo que ha motivado el desarrollo de métodos para comprimir estas trazas de razonamiento (mediante destilación, poda, manipulación de tokens, etc.).

El problema central identificado por los autores es que las evaluaciones actuales de compresión se centran casi exclusivamente en precisión de la tarea y ahorro de tokens. Esto deja una pregunta crítica sin respuesta: ¿Preserva la compresión las propiedades de confianza (trustworthiness) del modelo? Dado que la compresión modifica el mismo espacio de parámetros donde se codifican las alineaciones de seguridad y robustez adquiridas durante el entrenamiento, una alta precisión en tareas de razonamiento no garantiza que el modelo siga siendo seguro, resistente a las alucinaciones o robusto en múltiples idiomas.

2. Metodología

Los autores realizaron el primer estudio empírico sistemático sobre cómo la compresión de CoT afecta la confianza del modelo.

• Dimensiones de Evaluación: Se evaluaron tres dimensiones críticas de confianza:
  1. Seguridad: Capacidad de rechazar solicitudes dañinas (usando HarmBench y AgentHarm).
  2. Resistencia a Alucinaciones: Capacidad de reconocer preguntas sin respuesta (usando FaithEval).
  3. Robustez Multilingüe: Rendimiento en diversos idiomas (usando MMLU-ProX).
• Modelos y Métodos: Se evaluaron múltiples modelos de diferentes escalas (desde 1.5B hasta 32B parámetros), incluyendo familias como Qwen3, DeepSeek-R1 y QwQ. Se compararon seis métodos de compresión de cinco paradigmas distintos:
  • Destilación RL (L1).
  • Control de profundidad RL (Thinkless).
  • Eliminación de tokens sin entrenamiento (TokenSkip).
  • Destilación aumentada con verificación (VeriThinker).
  • Fusión de modelos (Merged).
  • Poda (O1-Pruned).
  • Nueva propuesta: Una variante de DPO (Direct Preference Optimization) consciente de la alineación.
• Protocolo de Evaluación: Cada modelo comprimido se comparó con su baseline (modelo base sin comprimir) bajo un protocolo unificado (mismo formato de prompt, configuración de decodificación y modelo juez).
• Métrica de Eficiencia Normalizada ($E$): Para permitir comparaciones justas entre modelos base diferentes, se propuso una puntuación de eficiencia normalizada por dimensión:
  $$E_i = \left( \frac{Acc_i}{Acc_{base}} \right)^\alpha \cdot \left( \frac{L_{base}}{L_i} \right)^\beta$$
  Donde $\alpha=2$ (penaliza fuertemente la pérdida de precisión) y $\beta=0.5$ (descuenta los ahorros de longitud). Esto evita que las métricas escalares simples oculten compensaciones negativas en la confianza.

3. Contribuciones Clave

1. Estudio Empírico Sistemático: Demostración de que la compresión de CoT introduce frecuentemente regresiones en la seguridad, resistencia a alucinaciones y robustez multilingüe que los benchmarks estándar de precisión no detectan.
2. Protocolo de Evaluación Unificado: Diseño de un marco que empareja modelos comprimidos con sus bases originales y utiliza la puntuación $E$ por dimensión para revelar compensaciones ocultas.
3. Prueba de Existencia (DPO Alineado): Introducción de una variante de DPO que reduce la longitud de la cadena de pensamiento en un 19.3% manteniendo la confianza, demostrando que la pérdida de confianza no es inevitable si se incorpora explícitamente en el objetivo de entrenamiento.

4. Resultados Principales

• Regresiones Frecuentes: La compresión a menudo degrada la confianza. Por ejemplo, en el modelo Qwen3-8B, la destilación L1 causó una caída de ~10 puntos porcentuales en seguridad (HarmBench), aunque mejoró ligeramente el rendimiento multilingüe.
• Perfiles de Degradación Distintos: Diferentes métodos afectan dimensiones diferentes.
  • La destilación (L1) tiende a dañar la seguridad.
  • La manipulación de tokens (TokenSkip) tiende a dañar la robustez multilingüe.
  • Métodos sin entrenamiento (BeConcise) pueden mejorar una métrica mientras degradan otra.
• Fallas de las Métricas Escalares: Las métricas de eficiencia tradicionales (que promedian todo) pueden ocultar graves regresiones de seguridad si se compensan con mejoras en otras áreas. El análisis por dimensión es crucial.
• Éxito de la Variante DPO: La propuesta de los autores (DPO consciente de la alineación) logró reducir la longitud del CoT en un 19.3% con una pérdida de confianza sustancialmente menor que otros métodos, manteniendo la seguridad y la resistencia a alucinaciones cerca de los niveles base.

5. Significado e Implicaciones

• Reevaluación de Despliegue: Los benchmarks de razonamiento estándar son insuficientes para evaluar modelos comprimidos. Es obligatorio evaluar la seguridad, las alucinaciones y la robustez multilingüe antes del despliegue.
• Diseño de Modelos: La confianza debe tratarse como una restricción de diseño igual de importante que la eficiencia. Optimizar solo para ahorrar tokens es peligroso.
• Futuro de la Investigación: Se debe priorizar el desarrollo de métodos de compresión que incorporen objetivos de preservación de alineación (como el DPO propuesto) en lugar de simplemente recortar la cadena de pensamiento.
• Reporte Científico: Los futuros trabajos sobre compresión deben reportar deltas absolutos dentro de la familia de modelos y puntuaciones de eficiencia normalizadas por dimensión para ofrecer una imagen completa de las compensaciones (trade-offs).

En conclusión, el paper advierte que acortar el razonamiento de los LLMs sin considerar la confianza puede generar modelos más eficientes pero menos seguros y fiables, y propone que la preservación de la alineación debe ser un objetivo central en la compresión de CoT.