Resumen Técnico: Los Modelos de Razonamiento Pueden Ser Podados con Precisión Mediante Reconstrucción de Cadena de Pensamiento

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) con capacidades de razonamiento paso a paso, como DeepSeek-R1, generan cadenas de pensamiento (CoT) explícitas antes de producir una respuesta final. Si bien esto mejora significativamente la precisión en tareas complejas como matemáticas y programación, resulta en secuencias de salida extremadamente largas, lo que hace que estos modelos sean costosos de desplegar a gran escala debido a la alta latencia de inferencia y los requisitos de memoria.

La poda de modelos es una técnica estándar para reducir el tamaño del modelo y el costo de inferencia. Sin embargo, los autores observan que aplicar métodos de poda estándar (por ejemplo, SparseGPT) a modelos de razonamiento produce resultados contra intuitivos y perjudiciales:

1. Degradación de la Precisión: La poda estándar causa caídas significativas en la precisión de la tarea a medida que aumenta la dispersión (sparsity).
2. Inflación del Tiempo de Ejecución: Contrario al objetivo de compresión, los modelos de razonamiento fuertemente podados a menudo se vuelven más lentos. Los modelos producen trazas de CoT más largas, más divagantes y menos precisas, aumentando el recuento total de tokens y el tiempo de inferencia.

El artículo hipotetiza que este fallo proviene de una discrepancia en la distribución. La poda estándar calibra los pesos utilizando únicamente indicaciones de entrada (donde $|x| \gg |y|$), whereas los modelos de razonamiento son tareas dominadas por la decodificación donde los tokens de CoT generados ($|c| + |y| \gg |x|$) constituyen la mayor parte del cómputo de inferencia. La poda basada únicamente en las activaciones de la indicación falla al preservar la capacidad del modelo para generar trazas de razonamiento coherentes.

2. Metodología: Compresión Consciente del Razonamiento (RAC)

Los autores proponen Compresión Consciente del Razonamiento (RAC), una modificación "drop-in" a los flujos de trabajo de poda de un solo paso existentes que alinea el proceso de calibración con la distribución real de tiempo de inferencia de los modelos de razonamiento.

Mecanismo Central

Los algoritmos de poda estándar (como SparseGPT) minimizan el error de reconstrucción de los pesos de la capa ($W_\ell$) utilizando una matriz de activación ($X_\ell$) derivada únicamente de las indicaciones de entrada. RAC modifica esto aumentando el conjunto de datos de calibración con trazas de CoT en política.

1. Ejecución en Política: Durante la fase de calibración, para cada indicación $x^{(m)}$, se permite que el modelo denso genere autoregresivamente sus propios tokens de CoT y respuesta.
2. Recopilación de Activaciones: Se recopilan los estados ocultos ($x^{(\ell)}_t$) correspondientes a ambos los tokens de la indicación de entrada y los tokens de CoT auto-generados.
3. Reconstrucción Conjunta: El algoritmo de poda resuelve el problema de optimización por capas utilizando una matriz de activación combinada $X^{RAC}_\ell = [X^P_\ell, X^D_\ell]$, donde $X^P$ representa las activaciones de la indicación y $X^D$ representa las activaciones de tiempo de decodificación (CoT).

La función objetivo se convierte en:
$$\min_{\hat{W}_\ell} \sum_{m} \sum_{t \in P_m \cup D_m} \| (W_\ell - \hat{W}_\ell) x^{(\ell-1,m)}_t \|_2^2$$
sujeto a restricciones de dispersión. Esto asegura que los pesos comprimidos estén optimizados para reconstruir las activaciones encontradas durante todo el proceso de razonamiento, no solo la indicación inicial.

Detalles de Implementación

• Poda de Un Solo Paso: El método no requiere reentrenamiento ni destilación. Opera en un solo paso sobre los pesos preentrenados.
• Compatibilidad: RAC se integra perfectamente con algoritmos de poda por capas existentes (por ejemplo, SparseGPT, WANDA, ALPS).
• Costo de Calibración: Si bien recopilar activaciones de CoT es más costoso que la calibración solo con indicaciones, sigue siendo significativamente más barato que el reentrenamiento completo del modelo o la destilación.

3. Contribuciones Clave

1. Diagnóstico del Fallo de Poda: El artículo identifica que la poda estándar falla en modelos de razonamiento porque ignora la naturaleza dominada por la decodificación de la generación de CoT, lo que lleva a desplazamientos de distribución que hacen que los modelos "divaguen" y pierdan precisión.
2. Algoritmo RAC: La introducción de una estrategia de calibración simple que inyecta activaciones de CoT en política en el objetivo de poda.
3. Validación Empírica: Extensos experimentos que demuestran que RAC permite podar modelos de razonamiento a niveles altos de dispersión (hasta el 50%) mientras mantiene la precisión y previene la explosión del tiempo de ejecución asociada con la poda estándar.

4. Resultados Experimentales

Los autores evaluaron RAC en múltiples familias de modelos de razonamiento (variantes destiladas de DeepSeek-R1 y Qwen3) a través de varios tamaños (de 1.5B a 70B) y puntos de referencia (MATH-500, AIME-25, LiveCodeBench).

Precisión y Tiempo de Ejecución

• Preservación de la Precisión: Al 50% de dispersión, RAC supera significativamente tanto a la poda calibrada con C4 estándar como a la poda solo con indicaciones.
  • Ejemplo (DeepSeek-R1-7B en MATH-500): RAC mantiene una precisión de 0.900, en comparación con 0.812 (solo indicación) y 0.744 (C4).
  • Ejemplo (Qwen3-8B en MATH-500): RAC logra una precisión de 0.862 al 50% de dispersión, frente a 0.564 (C4) y 0.470 (solo indicación).
• Reducción del Tiempo de Ejecución: RAC previene el comportamiento de "divagación".
  • Ejemplo (DeepSeek-R1-7B): La poda estándar aumentó el tiempo de ejecución de 23.3 minutos (denso) a 135.0 minutos al 50% de dispersión. RAC redujo esto a 35.3 minutos, manteniendo efectivamente el perfil de velocidad del modelo denso.
• Generalización: Los beneficios se mantienen a través de diferentes arquitecturas (Qwen, Llama), tamaños de modelo y dominios (matemáticas y código). RAC también muestra robustez cuando se combina con poda estructurada (dispersión 2:4) y cuantización (FP8).

Estudios de Ablación

• En Política vs. Fuera de Política: El uso de trazas de CoT generadas por el mismo modelo que se está podando (en política) produce mejores resultados que el uso de trazas de un modelo diferente y más grande, aunque los datos fuera de política aún ofrecen cierta mejora sobre la poda solo con indicaciones.
• Sensibilidad al Presupuesto de Tokens: La penalización de tiempo de ejecución de los modelos podados se impulsa en gran medida por límites excesivos de generación de tokens. Cuando se restringe a longitudes de decodificación razonables (por ejemplo, 4,096 tokens), los modelos podados con RAC igualan o superan el rendimiento del modelo denso tanto en precisión como en velocidad.
• Agnosticismo del Algoritmo: RAC mejora el rendimiento cuando se combina con varios algoritmos de poda (SparseGPT, ALPS, WANDA), no solo con SparseGPT.

Análisis del Error de Reconstrucción

El análisis de errores token a token en problemas de prueba retenidos revela que, si bien la calibración solo con indicaciones preserva bien las activaciones de entrada, incurre en altos errores de reconstrucción durante la fase de decodificación (el CoT). RAC reduce específicamente estos errores durante las largas cadenas de razonamiento, alineando el comportamiento del modelo podado con el del modelo denso durante la fase crítica de generación.

5. Significado y Afirmaciones

El artículo afirma que la Compresión Consciente del Razonamiento es una modificación crítica y simple requerida para hacer viable la poda para LLMs de razonamiento.

• Impacto Práctico: RAC permite el despliegue de modelos de razonamiento más pequeños y rápidos sin el colapso de precisión o los picos de latencia observados actualmente con la compresión estándar.
• Perspectiva Teórica: El trabajo destaca que, para tareas dominadas por la generación (como el razonamiento), los datos de calibración deben reflejar toda la trayectoria de inferencia, no solo la entrada.
• Limitaciones: Los autores notan modestamente que RAC no optimiza explícitamente la reducción de la longitud de la secuencia (aunque ayuda indirectamente al mejorar la calidad de la generación) y que el paso de calibración incurre en una sobrecarga computacional modesta en comparación con los métodos solo con indicaciones. Sin embargo, enfatizan que esta sobrecarga es insignificante en comparación con el costo del reentrenamiento.

En resumen, el artículo demuestra que al alinear la distribución de calibración de la poda con las trazas de razonamiento en política del modelo, se pueden podar con precisión los modelos de razonamiento hasta un 50% de dispersión, preservando hasta el 95% de la precisión del modelo denso y previniendo las ralentizaciones de inferencia que generalmente afectan a los sistemas de razonamiento comprimidos.