Capability-Guided Compression: Toward Interpretability-Aware Budget Allocation for Large Language Models

1. El Problema: Compresión "Ciega a las Capacidades"

El artículo identifica una limitación fundamental en los métodos actuales de compresión de Modelos de Lenguaje Grandes (LLM), como la poda (pruning), la cuantización y la descomposición de bajo rango.

• Ceguera Funcional: Los métodos existentes asignan presupuestos de compresión basándose en señales estadísticas proxy (magnitud de los pesos, curvatura del Hessiano, varianza de activaciones) en lugar de entender qué función encodifica cada componente del modelo.
• Consecuencias Documentadas: Esta falta de conciencia funcional provoca dos fallos críticos:
  1. Insensibilidad de la Perplejidad (PPL): La métrica estándar (perplejidad) no detecta la pérdida de capacidades de razonamiento o recuperación de hechos, permitiendo que modelos con perplejidad similar tengan capacidades drásticamente diferentes.
  2. Transiciones de Fase Abruptas: Siguiendo el trabajo de Ma et al. (2026), la compresión no degrada el modelo suavemente; más bien, existe un umbral crítico (Punto de Transición de Fase o PTP) donde el rendimiento colapsa repentinamente. La compresión ciega a menudo elimina componentes críticos antes de alcanzar estos umbrales, causando un colapso prematuro.

2. Metodología: Compresión Guiada por Capacidades (CGC)

El autor propone Capability-Guided Compression (CGC), un marco que integra la interpretabilidad mecánica (mediante Autoencoders Dispersos o SAEs) en el proceso de asignación de presupuestos de compresión.

A. Densidad de Capacidad (Capability Density)

El núcleo de CGC es una métrica escalar formalmente definida, $\delta^{(c)}$, que mide la importancia funcional de un componente $c$ (cabeza de atención o capa FFN) basándose en la distribución de activaciones de un SAE entrenado sobre ese componente. Se compone de tres sub-métricas normalizadas:

1. Amplitud de Características ($\beta$): Número de características del diccionario SAE que se activan consistentemente.
2. Diversidad de Características ($H$): Entropía de Shannon de la distribución de activaciones de las características (mide cuán uniforme es el uso de las características).
3. Consistencia Trans-Entrada ($\Psi$): Similitud de Jaccard promedio entre los conjuntos de características activas en diferentes entradas semánticas.

La densidad de capacidad se calcula como la media geométrica ponderada de estos tres factores.

B. Fundamento Teórico

• Teorema 1: Establece que los componentes con mayor densidad de capacidad tienen menor redundancia estructural. Debido a que sus características activas están distribuidas ampliamente en el espacio de salida (alta entropía), la eliminación aleatoria de pesos destruye una proporción mayor de características activas en comparación con componentes de baja densidad (donde la masa de características está concentrada en pocas direcciones).
• Corolario 1: Los componentes de alta densidad alcanzan sus propios Puntos de Transición de Fase (PTP) individuales con ratios de compresión más bajos. Por lo tanto, deben protegerse más que los componentes de baja densidad.

C. El Algoritmo CGC

CGC se formula como un problema de optimización combinatoria con restricciones:

1. Techo de Presupuesto Inducido por Densidad: Se asigna un ratio de retención máximo ($\rho^{(c)}_{max}$) a cada componente basado en su densidad $\delta^{(c)}$. Los componentes de alta densidad tienen un techo más alto (menos compresión permitida).
2. Optimización: Se utiliza una inicialización proporcional a la densidad (CGC-L) seguida de una búsqueda evolutiva (extensión de EvoPress) que rechaza mutaciones que violen los techos de capacidad.
3. Integración: CGC actúa como una capa de asignación "dentro de la dimensión" sobre el marco de "Evitación de Fase" de Ma et al. (2026), asegurando que el modelo no cruce sus umbrales globales ni los umbrales individuales de sus componentes críticos.

3. Resultados Experimentales

Los experimentos se realizaron en GPT-2 Medium (355M parámetros) debido a su accesibilidad computacional.

• Hallazgo Positivo (Ortogonalidad): Se demostró que la densidad de capacidad es estadísticamente independiente de las métricas de importancia existentes. La correlación de Spearman entre la densidad de capacidad y la importancia de Wanda fue de -0.054 (n=384 cabezas). Esto confirma que CGC ofrece una señal de compresión genuinamente nueva y no es una reformulación de métricas basadas en pesos.
• Resultado Negativo (Rendimiento en Perplejidad):
  • La compresión guiada por CGC (CGC-L) no superó a la compresión uniforme en términos de Perplejidad (PPL) en GPT-2 Medium. De hecho, obtuvo un PPL ligeramente peor (+1.18 vs +0.88 del uniforme).
  • La correlación entre la densidad de capacidad y el impacto de la ablación individual de cabezas no fue estadísticamente significativa ($r = -0.066$).
• Diagnóstico de los Resultados Negativos: El autor ofrece una explicación honesta y principista de por qué falló el experimento en este modelo específico:
  1. Uniformidad Funcional: GPT-2 Medium tiene una estructura de cabezas más uniforme y redundante que modelos más grandes (como LLaMA-2-7B). No hay un subconjunto pequeño de cabezas "críticas" que la densidad pueda proteger efectivamente.
  2. Limitación de la Métrica: La perplejidad es insensible a la pérdida de circuitos de razonamiento. CGC está diseñado para preservar capacidades, no necesariamente la perplejidad en textos genéricos.
  3. Entrenamiento Superficial de SAE: Los SAEs se entrenaron solo 5 épocas en 65k tokens, insuficiente para extraer características monosémanticas limpias necesarias para una diferenciación fina, a diferencia de los SAEs entrenados en cientos de millones de tokens en modelos de producción.

4. Contribuciones Clave

1. Definición Formal de Densidad de Capacidad: Una nueva métrica basada en SAE que cuantifica la importancia funcional de los componentes.
2. Marco Teórico: Pruebas que vinculan la densidad de características (entropía/diversidad) con la redundancia estructural y los puntos de transición de fase individuales.
3. Algoritmo CGC: Un método de asignación de presupuestos que protege diferencialmente a los componentes de alta capacidad.
4. Hallazgo de Ortogonalidad: Evidencia empírica de que la capacidad funcional es una señal distinta a la magnitud de los pesos o la curvatura.
5. Diagnóstico Transparente: Un análisis riguroso de por qué la validación en GPT-2 Medium fue insuficiente, estableciendo la necesidad de modelos más grandes y benchmarks de razonamiento para futuras validaciones.

5. Significado y Conclusión

El artículo no solo propone un nuevo algoritmo, sino que expone una brecha metodológica crítica en la investigación de compresión de LLMs: la optimización basada en perplejidad está sesgada y oculta la pérdida de capacidades.

• Implicación Principal: La compresión "ciega" puede parecer eficiente según la perplejidad, pero destruye circuitos de razonamiento esenciales.
• Dirección Futura: La validación completa de CGC requiere modelos más grandes (LLaMA-2-7B o superiores) con SAEs entrenados adecuadamente y evaluaciones en benchmarks de razonamiento (ARC-Challenge, GSM8K), no solo en perplejidad.
• Visión: CGC sienta las bases para una compresión "consciente de la capacidad", donde el presupuesto de compresión se asigna dinámicamente para preservar la funcionalidad emergente del modelo, extendiendo el umbral de compresión efectivo antes del colapso catastrófico.

En resumen, este trabajo es un llamado a cambiar el paradigma de la compresión de LLMs: dejar de optimizar para la reconstrucción de tokens (perplejidad) y empezar a optimizar para la preservación de la capacidad funcional del modelo.