Resumen Técnico: CoCurve

Declaración del Problema

La poda estructurada comprime los Modelos de Lenguaje de Gran Escala (LLMs) eliminando unidades computacionales completas, como cabezales de atención y grupos de canales de redes de alimentación hacia adelante (FFN). Aunque los métodos sin entrenamiento son preferibles por su falta de requisitos de datos y cómputo, suelen sufrir un punto ciego crítico: clasifican las unidades eliminables de forma independiente.

La mayoría de los enfoques existentes asumen que la pérdida al podar un conjunto de unidades es la suma de las pérdidas individuales de dichas unidades ($\Delta L(S) \approx \sum \Delta L(u)$). Esta suposición falla en las arquitecturas Transformer donde las subclasificadas están acopladas a través de un flujo residual compartido. En consecuencia, dos unidades que parecen débiles individualmente (baja saliencia) pueden ser conjuntamente indispensables. La clasificación independiente es ciega a este acoplamiento y a menudo elimina tales "unidades puente" junto con las unidades que estas apoyan, causando un daño desproporcionado en las capacidades generativas del modelo, particularmente en tareas de código y matemáticas.

Metodología: CoCurve

Los autores introducen CoCurve (Cross-Module Co-Pruning Curvature), un método de solo calibración y sin entrenamiento, que poda conjuntamente unidades de atención y FFN modelando sus interacciones.

1. Riesgo de Poda como Auto-Destilación de Segundo Orden

El método define el riesgo de poda como la divergencia de Kullback-Leibler (KL) a nivel de token entre el modelo completo congelado (profesor) y su copia enmascarada (estudiante) sobre texto no etiquetado.

• Orden Cero y Primero: Con cero poda, las distribuciones coinciden, por lo que el riesgo y su gradiente se anulan.
• Segundo Orden: El término principal de la expansión de Taylor es puramente cuadrático: $R(s) \approx \frac{1}{2} s^\top H s$.
• La Matriz de Fisher ($H$): Esta matriz única $H$ contiene:
  • Diagonal ($H_{uu}$): Saliencia clásica de nodos (similar a Optimal Brain Damage).
  • Fuera de la Diagonal ($H_{uv}$): Bordes de curvatura de co-poda, que representan la distorsión adicional incurrida al eliminar las unidades $u$ y $v$ juntas.

2. Estimación Práctica mediante Ablaciones de Unidad Única

Calcular una matriz de interacción completa de $M \times M$ requiere típicamente $O(M^2)$ ablaciones por pares. CoCurve evita esto derivando un estimador de forma cerrada:

• Se demuestra que las entradas fuera de la diagonal $H_{uv}$ son un producto Gram de características de perturbación de logits de unidad única.
• Al realizar solo $M$ pasadas de ablación de unidad única (una por unidad) y calcular los productos punto de los desplazamientos de logit ponderados por la Fisher, se recupera la matriz de interacción completa.
• Esto no requiere gradientes, productos de Hessian-vector, ni barridos por pares.

3. Solucionador Codicioso de Un Solo Paso (One-Shot Greedy Solver)

La poda se formula como un programa cuadrático binario con presupuesto. Los autores emplean un solucionador codicioso normalizado por costo que:

• Selecciona las unidades para eliminar basándose en el riesgo marginal, el cual incluye tanto la saliencia del nodo como la interacción acumulada con las unidades ya seleccionadas.
• Opera bajo un presupuesto compartido para las unidades de atención y FFN, permitiendo que la optimización determine la división óptima en lugar de fijarla manualmente.
• Incluye un escalar de región de confianza ($\lambda$) para amortiguar el término de los bordes en ratios de poda altos donde la aproximación de segundo orden se degrada. Este $\lambda$ se determina mediante una regla sin etiquetas basada en la redundancia de canales FFN del modelo.

4. Compensación (Opcional)

Para ratios agresivos, un paso de compensación de forma cerrada puede reescalar las salidas de los grupos FFN mantenidos para absorber el desplazamiento del flujo residual causado por las unidades eliminadas. Este paso también es libre de gradientes y utiliza los mismos bloques de bordes computados durante la selección.

Contribuciones Clave

1. Un Objetivo de Nodo-a-Borde: Derivar un riesgo de poda cuadrático donde los términos fuera de la diagonal representan la curvatura de co-poda entre módulos (atención y FFN), yendo más allá de la clasificación de nodos independientes.
2. Un Estimador y Solucionador Práctico: Demostrar que la matriz de interacción completa es un producto Gram de características de ablación de unidad única, recuperable en $O(M)$ pasadas. El método resuelve el problema de selección en un solo paso sin actualizaciones de pesos ni recuperación.
3. Un Mecanismo Interpretable: El método protege explícitamente las "unidades puente" (baja saliencia pero alta conectividad) que los métodos basados en nodos descartan. Sitúa la poda estructurada en un continuo con los métodos clásicos de segundo orden (OBD/OBS).
4. Una Regla Predictiva: Un único estadístico de calibración (redundancia de canales FFN) predice a priori cuándo el término de los bordes debe ser confiado o amortiguado, convirtiendo una observación empírica en una regla a nivel de arquitectura.

Resultados

Los autores evaluaron CoCurve en cuatro LLMs densos (3B–8B) y realizaron un estudio de escalabilidad en un modelo de 24B, comparándolo contra nueve líneas base sin entrenamiento a través de 14 benchmarks (incluyendo modelado de lenguaje, sentido común, conocimiento, matemáticas y código).

• Rendimiento: CoCurve supera consistentemente a las fuertes líneas base sin entrenamiento. En el modelo principal (Llama-3.1-8B-Instruct) con un 20% de poda, logra los mejores puntajes en modelado de lenguaje, conocimiento del mundo y generación de código, y el promedio más alto en tareas de sentido común.
• Tareas Frágiles: El método muestra las mayores ganancias en tareas generativas frágiles (código y matemáticas), donde otros métodos suelen colapsar. Con un 40% de poda en el modelo de 24B, CoCurve logra una perplejidad 14.5 veces menor que la línea base válida más fuerte.
• Ablaciones:
  • Eliminar el término de borde fuera de la diagonal reduce el rendimiento al de un selector de solo diagonal (estilo OBD), confirmando que los bordes impulsan la ganancia.
  • La poda conjunta de atención-FFN supera a la poda de un solo módulo.
  • El beneficio de los bordes está inversamente correlacionado con la redundancia de canales FFN; el método incluye una compuerta para amortiguar los bordes en modelos de alta redundancia (ej. Qwen2.5-32B) para evitar la degradación.

Significado y Reivindicaciones

El artículo redefine la poda estructurada de LLMs: "Poda los bordes, no solo los nodos".

• Mecanismo: Los autores afirman que el fallo de los métodos existentes proviene de ignorar el acoplamiento entre módulos heterogéneos (atención y FFN) a través del flujo residual. CoCurve captura este acoplamiento mediante una matriz de curvatura de Fisher derivada.
• Eficiencia: El método es estrictamente sin entrenamiento, no requiere etiquetas, ajuste fino (fine-tuning) ni reestimación iterativa. Es computacionalmente eficiente, requiriendo solo pasadas hacia adelante para las ablaciones de unidad única.
• Robustez: El enfoque proporciona un "fallback gradual". En modelos de alta redundancia donde los bordes podrían inducir a error, el método revierte automáticamente a un selector de diagonal fuerte (estilo OBD), asegurando que nunca rinda peor que una línea base clásica sólida.
• Alcance: Los autores posicionan a CoCurve como una solución para regímenes de compresión moderada (hasta ~30-40%). Reconocen que, como todos los métodos sin entrenamiento, se degrada de forma superlineal en ratios extremos sin recuperación, pero extiende significativamente la frontera de compresión utilizable en comparación con los métodos de clasificación independiente.

El artículo concluye que las interacciones entre módulos no son meramente decorativas sino que son estructurales (load-bearing) para preservar la computación funcional requerida para la generación compleja, y que modelar estas interacciones es esencial para una poda estructurada efectiva.