From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) son computacionalmente costosos, lo que hace necesarias estrategias de implementación eficientes. La poda estructurada (eliminar cabezas de atención completas o canales MLP) se prefiere sobre la poda no estructurada por su compatibilidad con el hardware. Sin embargo, el paradigma dominante actual es la Poda Local (por ejemplo, SparseGPT, Wanda), que optimiza los errores de reconstrucción a nivel de capa.

Limitaciones clave de la Poda Local:

• Agnostica a la Tarea: Minimiza la diferencia entre las salidas de las capas podadas y densas, preservando la perplejidad general pero fallando en optimizar para tareas específicas posteriores.
• Calibración Limitada: Incluso cuando se utilizan datos de calibración específicos de la tarea, los métodos locales no pueden aprovechar eficazmente las señales de la tarea porque su función objetivo (MSE a nivel de capa) está desacoplada de la pérdida final del modelo.
• Inestabilidad a Alta Esparsidad: Los métodos locales a menudo luchan por mantener la precisión en ratios de poda altos (40–50%).
• Ineficiencia para Múltiples Esparsidades: Para obtener modelos en diferentes niveles de esparsidad, los métodos locales requieren ejecuciones de poda separadas e independientes para cada ratio objetivo.

2. Metodología: GISP (Poda Estructurada Iterativa Global)

Los autores proponen GISP, un marco de poda estructurada post-entrenamiento que cambia de la reconstrucción local a una optimización global alineada con la pérdida.

Componentes principales:

1. Métrica de Importancia Global:

   • En lugar de la reconstrucción a nivel de capa, GISP define la importancia basándose en la expansión de Taylor de primer orden de la pérdida global del modelo ($L$) con respecto a la perturbación de los pesos.
   • Puntuación de importancia para un peso $W_{ij}$: $I_{W_{ij}} = |\frac{\partial L}{\partial W_{ij}} W_{ij}|$.
   • Alineación con la Tarea: La función de pérdida $L$ puede intercambiarse. Para el modelado de lenguaje, utiliza Perplejidad (Entropía Cruzada). Para tareas de estilo de decisión (por ejemplo, QA), utiliza una Pérdida basada en Márgenes para preservar el límite de decisión entre respuestas correctas e incorrectas.

2. Programa de Poda Iterativa:

   • Problema: La poda global "de un solo disparo" ingenua (eliminar todos los pesos de una vez) es inestable y causa un colapso de la precisión a alta esparsidad.
   • Solución: GISP poda iterativamente. Aplica un pequeño ratio de poda ($\rho_k$) en cada paso $k$ a lo largo de $n$ iteraciones, aumentando gradualmente la esparsidad total hasta el objetivo $\rho$.
   • Normalización: Para manejar el desequilibrio donde los bloques de Atención a menudo tienen puntuaciones de importancia más altas que los bloques MLP, GISP normaliza las puntuaciones por separado dentro de las estructuras de Atención y MLP antes del ranking global.

3. Flujo de trabajo "Podar una vez, Desplegar muchos":

   • Debido a que GISP es iterativo, genera naturalmente una estructura de subred anidada. El modelo podado al 20% de esparsidad es un subconjunto del modelo podado al 30%, que a su vez es un subconjunto del modelo del 50%.
   • Esto permite que una sola ejecución de poda produzca una frontera de Pareto de modelos en varios niveles de esparsidad, eliminando la necesidad de múltiples ejecuciones de poda independientes.

3. Contribuciones Clave

• Revisión de la Poda Global: Demuestra que la poda global, cuando se hace iterativa y post-entrenamiento, supera a la poda local tanto en perplejidad como en precisión posterior, especialmente a alta esparsidad (40–50%).
• Poda Específica de la Tarea: Introduce un mecanismo para definir la importancia directamente mediante funciones de pérdida específicas de la tarea (por ejemplo, pérdida de margen para QA), cerrando la brecha entre la compresión genérica y la optimización consciente de la tarea.
• Eficiencia mediante Subredes Anidadas: Establece un flujo de trabajo "una vez para todos" donde un solo proceso de poda iterativa produce múltiples modelos utilizables en diferentes niveles de esparsidad, amortizando el costo computacional de la iteración.
• Robustez: Muestra que GISP sigue siendo efectivo incluso con presupuestos de calibración significativamente reducidos (hasta el 1% del recuento de tokens estándar).

4. Resultados Experimentales

Los autores evaluaron GISP en Llama2-7B/13B, Llama3-8B, Mistral-0.3-7B, DeepSeek-R1-Distill-Llama-3-8B y Qwen3-8B.

• Perplejidad (WikiText-2): GISP logra consistentemente una perplejidad más baja que las líneas base locales (Wanda, LLM-Pruner, FLAP, OWL). A un 50% de esparsidad, los métodos locales a menudo sufren de "colapso de perplejidad" (PPL > 100), mientras que GISP mantiene un PPL competitivo (por ejemplo, ~64 para Llama2-7B frente a ~81 para Wanda).
• Precisión Posterior (CMQA):
  • GISP supera a todas las líneas base en todos los modelos y niveles de esparsidad.
  • Ganancia Específica de la Tarea: Utilizar datos de CMQA para la calibración y una pérdida basada en márgenes mejora significativamente la precisión en comparación con el uso de datos genéricos C4. Por ejemplo, en Llama2-13B al 40% de esparsidad, GISP (Margen) alcanza una precisión del 63.34% frente al 59.11% de Wanda.
• Tareas de Razonamiento (GSM8K):
  • En DeepSeek-R1 y Qwen3, la calibración alineada con la tarea (usando datos de GSM8K) mejora drásticamente el rendimiento. Wanda-sp colapsa al 0% de precisión en DeepSeek-R1 al 20% de esparsidad con calibración genérica, mientras que GISP con calibración de tarea alcanza un 67.93%.
• Eficiencia:
  • Aunque GISP tiene un tiempo de ejecución total más alto debido a las iteraciones, el tiempo amortizado por modelo utilizable es menor que en los métodos locales porque produce más de 112 subredes utilizables en una sola ejecución, mientras que los métodos locales producen solo una por ejecución.
  • Los modelos podados muestran aceleraciones significativas en la inferencia (hasta 1.7x en velocidad de prellenado) y reducción de memoria (hasta un 45% al 50% de esparsidad).

5. Significado e Impacto

• Cambio de Paradigma: El artículo desafía la dominancia de la poda basada en reconstrucción local, demostrando que la poda global alineada con la pérdida es superior para los LLM cuando se implementa iterativamente.
• Implementación Práctica: La capacidad de "podar una vez, desplegar muchos" es altamente valiosa para el despliegue en el borde, permitiendo que un solo archivo de modelo se adapte dinámicamente a diferentes restricciones de hardware sin volver a podar.
• Adaptación de Tarea: Proporciona un marco robusto para adaptar LLMs a dominios específicos (por ejemplo, médico, matemático) sin un ajuste fino completo, simplemente cambiando los datos de calibración y el objetivo de pérdida durante la fase de poda.
• Eficiencia de Recursos: Al demostrar robustez con datos de calibración mínimos, GISP reduce la barrera para aplicar la poda estructurada a modelos grandes en entornos con recursos limitados.

En conclusión, GISP ofrece una alternativa simple pero poderosa a los métodos de poda actuales, entregando mayor precisión, mejor estabilidad a alta esparsidad y mayor flexibilidad para el despliegue específico de tareas.