Resumen Técnico: PALS (Percentile-Aware Layerwise Sparsity)

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) con miles de millones de parámetros imponen cargas significativas de memoria y computación durante la inferencia. El recorte (pruning) post-entrenamiento ofrece una solución al eliminar una fracción de los pesos sin necesidad de reentrenamiento. Sin embargo, los métodos de recorte de un solo paso (one-shot) estándar como Wanda y SparseGPT imponen una dispersión uniforme (uniform sparsity), aplicando la misma tasa de recorte (por ejemplo, 50%) a cada capa de un transformador.

Este enfoque ignora las variaciones conocidas en la importancia de las capas. Las capas de los transformadores exhiben heterogeneidad funcional: las capas tempranas suelen construir representaciones genéricas, las capas medias pueden ser redundantes y las capas tardías se especializan para el vocabulario de salida. El recorte uniforme falla al no explotar estas diferencias, pudiendo eliminar pesos críticos de capas sensibles mientras sobre-recorta capas redundantes, lo que conduce a una perplejidad y precisión subóptimas.

Metodología: PALS

Los autores proponen PALS (Percentile-Aware Layerwise Sparsity), un método que ajusta dinámicamente la tasa de recorte para cada capa basándose en las estadísticas de activación recopiladas de un pequeño conjunto de calibración. PALS se integra en el flujo de trabajo de Wanda con un overhead despreciable y no requiere ajuste fino (fine-tuning).

Algoritmo Central

1. Importancia de la Capa mediante Percentiles de Activación:
   Para cada capa $l$, se recolectan las activaciones $A^{(l)}$ sobre un conjunto de calibración. En lugar de usar la media de la activación (que promedia las señales críticas), PALS calcula el percentil 99 de las magnitudes absolutas de activación:
   $$I^{(l)} = \text{Percentile}(|A^{(l)}|, 99)$$
   Esta métrica apunta a los "outliers de activación": características con magnitudes 10–100× mayores que el resto, que trabajos previos (Dettmers et al.) han identificado como esenciales para la calidad del modelo.

2. Normalización y Asignación:
   Los puntajes de percentil brutos se estandarizan ($\hat{I}^{(l)}$) para que sean comparables entre capas. La tasa de dispersión por capa $s^{(l)}$ se calcula entonces desplazando el objetivo global $s_{\text{target}}$ basándose en la importancia normalizada:
   $$s^{(l)} = \text{clip}(s_{\text{target}} + \alpha \cdot \hat{I}^{(l)}, s_{\text{min}}, s_{\text{max}})$$

   • $\alpha$ (Fuerza de Adaptación): Controla cuánto se desvía la dispersión del objetivo.
   • Límites Conservadores: El método impone una banda de $\pm 5\%$ alrededor del objetivo (por ejemplo, para un objetivo del 50%, las capas se recortan entre el 45% y el 55%). Esto evita los "cuellos de botella de información" donde las capas fuertemente recortadas degradan la capacidad de toda la red.

3. Ejecución del Recorte:
   Una vez determinado $s^{(l)}$ para cada capa, los pesos se califican y se eliminan utilizando el criterio de Wanda ($|w| \cdot \text{mean}(|a|)$). El fondo del $s^{(l)} \times 100\%$ de los pesos es eliminado. No ocurren actualizaciones de pesos ni ajuste fino.

Hallazgo Clave: Fallo de la Asignación Basada en Gradientes

Los autores probaron un enfoque aparentemente más fundamentado: utilizar magnitudes de gradiente (o expansiones de Taylor de primer orden) para asignar la dispersión. Este enfoque falló decisivamente, produciendo puntuaciones de perplejidad (47.32) significativamente peores que la asignación aleatoria (24.37) y el recorte uniforme (12.92). Los autores hipotetizan que los gradientes reflejan la dinámica de optimización (convergencia local) en lugar del impacto discreto de eliminar grandes fracciones de pesos.

Resultados Experimentales

Resultados Primarios (LLaMA-2-7B)

En LLaMA-2-7B con un 50% de dispersión no estructurada:

• Wanda Uniforme: 12.92 de perplejidad en WikiText-2.
• PALS: 10.96 de perplejidad en WikiText-2.
• Significancia: Esto representa una mejora del 15.2% en la perplejidad. El resultado es estadísticamente significativo ($p < 0.001$) en nueve ejecuciones independientes.
• Tareas de Aval (Downstream Tasks): PALS mejora la precisión zero-shot en BoolQ, PIQA, HellaSwag y MMLU en comparación con Wanda, reteniendo el 93.3% de la precisión promedio del modelo denso.

Dependencia de la Arquitectura

Los beneficios de PALS no son universales; dependen de la heterogeneidad de las capas internas del modelo:

• LLaMA-3-8B: Ganancia marginal (10.48 vs. 10.45).
• Mistral-7B: Sin ganancia (6.31 para ambos, uniforme y PALS).
• Interpretación: Los modelos más nuevos (LLaMA-3, Mistral) probablemente distribuyen la computación de forma más uniforme entre las capas debido a conjuntos de datos de entrenamiento más grandes o cambios arquitectónicos (ej. Grouped-Query Attention), dejando menos espacio para que la asignación no uniforme explote.

Eficiencia

• Memoria: Reduce el tamaño del modelo en un 50% (13.2 GB $\to$ 6.6 GB).
• Rendimiento (Throughput): Logra una aceleración de 1.41× en GPUs NVIDIA A100 usando kernels de matrices dispersas.
• Overhead: El pipeline de PALS añade un tiempo despreciable al proceso de recorte, ya que reutiliza los datos de activación ya recolectados por Wanda.

Significancia y Reivindicaciones

El artículo presenta tres reivindicaciones principales respecto a su contribución:

1. Ganancia de Rendimiento vía No-Uniformidad: PALS demuestra que ajustar las tasas de dispersión por capa basándose en los outliers de activación produce reducciones significativas de la perplejidad en modelos con heterogeneidad de importancia de capas (específicamente LLaMA-2), superando la línea base estándar de recorte uniforme.
2. Fallo de Gradiente en Recorte de Un Solo Paso: El documento documenta un modo de fallo sorprendente donde las métricas de importancia basadas en gradientes, exitosas en redes más pequeñas, producen asignaciones peores que la aleatoria para LLMs preentrenados. Esto sugiere una desconexión fundamental entre la magnitud del gradiente y el impacto de la eliminación discreta de pesos en el entorno de un solo paso.
3. Robustez y Simplicidad: El método no requiere ajuste fino, añade un costo computacional mínimo y se basa en un simple heurístico estadístico (percentil 99) que se alinea con el fenómeno conocido de los outliers de activación en los transformadores.

Los autores mantienen la modestia respecto a la universalidad de las ganancias, señalando que la eficacia del método es contingente en la arquitectura específica y la dinámica de entrenamiento del modelo objetivo. Si las capas de un modelo son uniformemente importantes, PALS no ofrece ventaja sobre el recorte uniforme.