CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

Resumen Técnico: CRePE y PHO para la Poda Post-Entrenamiento

Planteamiento del Problema
El despliegue de Modelos de Lenguaje Grandes (LLMs) incurre en costos significativos de memoria y computación. La poda post-entrenamiento (PTP) ofrece una solución libre de entrenamiento eliminando pesos sin necesidad de reentrenar. Aunque métodos recientes como RIA (Importancia Relativa) han logrado un estado del arte en precisión mediante la normalización de pesos a través de sumas de filas y columnas, sufren de dos limitaciones fundamentales:

1. Limitación 1D: RIA se basa únicamente en información direccional en forma de cruz (filas/columnas) de 1D, ignorando la estructura inherente 2D de las matrices de pesos donde los vecinos diagonales contribuyen a la importancia.
2. Ponderación Uniforme: RIA trata las contribuciones de filas y columnas de manera igualitaria. Experimentos preliminares indican que estas direcciones contribuyen de forma asimétrica a la calidad de la poda (por ejemplo, la RI de filas produce una menor perplejidad que la RI de columnas en LLaMA-2-7B), lo que hace que el tratamiento uniforme sea subóptimo.

Además, optimizar los hiperparámetros para métodos de puntuación mejorados suele requerir un tiempo de búsqueda extensivo. Un enfoque ingenuo de hill-climbing basado en PPL para encontrar los coeficientes óptimos toma aproximadamente 11 horas, socavando la ventaja de eficiencia de la PTP.

Metodología
El artículo propone CRePE (Importancia Relativa Consciente de la Convolución en la Poda Post-Entrenamiento con Búsqueda Eficiente) y PHO (Optimización de Hiperparámetros basada en Proxies).

1. CRePE: Puntuación de Importancia Mejorada
CRePE extiende el mecanismo de puntuación de RIA de dos maneras:

• Contexto de Vecindad 2D: Introduce un término de vecindad $N^{(k)}_{ij}$ que captura el contexto local 2D alrededor de cada peso $W_{ij}$, excluyendo los vecinos en forma de cruz ya cubiertos por RIA. Este término se calcula eficientamente mediante una convolución 2D de la matriz de pesos absolutos con un núcleo (kernel) enmascarado.
• Coeficientes Adaptativos: Asigna coeficientes distintos y aprendibles ($\alpha, \beta, \gamma$) a los términos de fila, columna y vecindad, respectivamente. Esto permite al modelo contabilizar explícitamente las contribuciones asimétricas de estos componentes.
• Fórmula: La puntuación de importancia final se calcula como:
  $$S^{CRePE}_{ij} = \left( \alpha \cdot \frac{|W_{ij}|}{\sum_k |W_{ik}|} + \beta \cdot \frac{|W_{ij}|}{\sum_k |W_{kj}|} + \gamma \cdot \frac{|W_{ij}|}{N^{(k)}_{ij}} \right) \cdot \|X_j\|_2$$
  Cuando $\alpha=\beta=1$ y $\gamma=0$, CRePE se reduce a RIA.

2. PHO: Búsqueda Eficiente de Hiperparámetros
Para evitar el costo prohibitivo de la búsqueda basada en PPL para los hiperparámetros ($k, \alpha, \beta, \gamma$), los autores proponen PHO:

• Descubrimiento de Proxy: A través de un análisis de correlación de Spearman en diversos modelos, los autores encontraron que el coeficiente de Gini de las puntuaciones de importancia de los pesos podados en el módulo $q\_proj$ de la primera capa ($Gini_{pruned}$) exhibe una fuerte correlación positiva con PPL ($\rho = 0.953$).
• Marco de Búsqueda: PHO aprovecha $Gini_{pruned}$ como un objetivo sustituto (surrogate objective). Emplea un proceso de dos etapas:
  1. Tamizaje de Proxy: Un muestreador CMA-ES (Estrategia de Evolución de Adaptación de la Matriz de Covarianza) genera 60 candidatos, evaluándolos únicamente en $Gini_{pruned}$ (aprox. 6 segundos por candidato).
  2. Verificación de PPL: La poda completa del modelo y la evaluación de PPL se realizan solo en los 10 mejores candidatos (aprox. 90 segundos cada uno).
• Eficiencia: Esto reduce el tiempo total de búsqueda de ~11 horas a ~20 minutos (una aceleración de 30×).

Contribuciones Clave

• CRePE: Un nuevo método de puntuación que integra el contexto de vecindad 2D y coeficientes adaptativos para modelar la importancia diferencial de los términos de fila, columna y vecindad.
• PHO: Un marco de optimización eficiente que utiliza el coeficiente de Gini de los pesos podados como un proxy para PPL, reduciendo drásticamente el tiempo de búsqueda de hiperparámetros.
• Generalización: Demostró mejoras consistentes sobre las líneas base (SparseGPT, Wanda, RIA) en diversos modelos (LLaMA-1/2/3, Qwen-2.5/3/3.5, Phi-4, DeepSeek) y configuraciones de dispersión (no estructurada, 2:4, 4:8).
• Ortogonalidad: Se verificó que CRePE puede combinarse con técnicas existentes, incluyendo la Permutación de Canales, la asignación de dispersión no uniforme (OWL, AlphaPruning, DLP) y métodos de repoda (DSnoT).

Resultados Experimentales

• Perplejidad: CRePE logra consistentemente una perplejidad menor que RIA. Por ejemplo, en LLaMA-2-7B con poda no estructurada del 50%, CRePE logra una PPL de 6.74 frente a la de RIA de 6.81. Bajo la poda estructurada 2:4, la brecha se amplía (10.74 vs. 11.29), lo que sugiere que una puntuación refinada es particularmente beneficiosa bajo restricciones estructurales más estrictas.
• Rendimiento Zero-Shot: En LLaMA-2-7B, CRePE alcanza la mayor precisión promedio zero-shot (62.18%) en seis tareas, superando a RIA (61.14%).
• Transferibilidad de Hiperparámetros: Los hiperparámetros óptimos encontrados por PHO en LLaMA-2-7B se transfieren efectivamente a LLaMA-2-13B sin necesidad de reajuste, manteniendo las ganancias de rendimiento a través de las escalas de los modelos.
• Combinaciones: Cuando se combina con Permutación de Canales (LSA CP) o asignación no uniforme (DLP), CRe_PE produce reducciones adicionales en la perplejidad, confirmando su ortogonalidad con estas técnicas.

Significancia y Limitaciones
El artículo afirma que CRePE proporciona un método práctico, libre de entrenamiento, para mejorar significamente la precisión de la poda de LLMs manteniendo la eficiencia de los enfoques de solo puntuación. La introducción de PHO asegura que la necesaria sintonización de hiperparámetros no anule los beneficios de ahorro de tiempo de la PTP.

Los autores señalan varias limitaciones:

• En niveles de dispersión extrema (>70%), la brecha de rendimiento entre CRePE y RIA se estrecha, lo que sugiere que la puntuación de importancia por sí sola puede ser insuficiente y que podría requerirse la reconstrucción de pesos.
• La fuerte correlación entre $Gini_{pruned}$ y PPL es empírica; un análisis teórico riguroso sigue siendo una pregunta abierta.
• El método está actualmente limitado a capas lineales densas y no se ha extendido a componentes estructurados como el enrutamiento de Mezcla de Expertos (MoE).
• El impacto de la operación de convolución adicional en diversos entornos de hardware no ha sido evaluado sistemáticamente.