SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression

Resumen Técnico: SVD-Surgeon

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) enfrentan barreras de despliegue significativas debido a sus masivos requisitos de memoria y computación. Aunque la descomposición de bajo rango mediante la Descomposición de Valores Singulares (SVD) ofrece una estrategia de compresión amigable para el hardware al aproximar las matrices de pesos $\theta = U\Sigma V^\top$ con un rango truncado $r$, la truncación ingenua de los valores singulares más pequeños rara vez es óptima. Los métodos basados en SVD existentes se centran principalmente en cómo factorizar los pesos (por ejemplo, mediante blanqueamiento de datos o reponderación de importancia) y en qué componentes descartar. Sin embargo, a menudo descuidan la posibilidad de reparar los componentes restantes para compensar la pérdida de información inducida por la truncación.

Metodología: SVD-Surgeon
El artículo introduce SVD-Surgeon, un método libre de entrenamiento que adapta el marco de trabajo de Optimal Brain Surgeon (OBS) a la base de los valores singulares. A diferencia de enfoques previos que operan sobre los pesos brutos o esquemas de factorización específicos, SVD-Surgeon trata los valores singulares ($\sigma_i$) mismos como los parámetros a ser optimizados.

1. Modelado de Pérdida de Segundo Orden:
   El método asume que el modelo está cerca de un mínimo de pérdida. Modela el cambio en la pérdida ($\delta L$) bajo una perturbación de los valores singulares ($\delta \sigma$) utilizando una expansión de Taylor de segundo orden:
   $$\delta L \approx \frac{1}{2} \delta \sigma^\top \bar{H} \delta \sigma$$
   Aquí, $\bar{H}$ es una matriz Hessiana compacta de $\ell \times \ell$ (donde $\ell = \min(m, n)$), derivada proyectando la Hessiana del espacio de pesos completo sobre el espacio de los valores singulares. Crucialmente, la derivación no asume que los factores $U$ y $V$ sean ortonormales, lo que permite al método aplicarse a una amplia clase de compresores SVD.

2. Aproximación de Fisher:
   Para evitar el cálculo de segundas derivadas, la Hessiana $\bar{H}$ se aproxima utilizando la matriz de información de Fisher empírica. Esta se calcula eficientemente a partir de los gradientes de calibración ($G_n = \partial L_n / \partial \theta$) proyectados en la base de los valores singulares:
   $$\bar{H} = \frac{1}{N} \sum_{n=1}^N \bar{g}_n \bar{g}_n^\top, \quad \text{donde } \bar{g}_n = \text{diag}(U^\top G_n V)$$
   Esto permite la construcción de la Hessiana íntegramente a partir de información de primer orden.

3. Compensación de Forma Cerrada:
   Dado un conjunto de valores singulares para podar ($\sigma_C$) y un conjunto para retener ($\sigma_S$), SVD-Surgeon resuelve la actualización óptima $\delta \sigma_S$ que minimiza el incremento de la pérdida. Al establecer la perturbación de poda $\delta \sigma_C = -\sigma_C$ y minimizar el objetivo sin restricciones sobre $\delta \sigma_S$, el método deriva una actualización de forma cerrada:
   $$\delta \sigma_S^\star = \bar{H}_{SS}^{-1} \bar{H}_{SC} \sigma_C$$
   Esta actualización ajusta los valores singulares retenidos para absorber la pérdida inducida por la eliminación de los valores truncados, reparando la descomposición de manera "quirúrgica" en una sola ejecución sin necesidad de optimización basada en gradientes o ajuste fino post-entrenamiento.

4. Poda Basada en Saliencia:
   El mismo análisis produce una puntuación de saliencia para cada valor singular, que representa la pérdida incurrida si ese valor fuera eliminado mientras se corrigen óptimamente los demás:
   $$\text{Saliencia}_i = \frac{\sigma_i^2}{2 [\bar{H}^{-1}]_{ii}}$$
   Esto proporciona una alternativa basada en principios a la poda basada en magnitud.

5. Variantes:

   • Solo Actualización (U - Update-only): Hereda el conjunto de poda de un compresor anfitrión (por ejemplo, manteniendo los top-$r$ valores singulares) y aplica la compensación.
   • Selección y Actualización (S - Select-and-update): Utiliza las puntuaciones de saliencia para determinar qué valores podar, y luego aplica la compensación.

Contribuciones Clave

• Extensión del Marco de Trabajo: El artículo traslada el marco de Optimal Brain Surgeon a la base de los valores singulares, derivando una actualización de forma cerrada y libre de entrenamiento para los valores singulares retenidos que compensa la truncación hasta el segundo orden de la pérdida.
• Generalidad: Debido a que la derivación no realiza supuestos de ortonormalidad sobre $U$ y $V$, SVD-Surgeon actúa como una capa correctiva aplicable a una amplia gama de compresores basados en SVD existentes.
• Métrica de Saliencia: Introduce una métrica de saliencia consciente de la pérdida para seleccionar qué valores singulares podar, la cual es superior a los simples umbrales de magnitud.

Resultados Experimentales
Los autores evaluaron SVD-Surgeon aplicándolo sobre SVD-LLM, un método de compresión basado en SVD líder.

• Modelos: Familia OPT (1.3B, 2.7B, 6.7B) y LLaMA-2-7B.
• Métricas: Perplejidad en los conjuntos de datos WikiText-2 y C4.
• Rendimiento: El método mejoró la relación entre perplejidad y compresión en todos los modelos y ratios de compresión. Las ganancias fueron más significativas bajo una compresión agresiva (altos ratios de poda), donde la truncación ingenua típicamente causa una degradación severa del rendimiento.
• Eficiencia: El método opera en una sola pasada utilizando un conjunto de calibración, sin requerir optimización basada en gradientes ni ajuste fino.

Significancia y Reivindicaciones
El artículo posiciona a SVD-Surgeon como una mejora modular que puede "capas sobre" los compresores SVD existentes. Su principal significancia radica en desplazar el enfoque de cómo descomponer los pesos a cómo reparar la descomposición después de la truncación. Al tratar los valores singulares como parámetros y aplicar optimización de segundo orden, recupera la capacidad del modelo que típicamente se pierde durante la compresión agresiva. Los autores enfatizan que esta es una solución libre de entrenamiento que no requiere reentrenamiento ni ajuste fino, lo que la convierte en una herramienta práctica para desplegar LLMs comprimidos sin la sobrecarga computacional adicional durante la fase de compresión. Si bien el ajuste fino post-entrenamiento sigue siendo ortogonal y compatible, SVD-Surgeon tiene como objetivo maximizar el rendimiento inmediatamente después del paso de compresión.