Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration

A continuación presento un resumen técnico detallado del artículo "Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration" (Compresión de Bajo Rango de Modelos Preentrenados mediante Iteración de Subespacio Aleatorizada), escrito por Farhad Pourkamali-Anaraki.

1. Planteamiento del Problema

La escala masiva de los modelos preentrenados (con cientos de millones o miles de millones de parámetros) ha creado un cuello de botella crítico para su despliegue en entornos con recursos limitados (móviles, sistemas embebidos, edge). Aunque la descomposición de rango bajo basada en la Descomposición en Valores Singulares (SVD) es un enfoque teórico sólido para reducir el tamaño de los modelos, su cálculo exacto es computacionalmente prohibitivo para matrices de pesos de alta dimensión.

Las alternativas existentes, como la SVD Aleatorizada (RSVD), mejoran la eficiencia, pero sufren de una limitación fundamental: su calidad de aproximación degrada significativamente cuando el espectro de valores singulares de la matriz de pesos decae lentamente. Este fenómeno es común en modelos preentrenados modernos (como VGG y Transformers), donde los valores singulares "de la cola" siguen siendo significativos, impidiendo que la RSVD estándar capture con precisión el subespacio dominante.

2. Metodología Propuesta

El autor propone un enfoque dual que combina análisis teórico y una nueva técnica algorítmica:

A. Análisis Teórico: Perturbación del Softmax

Se establece una conexión directa entre la calidad de la aproximación de bajo rango y el rendimiento predictivo del modelo.

• Teorema de Perturbación: Se demuestra que la desviación en las probabilidades de clase predichas (salida del softmax) está acotada directamente por el error de aproximación espectral de las matrices de pesos comprimidas.
• Implicación: Si la aproximación de bajo rango minimiza el error espectral ($\|W - \hat{W}\|_2$), se garantiza que las probabilidades de clase no se desviarán significativamente de las originales, manteniendo la fiabilidad del clasificador sin necesidad de reentrenamiento.

B. Algoritmo: Iteración de Subespacio Aleatorizada (RSI)

Para superar las limitaciones de la RSVD en espectros de decaimiento lento, se propone la Iteración de Subespacio Aleatorizada (RSI).

• Mecanismo: A diferencia de la RSVD estándar (que equivale a una iteración con $q=1$), la RSI incorpora múltiples iteraciones de potencia ($q > 1$).
• Proceso:
  1. Se proyecta la matriz de pesos $W$ sobre un subespacio aleatorio.
  2. Se aplican iteraciones sucesivas de multiplicación por $W$ y $W^T$.
  3. Estas iteraciones amplifican exponencialmente la contribución de los valores singulares dominantes y atenúan los valores singulares pequeños, mejorando la separación espectral.
• Ventaja: Aunque añade coste computacional (multiplicaciones de matrices), este coste es altamente eficiente en arquitecturas modernas (GPUs) y permite recuperar una aproximación de alta calidad incluso cuando el espectro decae lentamente.

3. Contribuciones Clave

1. Fundamento Teórico: Demostración de que la fiabilidad de un modelo comprimido depende directamente del error espectral de la aproximación de sus pesos, vinculando la teoría de matrices con el rendimiento de clasificación.
2. Algoritmo RSI: Propuesta de un método escalable que supera a la RSVD estándar en regímenes de decaimiento espectral lento, ofreciendo un mecanismo controlable (vía el parámetro $q$) para mejorar la calidad de la compresión.
3. Validación Empírica: Evaluación exhaustiva en arquitecturas heterogéneas (redes convolucionales VGG19 y arquitecturas Transformer ViT-B/32), demostrando que RSI logra una calidad de aproximación casi óptima con un coste computacional bajo.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos Imagenette (subconjunto de ImageNet) sin reentrenamiento ni ajuste fino (fine-tuning), evaluando el modelo comprimido directamente como un clasificador "off-the-shelf".

• Análisis de Capa Única:

  • En una capa de VGG19 ($4096 \times 25088$), la RSVD ($q=1$) mostró un error normalizado de ~2.0. Al aumentar a $q=4$, el error bajó a ~1.1 (cercano al óptimo de 1.0).
  • La RSI fue hasta 76 veces más rápida que la SVD exacta para rangos bajos, manteniendo una precisión de aproximación superior.
  • En capas de ViT, la RSVD falló con errores >4.0, mientras que RSI ($q=3,4$) mantuvo errores <1.2.

• Compresión de Extremo a Extremo (End-to-End):

  • VGG19: Con una compresión agresiva ($\alpha=0.2$, reduciendo parámetros al 36%), la RSVD ($q=1$) cayó a un 59% de precisión Top-1. La RSI con $q=4$ mantuvo un 78.6% de precisión, muy cerca del modelo original (82.57%).
  • ViT-B/32: La RSI mostró mejoras consistentes al aumentar $q$. Aunque la compresión extrema ($\alpha=0.2$) afectó el rendimiento, configuraciones como $\alpha=0.4$ con $q=4$ lograron una reducción de parámetros del 32% con una degradación de precisión mínima (~3% en Top-5).
  • Eficiencia: El tiempo total de compresión para todos los modelos fue inferior a un segundo en las configuraciones óptimas.

5. Significado e Impacto

Este trabajo es significativo porque:

• Resuelve un problema práctico: Permite la compresión eficiente de modelos preentrenados masivos sin sacrificar la precisión, algo crucial para el despliegue en el borde (edge AI).
• Supera a la RSVD: Demuestra que la RSVD estándar es insuficiente para modelos modernos y ofrece una solución (RSI) que es fácil de implementar y altamente efectiva.
• Sin reentrenamiento: La capacidad de comprimir modelos y mantener su rendimiento sin necesidad de fine-tuning reduce drásticamente los costes computacionales y de datos para la adaptación de modelos.
• Complementariedad: El método se presenta como complementario a técnicas como LoRA (Low-Rank Adaptation), sugiriendo un flujo de trabajo donde se comprime la base del modelo con RSI y luego se adapta con LoRA.

En conclusión, la Iteración de Subespacio Aleatorizada (RSI) se posiciona como una herramienta superior para la compresión de modelos de aprendizaje profundo, equilibrando la eficiencia computacional con la fidelidad de la aproximación matemática.