Resumen Técnico: LASER (Descomposición de Valores Singulares y Asignación de Rango Consciente de la Pérdida)

Planteamiento del Problema

Los Modelos de Visión y Lenguaje (VLM) han demostrado sólidas capacidades de razonamiento multimodal, pero enfrentan desafíos significativos de despliegue debido a sus altos costos computacionales, grandes recuentos de parámetros y sustanciales requisitos de ancho de banda de memoria durante la decodificación autorregresiva. Aunque la descomposición de bajo rango ha surgido como una técnica de compresión prometedora, los métodos existentes sufren tres limitaciones principales:

1. Optimización Local: La mayoría de los métodos optimizan para el error de reconstrucción de la matriz local o el error de salida por capa, ignorando el impacto de extremo a extremo en la pérdida del modelo.
2. Asignación de Rango Ineficiente: Los enfoques actuales suelen depender de una asignación de rango uniforme o heurística, sin tener en cuenta la sensibilidad variable de diferentes capas y cabezales de atención a la compresión.
3. Alcance Limitado: Los esfuerzos existentes se centran principalmente en las proyecciones de atención (Q, K, V), dejando las Redes de Alimentación hacia Adelante (FFN) —que constituyen una gran fracción de los parámetros y el almacenamiento del modelo— mayormente inexploradas para la compresión de bajo rango.

Metodología

El artículo propone LASER (Descomposición de Valores Singulares y Asignación de Rango Consciente de la Pérdida), un marco diseñado para alinear la compresión de bajo rango con el rendimiento del VLM en tareas posteriores en lugar de la mera fidelidad de reconstrucción. La metodología consta de cuatro componentes principales:

1. Descomposición de Valores Singulares (SVD) Consciente de la Pérdida

En lugar de minimizar la norma de Frobenius del error de reconstrucción de los pesos, LASER deriva un objetivo de SVD ponderado por la curvatura a partir de una aproximación de segundo orden de la pérdida del modelo.

• Sustituto K-FAC: Utilizando la Curvatura Aproximada Factorizada por Kronecker (K-FAC), el método aproxima el aumento de la pérdida causado por la perturbación de los pesos $\Delta W$ como $\Delta L \approx \frac{1}{2}\text{vec}(\Delta W)^\top (G \otimes X)\text{vec}(\Delta W)$, donde $X$ y $G$ son las matrices de covarianza de activación y gradiente estimadas en un conjunto de calibración.
• Transformación: La matriz de pesos $W$ se transforma en un espacio ponderado por la curvatura $\tilde{W} = S_x W S_g$ (donde $S_x$ y $S_g$ son los factores de Cholesky de $X$ y $G$). Se realiza la SVD sobre $\tilde{W}$, y los factores de bajo rango resultantes se mapean de vuelta al espacio original. Esto asegura que los componentes truncados correspondan al menor aumento estimado en la pérdida del modelo.
• Blanqueamiento Consciente de la Cuantización (QAW): Para dar cabida a la inferencia de baja precisión, el método estima los factores K-FAC utilizando activaciones de calibración cuantizadas, alineando el objetivo de blanqueamiento con la capa de baja precisión desplegada.

2. Asignación de Rango Trans-capa Consciente de la Pérdida

El artículo identifica que los valores singulares derivados de K-FAC no son directamente comparables entre diferentes capas o cabezales de atención debido a los variaciones en los factores de escala en la estimación de la curvatura.

• Puntuación de Importancia de Fisher Empírico: Para permitir una asignación de rango global, LASER introduce una puntuación de importancia basada en los gradientes de calibración. Para cada componente singular, la puntuación mide su contribución a la aproximación cuadrática de la pérdida de Fisher empírico, combinando la magnitud del valor singular con su alineación con los gradientes de calibración en el espacio de parámetros original.
• Optimización Global: Los rangos se asignan seleccionando de forma codiciosa los componentes singulares con las puntuaciones de importancia más altas por costo de parámetro hasta alcanzar un presupuesto de parámetros objetivo, lo que permite una distribución de rango no uniforme a través de capas y cabezales.

3. SVD-Cuantización Híbrida para FFNs

Reconociendo que la descomposición de bajo rango uniforme de las FFN puede causar una degradación severa de la precisión, LASER emplea un esquema híbrido:

• Selección de Canales: Se aplica una SVD temporal a las proyecciones de puerta (gate) y de elevación (up) para identificar canales ocultos "amigables para SVD" (aquellos con bajo error de reconstrucción).
• Arquitectura Híbrida: Los canales seleccionados se comprimen mediante SVD, mientras que los canales restantes se mantienen densos.
• Cuantización: Se inserta una rotación ortogonal entre los factores de SVD para suavizar los valores atípicos (outliers), seguido de la cuantización de Redondeo al Más Cercano (RTN) tanto para la rama de bajo rango como para la rama densa.

4. Implementación del Sistema

Para materializar los beneficios de latencia, los autores implementan kernels de Triton fusionados para la FFN de bajo rango híbrida y las capas de Auto-Atención (SA) de baja precisión. Estos kernels fusionan las proyecciones de entrada, la generación de activación latente, las operaciones SwiGLU y los pasos de cuantización/decuantización, reduciendo significativamente el movimiento de memoria y la sobrecarga de lanzamiento de kernels.

Principales Contribuciones

1. Objetivo Consciente de la Pérdida: Derivación de un objetivo de SVD ponderado por la curvatura que alinea la descomposición con el rendimiento del VLM en tareas posteriores utilizando K-FAC, yendo más allá del error de reconstrucción local.
2. Asignación de Rango Robusta: Identificación de la incomparabilidad de los valores singulares de K-FAC entre capas y la introducción de una puntuación de importancia basada en el gradiente de calibración para una asignación de rango global confiable.
3. Extensión a FFN: Un esquema de cuantización-SVD híbrido que extiende la compresión de bajo rango a las capas FFN mediante la aplicación selectiva de SVD a canales tolerantes mientras se preserva la computación densa para los sensibles.
4. Optimización del Sistema: Desarrollo de kernels de Triton fusionados que integran la reconstrucción de bajo rango, la cuantización y las operaciones no lineales, logrando aceleraciones significativas en la decodificación.

Resultados Experimentales

El marco fue evaluado en cinco VLMs (LLaVA-v1.5 7B, LLaVA-Next 7B/13B, Qwen2-VL 7B, SmolVLM 2B) a través de ScienceQA-IMG, SEED-Bench-IMG y MMBench.

• Preservación de la Precisión: Bajo inferencia FP16, LASER-noQ (solo SVD) superó consistentemente a los baselines (SVD-LLM, QSVD, WSVD) en varios ratios de parámetros ($\rho_1$). En LLaVA-Next 13B con $\rho_1=50\%$, LASER mantuvo una precisión comparable al modelo completo en FP16, con una caída de menos del 1%.
• Rendimiento de Baja Precisión: En configuraciones cuantizadas W8A8, LASER logró una caída de precisión promedio de solo ~0.5% respecto a los baselines en FP16, mientras reducía el tamaño del KV-cache al 25% del modelo FP16. Superó a otros métodos de SVD conscientes de la cuantización (QSVD, WSVD) y a métodos de pura cuantización (DuQuant, QVLM).
• Latencia y Aceleración: Las evaluaciones a nivel de sistema en GPUs RTX 4090 y 5090 demostraron que LASER logra una aceleración de decodificación de 4.7× sobre Flash Decoding y una aceleración de 2.3× sobre WSVD, atribuido a los kernels fusionados y la reducción del tráfico de memoria.

Significado y Reivindicaciones

El artículo afirma que LASER proporciona un enfoque basado en principios para la compresión de bajo rango para VLMs, al desplazar el enfoque de optimización de la reconstrucción local a la sensibilidad de la pérdida global. Al abordar las limitaciones de la asignación de rango uniforme y la negligencia de las capas FFN, LASER permite una inferencia eficiente de baja precisión en dispositivos con recursos limitados sin sacrificar las capacidades de razonamiento multimodal. El trabajo demuestra que combinar la descomposición consciente de la pérdida, la asignación de rango basada en gradientes y las estrategias de compresión híbrida puede generar ganancias sustanciales tanto en la retención de precisión como en la velocidad de inferencia.