Resumen Técnico: Decaimiento de Colinealidad para Vision Transformers Amigables a la Cuantización

1. Declaración del Problema

La cuantización de bajo bit es una estrategia crítica para desplegar Vision Transformers (ViT) en entornos con recursos limitados. Sin embargo, el despliegue totalmente cuantizado se ve obstaculizado por valores atípicos de activación (activation outliers): un pequeño número de canales o tokens que exhiben valores significativamente mayores que el resto. Estos valores atípicos fuerzan escalas de cuantización gruesas, degradando la precisión efectiva para la mayoría de las activaciones.

Los enfoques existentes generalmente caen en dos categorías:

1. Métodos posteriores al entrenamiento: Técnicas de calibración, reparametrización de escala o reconstrucción aplicadas después de que el modelo de precisión completa ha sido entrenado.
2. Supresión durante el entrenamiento: Métodos que suprimen agresivamente las activaciones grandes durante el entrenamiento (por ejemplo, TWEO [23]) para estabilizar la optimización de baja precisión.

Los autores argumentan que el segundo enfoque tiene un defecto crítico: minimizar agresivamente los valores atípicos puede dañar la representación aprendida por el modelo de precisión completa, lo que lleva a un compromiso subóptimo entre la precisión de precisión completa (FP) y la precisión cuantizada. Además, la regularización directa de activaciones a menudo incurre en una sobrecarga de entrenamiento significativa. El artículo postula que el objetivo de entrenamiento no debe simplemente minimizar la magnitud de los valores atípicos, sino controlar la amplificación estructural que hace que estos valores atípicos sean perjudiciales para la cuantización.

2. Metodología: Decaimiento de Colinealidad (CD)

El método propuesto, Decaimiento de Colinealidad (CD), es un regularizador estructural diseñado para mitigar la amplificación de activaciones sin alterar la arquitectura del modelo ni la pérdida de la tarea.

2.1 Fuente Estructural de los Valores Atípicos

Los autores identifican que las activaciones grandes a menudo surgen no de matrices individuales, sino de la alineación entre pares de matrices ordenadas $(W_1, W_2)$ en el flujo de datos.

• Sea $W_1 = USV^\top$ la descomposición en valores singulares (SVD) de una matriz aguas arriba.
• Si una fila de la matriz aguas abajo $W_2$ se alinea con un vector singular izquierdo dominante de $W_1$ (asociado con un valor singular grande), la salida se amplifica.
• La regularización de peso estándar regulariza las matrices de forma independiente y falla al penalizar esta alineación entre matrices.

2.2 El Regularizador

CD penaliza la energía par $\|W_2 W_1\|_F^2$. Este término es grande cuando las filas de $W_2$ colocan masa en direcciones de alto valor singular de $W_1$.

• Pares Objetivo: CD se aplica a pares específicos dentro de los bloques del Transformer:
  • Pares Composables: Escalas de normalización seguidas de proyecciones (por ejemplo, escalas de LayerNorm y $W_Q, W_K, W_V$ o $W_{F1}$).
  • Pares Funcionales: Matrices separadas por no linealidades pero que forman una ruta funcional (por ejemplo, $W_V \to W_O$ en atención, y $W_{F1} \to W_{F2}$ en FFN).
• Actualización Desacoplada: En lugar de agregar una pérdida auxiliar al gráfico de entrenamiento (lo que aumenta la complejidad de memoria y tiempo), CD se implementa como una actualización de peso desacoplada. Después de calcular los gradientes de la tarea, la matriz aguas abajo $W_2$ se actualiza como:
  $$W_2 \leftarrow W_2 - \eta \lambda_{cd} W_2 W_1 W_1^\top$$
  Esta actualización reduce las filas de $W_2$ a lo largo de las direcciones de alto valor singular de $W_1$. Los autores demuestran que esta dirección de gradiente forma un ángulo no obtuso con la regularización de peso estándar, asegurando que sean cooperativas.

2.3 Detalles de Implementación

• CD se aplica solo a la matriz aguas abajo en cada par para evitar un decaimiento redundante.
• El presupuesto de regularización se gestiona reduciendo el coeficiente de regularización de peso estándar ($\lambda_{wd}$) para acomodar $\lambda_{cd}$, manteniendo la fuerza total de regularización comparable a la línea base.
• El método es no invasivo, preservando el gráfico de inferencia y la arquitectura.

3. Contribuciones Clave

1. Insight Empírico: Los autores demuestran que mantener los valores atípicos en un "rango adecuado" es beneficioso. La supresión agresiva (reducir las activaciones máximas a valores muy bajos) daña la precisión FP y, en consecuencia, el rendimiento cuantizado.
2. Regularización Estructural: Identifican la alineación excesiva entre matrices como una fuente estructural de valores atípicos e introducen CD, un regularizador no invasivo con sobrecarga despreciable.
3. Ortogonalidad: CD es ortogonal a las pipelines de cuantización existentes y a los métodos arquitectónicos de mitigación de valores atípicos (por ejemplo, sumideros de atención), permitiendo su uso combinado.
4. Validación Exhaustiva: CD se valida en pre-entrenamiento en ImageNet-1K, detección en COCO y nueve tareas de ajuste fino (fine-tuning) aguas abajo.

4. Resultados Experimentales

4.1 Pre-entrenamiento en ImageNet-1K

• Precisión Cuantizada: CD mejora consistentemente la precisión cuantizada W4A4 (RepQ-ViT y APHQ) en comparación con las líneas base y TWEO. Por ejemplo, en ViT-B, CD logra 77.78% (RepQ-ViT) frente a 76.47% (Línea Base) y 73.86% (TWEO).
• Precisión de Precisión Completa: CD preserva o mejora ligeramente la precisión Top-1 FP (81.63% vs. 81.44% Línea Base).
• Control de Valores Atípicos: CD reduce significativamente las activaciones máximas (por ejemplo, de 250.60 a 162.44 en bloques), pero no tan agresivamente como TWEO (18.56), lo que respalda la hipótesis de que el control moderado es óptimo.

4.2 Detección en COCO

• CD mejora sustancialmente el rendimiento del detector cuantizado (mAP) mientras mantiene o mejora ligeramente el rendimiento FP.
• Por el contrario, TWEO y las líneas base de ruido a menudo incurren en caídas de precisión FP.
• CD muestra ganancias consistentes en diferentes pipelines de cuantización (Percentil, RepQ-ViT, APHQ, GPLQ) y tamaños de modelo (Swin-T, Swin-S).

4.3 Ajuste Fino Aguas Abajo

• En nueve conjuntos de datos (incluyendo Flores, Mascotas, Coches, etc.), CD produce la mejor precisión FP promedio, la mejor precisión cuantizada promedio y la menor caída promedio de precisión en comparación con la Línea Base y TWEO.
• Esto confirma que controlar las activaciones a un rango razonable es más efectivo que minimizarlas tanto como sea posible.

4.4 Eficiencia

• Sobrecarga: Como una actualización desacoplada, CD añade una sobrecarga mínima de tiempo y memoria. Por el contrario, la pérdida de regularización de activación de TWEO escala linealmente con el tamaño del lote y la dimensión oculta, incurriendo en costos significativamente más altos.

4.5 Estudios de Ablación

• Fuerza: Una fuerza moderada de CD ($\lambda_{cd} = 0.005$) produce los mejores resultados; ser demasiado fuerte o demasiado débil es subóptimo.
• Forma: La forma de actualización desacoplada supera a una implementación directa de término de pérdida, que se encontró que era inestable.
• Objetivo: Aplicar CD a la segunda matriz en ambos pares composables y funcionales produce los mejores resultados. Aplicarlo a ambas matrices en un par funcional degrada el rendimiento.

5. Significado y Afirmaciones

El artículo afirma que la regularización estructural de pares de matrices de Transformer es una forma práctica y efectiva de preparar modelos de visión para el despliegue de bajo bit.

• Cero Sobrecarga de Inferencia: Dado que CD solo modifica la dinámica de entrenamiento, la arquitectura y la latencia de inferencia permanecen sin cambios.
• Mejor Compromiso: Al evitar la supresión agresiva de valores atípicos que daña las representaciones de precisión completa, CD logra un equilibrio superior entre la precisión FP y la cuantizada.
• Generalizabilidad: Aunque se centra en ViT, el método se define sobre pares de matrices ordenados y muestra promesa inicial en modelos de lenguaje GPT-2 (Apéndice A.6), sugiriendo aplicabilidad más allá de la visión.

Los autores concluyen que, en lugar de tratar los valores atípicos como un problema a eliminar, deben verse como una cantidad diagnóstica donde el objetivo es controlar los mecanismos estructurales (alineación entre matrices) que los amplifican a niveles perjudiciales.