OffQ: Taming Structured Outliers in LLM Quantization by Offsetting

Resumen Técnico: OffQ – Domando los valores atípicos estructurados en la cuantización de LLM mediante el desplazamiento (Offsetting)

Declaración del Problema
La cuantización de bajo bit (por ejemplo, 4 bits) es esencial para desplegar Modelos de Lenguaje Extensos (LLMs) en hardware con recursos limitados al reducir la huella de memoria y los costos computacionales. Sin embargo, la cuantización robusta de pesos, activaciones y KV-caches simultáneamente (W4A4KV4) sigue siendo un desafío significativo. El obstáculo principal es la presencia de valores atípicos de activación (activation outliers): valores extremadamente grandes y dispersos en canales específicos que dominan el rango dinámico. Estos valores atípicos obligan a los esquemas de cuantización a utilizar tamaños de paso (step sizes) gruesos para acomodar todo el rango, lo que resulta en errores de redondeo masivos para la mayor parte de la distribución de la activación y una degradación severa del rendimiento. Aunque los métodos basados en rotación (por ejemplo, QuaRot, SpinQuant) han mejorado la mitigación de valores atípicos al redistribuir la energía de la activación, las distribuciones resultantes suelen retener una alta varianza, lo que dificulta una cuantización W4A4KV4 fiable. Las alternativas existentes, como los esquemas de precisión mixta o la cuantización no uniforme, introducen heterogeneidad en la ejecución, kernels complejos o incompatibilidad de hardware.

Metodología: OffQ
Los autores proponen OffQ, un método de cuantización post-entrenamiento (PTQ) diseñado para mitigar los valores atípicos de activación estructurados sin depender de componentes de precisión mixta, niveles de cuantización no uniformes o rotaciones basadas en retropropagación computacionalmente costosas. El método opera a través de tres etapas principales:

1. Concentración mediante Top-1 PCA:
   El método aprovecha la observación de que los valores atípicos de activación en los LLM exhiben una estructura de baja dimensión pronunciada, compartiendo la misma dirección a través de capas, IDs de tokens y ubicaciones de secuencia. Para explotar esto, OffQ emplea un procedimiento de Top-1 PCA:

   • En lugar de usar todos los tokens para la estimación de la covarianza (que se ve distraída por los tokens normales), selecciona únicamente el único token con la norma $L_\infty$ más grande por secuencia de un conjunto de datos de calibración.
   • Calcula el autovector principal de la matriz de covarianza formada por estos tokens extremos.
   • Las activaciones se rotan utilizando esta matriz de autovectores, concentrando la varianza dominante de los valores atípicos en el primer canal (o unos pocos canales), dejando los canales restantes mayoritariamente libres de valores atípicos.

2. Absorción mediante Desplazamiento (Rotación de Hadamard):
   Una vez que los valores atípicos se concentran en canales específicos, OffQ aplica una rotación de Hadamard especializada para absorberlos:

   • Se construye una matriz de Hadamard $H$ parcialmente aleatoria donde la primera fila consiste enteramente en unos ($H_{1,:} = [1, 1, \dots, 1]$).
   • La aplicación de esta rotación a las activaciones concentradas en valores atípicos redistribuye el valor del canal atípico de manera uniforme en todos los canales del grupo.
   • Matemáticamente, esto convierte la magnitud del valor atípico en un desplazamiento constante (constant offset) que se suma a cada canal del grupo.
   • Este desplazamiento es absorbido posteriormente en el punto cero (zero-point) ($z$) de la cuantización asimétrica. En consecuencia, los valores de activación restantes exhiben una distribución más plana con una desviación estándar reducida, lo que los hace altamente adecuados para una cuantización uniforme de bajo bit estándar.

3. Implementación por Grupos (Group-Wise):
   Para manejar múltiples canales con valores atípicos, el método particiona los canales en grupos. Dentro de cada grupo, se identifica el canal atípico principal y se rota para crear un desplazamiento por grupo. Esto permite el uso de cuantización asimétrica por grupo, donde cada grupo tiene su propio factor de escala y punto cero para absorber la energía específica del valor atípico.

Contribuciones Clave

1. Identificación de Valores Atípicos Estructurados: El artículo identifica que los valores atípicos de activación en los LLM poseen una estructura de baja dimensión compartida entre capas y tokens, la cual puede ser aislada mediante un enfoque de Top-1 PCA dirigido.
2. El Marco de Trabajo OffQ: Un nuevo método de PTQ que combina Top-1 PCA para la concentración de valores atípicos y una técnica de desplazamiento basada en Hadamard para convertir los valores atípicos en puntos cero de cuantización. Esto permite una cuantización W4A4KV4 efectiva utilizando matrices de rejilla uniforme y precisión uniforme estándar.
3. Rendimiento y Eficiencia: El método logra una precisión de vanguardia en la cuantización de 4 bits sin la sobrecarga de una ejecución de precisión mixta o rotaciones aprendidas complejas, manteniendo la simplicidad de la inferencia de bajo bit de extremo a extremo.

Resultados Experimentales
Se realizaron experimentos extensos en varias arquitecturas de LLM (series Llama 2, Llama 3, Llama 3.2 y Qwen 2.5) y evaluaciones de referencia (perplejidad de WikiText y precisión zero-shot en ARC-e, ARC-c, BoolQ, HellaSwag, etc.).

• Superioridad sobre los Baselines: OffQ superó consistentemente a los baselines de vanguardia, incluyendo métodos basados en rotación (QuaRot, SpinQuant, DFRot, KurTail) y enfoques de precisión mixta (ResQ, QUIK).
• Robustez W4A4KV4: Mientras que los métodos de solo pesos (GPTQ) y los métodos de precisión mixta sufrieron una degradación severa en el escenario W4A4KV4, OffQ mantuvo la perplejidad y la precisión cercanas a los baselines de 16 bits. Por ejemplo, en Llama 3-8B, OffQ logró una PPL de 6.98 comparado con 7.4 para SpinQuant y 7.8 para QuaRot.
• Estudios de Ablación: El estudio confirmó que la estrategia de selección Top-1 es crítica para la identificación precisa del subespacio de valores atípicos, superando al PCA estándar. Además, se encontró que el agrupamiento ordenado (sorted grouping) de canales es más efectivo que el agrupamiento zigzag, y que un tamaño de grupo de 128 ofrecía el mejor equilibrio entre rendimiento y sobrecarga de metadatos.

Significado y Reivindicaciones
El artículo afirma que OffQ proporciona un mecanismo práctico y eficiente para hacer que la cuantización de 4 bits sea robusta frente a los valores atípicos de activación. Al transformar el problema de los valores atípicos "puntiagudos" (spiky) en un problema de "desplazamiento" (offset) manejable, OffQ permite una cuantización W4A4KV4 fiable utilizando hardware uniforme amigable para el despliegue. Los autores enfatizan que este enfoque fortalece la viabilidad de desplegar LLMs en entornos con restricciones de costos y recursos (por ejemplo, dispositivos edge) sin sacrificar la precisión del modelo ni requerir pipelines de ejecución complejos y heterogéneos. El método se presenta como una técnica complementaria que potencialmente puede combinarse con otras estrategias de cuantización avanzadas en trabajos futuros, aunque los resultados actuales demuestran su fuerza como una solución independiente.