Resumen Técnico: QAM-W

Enunciado del Problema

Los métodos actuales de cuantización post-entrenamiento para Modelos de Lenguaje Grande (LLM) son predominantemente escalares, mapeando cada peso independientemente a un índice entero. Aunque simples, los códigos escalares descartan la estructura de coordenadas por pares inherente dentro de las filas de pesos. Los autores argumentan que, dentro de una fila de pesos, las coordenadas suelen estar correlacionadas; tras una rotación ortogonal, estas coordenadas aproximan una distribución gaussiana circular bidimensional. Los libros de códigos escalares no aprovechan esta estructura, dejando un "margen de distorsión-tasa" que podría recuperarse cuantizando pares conjuntamente como puntos en un plano en lugar de como escalares independientes.

Los enfoques existentes abordan partes de este problema: los métodos basados en rotación (por ejemplo, QuIP, QuIP#) homogeneizan las magnitudes de las coordenadas pero a menudo dependen de códigos escalares o de retículos; los métodos conscientes de la activación (por ejemplo, AWQ) escalan los canales basándose en la magnitud de la activación, pero dejan la estructura conjunta de coordenadas intacta. El artículo postula que un códec que combine rotación, codificación 2D conjunta y escalado consciente de la activación puede lograr una mayor calidad a tasas de bits más bajas.

Metodología: El Códec QAM-W

Los autores presentan QAM-W (Modulación por Amplitud en Cuadratura para Pesos), un códec que procesa las matrices de pesos fila por fila a través de la siguiente tubería:

1. Separación de Escala y Dirección: La norma de la fila ($r = \|w\|_2$) se registra como metadatos. La fila se normaliza a un vector unitario $u$.
2. Rotación Determinista: Se aplica una rotación de bloque-Hadamard enmascarada por signos a la fila normalizada ($y = R_{fwd} u$). Esta rotación es una isometría exacta en aritmética real, lo que significa que no introduce distorsión matemática, pero redistribuye la energía para reducir la coherencia de las coordenadas.
3. Emparejamiento y Calibración: Las coordenadas rotadas adyacentes se agrupan en valores complejos ($z_k = y_{2k} + i y_{2k+1}$). Cada par se escala por un factor calibrado $\sigma_k$, estimado empíricamente a partir de la amplitud media de los pares, modelándolos como gaussianos circulares.
4. Cuantización 2D Conjunta: En lugar de cuantizar la amplitud y la fase de forma independiente (codificación polar), QAM-W mapea cada par normalizado al centroide más cercano en un único libro de códigos 2D de Lloyd-Max entrenado sobre la distribución gaussiana circular unitaria.
5. Escalado Consciente de la Activación: Para alinear el error del códec con la sensibilidad de salida de la capa, el método aplica factores de escalado por canal ($s_j \propto r_j^\alpha$) antes de la cuantización, donde $r_j$ es el RMS de las activaciones del canal de entrada. Esto atenúa la contribución de los canales de alto RMS, siguiendo la lógica de AWQ.
6. Decodificación: El decodificador invierte el proceso: descomprime los índices, busca los centroides, reescala por $\sigma_k$, aplica la rotación inversa y multiplica por la norma de fila almacenada.

Los autores analizan el sistema mediante una cadena de límites compuestos: la rotación es una isometría; la codificación 2D conjunta minimiza la distorsión mejor que la codificación polar a tasas fijas; y el error de salida de la capa está gobernado por una identidad de traza ($\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$), lo que motiva el escalado consciente de la activación.

Contribuciones Clave

• Diseño del Códec: Un códec de Lloyd-Max 2D conjunto, rotado por bloque-Hadamard y factorizado por norma de fila para pesos de LLM con escalado consciente de la activación.
• Análisis Teórico: Un límite monótono compuesto que vincula la distorsión del códec (distorsión de Lloyd $D_B$) con la divergencia Kullback-Leibler (KL) entre los modelos BF16 y cuantizados. El límite sugiere que la KL realizada debería clasificar los métodos de manera similar a la distorsión del códec.
• Estudio Empírico Trans-modelo: Evaluación en cinco LLM de cuatro familias (1.1B–13B parámetros) y ocho configuraciones cuantizadas.
• Descubrimiento de Correlación de Rango: El artículo demuestra que, en 37 configuraciones (método, modelo), la divergencia KL emparejada y el $\Delta$PPL% están correlacionados en rango con un $\rho$ de Spearman de 0.99, validando el uso de la KL como diagnóstico para la calidad de la cuantización.

Resultados

La evaluación se centra en tres modelos ajustados por instrucciones (TinyLlama-1.1B, Qwen2.5-3B, Mistral-7B) y una comparación de vanguardia en Llama-2-7B.

• Calidad a ~5.5 bpw: La variante consciente de la activación de QAM-W (QAM-W-5.5) se mantiene dentro de ±0.4% de la perplejidad BF16 en todos los modelos probados. Esto coincide con el margen de calidad de SmoothQuant W8A8 (que opera a ~8.1 bpw), pero lo logra con aproximadamente 32% menos bits de peso.
• 2D Conjunta vs. Polar: A tasa de bits igual (~4 bpw), la codificación 2D conjunta (QAM-W-4) supera a la línea base polar (QAM-W-polar) entre 1 y 3 puntos porcentuales (pp) en $\Delta$PPL en modelos tolerantes a la cuantización (TinyLlama, Mistral) y en 14.6 pp en el modelo sensible a la cuantización Qwen2.5.
• Comparación con QTIP: A una tasa estricta de 4 bpw, el método QTIP (utilizando retículas de red E8) supera a QAM-W. Los autores declaran explícitamente que la contribución de QAM-W es la banda de preservación de calidad de 5–6 bpw, no la frontera estricta de 4 bpw.
• Variante de Bajo Bit: Una variante de 3.5 bpw (QAM-W-3.5) es competitiva en arquitecturas tolerantes a la cuantización (por ejemplo, Mistral 7B, +1.98% $\Delta$PPL), pero tiene un rendimiento inferior en las sensibles (Qwen 2.5, +7.5% $\Delta$PPL) en comparación con GPTQ.
• Tareas de Descenso: El códec preserva el rendimiento en seis tareas de descenso (PIQA, HellaSwag, etc.) y MMLU, con QAM-W-5.5 igualando a BF16 dentro de 0.2 pp en MMLU en todos los modelos.

Significado y Afirmaciones

El artículo afirma que QAM-W-5.5 representa una opción de preservación de calidad para la compresión de LLM, ofreciendo una reducción significativa en el almacenamiento de pesos y el ancho de banda de memoria (32% menos bits) en comparación con el estado actual del arte SmoothQuant W8A8, sin sacrificar la perplejidad ni la precisión en tareas de descenso.

Los autores son modestos sobre el alcance de sus afirmaciones:

• No afirman superioridad a una tasa estricta de 4 bpw, reconociendo el dominio de QTIP en ese régimen.
• Señalan que la tubería actual descuantiza los pesos a BF16 antes de la multiplicación de matrices; por lo tanto, los ahorros reportados en bits por peso (bpw) se aplican al almacenamiento y al ancho de banda de memoria, no a la latencia de inferencia, hasta que se implemente un núcleo fusionado.
• El estudio se limita a transformadores decodificadores densos con atención estándar; las extensiones a arquitecturas contemporáneas (por ejemplo, Gemma 2, Llama 3) o escalas de más de 70B parámetros quedan para trabajos futuros.
• El libro de códigos se entrena sobre una gaussiana circular unitaria sintética en lugar de distribuciones empíricas por punto de control, aunque los autores sugieren que un libro de códigos aprendido podría generar ganancias adicionales.

En resumen, QAM-W demuestra que recuperar la estructura de coordenadas por pares de los pesos mediante codificación 2D conjunta, combinada con rotación y escalado consciente de la activación, permite una cuantización de alta fidelidad en el régimen de 5–6 bpw, cerrando la brecha entre la eficiencia de los métodos de 4 bits y la calidad de los métodos de 8 bits.