Resumen Técnico: HyperQuant

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) y los transformadores de difusión enfrentan un cuello de botella crítico durante la inferencia autorregresiva: el ancho de banda de memoria. A medida que la longitud del contexto crece, el caché de Clave-Valor (KV) y los pesos del modelo dominan el uso de memoria, obligando al sistema a transmitir conjuntos de datos masivos para productos matriz-vector delgados. Esto mantiene la intensidad aritmética muy por debajo de las relaciones cómputo-ancho de banda del hardware. Aunque la Cuantización Post-Entrenamiento (PTQ) ofrece una solución al enmarcar la inferencia como un problema de compresión tasa-distorsión, los métodos de vanguardia actuales sufren de ineficiencias:

• Cuantización de Pesos: Métodos como HIGGS utilizan Transformadas de Hadamard Aleatorias (RHT) y libros de códigos (codebooks) de Lloyd finitos, pero transmiten índices a una tasa de bits fija. La teoría de la información dicta que los cuantificadores con codificación de entropía deberían requerir menos bits para la misma distorsión, pero HIGGS deja "tasa sobre la mesa" debido a los índices de tasa fija.
• Cuantización del Caché KV: Los enfoques como TurboQuant y OCTOPUS dependen de una cuantización escalar o de baja dimensión con sobrecargas de tasa fija. A menudo carecen de una unbiasedness (ausencia de sesgo) estricta por vector, lo que provoca desplazos sistemáticos en las puntuaciones de atención, y no logran explotar plenamente las ganancias de la cuantización de vectores multidimensionales.

Metodología: El Pipeline HyperQuant

HyperQuant propone un pipeline unificado, sin datos (data-free), de post-entrenamiento que aplica un tríptico óptimo de tasa-distorsión —RHT por tile, cuantización de red (lattice) y codificación de entropía— tanto para pesos como para cachés KV. El pipeline consta de cuatro componentes principales:

1. Transformada de Hadamard Aleatoria (RHT) por Tile

Antes de la cuantización, las entradas (pesos o vectores KV) se particionan en tiles (por ejemplo, tamaño 128) y se transforman mediante $RHT_n(x) = H_n D x$, donde $H_n$ es la matriz de Walsh-Hadamard y $D$ es una diagonal de signos aleatorios.

• Efecto: Esto "mezcla" los datos, haciendo que la distribución por coordenada sea aproximadamente Gaussiana ($N(0, \sigma^2)$).
• Beneficio: Redistribuye el error de cuantización de las coordenadas atípicas (outliers) en una dispersión isotrópica, haciendo que los datos sean aptos para una cuantización de red óptima. La transformación es ortogonal, preservando las propiedades de error $\ell_2$.

2. Cuantización de Red (Lattice Quantization)

En lugar de libros de códigos finitos, HyperQuant cuantiza los tiles rotados a redes de baja dimensión óptimas: E8 (8-D), D4 (4-D), A2 (2-D), o escalar Z.

• Ganancia Granular: Estas redes ofrecen momentos secundarios normalizados ($G(\Lambda)$) más bajos que la cuantización escalar, reduciendo la distorsión para una tasa fija. E8 es la red de mayor dimensión que admite un decodificador de tiempo constante ($O(1)$) de forma cerrada.
• Realización Entera: Las redes se mapean a incrustaciones enteras (por ejemplo, $E^8_{int} \subset \mathbb{Z}^8$) para ajustarse a las restricciones de almacenamiento de 8 bits, con factores de escala ($\alpha$) calibrados para evitar el desbordamiento.

3. Eliminación de Bits (Bit-Stripping) y Codificación Rice

Para lograr tasas casi óptimas de entropía, HyperQuant emplea un proceso de codificación de dos etapas:

• Eliminación de Bits: Las restricciones de membresía de la red (por ejemplo, comprobaciones de paridad para E8) fijan determinísticamente ciertos bits del vector de código entero. Estos bits se eliminan sin pérdida antes de la codificación, reduciendo la entropía de los símbolos restantes.
• Codificación Rice: Los símbolos restantes se codifican utilizando códigos Rice (un código de longitud variable óptimo para distribuciones geométricas). A diferencia de los esquemas de tasa fija, esto permite que el libro de códigos sea efectivamente ilimitado, manejando las colas gaussianas sin estirar las celdas exteriores. La tasa realizada se sitúa a $\sim0.01$ bits por escalar (bps) de cualquier objetivo.

4. Corrección de Sesgo para el Caché KV

Para evitar que un sesgo determinista en el caché KV corrompa la semántica de la atención, HyperQuant integra:

• Rotación Aleatoria: Una rotación por capa (ya sea una matriz QJL uniforme de Haar o una diagonal de signo $\pm 1$ económica) para reducir la anisotropía.
• Dither Sustractivo: Se añade un nuevo vector de ruido uniforme $U \sim \text{Uniform}(V(\Lambda))$ antes de la cuantización y se resta después. Los autores demuestran (Apéndice A) que esto produce una unbiasedness estricta de producto interno por vector, una propiedad superior a la unbiasedness promedio de la distribución de los bocetos QJL estándar.

Contribuciones Clave

1. Pipeline de Tasa-Distorsión Unificado y Óptimo: HyperQuant es el primer pipeline sin datos que combina RHT, redes óptimas y codificación de entropía para pesos y cachés KV, logrando tasas dentro de $\sim0.01$ bps de los objetivos teóricos.
2. Cuantización de Pesos Superior: Al reemplazar los libros de códigos finitos con redes ilimitadas y codificación de longitud variable, HyperQuant supera a HIGGS en cada punto operativo (3–5 bps). El artículo descompone esta ganancia en:
   • Holgura de Entropía (Entropy Slack): Recuperación de los bits desperdiciados por los índices de tasa fija (dominante en tasas bajas).
   • Ventaja del Libro de Códigos Ilimitado: El beneficio estructural de los libros de códigos infinitos sobre los finitos (dominante en tasas altas).
3. Cuantización KV de Dos Regímenes: Los autores caracterizan la cuantización KV en un régimen de "alta calidad" ($\ge 2.5$ bps) donde las variantes de corrección de sesgo convergen, y un régimen de "alta compresión" ($1.7\text{--}2.5$ bps) donde la rotación QJL proporciona ganancias significativas ($\sim0.5$ mejora en PPL).
4. Integración de Hardware: El pipeline está diseñado para los Tensor Cores modernos (Hopper/Blackwell), integrándose con rutas de fp8, int8, nvfp4 y mxfp4. Notablemente, los autores encuentran que int8 supera a fp8 en los datos de red post-RHT debido a la distribución de cola ligera y casi gaussiana de los pesos transformados.
5. Generalización: El método se transfiere con éxito a arquitecturas no LLM, demostrado en el LTX-2 video DiT de 19 mil millones de parámetros sin artefactos perceptibles.

Resultados Experimentales

Evaluado en Llama-3.1-8B-Instruct (WikiText-2) y LTX-2-19B:

• Cuantización de Pesos: A 4 bps, HyperQuant (red E8) logra una perplejidad (PPL) de 7.434, comparado con el 7.618 de HIGGS-p2. A 3 bps, la brecha se amplía significativamente (HyperQuant: 8.744 vs. HIGGS: 9.527).
• Cuantización de Caché KV:
  • A 3 bps, HyperQuant logra una PPL de 7.41 (vs. la línea base de bf16 de 7.16), una reducción de memoria del 81%.
  • A 2 bps, HyperQuant logra una PPL de 7.93 (+0.77% sobre la línea base), superando significativamente a OCTOPUS (+34.7% PPL) y TurboQuant.
  • A 1.7 bps, HyperQuant alcanza una relación de compresión de 7.1× con un aumento de PPL del 26.9%, mientras que OCTOPUS llega a su límite cerca de 3.0× de compresión.
• Rendimiento de Extremo a Extremo: En un H100, HyperQuant comprime los pesos lineales 3.9× y el caché KV 3.79×. Si bien la decodificación de longitud variable introduce latencia (sin mejora en el tiempo de ejecución real en el hardware actual), la reducción de la memoria residente es sustancial (14.96 GiB $\to$ 5.29 GiB para el modelo completo).
• Modelo de Video: En LTX-2-19B, la cuantización de 4 bps produce un PSNR de 22.74 dB y un LPIPS de 0.20, sin artefactos visibles, superando a la cuantización basada en fp8.

Significado y Reivindicaciones

El artículo afirma que HyperQuant establece un nuevo estado del arte para la cuantización post-entrenamiento sin datos mediante la aplicación rigurosa de principios de la teoría de la información (codificación de entropía y teoría de redes) a la inferencia de transformadores.

• Avance Teórico: Demuestra que la brecha entre el SOTA actual (HIGGS) y el rendimiento óptimo se debe en gran medida a la ineficiencia de los índices de tasa fija y los libros de códigos finitos. Al cambiar a la codificación de longitud variable sobre redes ilimitadas, HyperQuant recupera esta "holgura".
• Despliegue Práctico: El método no requiere un conjunto de datos de calibración ni ajuste fino (fine-tuning), lo que lo hace inmediatamente desplegable. Proporciona un "menú" de puntos operativos, permitiendo a los practicantes intercambiar memoria y calidad (por ejemplo, 3 bps para el caché KV ofrece ahorros masivos de memoria con una degradación mínima de PPL).
• Conciencia de Hardware: El trabajo desafía la suposición de que fp8 es siempre superior para los valores atípicos; al "gaussianizar" los datos mediante RHT, muestra que int8 es a menudo una mejor coincidencia para la distribución resultante, ofreciendo mejor calidad con el mismo ancho de bits.

Los autores concluyen que, si bien HyperQuant actualmente intercambia rendimiento (throughput) por eficiencia de memoria en el hardware actual, el pipeline proporciona la base necesaria para futuras optimizaciones de kernels (por ejemplo, decode+MMA fusionado) que podrían desbloquear mejoras en el tiempo de ejecución real.