Resumen Técnico: FibQuant: Cuantización Vectorial Universal para Compresión de Caché KV de Acceso Aleatorio

1. Declaración del Problema

La inferencia en contextos largos en transformadores autoregresivos está cada vez más limitada por el ancho de banda y la capacidad de la memoria, principalmente debido a la caché de Clave-Valor (KV). El tamaño de la caché escala linealmente con la longitud del contexto, el tamaño del lote, el número de capas y el número de cabezas, y debe ser accedido en cada paso de decodificación.

Los métodos de compresión existentes enfrentan una restricción crítica de sistemas: el acceso aleatorio. Un códec de caché desplegable debe almacenar representaciones en direcciones fijas para que la clave o el valor de cualquier token puedan decodificarse de forma independiente mediante aritmética de direcciones simple. Esta restricción descarta la codificación de longitud variable y las representaciones dependientes del contexto, forzando el uso de cuantizadores de tasa fija.

Los códecs de acceso aleatorio más avanzados actuales, como TURBOQUANT, emplean un enfoque de "normalizar–rotar–cuantizar":

1. Almacenar la norma del vector.
2. Aplicar una rotación ortogonal aleatoria compartida (Haar).
3. Cuantizar cada coordenada rotada de forma independiente utilizando una tabla escalar de Lloyd–Max.

Si bien esta interfaz es universal y de acceso aleatorio, el artículo argumenta que es geométricamente subóptima. Una vez que un vector se normaliza y rota mediante Haar, un bloque de $k$ coordenadas consecutivas no forma un producto independiente de marginales escalares. En cambio, forma una fuente esférica-Beta en la bola unitaria. Los códecs escalares tratan las coordenadas como independientes, descartando la estructura geométrica (correlaciones radiales y angulares) inherente al bloque rotado. Además, los métodos escalares luchan por operar eficazmente por debajo de un bit por coordenada, creando una "brecha sub-unitaria" donde los códecs universales actuales, libres de calibración, fallan.

2. Metodología: FibQuant

FibQuant propone un cuantizador vectorial universal de tasa fija que mantiene la misma interfaz de "normalizar–rotar" que los métodos escalares, pero reemplaza las tablas de coordenadas escalares por un diccionario vectorial radial–angular compartido.

2.1 La Fuente Canónica

Los autores demuestran que la interfaz de normalización seguida de rotación Haar induce una distribución de fuente universal independientemente de la distribución original de los datos KV.

• Normalización: Elimina la escala.
• Rotación Haar: Elimina la orientación.
• Resultado: El vector unitario rotado es uniforme de Haar en la esfera $S^{d-1}$. En consecuencia, cualquier bloque de $k$ coordenadas consecutivas sigue una densidad esférica-Beta específica $f_{d,k}$ en la bola unitaria $B^k$.
• Implicación: Un único diccionario fuera de línea puede servir a todas las capas, cabezas, prompts y modelos, ya que la distribución de la fuente es invariante ante la entrada específica.

2.2 Construcción del Diccionario

El diccionario de FibQuant se construye para coincidir con la fuente esférica-Beta, combinando tres componentes:

1. Radios ($r_n$): Coinciden con la densidad radial de la fuente esférica-Beta utilizando reglas de compresión-expansión (companding) de Bennett–Gersho. Para $k=2$, esto produce una solución en forma cerrada que involucra radios cuantiles Beta.
2. Direcciones ($u_n$): Se aproximan utilizando conjuntos de puntos esféricos cuasi-uniformes para garantizar un empaquetado angular uniforme:
   • $k=2$: Espiral de Fibonacci plana (Cuantizador Dorado).
   • $k=3$: Esfera de Fibonacci.
   • $k \ge 4$: Secuencias de baja discrepancia de Roberts–Kronecker.
3. Refinamiento: Un algoritmo Lloyd–Max con múltiples reinicios refina la inicialización determinista para minimizar el Error Cuadrático Medio (MSE) para el tamaño de diccionario finito $N$ específico.

2.3 Codificación y Decodificación

• Codificador: Calcula la norma $\nu = \|x\|_2$, rota el vector unitario $\Pi x / \nu$, lo divide en $d/k$ bloques de tamaño $k$, y realiza una búsqueda del código más cercano contra el diccionario compartido.
• Decodificador: Recupera el código, reconstruye el bloque, concatena los bloques, aplica la rotación inversa y escala por la norma.
• Tasa: La tasa de bits es $b = (\log_2 N) / k$ bits por coordenada. Al variar $N$ y $k$, FibQuant logra un eje de tasas denso, permitiendo puntos de operación con bits fraccionarios y sub-unitarios sin direccionamiento de longitud variable.

3. Contribuciones Clave

3.1 Identificación de la Fuente Canónica

El artículo demuestra (Teorema 1) que la interfaz de norma seguida de rotación Haar mapea cualquier distribución de entrada no nula hacia la misma marginal esférica-Beta $f_{d,k}$. Esto establece que un diccionario compartido fuera de línea es el objeto universal teóricamente correcto para la compresión de caché KV.

3.2 Ventaja Vectorial sobre la Especialización Escalar

Los autores demuestran (Teorema 2) que el código vectorial óptimo de $k$ dimensiones domina estrictamente a la especialización producto escalar (donde $k=1$) en tasas coincidentes. La ganancia de alta tasa se factoriza en dos componentes:

1. Factor de Conformación de Celda ($\gamma_{cell}$): Las celdas de cuantización vectorial (por ejemplo, hexagonales en 2D) son más eficientes que las celdas escalares rectangulares.
2. Factor de Coincidencia de Densidad ($\gamma_{dens}$): Coincidir con la densidad conjunta esférica-Beta es superior a coincidir solo con las marginales escalares.

3.3 Eje de Tasas Denso

A diferencia de las tablas escalares de Lloyd–Max, que están limitadas a tasas de bits enteras, FibQuant realiza un conjunto denso de tasas $b \in (0, \infty)$. Esto permite operar en el régimen sub-unitario (por ejemplo, $b \approx 0.19$), un régimen donde los códecs universales de acceso aleatorio actuales dejan de funcionar.

4. Resultados Experimentales

4.1 Rendimiento de Codificación de Fuente

En la fuente esférica-Beta canónica, FibQuant demuestra una dominancia estricta sobre TURBOQUANT escalar en todas las tasas enteras. También llena los huecos entre las tasas enteras, proporcionando puntos de operación que los métodos escalares no pueden alcanzar.

4.2 Compresión de Caché KV (GPT-2 Small)

Evaluado en cachés KV de GPT-2 small con la similitud del coseno de la salida de atención como métrica:

• FibQuant traza una frontera de memoria–fidelidad desde 5× compresión (con 0.99 de similitud) hasta 34.1× compresión (con 0.946 de similitud).
• En altas relaciones de compresión (>10×), FibQuant es el único método universal, libre de calibración, que mantiene la fidelidad, superando a los métodos de proyección de bajo rango que requieren calibración por capa.
• El artículo señala que los códigos de vector completo ($k=d$) funcionan mejor en compresión extrema que los códigos de medio vector ($k=d/2$) porque gastan todos los bits en el empaquetado angular, lo cual se correlaciona directamente con los productos internos de atención.

4.3 Rendimiento de Modelo de Lenguaje de Extremo a Extremo (TinyLlama-1.1B)

Evaluado en la perplejidad de WikiText-103 y la precisión de HellaSwag:

• En $b=4$ (4× compresión): FibQuant está dentro de 0.10 de perplejidad de la línea base fp16 y supera a TURBOQUANT escalar.
• En $b=2$ (8× compresión): FibQuant alcanza 15.88 de perplejidad, superando significativamente a TURBOQUANT escalar (56.72) y a la cuantización INT por token (que colapsa a 4450.5).
• Tasas Fraccionarias: FibQuant proporciona puntos de operación intermedios (por ejemplo, $b=2.5, 3.5$) no disponibles para códecs escalares, permitiendo elegir primero el presupuesto de memoria y luego ajustar el códec para adaptarse.

5. Significado y Afirmaciones

El artículo afirma que la restricción de acceso aleatorio, a menudo vista como una limitación de ingeniería, tiene una consecuencia matemática profunda: fuerza a los datos hacia una geometría esférica-Beta específica. Al reconocer esta fuente canónica, FibQuant recupera las "ganancias de conformación y coincidencia de densidad" que la cuantización escalar deja sobre la mesa.

El significado radica en:

1. Universalidad: Un único diccionario funciona en todas las configuraciones de modelos sin calibración.
2. Operación Sub-Unitaria: Permite compresión de alta fidelidad en regímenes donde los métodos escalares fallan, expandiendo efectivamente el presupuesto de memoria utilizable para inferencia en contextos largos.
3. Compatibilidad de Sistemas: Mantiene la interfaz de dirección fija y acceso aleatorio requerida para fusionar la descompresión con los núcleos de atención, haciéndolo inmediatamente desplegable en marcos de servicio existentes.

Los autores concluyen que el acceso aleatorio no excluye una buena codificación de fuente; más bien, dicta exactamente qué fuente debe ser codificada.