🤖 machine learning

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

NSNQuant es un método de cuantización vectorial sin calibración para los cachés KV de los LLM que emplea una transformación única de "Normalizar-Desplazar-Normalizar" combinada con una transformada de Hadamard para alinear las distribuciones de tokens con una distribución normal estándar, permitiendo una compresión de bajos bits robusta y ganancias de rendimiento de hasta 3 veces sin depender de conjuntos de datos de calibración.

Autores originales: Donghyun Son, Euntae Choi, Sungjoo Yoo

Publicado 2026-07-16

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Donghyun Son, Euntae Choi, Sungjoo Yoo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando cargar una biblioteca masiva de recuerdos en tu mochila mientras caminas por un sendero muy largo. Esto es lo que sucede cuando un Modelo de Lenguaje Grande (LLM) —un cerebro informático superinteligente que escribe historias, resuelve matemáticas y chatea contigo— intenta procesar una conversación larga. Cada vez que lee una palabra, tiene que recordar todo lo que vino antes para entender el contexto. Esta "memoria" se llama KV Cache (Caché de Clave-Valor). El problema es que, a medida que la conversación se vuelve más larga, esta mochila se vuelve más y más pesada, hasta que se llena tanto que la computadora se queda sin espacio y se ralentiza.

Para solucionar esto, los científicos han intentado encoger la mochila comprimiendo los recuerdos, de forma muy similar a cómo se empaquetan la ropa en una bolsa de vacío. Un método popular es la Cuantización de Vectores (VQ). Piensa en esto como agrupar artículos similares y reemplazarlos con una única etiqueta de un "diccionario" o libro de códigos. En lugar de recordar el tono exacto de azul de cada uno de los calcetines, simplemente recuerdas "Grupo Azul 4". Sin embargo, hay un inconveniente: la mayoría de los métodos existentes necesitan estudiar un conjunto específico de ropa (un conjunto de datos de calibración) para construir ese diccionario. Si luego intentas empacar un conjunto de ropa completamente diferente (un nuevo tipo de conversación), el diccionario no encaja y la compresión falla. Este artículo aborda exactamente ese problema: cómo encoger la memoria sin necesidad de estudiar la ropa primero.

El Problema: Un Diccionario que Solo Funciona para un Guardarropa

Los autores de este artículo, de la Universidad Nacional de Seúl, notaron un error frustrante en el método actual de vanguardia para comprimir la memoria de los LLM, llamado Cuantización Acoplada (CQ). Imagina la CQ como un sastre que hace un traje a medida basándose en las medidas tomadas de una sola persona. Si esa persona entra en una habitación llena de personas con diferentes tipos de cuerpo, el traje le queda perfecto a la primera persona, pero se ve ridículo en todos los demás.

En el mundo de la IA, esta "persona" es el dato sobre el cual el modelo fue calibrado (como un conjunto de datos de texto específico llamado WikiText-2). Cuando el modelo intenta procesar un tipo de texto diferente (como el conjunto de datos C4, que es una colección masiva de páginas web), el "traje" no le queda bien. Los autores descubrieron que este desajuste hace que el modelo cometa errores tontos, especialmente con los signos de puntuación. Por ejemplo, el modelo podría confundirse con las comas porque el "diccionario" que aprendió de los datos de entrenamiento no tenía las etiquetas adecuadas para la forma en que aparecen las comas en el nuevo texto. Esto es un gran problema porque significa que el modelo se vuelve poco fiable cuando sale de su zona de confort.

La Solución: NSNQuant – El Cubo de Empaque Universal

Para resolver esto, el equipo introdujo NSNQuant, una nueva y astuta forma de comprimir la memoria que no necesita estudiar ningún dato específico primero. En lugar de intentar aprender un diccionario personalizado para cada nuevo guardarropa, NSNQuant obliga a toda la ropa a caber en un cubo de empaque estándar y prefabricado.

Así es como lo hacen, utilizando un truco de tres pasos que llaman Normalizar-Desplazar-Normalizar (NSN):

Normalizar (El primer paso): Imagina que tienes un montón de calcetines donde algunos son diminutos y otros gigantes. El primer paso es estirar o encoger cada calcetín para que todos tengan el mismo tamaño. Esto evita que los calcetines gigantes acaparen todo el espacio y arruinen el empaque.
Desplazar (El paso intermedio): Ahora, imagina que los calcetines tienen todos el mismo tamaño, pero todos están inclinados hacia la izquierda. El paso de "Desplazar" los empuja de nuevo al centro para que estén perfectamente equilibrados.
Normalizar (El paso final): Solo para estar seguros, revisan el tamaño una última vez para asegurarse de que todo sigue siendo uniforme.

Después de este baile de tres pasos, los autores añaden un toque final: una Transformada de Hadamard. Puedes pensar en esto como hacer girar todo el montón de calcetines de una manera matemática específica. La magia es que, tras este giro, las formas desordenadas e impredecibles de los calcetines (los datos) de repente parecen una curva de campana perfecta y suave (una distribución normal estándar).

Debido a que los datos ahora parecen esta curva de campana predecible independientemente de cuál fuera el texto original, los autores pueden usar un "diccionario" (libro de códigos) único y prefabricado diseñado específicamente para esa curva de campana. No necesitan mirar los datos primero; simplemente saben que los datos encajarán en el diccionario porque obligaron a que tuvieran esa apariencia.

Lo Que Encontraron: Una Llave Universal

El equipo probó esta idea en varios modelos de IA famosos, incluyendo las familias LLaMA y Mistral. Compararon NSNQuant contra los métodos antiguos (como CQ y KIVI) utilizando diferentes tipos de texto, desde historias simples hasta código complejo y problemas matemáticos.

Los resultados fueron impresionantes:

Mejor Generalización: Mientras que los métodos antiguos (CQ) tropezaban al cambiar de un conjunto de datos a otro, NSNQuant mantuvo un rendimiento sólido. Era como tener una llave universal que abría todas las puertas, mientras que las llaves antiguas solo funcionaban en las puertas para las que fueron fabricadas.
Éxito de Bajo Bit: El equipo probó la compresión de la memoria hasta solo 1 bit y 2 bits. En el escenario de 1 bit (donde la memoria se reduce a su tamaño absoluto), NSNQuant aplastó a la competencia. Por ejemplo, en una tarea de razonamiento matemático llamada GSM8K, el método antiguo de 1 bit obtuvo alrededor de 24, mientras que NSNQuant-1b obtuvo 53.45. ¡Eso es más del doble de rendimiento!
Velocidad y Espacio: Debido a que la memoria es mucho más pequeña, la computadora puede procesar más conversaciones a la vez. Los autores demostraron que su método podía manejar 3 veces más capacidad de procesamiento de datos (throughput) que la versión estándar no comprimida, utilizando significativamente menos memoria.

La Letra Pequeña

Los autores advierten cuidadosamente que, aunque este método es una gran mejora, no es magia perfecta. Descubrieron que en las primeras capas del modelo de IA, los "calcetines" a veces todavía presentan algunos valores atípicos que no encajan perfectamente en la curva de campana. Sin embargo, incluso con estos pequeños fallos, el rendimiento general se mantuvo muy alto.

También enfatizan que este método es "libre de calibración". A diferencia de los métodos antiguos que requerían horas de estudio de datos específicos para construir un diccionario, el diccionario de NSNQuant puede construirse en menos de 5 minutos en una sola tarjeta gráfica y luego reutilizarse para cualquier modelo. Esto lo hace increíblemente práctico para el uso en el mundo real.

En resumen, NSNQuant es como un sistema de empaque universal que obliga a cualquier montón desordenado de recuerdos a adoptar una forma limpia y predecible, permitiendo que los modelos de IA carguen sus memorias a largo plazo en una mochila mucho más pequeña sin perder su capacidad de pensar con claridad. Sugiere que, al estandarizar los datos antes de comprimirlos, podemos hacer que la IA sea más rápida, más barata y más fiable, incluso cuando se enfrenta a temas completamente nuevos y desconocidos.

Resumen Técnico: NSNQuant

Planteamiento del Problema

La inferencia de los Modelos de Lenguaje de Gran Escala (LLM) está cada vez más limitada por la memoria, particularmente al manejar secuencias largas y tamaños de lote (batch sizes) grandes. El cuello de botella principal es el caché de Clave-Valor (KV), que crece linealmente con la longitud de la secuencia. Aunque la Cuantización Vectorial (VQ) ha surgido como una técnica de compresión prometedora, los métodos existentes como la Cuantización Acoplada (CQ) dependen de conjuntos de datos de calibración para aprender los centroides (codebooks). Los autores observan que estos enfoques basados en calibración sufren una degradación severa del rendimiento en escenarios fuera de la distribución (OOD). Específicamente, cuando la distribución de entrada difiere del conjunto de calibración (por ejemplo, usar WikiText-2 para la calibración pero probar con C4), los centroides aprendidos no logran representar con precisión tokens críticos, como la puntuación, lo que provoca errores significativos en los pesos de atención y una degradación del rendimiento del modelo (por ejemplo, una mayor perplejidad).

Metodología: NSNQuant

Para abordar la dependencia de los datos de calibración y el resultante cambio de distribución, los autores proponen NSNQuant, una técnica de VQ libre de calibración. La innovación central es un flujo de transformación que alinea la distribución del caché KV con una distribución normal estándar, permitiendo el uso de un codebook único y reutilizable sin necesidad de datos externos.

1. Normalizar-Desplazar-Normalizar (NSN)

El método aplica una transformación de tres pasos a los tensores KV ( $v \in \mathbb{R}^{l \times d}$ ):

Normalizar (por Token): Cada token se normaliza para tener una norma de $\sqrt{d}$ . Esto evita que los tokens atípicos (outliers) dominen los pasos posteriores y asegura que los tokens con magnitudes pequeñas no incurran en errores relativos grandes.
Desplazar (por Canal): Se calcula la media por canal y se resta para centrar la distribución alrededor de cero.
Normalizar (por Token): Se aplica una segunda normalización para restaurar la norma del token a $\sqrt{d}$ .

Este proceso produce subproductos ( $s_1$ , $o$ , $s_2$ ) utilizados para reconstruir el tensor original. Teóricamente, cuando se combina con una transformada de Hadamard, este proceso alinea la distribución de los canales con la distribución normal estándar, tal como lo respaldan el Teorema del Límite Central y los límites de varianza derivados en el Lema 1.

2. Transformada de Hadamard

El proceso NSN se empareja con una transformada de Hadamard (específicamente la Transformada de Hadamard Aleatorizada o RHT). Aunque en la implementación final se utiliza la transformada de Hadamard naive por eficiencia, la RHT proporciona garantías teóricas de que las varianzas de los canales resultantes son cercanas a 1.

3. Cuantización Vectorial y Codebook

Una vez transformada, la data se cuantiza utilizando un codebook global único diseñado para la distribución normal estándar.

Construcción del Codebook: En lugar de aprender centroides de un conjunto de datos de calibración, el codebook se inicializa mediante K-Means sobre datos de distribución normal estándar sintéticos ( $\text{torch.randn}$ ) y se ajusta finamente para minimizar la distancia de coseno entre los vectores originales y los cuantizados. Este proceso es rápido (minutos) y no requiere retropropagación a través de los pesos del modelo.
Ajuste de Escala: Se emplea una estrategia de escalado adaptativo donde el vector cuantizado se escala para preservar los componentes paralelos al vector original, minimizando los errores ortogonales.
Doble Cuantización (DQ): Para reducir aún más la sobrecarga, los parámetros utilizados para el proceso NSN (media $o$ y escala $s_1$ ) y las propias entradas del codebook se cuantizan (4 bits), añadiendo una sobrecarga de memoria insignificante (aprox. 0.23 bits en promedio).

4. Detalles de Implementación

Residuales: Siguiendo a KIVI, el caché KV se divide en una parte cuantizada y un residual de precisión completa. Cuando el residual se llena, se vacía, se cuantiza y se añade.
Computación de Atención: Para las claves (keys), se aplica NSN antes de la Incrustación de Posición Rotatoria (RoPE). Los autores encuentran que este orden produce una mejor calidad. El cálculo del puntaje de atención se modifica para incorporar los subproductos de NSN ( $s_1, s_2, o$ ) directamente dentro de kernels de CUDA personalizados.
Eficiencia: Se implementan kernels de CUDA personalizados para las transformadas de Hadamard, la cuantización vectorial y la descuantización, utilizando memoria compartida para minimizar el acceso a la DRAM.

Principales Contribuciones

Observación Empírica: Los autores demuestran que la fuerte dependencia de las distribuciones KV de los conjuntos de datos de entrada causa que los métodos de VQ existentes (como CQ) fallen en escenarios OOD, afectando particularmente a los tokens de puntuación en modelos como LLaMA3.
VQ Libre de Calibración: NSNQuant introduce un método que elimina la necesidad de conjuntos de datos de calibración al alinear la distribución de los KV con un prior conocido (normal estándar) mediante el proceso NSN y la transformada de Hadamard.
Rendimiento y Generalización: Experimentos extensos muestran que NSNQuant supera consistentemente a los baselines (KIVI, KVQuant, CQ) tanto en configuraciones de 1-bit como de 2-bits en diversos conjuntos de datos (WikiText-2, C4, LongBench, GSM8K, MMLU). Exhibe una generalización superior donde los métodos basados en calibración se degradan.
Eficiencia: La implementación logra una ganancia de rendimiento de hasta 3× sobre los baselines de precisión completa y soporta tamaños de lote más grandes (hasta 4×) debido a la reducción del uso de memoria.

Resultados

Perplejidad (PPL): En el conjunto de datos C4, NSNQuant supera significativamente a CQ. Por ejemplo, con LLaMA3-8B, CQ-4c9b arroja una PPL de 13.97, mientras que NSNQuant-2b logra 9.08. En configuraciones de 1-bit, NSNQuant-1b (PPL 16.69) supera ampliamente a CQ-8c10b (PPL 43.78).
LongBench: NSNQuant-1b supera a otros baselines de 1-bit por un margen amplio. En configuraciones de 2-bits, iguala o supera ligeramente a otros métodos, aunque los autores señalan ruido métrico en ciertas tareas.
Razonamiento y Generación: En GSM8K (razonamiento matemático) y MMLU (comprensión multitarea), NSNQuant destaca, particularmente en entornos de pocos disparos (few-shot) de Cadena de Pensamiento (CoT) donde se requieren rutas de razonamiento estrictas.
Latencia: Aunque la etapa de prefill incurre en una mayor latencia debido a la sobrecarga de NSN y Hadamard, la etapa de decodificación es más rápida que los baselines de precisión completa debido al alivio de las computaciones de atención limitadas por memoria.

Significancia y Reivindicaciones

El artículo afirma que NSNQuant representa un cambio de la calibración dependiente de los datos hacia la cuantización alineada con la distribución. Al aprovechar la propiedad de que la transformada de Hadamard combinada con NSN produce una distribución normal estándar, el método permite el uso de un codebook universal y agnóstico al modelo. Esto hace que el enfoque sea robusto ante cambios de distribución y elimina el costo computacional y los requisitos de datos de la calibración. Los autores posicionan a NSNQuant como una solución práctica para permitir la inferencia de LLM de contexto largo en hardware con restricciones de memoria, ofreciendo un equilibrio entre alta compresión (1-bit/2-bit), fuerte generalización y rendimiento de ejecución eficiente.

Los autores reconocen modestamente las limitaciones, señalando que la estandarización no es perfecta en las primeras capas debido a canales atípicos con varianzas altas, y que el método no modela explícitamente las correlaciones entre canales, a diferencia de CQ. Sin embargo, argumentan que el compromiso favorece la robustez y la generalización sobre las posibles ganancias de sobreajustarse a distribuciones de calibración específicas.