🤖 machine learning

CubicQuant: Parametric Non-Uniform Codebooks for High-Throughput LLM Inference with 1-8-Bit Weights

CubicQuant introduce un formato escalar no uniforme paramétrico que mapea códigos de magnitud espaciados uniformemente hacia niveles de reconstrucción adaptativos mediante una curva cúbica monotónica, permitiendo una inferencia de LLM de 1-8 bits eficiente con un error de reconstrucción reducido en comparación con la cuantización entera uniforme y de punto flotante finito, mientras mantiene la ejecutabilidad directa en GPU.

Autores originales: Xuetian Gao

Publicado 2026-08-10

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xuetian Gao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando meter una biblioteca masiva de libros en una mochila diminuta. En el mundo de la inteligencia artificial, estos "libros" son los miles de millones de números (llamados pesos) que componen un Modelo de Lenguaje Grande (LLM) —el tipo de IA que escribe historias, responde preguntas y chatea contigo—. Para que estos modelos de IA funcionen rápido en las computadoras, los científicos intentan encoger estos números, un proceso llamado cuantización. Piensa en esto como comprimir una foto de alta definición en un archivo de tamaño más pequeño para que cargue rápidamente en tu teléfono.

Sin embargo, hay un delicado equilibrio. Si encoges los números demasiado o de forma muy rígida, pierdes detalles importantes y la IA empieza a cometer errores tontos. Si los mantienes demasiado grandes, la computadora se abruma y funciona lentamente. Tradicionalmente, los científicos han utilizado dos formas principales para encoger estos números: la Cuantización Uniforme, que es como usar una regla con un espaciado perfectamente igual (simple pero rígida), y el Punto Flotante (Floating-Point), que es como una regla flexible que se estira en algunos lugares y se encoge en otros (más flexible pero más difícil de usar). La gran pregunta ha sido siempre: ¿Podemos tener un formato que sea tan flexible como la regla elástica pero tan fácil de usar como la simple?

Aquí es donde entra en juego un nuevo método llamado CubicQuant. Es como inventar una regla mágica que cambia de forma y puede adaptarse al contorno exacto de los datos que está midiendo, manteniendo al mismo tiempo la suficiente sencillez para que una computadora pueda leerla instantáneamente. El investigador detrás de este artículo, Xuetian "Elliot" Gao, propone un sistema que utiliza una curva matemática especial (una curva cúbica) para decidir cómo empaquetar estos números. En lugar de forzar cada grupo de números en una línea recta y rígida, CubicQuant permite que las "marcas de la regla" se agrupen donde los datos son densos y se dispersen donde son escasos, todo mientras mantiene los datos empaquetados de forma apretada en una cuadrícula regular.

El artículo encuentra que este enfoque funciona sorprendentemente bien. Cuando lo probaron en diferentes tipos de distribuciones de datos (como la campana de Gauss de una distribución normal o los picos agudos de una distribución de Laplace), CubicQuant redujo el error al reconstruir los números originales en cantidades significativas —hasta un 28.14% mejor que los métodos estándar para ciertos tipos de datos—. También demostró que este formato puede ejecutarse directamente en tarjetas gráficas (GPUs) modernas sin necesidad de desempaquetar todo primero, lo cual es una gran victoria para la velocidad. Sin embargo, el autor tiene cuidado en señalar que, aunque los números se ven excelentes en simulaciones y pruebas aisladas, aún no han demostrado que esto haga que la IA sea más "inteligente" o más rápida en una aplicación completa y real, como chatear con un usuario. Los resultados son prometedores y matemáticamente sólidos, pero la prueba final de si esto cambia el mundo de la IA aún está por venir.

La magia de la "regla que cambia de forma"

Para entender por qué CubicQuant es importante, veamos cómo resuelve el "Problema de la Mochila" de la IA.

Las formas antiguas: Rígida vs. Desordenada
Imagina que tienes una bolsa de canicas de diferentes tamaños. Quieres meterlas en una caja.

La Cuantización Uniforme es como usar una caja con estantes fijos y espaciados uniformemente. Si tus canicas son todas del mismo tamaño, esto es perfecto. Pero si tienes una mezcla de guijarros diminutos y rocas gigantes, o bien desperdicias espacio con las rocas o aplastas los guijarros. Es simple y rápido, pero no se adapta a la forma de tus cosas.
Los Libros de Códigos Aprendidos (Learned Codebooks) son como contratar a un empaquetador profesional que mira cada una de las canicas y moldea un estante a medida para cada una. Esto es increíblemente eficiente, pero es lento, desordenado y requiere muchas notas adicionales (metadatos) para recordar dónde va cada cosa. Es difícil de leer rápidamente para una computadora.

La solución de CubicQuant
CubicQuant es lo mejor de ambos mundos. Utiliza un libro de códigos paramétrico no uniforme. Esa es una forma elegante de decir que utiliza una "regla que cambia de forma".

En lugar de estantes fijos, utiliza una línea suave y curva (una curva cúbica) para decidir dónde van los estantes.
Esta curva está controlada por solo dos parámetros de forma y un factor de escala para cada pequeño grupo de pesos (un "grupo").
Piensa en esto como una regla flexible que puede doblarse. Si los datos están amontonados cerca de cero (como ocurre con muchos números pequeños), la regla se dobla para poner más "marcas" (niveles de reconstrucción) justo ahí. Si los datos están dispersos en las colas, la regla se estira.
Crucialmente, este doblado está controlado por una fórmula sencilla. La computadora no necesita una gigantesca tabla de consulta; simplemente calcula la curva sobre la marcha. Esto mantiene los datos empaquetados de forma apretada (como un flujo de enteros regular) pero permite que se adapten a las estadísticas locales del modelo de IA.

Cómo funciona: La estrategia de "Grupo"

El artículo explica que los pesos del modelo de IA se dividen en grupos pequeños (como grupos de 128 o 256 números). Para cada grupo, CubicQuant calcula:

Una Escala: Qué tan grandes son los números en este grupo en general.
Dos Coeficientes de Forma (a y b): Estos le dicen a la curva cómo doblarse. Uno controla la pendiente inicial y el otro controla la curvatura.

Esto significa que, incluso si todo el modelo tiene miles de millones de números, la computadora solo necesita almacenar una cantidad mínima de información adicional (metadatos) para cada grupo para saber cómo "doblar" la regla para ese fragmento específico. El artículo señala que para un tamaño de grupo de 128, esto añade solo 0.5 bits de sobrecarga por peso (por encima de la carga útil de 4 bits), lo que lo hace muy eficiente.

Los Resultados: Menos Errores, Misma Velocidad

El investigador realizó experimentos para ver qué tan bien funciona esta nueva regla en comparación con las antiguas. Probó con tres tipos de distribuciones de datos:

Uniforme: Datos distribuidos uniformemente.
Gaussiana: La clásica "campana de Gauss" (la mayoría de las cosas son promedio, pocas son extremas).
Laplace: Una distribución con un pico agudo y colas pesadas (muchos números pequeños, pero algunos valores atípicos muy grandes).

Los Hallazgos:

Para Datos Uniformes: Como los datos ya son uniformes, la regla flexible no ayuda mucho. Funciona igual que la regla rígida.
Para Datos Gaussianos y de Laplace: Aquí es donde CubicQuant brilla. Debido a que estas distribuciones tienen muchos números agrupados cerca de cero y menos en las colas, la regla flexible puede agrupar las "marcas" cerca de cero para capturar mejor los detalles.
- En datos Gaussianos, redujo el error en un 13.49% en comparación con el método estándar.
- En datos de Laplace, la mejora fue aún mayor, de un 28.14%.
- También superó a los mejores formatos de "punto flotante" (que ya son bastante flexibles) por un 6.27% a 9.44% dependiendo del ancho de bits.

El artículo enfatiza que estas son simulaciones y pruebas matemáticas de qué tan bien se pueden reconstruir los números. No afirma todavía que esto haga que la IA sea más inteligente o mejor al seguir instrucciones. La "calidad" de las respuestas de la IA (perplejidad, razonamiento, etc.) sigue siendo una pregunta abierta.

Los "Dos Caminos" para ejecutar la IA

Una de las características más interesantes de CubicQuant es que admite dos formas diferentes de ejecutar la IA en una computadora, y se adapta perfectamente a ambas:

Camino de Tipo de Modelo (Model-Dtype): La computadora reconstruye los números exactamente como son (usando aritmética de punto flotante). Esto es bueno para la precisión.
Camino Dinámico-A8 (Dynamic-A8): La computadora mapea los números a un formato de entero de 8 bits (INT8) sobre la marcha. Esto es excelente para la velocidad porque las computadoras modernas tienen hardware especial (Tensor Cores) que es súper rápido realizando cálculos con enteros de 8 bits.

El artículo muestra que CubicQuant puede "ajustarse" para funcionar bien para ambos caminos al mismo tiempo. Es como diseñar una llave que encaja en dos cerraduras diferentes. El investigador encontró que para tareas pequeñas, el método estándar es más rápido, pero a medida que la tarea se vuelve más grande (más filas de datos), el camino Dinámico-A8 es significamente más rápido (hasta 4.46 veces más rápido en algunas pruebas en una GPU NVIDIA H200).

Lo que NO hace (La lista de "No")

Es importante saber qué es lo que CubicQuant no hace, según el artículo:

No es una solución mágica para la inteligencia de la IA. El artículo establece explícitamente que no han medido si esto hace que la IA sea más inteligente o mejor siguiendo instrucciones. Esa es una pregunta futura.
No es una aceleración universal. Las ganancias de velocidad dependen fuertemente de la forma de los datos y del tipo de chip de computadora. Para tareas muy pequeñas, el método estándar podría seguir siendo más rápido.
No resuelve el problema de la "Activación Persistente". El investigador intentó mantener los números comprimidos en la memoria entre pasos para ahorrar espacio, pero esto en realidad ralentizó las cosas porque la computadora pasó demasiado tiempo gestionando los datos. Por lo tanto, lo descartaron por ahora.

Conclusión

CubicQuant es una nueva y astuta forma de empaquetar los pesos de la IA que utiliza una curva matemática simple para adaptarse a la forma de los datos. Ofrece un punto ideal: es lo suficientemente flexible como para capturar mejor los detalles que los métodos rígidos, pero lo suficientemente simple como para ejecutarse rápido en las computadoras modernas. Las matemáticas cuadran, las simulaciones muestran grandes mejoras en la precisión y las primeras pruebas de velocidad en potentes GPUs son prometedoras. Pero como cualquier nueva herramienta, necesita más pruebas en el mundo real para ver si realmente cambia la forma en que construimos y usamos la IA. Por ahora, es un candidato muy sólido para la próxima generación de modelos de IA eficientes.

Resumen Técnico: CubicQuant

Planteamiento del Problema

La inferencia de Modelos de Lenguaje de Gran Escala (LLM) requiere equilibrar dos objetivos contrapuestos: los niveles de reconstrucción de los pesos cuantizados deben adaptarse a las estadísticas locales variables de los pesos (que a menudo siguen distribuciones no uniformes como la Gaussiana o la de Laplace), pero la representación debe permanecer compacta y regular para una ejecución directa en hardware GPU de alto rendimiento.

Los métodos de cuantificación escalar existentes ocupan puntos distintos en este espectro de compromiso:

Cuantificación Entera Uniforme: Ofrece un empaquetado denso y aritmética simple, pero restringe cada grupo a una cuadrícula lineal, fallando al capturar eficientemente las distribuciones de pesos no uniformes.
Punto Flotante de Bajo Bit (ej. FP8): Redistribuye los niveles mediante una estructura fija de exponente-mantisa, favoreciendo un rango dinámico predeterminado pero careciendo de flexibilidad para estadísticas de peso específicas.
Libros de Códigos Aprendidos (Learned Codebooks): Ganan flexibilidad al aprender todos los niveles, pero sufren de una decodificación irregular, estructuras de metadatos complejas y una mala alineación con las rutas estándar de producto punto de las GPU.

El desafío es crear un formato que conserve la regularidad de los códigos enteros para una ejecución eficiente en GPU, permitiendo al mismo tiempo que los niveles de reconstrucción se adapten paramétricamente a las estadísticas locales de los pesos.

Metodología: CubicQuant

CubicQuant introduce un formato escalar no uniforme paramétrico que preserva un flujo de códigos enteros denso mientras adapta los niveles de reconstrucción de forma independiente dentro de cada grupo de pesos.

1. Representación

Payload: Los pesos se almacenan como códigos enteros con signo ( $k$ ) que van desde $-M$ hasta $M$ (donde $M = 2^{B-1}-1$ para un ancho de bits $B$ ). El formato admite payloads de 1 a 8 bits.
Función de Nivel Paramétrica: En lugar de una cuadrícula lineal, los niveles de reconstrucción se determinan mediante una curva cúbica monotónica. Para una magnitud normalizada $t = |k|/M$ $t = ∣ k ∣/ M$ , la función de reconstrucción es:
$q(t) = t [a + t (b + ct)]$
donde $c = 1 - a - b$ $c = 1 - a - b$ .
- Parámetros: Cada grupo almacena dos coeficientes de forma adimensional ( $a, b$ ) y una escala FP32 ( $s$ ).
- Restricciones: La curva está restringida para ser monotónica ( $q'(t) > 0$ ) y satisface $q(0)=0$ y $q(1)=1$ . Esto asegura un cero exacto y extremos exactos ( $\pm s$ ).
- Caso Especial: La cuantificación entera simétrica uniforme es un caso especial exacto de esta familia donde $a=1, b=0$ .

2. Metadatos y Almacenamiento

Agrupación: Los pesos se dividen en grupos de tamaño $G$ .
Metadatos: Cada grupo almacena una escala FP32 y dos coeficientes de forma FP16.
Ancho Efectivo: El almacenamiento total por peso es de $B + 64/G$ bits. Este costo de metadatos explícito contrasta con los metadatos ocultos en promedios a nivel de modelo o tablas de búsqueda complejas.

3. Objetivos de Ajuste

El artículo define dos estrategias de ajuste primarias:

Objetivo de Referencia Continuo: Minimiza el Error Cuadrático Medio (MSE) entre los pesos originales y los niveles de reconstrucción continuos. Es un estimador de solo pesos sin datos (data-free).
Objetivo de Portador Dinámico-A8 Consciente del Formato (Dynamic-A8 Carrier-Aware): Para soportar la ejecución con activaciones cuantizadas en INT8 dinámicamente, el objetivo de ajuste se modifica para minimizar el error conjunto de la reconstrucción continua y su proyección sobre una cuadrícula portadora INT8 con signo ( $r(k) = \text{round}(127 \cdot \text{sign}(k) \cdot q(|k|/M))$ ). Esto permite que un único checkpoint serializado sirva tanto para las rutas de ejecución de model-dtype como de Dynamic-A8.

4. Ejecución en GPU

CubicQuant evita la materialización de tensores de peso de precisión completa. En su lugar, emplea decodificación y cómputo fusionados:

Reconstrucción Local en el Tile: Los kernels de la GPU cargan los payloads empaquetados y los metadatos del grupo, reconstruyen los niveles (vía tablas de búsqueda o evaluación de forma de Horner) y los consumen inmediatamente en bucles de producto punto.
Rutas Duales:
- Ruta Model-Dtype: Reconstruye valores continuos para activaciones FP16/BF16.
- Ruta Dynamic-A8: Mapea los niveles reconstruidos a portadores INT8 para productos punto enteros, acumulando en INT32 antes de reescalar.
Selección de Kernel: La implementación utiliza la selección de kernels dependiente de la forma y el dispositivo (ej. GEMV estrecho frente a tiling denso) para optimizar el rendimiento a través de diferentes recuentos de filas y anchos de bits.

Contribuciones Clave

Familia de Códigobook Paramétrica: Una familia de libros de códigos escalares no uniformos y simétricos de dos parámetros que contiene la cuantificación entera con signo uniforme como un caso especial exacto.
Formato Empaquetado: Un formato de checkpoint que abarca pesos de 1 a 8 bits con escalado FP32 y un costo de almacenamiento de forma cerrada ( $B + 64/G$ bits/peso).
Procedimientos de Ajuste: Un procedimiento de ajuste de referencia por grupo y un objetivo consciente del portador Dynamic-A8, ambos separables de estimadores de error más ricos basados en datos.
Ejecución Directa en GPU: Implementación de kernels de pesos empaquetados tanto para activaciones de model-dtype como de Dynamic-A8, con calibración dependiente del dispositivo.
Evidencia Analítica y Empírica: Derivación de la distorsión poblacional bajo distribuciones Uniforme, Gaussiana y de Laplace, junto con mediciones preliminares de kernels en H200.

Resultados

Análisis de Distorsión Teórica

Distribución Uniforme: La cuadrícula lineal (Uniform INT) es óptima para la población. CubicQuant iguala este rendimiento, confirmando que no degrada el desempeño para datos uniformes.
Distribuciones Gaussiana y de Laplace:
- CubicQuant supera significativamente a la cuantificación entera uniforme optimizada y recortada.
- Recupera el 84.8%–96.1% de la brecha entre enteros uniformes y el libro de códigos Lloyd–Max libre óptimo para distribuciones Gaussianas (W4–W8).
- Recupera el 91.4%–96.9% de la brecha para distribuciones de Laplace.
- Supera al mejor formato de punto flotante enumerado (ej. E2M5) en todos los anchos de bits probados para estas distribuciones.

Experimentos de Grupos Finitos

En experimentos con $G=128$ y 15,360 muestras:

Rendimiento W4: Respecto a los enteros uniformes de 4 bits óptimamente recortados, CubicQuant redujo el RMSE de reconstrucción en:
- 3.90% en muestras Uniformes.
- 13.49% en muestras Gaussianas.
- 28.14% en muestras de Laplace.
Comparación con FP: Respecto al mejor formato de punto flotante de 4 bits enumerado, las reducciones fueron 3.90% (Uniforme), 9.44% (Gaussiana) y 6.27% (Laplace).
Mecanismo: Las ganancias en datos Uniformes surgen de la adaptación a las fluctuaciones de muestras finitas dentro de los grupos, a pesar de que el óptimo poblacional es lineal.

Rendimiento de Kernel (H200)

Cruce Dependiente de la Carga de Trabajo: Mediciones preliminares en una GPU H200 revelan un cruce entre la ejecución de Model-Dtype (A16) y Dynamic-A8.
- Para GEMV estrechos (pocos recuentos de filas, $M=1$ ), la ejecución de Model-Dtype es más rápida debido a menores costos de configuración.
- A medida que el recuento de filas aumenta ( $M \ge 16$ ), Dynamic-A8 se vuelve favorable, con aceleraciones que van de 1.6x a 4.4x dependiendo del ancho de bits y la forma.
Resultado Negativo: Un diseño experimental de "portador de activación persistente" (mantener las activaciones INT8 entre operadores) falló en mejorar el rendimiento debido a que los costos de sincronización y reducción superaron los ahorros de ancho de banda.

Significancia y Reclamaciones

El artículo afirma establecer la promesa representacional y el carácter ejecutable del formato CubicQuant.

Adaptabilidad sin Complejidad: CubicQuant demuestra que una curva paramétrica compacta puede recuperar gran parte de la adaptabilidad de un libro de códigos libre sin abandonar la corriente de bits escalar regular requerida para una ejecución eficiente en GPU.
Compatibilidad de Doble Ruta: El formato soporta con éxito tanto la ejecución continua de model-dtype como la ejecución basada en enteros de Dynamic-A8 desde una única representación serializada.
Alcance Modesto: El autor establece explícitamente que el artículo no reclama:
- No se han medido las mejoras en la calidad del modelo downstream (perplejidad, razonamiento, etc.).
- No es una aceleración de extremo a extremo universal; el rendimiento depende de la carga de trabajo.
- No es aplicable universalmente a todas las generaciones de GPU (la evidencia se limita a Hopper/H200).
- Que el estimador de referencia libre de datos sea superior a los métodos conscientes de la activación o de segundo orden; el formato está diseñado para ser compatible con ellos.

En resumen, CubicQuant ofrece un punto medio entre las cuadrículas fijas y los libros de códigos libres, proporcionando un enfoque paramétrico, basado en principios matemáticos, para la cuantificación de pesos que es directamente ejecutable en arquitecturas de GPU modernas.