🔢 mathematics

High-Rate Quantized Matrix Multiplication I

Este artículo investiga la compensación fundamental de la teoría de la información entre la tasa de cuantización y la distorsión para la multiplicación de matrices genérica sin calibración estadística previa, al tiempo que analiza y deriva aproximaciones heurísticas para esquemas de cuantización populares como absmax INT y punto flotante.

Autores originales: Or Ordentlich, Yury Polyanskiy

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Or Ordentlich, Yury Polyanskiy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas enviar una película masiva de alta definición a través de un túnel diminuto y estrecho. La película representa las matemáticas complejas dentro de un Modelo de Lenguaje Grande (como los que impulsan los chatbots), y el túnel representa la memoria y la velocidad de procesamiento de la computadora. Si intentas empujar la película completa y sin comprimir a través del túnel, este se obstruye y la computadora se vuelve extremadamente lenta.

Para solucionar esto, los ingenieros utilizan la cuantización. Piensa en esto como tomar esa película de alta definición y comprimirla en una versión de baja resolución y pixelada. No es perfecta, pero cabe a través del túnel mucho más rápido, y la imagen sigue siendo lo suficientemente reconocible para verla.

Este artículo, escrito por Or Ordentlich y Yury Polyanskiy, es como un informe de física teórica sobre la compresión. En lugar de simplemente probar diferentes herramientas de compresión para ver cuál funciona mejor en la práctica, los autores se preguntan: "¿Cuál es el límite absoluto y matemático de lo bien que podemos comprimir estos datos antes de que se conviertan en basura?"

Aquí tienes un desglose de sus hallazgos utilizando analogías simples:

1. Los Dos Tipos de "Compresión"

Los autores señalan una confusión sobre cómo los matemáticos y los ingenieros hablan de la "tasa" (cuántos datos conservamos).

La Visión del Matemático: Imagina tomar un bloque completo de píxeles y comprimirlos todos juntos en un solo código inteligente. Esta es la forma más eficiente, pero es increíblemente difícil de hacer en tiempo real.
La Visión del Ingeniero: Imagina mirar cada píxel individualmente y decir: "Eres un poco demasiado brillante, así que simplemente te redondearé al color estándar más cercano". Así es como funcionan los chips de IA actuales (usando formatos como INT8 o FP8). Es rápido y fácil, pero los autores argumentan que no es tan eficiente como el límite teórico.

2. La Suposición de "Alta Tasa"

El artículo se centra en un escenario donde la compresión no es demasiado extrema (como convertir una película en un dibujo de palitos). Asumen que estamos conservando suficiente detalle para que el "ruido" (los errores introducidos por el redondeo) sea pequeño.

La Analogía: Imagina intentar medir una mesa con una regla. Si tu regla tiene marcas pequeñas y precisas (alta tasa), el error es solo una fracción diminuta de milímetro. Si usas una regla con huecos enormes (baja tasa), el error es masivo. Los autores asumen que estamos usando la regla precisa, lo que les permite usar matemáticas simples para predecir los errores.

3. Lo "Perfecto" frente a lo "Real"

Los autores calcularon el Límite Fundamental: la mejor precisión posible que podrías esperar lograr si tuvieras una herramienta de compresión mágica que pudiera observar la imagen completa de una sola vez.

El Resultado: Descubrieron que para un sistema perfecto, el error disminuye muy rápidamente a medida que agregas más bits (más detalle).
La Realidad: Luego examinaron las herramientas populares utilizadas en la IA hoy en día, como los formatos INT (entero) y FP (punto flotante).
- El Problema: Estas herramientas a menudo utilizan un método de escalado "talla única" (como usar la misma regla para un elefante gigante y un ratón diminuto). Si los datos tienen unos pocos números enormes y muchos pequeños, la regla se estira para ajustarse a los grandes, haciendo que los pequeños parezcan puntos borrosos.
- La Solución: Descubrieron que si rotas los datos (como girar una imagen para que los bordes irregulares se alineen con la cuadrícula) antes de comprimirlos, la "borrosidad" se vuelve mucho más uniforme y predecible. Esta es una técnica llamada rotación aleatoria.

4. La Sorpresa de la "Contracción"

Un hallazgo interesante se refiere a la "contracción".

La Analogía: Si comprimes una foto y luego intentas descomprimirla, la mejor suposición para el original no es simplemente la foto descomprimida; en realidad es una versión ligeramente "contraída" de la misma.
La Postura del Artículo: Aunque existe este efecto de "contracción", los autores descubrieron que en el mundo de alta calidad (alta tasa) que están estudiando, el beneficio es tan pequeño que podemos ignorarlo con seguridad para mantener las matemáticas simples.

5. Probando las Herramientas

Los autores probaron sus teorías contra datos del mundo real de un modelo de IA popular (Llama 3).

INT vs. FP: Descubrieron que para los formatos enteros estándar (INT), rotar los datos primero es crucial. Sin rotación, el error puede ser enorme. Con rotación, el error disminuye hasta acercarse al límite teórico.
Punto Flotante (FP): Sorprendentemente, para los formatos de punto flotante, rotar los datos es realmente perjudicial. Los autores explican que la forma en que estos formatos manejan los números trata naturalmente los "bordes irregulares" de manera mejor, por lo que girar los datos solo estropea las cosas.
NestQuant: Examinaron un nuevo y sofisticado método llamado NestQuant (que utiliza formas geométricas complejas llamadas "retículos" en lugar de cubos simples). Descubrieron que funciona significativamente mejor que las herramientas estándar, acercándose más a ese límite teórico "mágico".

La Conclusión

Este artículo proporciona un plan para el futuro de la compresión de IA. Nos dice:

Existe un límite matemático estricto sobre lo bien que podemos comprimir las matemáticas de la IA.
Las herramientas actuales (como INT8 y FP8) son buenas, pero a menudo dejan "bits de precisión" sobre la mesa porque no tienen en cuenta la forma de los datos.
La rotación es un truco poderoso, pero es un arma de doble filo: ayuda a las matemáticas enteras pero perjudica a las matemáticas de punto flotante.
Los métodos más nuevos y complejos (como NestQuant) están comenzando a cerrar la brecha entre lo que hacemos y lo que es matemáticamente posible.

En resumen, el artículo dice: "Conocemos el límite de velocidad de la autopista. Los coches actuales conducen rápido, pero si ajustamos el motor (usando rotación o mejores retículos), podemos acercarnos mucho más a ese límite de velocidad sin chocar".

Resumen Técnico: Multiplicación de Matrices Cuantizada a Alta Tasa I

Enunciado del Problema
Este artículo aborda el problema de la multiplicación de matrices cuantizada (MatMul), una operación crítica para el despliegue eficiente de Modelos de Lenguaje Grande (LLM). Los autores se centran en un escenario de "MatMul Genérico" donde ambas matrices (pesos y activaciones) deben cuantizarse sin conocimiento estadístico a priori específico (calibración) de los factores. El desafío central es caracterizar la compensación fundamental de teoría de la información entre la tasa de cuantización (bits por entrada, $R$ ) y la distorsión resultante (error) en el producto matricial. El artículo distingue entre la definición de teoría de la información de "tasa" (donde un vector de $N$ entradas se codifica globalmente en $NR$ bits) y la definición práctica utilizada en IA (donde cada entrada se cuantiza individualmente o en pequeños grupos).

Metodología y Marco Teórico
El análisis se basa en la teoría de cuantización a alta tasa, asumiendo que el ruido de cuantización es significativamente más débil que la señal ( $R$ es suficientemente grande). Bajo esta suposición, el error de cuantización se modela como ruido aditivo, independiente y uniformemente distribuido. Los autores también ignoran los efectos de "reducción lineal", que son del orden $O(2^{-4R})$ , para simplificar el análisis de la distorsión.

El artículo formaliza el problema utilizando un esquema de cuantización de tasa- $R$ que involucra codificadores y un decodificador, potencialmente utilizando aleatoriedad compartida (monedas públicas). Evalúa el rendimiento en dos escenarios:

Peor caso: Las matrices $A$ y $B$ tienen normas $\ell_2$ acotadas, pero sin suposiciones distribucionales.
Caso promedio (Gaussiano): Las entradas de $A$ y $B$ son independientes e idénticamente distribuidas (i.i.d.) Gaussianas.

Contribuciones y Resultados Clave

Límites Fundamentales para MatMul Genérico:
El artículo establece que, para matrices genéricas, la distorsión esperada más pequeña para la entrada $(i,j)$ -ésima del producto $A^\top B$ se caracteriza por:
$D^*_{ij} = \frac{\|a_i\|^2 \cdot \|b_j\|^2}{n} \cdot 2 \cdot 2^{-2R}$
donde $a_i$ y $b_j$ son las columnas de $A$ y $B$ , y $n$ es la dimensión. Se demuestra que este límite es ajustado para entradas Gaussianas. Los autores demuestran que los esquemas no aleatorizados o los enfoques de boceto simples generalmente sufren una distorsión que escala linealmente con la dimensión $n$ ( $\Omega(n)$ ), mientras que los esquemas que combinan aleatorización (rotación aleatoria/dither) con cuantización de retículo pueden alcanzar el límite fundamental.
Análisis de Esquemas de Cuantización Populares:
Los autores derivan aproximaciones heurísticas precisas para la distorsión de esquemas ampliamente utilizados, expresándolas en la forma $K(i,j) \cdot 2 \cdot 2^{-2R_{\text{eff}}}$ , donde $R_{\text{eff}}$ es la "tasa efectiva" en bits.
- Multiplicadores INT (absmax): Para INT $M$ estándar con escalado absmax, la tasa efectiva es $R_{\text{eff}} \approx M - \frac{1}{2}\log_2(\frac{2 \ln n}{3})$ . Esto indica una penalización significativa de tasa debido al factor de escalado $\ell_\infty$ . El artículo muestra que aplicar una rotación aleatoria (por ejemplo, transformación de Hadamard) antes de la cuantización reduce el factor de distorsión $\Delta_{\text{INT}}$ para concentrarse alrededor de $2 \ln n$ , haciendo que la rotación sea crucial para la cuantización INT.
- Multiplicadores de Punto Flotante (FP): Utilizando un modelo de "Ruido Independiente de Exponente Infinito" (IEIN), los autores derivan que para FP con $M$ bits de mantisa, $R_{\text{eff}} \approx M + 2.23$ bits. A diferencia de INT, el análisis sugiere que para la cuantización FP, la rotación aleatoria a menudo es innecesaria e incluso puede ser perjudicial, ya que el factor de distorsión $\Delta_{\text{FP}}$ tiende a ser menor que 1 sin rotación para ciertas distribuciones.
- Formatos Multi-escalados (NVFP4/NVINT4): El artículo analiza formatos de 4 bits (NVFP4, NVINT4) que utilizan multi-escalado (escalado por grupos). Argumenta que NVFP4 se comporta efectivamente como un esquema de 1 bit de mantisa con una tasa efectiva de aproximadamente 3.24 bits, mientras que NVINT4 sufre las mismas penalizaciones de escalado que INT estándar a menos que se gestione cuidadosamente.
- NestQuant: Los autores revisan el marco NestQuant, que utiliza códigos de retículo anidados (específicamente el retículo $E_8$ ) y un banco de escalas. Señalan que NestQuant supera significativamente a los esquemas INT y FP en tasas de bits similares, logrando aproximadamente 0.6 bits adicionales de precisión.
Validación Empírica:
Utilizando matrices de activación de la capa 15 de Llama3-8B, el artículo valida las aproximaciones teóricas.
- Las fórmulas derivadas para la distorsión INT y FP coinciden notablemente bien con las mediciones empíricas del Error Cuadrático Medio (RMSE).
- Los histogramas confirman que la rotación aleatoria reduce drásticamente la varianza del factor de distorsión para la cuantización INT, pero tiene un impacto diferente, a menudo negativo, en la cuantización FP.
- Las comparaciones a $R=4.5$ bits muestran que NestQuant supera significativamente tanto a NVINT4 como a NVFP4.

Significado y Afirmaciones
El artículo afirma proporcionar las primeras referencias de teoría de la información para la MatMul cuantizada genérica donde no están disponibles estadísticas de calibración. Su significado principal radica en cuantificar la brecha entre los límites fundamentales y los enfoques prácticos restrictivos (como los formatos estándar INT/FP).

Los autores enfatizan que, aunque las suposiciones de alta tasa pueden no cumplirse para tasas de bits muy bajas ( $R < 2$ ), proporcionan expresiones suficientemente precisas para las tasas utilizadas típicamente en LLM (por ejemplo, de 4 a 8 bits). El trabajo sirve como una base teórica para evaluar las estrategias de cuantización actuales, destacando que:

La rotación aleatoria es un componente crítico para la cuantización INT para acercarse a los límites fundamentales.
La cuantización FP se comporta de manera diferente, donde la rotación puede no ser beneficiosa.
Existe una brecha de rendimiento sustancial entre los esquemas estándar y el óptimo teórico, que puede reducirse mediante técnicas avanzadas como NestQuant.

El artículo concluye señalando que la Parte II de este trabajo abordará la configuración de cuantización solo de pesos donde están disponibles estadísticas de segundo orden de las activaciones.