🤖 machine learning

InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization

InfoQuant es un método de cuantización post-entrenamiento sin entrenamiento que emplea la Transformación Ortogonal de Supresión de Picos (PSOT) y la selección adaptativa de tokens atípicos para remodelar las distribuciones de activación en una forma compacta y bien dispersa, reduciendo así significativamente el error de cuantización y superando las líneas base existentes de despliegue de LLM de bajo bit.

Autores originales: Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

Publicado 2026-05-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La Caja "Demasiado Alta"

Imagina que tienes una pila gigante y caótica de arena (esto representa los datos dentro de un Modelo de Lenguaje Grande, o LLM). Quieres empaquetar esta arena en una caja pequeña y ordenada para ahorrar espacio y hacerla más fácil de transportar (esto es la cuantización—reducir el modelo para que se ejecute más rápido y use menos memoria).

Por lo general, la mayor parte de la arena tiene una altura normal y manejable. Pero, hay unos pocos picos gigantes de arena que se extienden muy alto hacia el cielo (estos se llaman valores atípicos o outliers).

Debido a estos pocos picos gigantes, se te obliga a usar una caja enorme para que quepa todo. Una vez que pones la arena en esa caja enorme, la arena "normal" en la parte inferior queda aplastada en una capa diminuta y plana. Cuando intentas sacar la arena más tarde, no puedes distinguir las diferentes capas de arena normal porque todas han sido aplanadas en el mismo lugar. El modelo pierde su capacidad de "pensar" con claridad.

Las Soluciones Antiguas: Aplastar los Picos

Los métodos anteriores intentaron solucionar esto mediante:

Aplastar los picos: Intentar cortar la parte superior de las pilas gigantes de arena.
Mover los picos: Desplazar la arena pesada de un lugar a otro.

El problema es que, incluso si cortas los picos, la arena restante podría seguir agrupada de una manera que no encaja bien en la caja pequeña. Podrías tener una caja más pequeña, pero la arena sigue amontonada de una forma que dificulta distinguir entre los diferentes granos.

La Nueva Idea: INFOQUANT

Los autores de este artículo, INFOQUANT, se dieron cuenta de que el objetivo no es solo hacer la arena "más pequeña". El objetivo es hacer que la arena parezca que fue diseñada para la caja.

Se hacen una nueva pregunta: "¿Cómo se ve una pila de arena que encaja perfectamente en una caja pequeña?"

Su respuesta: Necesita ser baja (para que quepa en la caja) pero también distribuida uniformemente (para que puedas ver cada grano de arena).

Cómo Funciona INFOQUANT (La Receta de 3 Pasos)

1. El "Giro y Distribución" (Transformación Ortogonal de Supresión de Picos)
Imagina que la arena está dentro de un trompo. Los autores utilizan un truco matemático especial (una rotación ortogonal) para girar la arena.

Qué hace: Toma esos picos gigantes y distribuye su energía por toda la pila.
El Resultado: Los picos gigantes desaparecen y la arena se convierte en una colina suave y ancha. Crucialmente, la colina ahora es más baja (cabe en la caja) pero más ancha (la arena está distribuida para que puedas distinguir las capas).

2. El "Explorador Inteligente" (Selección Adaptativa de Tokens Atípicos)
A veces, la pila de arena tiene unos pocos lugares extraños y ruidosos que parecen picos pero no son realmente importantes. Si intentas arreglar esos, podrías estropear las partes buenas.

Qué hace: INFOQUANT tiene un "explorador" que mira la arena y dice: "Bien, ese pico allí es real y peligroso, vamos a arreglarlo. Pero ese pequeño bulto de allá? Ignóralo."
El Resultado: El modelo centra su energía en arreglar los problemas reales, haciendo el proceso más robusto y menos propenso a confundirse con el ruido.

3. El "Recorte de Ajuste Fino" (Recorte de Activación Aprendible)
Después de girar y distribuir la arena, los autores hacen una última comprobación. Ajustan el tamaño exacto de la caja para asegurarse de que la arena encaje perfectamente sin huecos ni aplastamientos.

El Resultado: El paquete final está optimizado para el tamaño específico de la caja, asegurando que no se pierda información en las esquinas.

Por Qué Esto Importa

El artículo probó esto en modelos de IA famosos (como LLaMA-2 y LLaMA-3).

El Resultado: Cuando redujeron los modelos a 4 bits (un tamaño muy pequeño, como reducir un libro de 100 páginas a una postal), INFOQUANT mantuvo el 97% de la inteligencia original.
La Comparación: Los métodos anteriores perdieron mucha más inteligencia al reducirse a este tamaño. INFOQUANT logró mantener la "postal" legible y útil, mientras que otros la convirtieron en un garabato borroso.

La Conclusión

Piensa en INFOQUANT como un maestro empacador. En lugar de simplemente intentar forzar una pila desordenada y con picos de arena en una caja pequeña (lo cual aplasta los detalles), primero reconfiguran la pila para que encaje naturalmente y perfectamente en la caja. Hacen que la pila sea lo suficientemente baja para caber, pero lo suficientemente distribuida para mantener todos los detalles visibles.

Esto nos permite ejecutar modelos de IA enormes y potentes en computadoras más pequeñas y baratas sin perder su "capacidad cerebral".

Resumen Técnico: INFOQUANT

Enunciado del Problema

La cuantización de activaciones de baja precisión sigue siendo un cuello de botella crítico para el despliegue eficiente de Modelos de Lenguaje Grandes (LLM). Mientras que los pesos en los LLM suelen ser planos y estar distribuidos uniformemente, las activaciones a menudo contienen un pequeño número de coordenadas dominantes (valores atípicos) que expanden el rango de cuantización. Esto obliga a la cuantización de redondeo al vecino más cercano a mapear muchos valores normales hacia los mismos pocos niveles discretos, resultando en una pérdida significativa de información.

Los métodos existentes de Cuantización Post-Entrenamiento (PTQ) intentan mitigar esto suprimiendo valores atípicos, equilibrando canales o minimizando el error de reconstrucción (por ejemplo, MSE). Sin embargo, el artículo argumenta que estos enfoques no definen explícitamente qué distribución de activaciones es realmente "amigable para la cuantización". Los métodos pueden reducir picos visibles o disminuir el error numérico sin mejorar la "discretizabilidad" fundamental de la distribución, dejando a menudo el rango de cuantización demasiado amplio o causando que los valores colapsen cerca de la media.

Metodología: INFOQUANT

Los autores proponen INFOQUANT, un marco PTQ sin entrenamiento que reformula la transformación de activaciones como "diseño de distribución orientado al cuantizador". La filosofía central se deriva de un análisis de teoría de la información que muestra que un bajo error de cuantización requiere dos propiedades complementarias:

Un rango numérico más pequeño (para reducir el tamaño del paso de cuantización).
Dispersión suficiente dentro de ese rango (para utilizar eficazmente los niveles de cuantización disponibles).

INFOQUANT logra esto mediante tres componentes principales:

1. Transformación Ortogonal de Supresión de Picos (PSOT)

PSOT aprende una matriz de rotación ortogonal para remodelar las distribuciones de activación. A diferencia de las rotaciones fijas (por ejemplo, Hadamard), PSOT optimiza una matriz ortogonal bloque-diagonal $R$ para minimizar una función de pérdida específica:
$\ell_{ps}(x; R) = \|\pi_T(y) \odot y\|^2$
donde $y = xRP_\perp$ (activación rotada centrada) y $\pi_T$ es un peso basado en softmax según la magnitud. Este objetivo penaliza explícitamente las coordenadas de alta magnitud (picos). Al suprimir la coordenada centrada más grande mientras se preserva la energía total del token (debido a la ortogonalidad), PSOT fuerza a que la energía restante se distribuya a través de más dimensiones. Esto reduce simultáneamente la escala de recorte (estrechando el rango) y aumenta la dispersión normalizada ( $b_n$ ).

2. Selección Adaptativa de Tokens Atípicos (ASOT)

Para garantizar una optimización robusta, INFOQUANT no trata todos los tokens de calibración por igual. Identifica tokens con "estructuras de valores atípicos sensibles a la cuantización" y los repondera durante la optimización de la rotación.

Selecciona tokens que contienen al menos una coordenada estadísticamente extrema.
Emplea un mecanismo de selección por umbral para asegurar que las posiciones de valores atípicos seleccionadas varíen entre muestras (evitando el sobreajuste a diseños de prompts fijos o artefactos de calibración).
Estos tokens seleccionados se ponderan hacia arriba ( $\gamma > 1$ ) en la función de pérdida, mientras que los tokens normales actúan como regularizadores.

3. Recorte de Activación Aprendible (LAC)

Después de que la distribución es remodelada por PSOT, el método aplica un paso final de calibración utilizando parámetros de recorte aprendibles ( $\alpha, \beta$ ). Estos parámetros refinan el tamaño del paso de activación para igualar la salida del bloque cuantizado con la salida de precisión completa, minimizando el error de reconstrucción específicamente para la distribución remodelada.

Contribuciones Clave

Marco de Teoría de la Información: El artículo establece un vínculo teórico entre el error de cuantización y las propiedades de la distribución de activaciones. Demuestra que minimizar el error de cuantización es equivalente a reducir el límite de error recortado normalizado, lo cual requiere un rango numérico más pequeño y una mayor dispersión.
Algoritmo INFOQUANT: Un método eficiente en hardware y sin entrenamiento que aprende transformaciones ortogonales para moldear las activaciones en distribuciones amigables para la cuantización, complementado por selección adaptativa de tokens y recorte aprendible.
Validación Empírica: Experimentos extensos en las familias LLaMA-2 y LLaMA-3 (de 7B a 70B) y modelos Qwen2.5.

Resultados Experimentales

El método fue evaluado bajo diversas configuraciones de ancho de bits, incluido el desafiante escenario W4A4KV4 (pesos de 4 bits, activaciones de 4 bits, caché KV de 4 bits).

Preservación de Precisión: En el escenario W4A4KV4, INFOQUANT preserva un promedio del 97% de la precisión de punto flotante original en los modelos LLaMA-2 y LLaMA-3.
Rendimiento de Vanguardia: Reduce la brecha de rendimiento del modelo LLaMA-2 de 13B en un 42% en comparación con la vanguardia anterior (SpinQuant) bajo W4A4KV4.
Comparación con Líneas Base: INFOQUANT supera consistentemente a los métodos basados en rotación (QuaRot, SpinQuant) y a los métodos de reconstrucción de pesos (GPTQ, AWQ). También supera a OSTQuant basado en destilación en varios modelos (por ejemplo, LLaMA-3 8B, LLaMA-2 13B) sin requerir supervisión de precisión completa.
Eficiencia: El método permite la cuantización del modelo LLaMA-2 de 70B utilizando solo 24 GB de memoria GPU. Mantiene una ruta de inferencia ligera compatible con los kernels de baja precisión existentes, evitando la sobrecarga de FLOP asociada con transformaciones dinámicas durante la inferencia (a diferencia de FlatQuant).

Significado y Afirmaciones

El artículo afirma que la limitación principal de la cuantización de activaciones de baja precisión actual no es meramente la presencia de valores atípicos, sino la discrepancia entre la distribución de activaciones y las capacidades de un cuantizador uniforme de baja precisión. Al desplazar el enfoque de la "supresión de valores atípicos" al "moldeado de distribuciones", INFOQUANT demuestra que aprender transformaciones ortogonales específicas puede mejorar significativamente la discretizabilidad.

Los autores enfatizan que su enfoque es sin entrenamiento y eficiente en hardware, lo que lo hace práctico para el despliegue en hardware de nivel de consumo. Señalan que, aunque su método depende de datos de calibración y elecciones de implementación específicas (como matrices bloque-diagonales), ofrece una alternativa robusta al ajuste fino supervisado o a pipelines de destilación pesados. El artículo concluye que el trabajo futuro debería extender este análisis más allá de las suposiciones de activación con forma de campana hacia regímenes distribucionales más amplios.