🤖 machine learning

MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference

MXSens es un método de cuantificación de precisión mixta sensible a la sensibilidad y libre de entrenamiento que asigna anchos de bits de mantisa variables (4/6/8) a los pesos de los LLM basándose en la sensibilidad por columna y por capa, mitigando eficazmente la degradación de la precisión inducida por valores atípicos mientras aprovecha formatos de microescalado eficientes para el hardware para superar a las líneas base de vanguardia existentes.

Autores originales: Simla Burcu Harma, Danila Mishin, Zhengyuan Su, Ayan Chakraborty, Elizaveta Kostenok, Dongho Ha, Babak Falsafi, Martin Jaggi, Yunho Oh, Amir Yazdanbakhsh

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Simla Burcu Harma, Danila Mishin, Zhengyuan Su, Ayan Chakraborty, Elizaveta Kostenok, Dongho Ha, Babak Falsafi, Martin Jaggi, Yunho Oh, Amir Yazdanbakhsh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando meter una biblioteca de conocimiento masiva e intrincada en una mochila diminuta y portátil. Este es el desafío diario para los cerebros informáticos súper inteligentes conocidos como Modelos de Lenguaje Extensos (LLM). Estos modelos son brillantes escribiendo historias, resolviendo acertijos y charlando con nosotros, pero son increíblemente pesados, ya que requieren enormes cantidades de memoria y energía para funcionar. Para hacerlos lo suficientemente ligeros como para llevarlos encima, los científicos usan un truco llamado "cuantización". Piensa en esto como comprimir una película de alta definición en un tamaño de archivo más pequeño. En lugar de almacenar cada tono de color único y perfecto, los redondeas al color más cercano disponible en una paleta limitada. Esto hace que el archivo sea diminuto y rápido de reproducir, pero si redondeas demasiado, la imagen se vuelve borrosa y los detalles se pierden.

El problema es que estos cerebros informáticos tienen algunas voces "fuertes" que gritan mucho más fuerte que todos los demás. En el mundo de los números, estos son los "outliers" (valores atípicos). Son valores extremos y poco comunes que desequilibran todo el sistema, haciendo que la compresión sea desordenada y causando que el modelo cometa errores tontos. Durante un tiempo, los investigadores intentaron solucionar esto barajando los datos (como rotar un rompecabezas) o utilizando una mezcla de tamaños de archivo grandes y pequeños. Pero estos métodos solían ser toscos, requiriendo que la computadora se detuviera constantemente para traducir los números de ida y vuelta, lo que ralentizaba todo el proceso. Ahora, un nuevo equipo de investigadores ha propuesto una forma más inteligente de empacar la mochila, una que escucha las necesidades específicas de cada pieza de información sin ralentizar el viaje.

El artículo presenta un nuevo método llamado MXSens, que actúa como un bibliotecario muy atento. En lugar de tratar a todos los libros de la biblioteca de la misma manera, MXSens primero echa un vistazo rápido para ver qué libros son los más frágiles o importantes. Descubrió que no todas las voces "fuertes" son iguales. Algunas son extremos raros y gritones que necesitan mucho espacio para ser comprendidos claramente, mientras que otras son solo un poco más fuertes que la multitud y pueden arreglárselas con un poco menos de espacio.

MXSens utiliza un ingenioso sistema de tres niveles para manejar esto. Asigna a las partes más sensibles y extremas del modelo un espacio generoso de 8 bits (como una caja grande y resistente), a las partes moderadamente sensibles un espacio medio de 6 bits (una caja mediana) y a las partes calmadas y silenciosas un espacio ajustado de 4 bits (una bolsa pequeña y eficiente). Esto sucede sin necesidad de reentrenar el modelo o cambiar su estructura cerebral; simplemente reorganiza cómo se almacenan los datos basándose en qué tan sensible es cada parte a ser comprimida. Los investigadores descubrieron que este enfoque funciona de maravilla con un nuevo formato compatible con el hardware llamado MXINT, que ya es compatible con los chips informáticos modernos.

Los resultados son bastante impresionantes. Al probarse en modelos masivos como LLaMA-2-70B y LLaMA-3-8B, MXSens logró mantener la "voz" del modelo clara y precisa utilizando muy poco espacio. Específicamente, bajo una configuración estricta de W4A4KV4 (lo que significa que los pesos, las activaciones y los cachés de clave-valor están todos cuantizados), el método logró una puntuación de perplejidad de 3.77 para LLaMA-2-70B y 7.63 para LLaMA-3-8B en el conjunto de datos WikiText-2. La perplejidad es una medida de qué tan confundido está el modelo; cuanto más baja, mejor. Estas puntuaciones fueron significativamente mejores que otros métodos de vanguardia, demostrando que al prestar atención a la sensibilidad específica de diferentes partes del modelo, puedes obtener lo mejor de ambos mundos: un modelo diminuto y rápido que aún piensa con claridad.

Los autores sugieren que este método es un gran paso adelante porque evita la pesada sobrecarga de traducir constantemente los números, lo que ha ralentizado otras técnicas similares. Al utilizar la estructura de bloques naturales de los nuevos formatos de hardware, MXSens puede mezclar estos diferentes niveles de precisión (4, 6 y 8 bits) de manera fluida. El estudio muestra que este enfoque guiado por la sensibilidad permite un mejor equilibrio entre ahorrar espacio y mantener la inteligencia del modelo, lo que potencialmente hace que la IA poderosa sea accesible en dispositivos que no tienen bancos de memoria masivos.

Resumen Técnico: MXSENS – Cuantización de Precisión Mixta Sensible a la Sensibilidad para la Inferencia Eficiente de LLM

1. Declaración del Problema

Los Modelos de Lenguaje Extensos (LLMs) dependen de la cuantización para reducir las huellas de memoria y acelerar la inferencia, particularmente en precisión de 4 bits. Sin embargo, la cuantización agresiva sufre una degradación significativa de la precisión debido a los valores atípicos sistemáticos (outliers)—un subconjunto pequeño de valores de activación con magnitudes desproporcionadamente altas. Estos valores atípicos distorsionan la distribución dentro de los bloques de cuantización, complicando la selección de los factores de escala.

Las soluciones actuales generalmente se dividen en dos categorías, ambas con limitaciones:

Métodos basados en rotación (p. ej., QuaRot, RRS, SpinQuant): Estos remodelan las distribuciones de los tensores para mitigar los valores atípicos. Sin embargo, suelen ser incompatibles con los formatos de microescala (como MXINT/MXFP) porque las rotaciones introducen una asimetría por grupo que degrada la calidad de la cuantización. Además, a menudo dejan componentes como las salidas de Softmax sin cuantizar.
Métodos de precisión mixta (p. ej., Atom, QoQ, QUIK): Estos asignan una mayor precisión a los canales sensibles, pero típicamente dependen de un escalado gestionado por software en FP32. Esto requiere operaciones frecuentes de descuantización durante la inferencia, lo que incurre en una sobrecarga sustancial (hasta un 90% respecto a las líneas base puras de INT4).

Los formatos de microescala (p. ej., MXINT) ofrecen una alternativa eficiente para el hardware al integrar factores de escala de potencia de dos compartidos por bloque (p. ej., 32 valores), eliminando la sobrecarga de escalado por software. Sin embargo, actualmente son incompatibles con el manejo de valores atípicos basado en rotación, y los enfoques de precisión mixta existentes a menudo ignoran la distribución matizada y no uniforme de la sensibilidad de cuantización a través de diferentes capas y columnas.

2. Metodología: MXSens

Los autores proponen MXSens, un método de cuantización de precisión mixta guiado por la sensibilidad y libre de entrenamiento, diseñado específicamente para el formato de microescala (MXINT). La idea central es que la sensibilidad de cuantización no es uniforme; varía significativamente entre capas y columnas, y los valores atípicos existen en un espectro que va desde "extremos" (raros, de alta magnitud) hasta "leves" (frecuentes, desviaciones moderadas).

2.1 Análisis de Sensibilidad

MXSens emplea un análisis de sensibilidad de dos niveles para guiar la asignación del ancho de bits:

Sensibilidad por Columna: Los autores definen la sensibilidad basándose en la diagonal de la matriz Hessiana empírica ( $H = X^T X$ ). Las columnas que contienen valores atípicos de alta magnitud exhiben valores de la diagonal de la Hessiana más altos, lo que indica que el ruido de cuantización en estas columnas causa errores de salida desproprocionados.
Sensibilidad por Capa: Los autores miden el error L2 en la salida final del modelo cuando una sola capa se cuantiza de forma aislada. Observan que los errores en las capas iniciales tienden a acumularse a medida que se propagan por la red, lo que hace que las capas iniciales sean generalmente más sensibles, aunque esto varía según la arquitectura (p. ej., las capas medias en Qwen1.5-7B).

2.2 Estrategia de Cuantización de Triplete

En lugar de una elección binaria entre baja y alta precisión, MXSens introduce un esquema de cuantización de triplete utilizando tres anchos de mantisa distintos: 4, 6 y 8 bits.

Precisión de 8 bits: Asignada a las 32 columnas más sensibles de cada capa. Esto se alinea con el tamaño de bloque de MXINT (32 valores), asegurando que todos los valores atípicos extremos se capturen dentro de un único bloque de alta precisión por capa.
Precisión de 6 bits: Asignada a las columnas con valores atípicos "leves". Esta precisión intermedia aborda el espectro de sensibilidad entre los valores atípicos extremos y la masa de datos, ofreciendo una mejor eficiencia que una simple división 4/8.
Precisión de 4 bits: Asignada al resto de las columnas menos sensibles.

2.3 Algoritmo de Asignación Guiado por Sensibilidad

El método asigna los anchos de bits bajo un presupuesto de ancho de bits promedio objetivo ( $B$ ) utilizando un parámetro de control global $R$ .

Ordenación: Para cada capa lineal, las columnas se ordenan por sus puntuaciones de sensibilidad.
Bloque de Alta Precisión Fijo: Las 32 columnas superiores siempre se asignan mantisas de 8 bits.
Asignación Dinámica de 6 bits: El número de columnas de 6 bits se calcula proporcionalmente a la puntuación de sensibilidad de la capa, escalada por $R$ para cumplir con la restricción global de ancho de bits promedio.
Por Defecto: Todas las columnas restantes se asignan mantisas de 4 bits.

Este enfoque aprovecha la estructura por bloques de MXINT, permitiendo una implementación de mantisa mixta sin modificar la arquitectura del modelo ni requerir reentrenamiento.

3. Contribuciones Clave

Cuantización de Triplete Guiada por Sensibilidad: Un método novedoso que asigna precisiones de 4, 6 y 8 bits basándose en la sensibilidad por columna y por capa, logrando una precisión de vanguardia sin cambios arquitectónicos ni ajuste fino (fine-tuning).
Integración de MXINT: La adopción del formato numérico MXINT, aprovechando su estructura por bloques y su exponente compartido para permitir una implementación de precisión mixta eficiente y compatible con el hardware moderno (p. ej., NVIDIA Blackwell, Qualcomm Cloud AI 100).
Superioridad de Rendimiento: Demostrar que MXSens supera a las líneas base existentes de rotación y de precisión mixta en una amplia gama de modelos y tareas.

4. Resultados Experimentales

Los autores evaluaron MXSens en varios modelos (LLaMA-2/3, Mistral, Qwen1.5, Gemma-2) en tareas de modelado de lenguaje (WikiText-2) y razonamiento de sentido común (ARC, BoolQ, MMLU, etc.).

LLaMA-2-70B y LLaMA-3-8B: Bajo la configuración W4A4KV4, MXSens alcanzó perplejidades de 3.77 y 7.63 en WikiText-2, respectivamente. Esto mejora sustancialmente las líneas base existentes (p. ej., QuaRot, Atom, QUIK).
Precisión vs. Compresión: En LLaMA-2-13B con ~4.27 bits, MXSens igualó la perplejidad de Atom (5.32 vs. 5.31) pero logró una precisión de cero disparos (0-shot accuracy) significativamente mayor en tareas de QA de sentido común (70.3% vs. 63.5%).
Estudios de Ablación: Los experimentos variando el ancho de bits promedio (de ~3.28 a 5.75 bits) mostraron que la asignación guiada por sensibilidad permite que los modelos se acerquen a la calidad de FP16 (dentro de 0.6 puntos de precisión) con aproximadamente un tercio del costo de bits.
Sobrecarga de Hardware: Los autores estiman que, con un presupuesto de 4.03 bits, solo ~1% de las operaciones aritméticas requieren mayor precisión, lo que resulta en una sobrecarga de latencia estimada del 3%, la cual se considera marginal frente a las ganancias de precisión.

5. Significado y Reivindicaciones

El artículo afirma establecer un nuevo equilibrio entre la precisión y la eficiencia de recursos para la cuantización de LLM. Al alejarse de los métodos basados en rotación (que entran en conflicto con el hardware de microescala) y del escalado pesado por software, MXSens ofrece un camino amigable para el hardware hacia una inferencia de 4 bits de alta precisión.

Los autores enfatizan que su trabajo demuestra la necesidad de una asignación de precisión fina y sensible a la sensibilidad. Argumentan que aplicar simplemente una cuantización uniforme de 4 bits o estrategias de precisión mixta gruesas es subóptimo. En su lugar, aprovechar las restricciones específicas por bloque de MXINT para asignar precisión de 8 bits a los valores atípicos extremos, 6 bits a los leves y 4 bits al resto, permite una compresión casi sin pérdidas sin las penalizaciones computacionales de la descuantización o las restricciones arquitectónicas de las matrices de rotación.

El trabajo se presenta como un paso hacia el despliegue práctico y de alta precisión de MXINT4 en los aceleradores de IA emergentes, demostando que los métodos libres de entrenamiento pueden mitigar eficazmente el problema de los valores atípicos inherente a la inferencia de LLM de bajos bits.