🤖 machine learning

ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models

ADMM-Q es un algoritmo novedoso y modular de cuantización de pesos post-entrenamiento basado en una variante combinatoria del Método de Direcciones Alternas de Multiplicadores que mejora significativamente la utilidad de los Modelos de Lenguaje Grandes en niveles de cuantización agresivos por debajo de 4 bits al minimizar el error de reconstrucción por capa mientras se imponen restricciones de cuantización.

Autores originales: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Publicado 2026-05-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Panorama General: Encogiendo Cerebros Gigantes

Imagina los Modelos de Lenguaje Grandes (LLM) como Qwen o LLaMA como bibliotecas masivas y altamente detalladas. Estas bibliotecas contienen miles de millones de libros (parámetros) que permiten a la IA escribir, razonar y conversar. Sin embargo, debido a que estas bibliotecas son tan enormes, son difíciles de transportar (alto uso de memoria) y tardan mucho tiempo en leerse (computación lenta).

La Cuantización es el proceso de encoger estas bibliotecas. En lugar de mantener cada libro escrito con tinta de alta definición y color completo (precisión de 32 bits o 16 bits), intentamos reescribirlos usando menos colores o símbolos más simples (4 bits o incluso 2 bits). El objetivo es hacer que la biblioteca sea lo suficientemente pequeña para caber en una mochila sin perder la historia.

El Problema: Los Encogedores "Codiciosos"

Los métodos existentes para encoger estos modelos, como GPTQ (el estándar actual de la industria), funcionan como un editor codicioso.

Cómo funcionan: Miran la primera frase, la encogen y pasan a la siguiente. Luego miran la segunda frase, la encogen y pasan a la siguiente.
El defecto: Cuando el editor encoge la primera frase, puede cometer un pequeño error. Como pasa inmediatamente a la siguiente, nunca vuelve atrás para corregir ese error. Para cuando llega al final del libro, todos esos pequeños errores se han acumulado, haciendo que la historia sea confusa o sin sentido. Esto es especialmente malo al intentar encoger los libros muy agresivamente (hasta 2 o 3 bits).

La Solución: ADMM-Q (El Enfoque de "Reunión de Equipo")

Los autores proponen un nuevo método llamado ADMM-Q. En lugar de un editor codicioso trabajando solo, imagina un equipo de editores sosteniendo una reunión en mesa redonda para cada capítulo.

La Reunión de Equipo (Optimización Conjunta):
En lugar de arreglar una frase a la vez, el equipo mira el capítulo completo de una sola vez. Se preguntan: "Si cambiamos esta palabra aquí, ¿cómo afecta a esa palabra allá?". Ajustan todas las palabras simultáneamente para encontrar la mejor combinación posible que mantenga la historia clara, incluso usando muy pocos colores.
El Baile "Suave" vs. "Bloqueado" (ADMM):
Las matemáticas detrás de esto se llaman ADMM (Método de Direcciones Alternas de Multiplicadores). Imagínalo como un baile entre dos pasos:
- Paso A (El Deslizamiento Suave): El equipo hace pequeños ajustes continuos a las palabras para mejorar el flujo de la historia.
- Paso B (El Encaje a la Rejilla): De repente, deben encajar esas palabras en valores específicos y permitidos (como encajar un bloque de Lego en su lugar).
- Siguen alternando entre deslizarse y encajar. Con el tiempo, este proceso obliga a las palabras a asentarse en las mejores "posiciones de Lego" posibles sin romper la historia.
El Problema de los "Valores Atípicos" (Escalado Diagonal):
En estos modelos, algunas palabras son "ruidosas" (valores atípicos) y otras son "silenciosas". Si intentas encogerlas todas a la vez, las palabras ruidosas dominan la conversación y las silenciosas se pierden.
- La solución de ADMM-Q: Utilizan una técnica llamada Escalado Diagonal. Imagina darle un micrófono a las palabras silenciosas y bajar el volumen de las palabras ruidosas solo para la sesión de edición. Esto asegura que cada palabra tenga una oportunidad justa de ser optimizada, lo que lleva a una historia final mucho más clara.
El Pulido Final (Búsqueda Local):
Una vez que el equipo termina su reunión, hacen una rápida "revisión puntual". Buscan pares de palabras que podrían haberse intercambiado por accidente y ven si volver a intercambiarlas mejora la historia. Esto es un pulido rápido y final para atrapar cualquier error de última hora.

Por Qué Importa: Los Resultados

El artículo probó este nuevo método en varios modelos (Qwen y LLaMA) y descubrió que:

Mejores Historias: Cuando encogieron los modelos a tamaños muy pequeños (como 3 bits o 2 bits), los antiguos métodos "codiciosos" (GPTQ) producían sinsentidos o respuestas muy confusas. ADMM-Q mantuvo a los modelos inteligentes y coherentes.
- Ejemplo: En una prueba llamada "WikiText-2", el método antiguo tuvo una puntuación de 12.85 (más alto es peor), mientras que ADMM-Q la redujo a 10.06. Eso es una gran mejora en claridad.
Funciona con Otras Herramientas: ADMM-Q no es un reemplazo para todo; es un reemplazo directo para la parte de "encogedor". Funciona perfectamente junto con otros trucos que la gente usa, como rotar los datos o escalarlos.
La Misma Velocidad: Una vez que el modelo está encogido, se ejecuta tan rápido como los métodos antiguos. El tiempo extra que toma ADMM-Q es solo durante el proceso de encogimiento "offline" (como editar un libro antes de publicarlo), no mientras estás usando realmente la IA.

La Desventaja (Limitaciones)

Tarda más en editar: Debido a que ADMM-Q realiza una compleja "reunión de equipo" para cada capa, requiere más tiempo de computadora para encoger el modelo inicialmente en comparación con los métodos codiciosos simples. Sin embargo, los autores dicen que esta espera única vale la pena por la calidad mucho mejor.
Necesita una muestra: Como todos estos métodos, necesita una pequeña muestra de texto (datos de calibración) para entender qué intenta decir el modelo antes de comenzar a encogerlo.

Resumen

ADMM-Q es una forma más inteligente de comprimir modelos de IA. En lugar de apresurarse a través del paso de compresión paso a paso y cometer errores en el camino, adopta un enfoque holístico y matemático para ajustar todas las partes del modelo juntas. El resultado es una IA mucho más pequeña que aún recuerda cómo pensar con claridad, incluso cuando está apretada en un espacio muy reducido.

Resumen Técnico: ADMM-Q para Cuantización Post-Entrenamiento de LLMs

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLMs) enfrentan desafíos significativos de despliegue debido a sus requisitos computacionales y de memoria. La cuantización, específicamente la Cuantización Post-Entrenamiento (PTQ), es una estrategia principal para comprimir estos modelos reduciendo la precisión de los pesos (por ejemplo, de 16 bits a 4 bits o menos) sin reentrenamiento.

Los métodos estándar actuales de cuantización de pesos, como Redondeo al Vecino Más Próximo (RTN) y Cuantización Codiciosa por Columna (GPTQ), exhiben limitaciones, particularmente en anchos de bits agresivos (sub-4 bits):

RTN redondea los pesos independientemente, ignorando las dependencias entre pesos y la estructura del paisaje del error de reconstrucción.
GPTQ incorpora información del Hessiano para compensar errores, pero procesa los pesos de manera codiciosa, columna por columna. Este enfoque secuencial es sensible al orden de procesamiento y acumula errores a través de las columnas.

El desafío central es formular la cuantización por capas como un problema de optimización con restricciones que minimice el error de reconstrucción respetando al mismo tiempo las restricciones de cuantización discreta, un problema que se vuelve cada vez más difícil a medida que disminuyen los anchos de bits.

Metodología: ADMM-Q

Los autores proponen ADMM-Q, un algoritmo novedoso de cuantización de pesos basado en el Método de Direcciones Alternas de Multiplicadores (ADMM). A diferencia del enfoque codicioso por columnas de GPTQ, ADMM-Q trata la cuantización por capas como un problema de optimización conjunta.

1. Formulación del Problema

El algoritmo formula la cuantización de una capa con pesos preentrenados $\hat{W}$ y activaciones de entrada $X$ como un problema de optimización con restricciones ponderado por el Hessiano:
$\min_{W} \frac{1}{2} \text{Tr}\left((W - \hat{W})^\top H (W - \hat{W})\right) \quad \text{s.t.} \quad W \in \mathcal{Q}$
donde $H = X^\top X + \lambda I$ es la matriz Hessiana, y $\mathcal{Q}$ es el conjunto de matrices de pesos cuantizadas.

2. Componentes Algorítmicos Clave

Para resolver este problema no convexo de manera eficiente a la escala de los LLMs, ADMM-Q incorpora varias mejoras:

Escalado Diagonal para Estabilidad Numérica: Las activaciones de los LLM a menudo contienen "valores atípicos de canal" (dimensiones con magnitudes desproporcionadamente grandes), lo que conduce a un Hessiano mal condicionado. ADMM-Q aplica una matriz de escalado diagonal $\Sigma = \text{Diag}(H)^{-1/2}$ para normalizar el problema, asegurando que todos los canales contribuyan de manera comparable a las actualizaciones. Esto es crítico; los estudios de ablación muestran que eliminar este escalado degrada el rendimiento significativamente (por ejemplo, aumentando la perplejidad de 10.06 a 14.68 en W3A16 en Qwen3-8B).
Descomposición ADMM: El algoritmo introduce una variable auxiliar $D$ $D$ para desacoplar el objetivo continuo ponderado por el Hessiano de la restricción de cuantización discreta. Alterna entre:
1. Actualización W: Una actualización continua que minimiza la distancia ponderada por el Hessiano, resuelta eficientemente mediante descomposición espectral de $H$ .
2. Actualización D: Una proyección discreta sobre la cuadrícula de cuantización (equivalente a RTN pero teniendo en cuenta el escalado).
3. Actualización Dual: Ajuste del multiplicador de Lagrange para hacer cumplir la consistencia.
Refresco de Cuadrícula: A diferencia de GPTQ, que fija la cuadrícula de cuantización durante la optimización, ADMM-Q reajusta dinámicamente los parámetros de la cuadrícula (escala y punto cero) basándose en la iteración continua actual. Esto permite que la proyección permanezca alineada con el objetivo móvil, evitando la obsolescencia de una cuadrícula fija.
Refinamiento de Búsqueda Local: Para abordar soluciones discretas subóptimas causadas por redondeos correlacionados, un paso de post-procesamiento realiza una búsqueda local eficiente de intercambio de pares. Este paso evalúa movimientos discretos (intercambiando valores entre filas) que reducen directamente el error de reconstrucción, aprovechando la paralelización de GPU para la velocidad.
Garantías de Convergencia: Los autores extienden las pruebas de convergencia de ADMM existentes (establecidas previamente para restricciones de dispersión) al escenario de cuantización, demostrando que las iteraciones continuas y discretas convergen al mismo punto límite bajo un programa de penalización específico ( $\rho_t = \rho_0 \cdot \gamma^t$ ).

3. Modularidad e Integración

ADMM-Q está diseñado como un reemplazo directo para RTN o GPTQ dentro de las pipelines de PTQ existentes. Es totalmente composible con:

Transformaciones de escalado (por ejemplo, SmoothQuant, AWQ).
Transformaciones de rotación (por ejemplo, SpinQuant, QuaRot).
Heurísticas de recorte (por ejemplo, búsqueda de cuadrícula basada en MSE).

Resultados Experimentales

Los autores evaluaron ADMM-Q en tres configuraciones: cuantización solo de pesos, cuantización de pesos y activaciones con SpinQuant, y cuantización de pesos y activaciones con SmoothQuant.

1. Cuantización Solo de Pesos (Familia Qwen3)

En toda la gama de modelos Qwen3 (de 1.7B a 32B), ADMM-Q superó consistentemente a GPTQ y AWQ en perplejidad y precisión de cero disparos, con ganancias que aumentan a anchos de bits más bajos:

W3A16 (Qwen3-8B): La perplejidad en WikiText-2 mejoró de 12.85 (GPTQ) a 10.06 (ADMM-Q).
W2A16 (Qwen3-8B): La perplejidad en WikiText-2 mejoró de 32.88 (GPTQ) a 17.69 (ADMM-Q).
Análisis por Capas: ADMM-Q redujo el error de reconstrucción en todas las capas decodificadoras, alcanzando hasta el 10% del error de GPTQ en las primeras capas.

2. Cuantización de Pesos y Activaciones

SpinQuant (WbA4KV4): En modelos LLaMA-3 y Qwen3, reemplazar GPTQ con ADMM-Q produjo mejoras consistentes. Por ejemplo, en LLaMA-3 8B con W2A4KV4, la perplejidad disminuyó de 50.27 (GPTQ) a 15.65 (ADMM-Q).
SmoothQuant (WbA8): En Qwen3-8B, ADMM-Q mejoró la perplejidad W3A8 de 16.00 a 12.21.

3. Rendimiento de Inferencia

Cuando se integró en la pila de inferencia vLLM, ADMM-Q produjo matrices de pesos en el mismo formato que GPTQ. En consecuencia, logró un rendimiento de inferencia y beneficios de memoria idénticos. Por ejemplo, en Qwen3-32B con SpinQuant W8A8, ambos métodos lograron una aceleración de ~1.52× sobre la línea base densa.

4. Costo Computacional

El proceso de cuantización fuera de línea para ADMM-Q es más intensivo computacionalmente que GPTQ debido a la optimización iterativa. Sin embargo, los autores señalan que la cuantización es un paso único, y el tiempo de ejecución sigue siendo práctico (por ejemplo, menos de dos horas para un modelo de 32B en una sola GPU). El uso máximo de memoria de GPU es ligeramente superior (aproximadamente 6%) que en GPTQ.

Significado y Afirmaciones

El artículo afirma que ADMM-Q representa un cambio principista desde la cuantización secuencial y codiciosa hacia una optimización conjunta y con restricciones para LLMs. Sus contribuciones principales son:

Innovación Algorítmica: Adapta con éxito ADMM al problema combinatorio difícil de la cuantización de pesos, introduciendo estabilizaciones necesarias (escalado diagonal) y refinamientos (refresco de cuadrícula, búsqueda local) para escalas de LLM.
Ganancias de Rendimiento: Demuestra mejoras sustanciales en la utilidad del modelo (perplejidad y precisión), particularmente en regímenes de bits bajos agresivos (W3 y W2) donde los métodos anteriores luchan.
Versatilidad: Sirve como un componente modular y directo que mejora las pipelines existentes (incluidas aquellas que utilizan rotaciones y escalado) sin alterar el formato final de inferencia ni la velocidad.

Los autores reconocen limitaciones, señalando que ADMM-Q incurre en costos de cuantización fuera de línea más altos y depende de la representatividad del conjunto de calibración. Además, la evaluación actual se limita a LLMs decodificadores autoregresivos densos, y la adaptación a modelos de mezcla de expertos o de difusión requeriría más trabajo.