🤖 machine learning

OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization

El artículo propone OSAQ, un método de cuantización post-entrenamiento sin entrenamiento que aprovecha la propiedad de bajo rango del espacio nulo de la Hessiana para construir una transformación aditiva de pesos que suprime los valores atípicos y mejora significativamente la precisión de la cuantización de LLM de bajo bit sin introducir sobrecarga en la inferencia.

Autores originales: Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Publicado 2026-05-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La "Mochila Pesada"

Imagina un Modelo de Lenguaje Grande (LLM) como un estudiante genio que lo sabe casi todo. Sin embargo, este estudiante lleva una mochila masiva llena de millones de libros pesados (parámetros). Como la mochila es tan pesada, el estudiante se mueve muy lentamente y necesita una habitación enorme para guardarla. Esto hace que sea costoso y lento de usar en dispositivos comunes como teléfonos o portátiles.

Para solucionar esto, los ingenieros intentan "encoger" la mochila resumiendo los libros en notas más pequeñas y simples. A esto se le llama cuantización. En lugar de escribir cada detalle con alta precisión (como números de 32 bits), escriben resúmenes más toscos (como números de 2 o 4 bits).

El Truco: La mochila no está llena solo de libros normales; tiene unos pocos gigantescos y pesados cantos rodados escondidos dentro (llamados valores atípicos o outliers). Estos cantos rodados son tan pesados que arruinan el intento de encoger la mochila. Si intentas comprimir toda la bolsa, estos cantos rodados te obligan a mantener la bolsa enorme, o el estudiante empieza a olvidar cosas (el modelo se vuelve tonto).

Las Soluciones Antiguas: Estirar y Rotar

Los métodos anteriores intentaron solucionar esto mediante:

Estirar (Escalado): Intentar separar los cantos rodados para que encajen mejor.
Rotar: Girar toda la mochila para que los cantos rodados estén en un lugar diferente.

El artículo argumenta que, aunque estos trucos ayudan un poco, no son suficientes. Son como intentar meter un canto rodado en una caja pequeña simplemente estirando la caja o girándola de lado. El canto rodado sigue ahí y sigue causando problemas.

La Nueva Solución: OSAQ (La "Esponja Mágica")

Los autores proponen un nuevo método llamado OSAQ (Absorción Autónoma de Valores Atípicos). En lugar de estirar o rotar, utilizan un truco inteligente basado en la estructura interna de la mochila.

1. Las "Zonas Silenciosas" (El Espacio Nulo del Hessiano)

Los investigadores descubrieron que, dentro de la mochila, hay ciertas direcciones donde los cantos rodados en realidad no empujan hacia atrás. Imagina que la mochila está hecha de una espuma especial. Si empujas la espuma en la mayoría de las direcciones, esta ofrece resistencia. Pero si empujas en "zonas silenciosas" específicas, la espuma ofrece resistencia cero.

En términos matemáticos, encontraron un "Espacio Nulo" en la estructura de datos del modelo donde los cambios no dañan la inteligencia del modelo. Es como encontrar un bolsillo secreto en la mochila donde puedes mover objetos pesados sin que la mochila sienta el peso.

2. El Truco de la "Absorción Autónoma"

OSAQ funciona así:

Identifica esas "zonas silenciosas" (el Espacio Nulo).
Toma los cantos rodados gigantes (valores atípicos) y añade un poco de "espuma mágica" a ellos.
Como esta espuma se añade en una "zona silenciosa", cancela el peso del canto rodado sin cambiar cómo se comporta la mochila.
El canto rodado desaparece efectivamente (es "absorbido"), dejando atrás una pila uniforme y suave de arena que es fácil de comprimir.

La Analogía: Imagina que tienes una almohada llena de bultos con una piedra dentro.

Antigua forma: Intenta apretar la almohada con más fuerza (escalado) o girarla de lado (rotación). La piedra sigue haciendo que esté llena de bultos.
Forma OSAQ: Te das cuenta de que la almohada tiene una costura oculta donde puedes deslizar un trozo de arcilla blanda. Deslizas la arcilla justo al lado de la piedra. La arcilla llena el hueco y hace que la piedra parezca parte de la almohada blanda. Ahora toda la almohada está lisa y es fácil de aplastar en una bolsa diminuta.

Por Qué Esto Es un Cambio de Reglas

Sin Trabajo Extra: La "espuma mágica" se añade directamente a las rocas dentro de la mochila. No necesitas cambiar las correas ni las otras capas de la bolsa. Es una solución "enchufar y usar".
Solución Instantánea: No necesitas reentrenar al estudiante ni pasar semanas ajustando la mochila. Las matemáticas te dan la cantidad exacta de espuma a añadir en un solo paso (una "solución de forma cerrada").
Resultados Superiores: Cuando lo probaron en compresión de 2 bits (haciendo las notas extremadamente pequeñas), OSAQ hizo que el modelo fuera un 40% más inteligente (menor perplejidad) que el mejor método anterior. Es como encoger la mochila al tamaño de una cartera sin que el estudiante pierda nada de su genio.

Resumen

El artículo presenta una forma de hacer que los modelos de IA sean más pequeños y rápidos al encontrar "zonas silenciosas" en sus datos donde pueden suavizar los problemáticos "cantos rodados" (valores atípicos) sin dañar el rendimiento del modelo. Es una forma nueva y eficiente de comprimir la IA que funciona mejor que simplemente estirar o rotar los datos.

Resumen Técnico: OSAQ – Autoabsorción de Valores Atípicos para Cuantización Precisa de LLM de Bajo Bit

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) enfrentan desafíos significativos de implementación debido a sus masivas escalas de parámetros, lo que resulta en un alto consumo de memoria y latencia de inferencia. La cuantización posterior al entrenamiento (PTQ), específicamente la cuantización solo de pesos, ofrece una solución al reducir el tamaño del modelo y aliviar los cuellos de botella limitados por la memoria. Sin embargo, un obstáculo persistente para la cuantización precisa de bajo bit es la presencia de valores atípicos sistemáticos en los pesos del modelo. Estos valores atípicos, caracterizados por grandes magnitudes, expanden el rango numérico de los pesos, reduciendo así la resolución de cuantización y degradando el rendimiento del modelo.

Los métodos existentes dependen principalmente de transformaciones multiplicativas (por ejemplo, escalado o rotación) entre capas adyacentes para mitigar los valores atípicos. Aunque enfoques como GPTQ (usando información del Hessiano), AWQ (escalado consciente de la activación) y QuIP (rotación ortogonal) han logrado avances, el artículo argumenta que confiar únicamente en paradigmas multiplicativos es fundamentalmente inadecuado para lograr un rendimiento satisfactorio en configuraciones de ultra bajo bit (por ejemplo, 2 bits o 3 bits).

2. Metodología: Cuantización de Autoabsorción de Valores Atípicos (OSAQ)

Los autores proponen OSAQ, un método novedoso que introduce una transformación aditiva de pesos guiada por las propiedades de bajo rango de segundo orden de la matriz Hessiana. A diferencia de los métodos anteriores que requieren ajustes intercapas, OSAQ opera como un mecanismo de "autoabsorción" que modifica los pesos dentro de una sola capa sin afectar a las capas vecinas.

Componentes Técnicos Clave:

Consistencia de Bajo Rango del Hessiano:
El método se basa en la observación de que el Hessiano de la pérdida de la tarea con respecto a los pesos de la capa exhibe una pronunciada propiedad de bajo rango a través de diferentes entradas. Específicamente, ciertas direcciones en el espacio de pesos muestran consistentemente curvatura nula (valores propios cercanos a cero). Estas direcciones forman un espacio nulo estable que permanece consistente independientemente de la muestra de entrada.
Transformación Aditiva Invariante a la Pérdida:
Aprovechando el espacio nulo, OSAQ construye una perturbación aditiva $\Delta W$ tal que la transformación $W' = W + \Delta W$ garantiza que la perturbación de segundo orden de la pérdida de la tarea permanezca en cero ( $\Delta w^T H_w \Delta w = 0$ ). Esto asegura que el rendimiento del modelo en la tarea original se preserve mientras se modifican los pesos.
Extracción del Espacio Nulo:
El Hessiano $H_w$ se aproxima y descompone mediante descomposición de valores propios. Para manejar casos donde los valores propios no son exactamente cero, se emplea una estrategia de energía de cola. La dimensión del espacio nulo $K$ se determina acumulando los valores propios más pequeños hasta alcanzar un umbral de energía predefinido $\gamma$ . La matriz resultante $N$ representa el espacio nulo estable.
Optimización de Coeficientes mediante Aproximación Softmax- $\infty$ :
El objetivo es encontrar una matriz de coeficientes $\beta$ tal que $\Delta W = \beta N$ minimice el rango numérico (específicamente la norma $\ell_\infty$ ) de los pesos transformados para suprimir los valores atípicos.
- Dado que la norma $\ell_\infty$ no es diferenciable, los autores emplean una aproximación Softmax- $\infty$ . Esto implica aplicar una operación softmax a lo largo de la dimensión del canal de salida con un coeficiente de temperatura $\tau$ . A medida que $\tau \to 0$ , esto aproxima la norma $\ell_\infty$ mientras permanece diferenciable.
- El objetivo de optimización incluye un término de regularización $\ell_2$ para prevenir correcciones excesivas y una restricción anti-desplazamiento para penalizar las traducciones uniformes.
- Crucialmente, esta optimización produce una solución de forma cerrada para los coeficientes $\beta$ mediante una ecuación normal, eliminando la necesidad de entrenamiento intensivo en recursos o procedimientos iterativos.

3. Contribuciones Clave

Paradigma Novel: El artículo introduce una estrategia de transformación aditiva para la supresión de valores atípicos, complementando los enfoques multiplicativos existentes (escalado/rotación). Opera independientemente dentro de una capa, sin requerir transformaciones intercapas ni sobrecarga de inferencia.
Insight Teórico: Identifica y explota la consistencia de bajo rango del espacio nulo del Hessiano a través de las entradas, proporcionando un subespacio estable para construir ajustes de pesos invariantes a la pérdida.
Construcción Eficiente: El método deriva los coeficientes de transformación óptimos en forma cerrada utilizando una aproximación diferenciable Softmax- $\infty$ , evitando la optimización iterativa o el reentrenamiento.
Compatibilidad Plug-and-Play: OSAQ está diseñado para integrarse con métodos PTQ existentes (por ejemplo, GPTQ, AWQ) para mejorar aún más el rendimiento de bajo bit.

4. Resultados Experimentales

Se realizaron experimentos extensos en varios LLM (LLaMA2, LLaMA3, Mistral-Large, Llama-3.1) a través de tareas de generación de lenguaje y preguntas y respuestas de sentido común.

Reducción de la Perplejidad: En la cuantización de 2 bits, OSAQ integrado con GPTQ logró más del 40% de reducción en la perplejidad en comparación con GPTQ estándar en LLaMA2-7B. Por ejemplo, en WikiText2, OSAQ+GPTQ redujo la perplejidad de 36.8 a 21.2 (y ulteriormente a 10.6 con iteraciones de descenso de coordenadas) para LLaMA2-7B.
Mejoras en la Precisión:
- Preguntas y Respuestas de Sentido Común: En LLaMA3-8B (2 bits), OSAQ+GPTQ mejoró la precisión promedio zero-shot de 38.3% a 44.4% (y 51.7% con iteraciones).
- MMLU: Para LLaMA2-7B (4 bits), OSAQ+GPTQ elevó la puntuación promedio de 38.7% a 39.6%.
- Modelos Grandes: El método permaneció efectivo en modelos masivos ajustados por instrucciones (123B y 405B parámetros), superando a GPTQ estándar en los puntos de referencia MMLU y ARC.
Robustez: Los estudios de ablación confirmaron que la transformación aditiva tiene un impacto negligible en modelos de precisión completa (FP16) y que el espacio nulo permanece estable a través de diferentes lotes de entrada. El método también demostró robustez frente a elecciones de hiperparámetros (por ejemplo, umbral de energía de cola $\gamma$ , temperatura $\tau$ ).

5. Significado y Afirmaciones

El artículo afirma que OSAQ representa un paso significativo hacia adelante en la cuantización de LLM de bajo bit al abordar la limitación fundamental de los paradigmas exclusivamente multiplicativos. Al aprovechar las propiedades geométricas intrínsecas del paisaje de pérdida (espacio nulo del Hessiano), OSAQ proporciona un mecanismo computacionalmente eficiente y libre de entrenamiento para suprimir valores atípicos.

Los autores enfatizan que este enfoque:

Preserva la Pérdida de la Tarea: La transformación está matemáticamente garantizada para mantener la perturbación de pérdida de segundo orden en cero.
No Introduce Sobrecarga: La transformación se absorbe fuera de línea en los pesos, sin requerir cambios en el pipeline de inferencia ni capas adicionales.
Escalabilidad: Es aplicable a modelos que van desde 7B hasta 405B parámetros y se integra sin problemas con algoritmos de cuantización de última generación.

El trabajo sugiere que explorar transformaciones aditivas basadas en propiedades de segundo orden ofrece una ruta prometedora y complementaria para lograr una cuantización precisa de bajo bit para modelos de lenguaje a gran escala.