💬 NLP

SignRoundV2: Toward Closing the Performance Gap in Extremely Low-Bit Post-Training Quantization for LLMs

SignRoundV2 es un marco de cuantización post-entrenamiento que emplea una estrategia adaptativa de precisión mixta y técnicas de estabilización ligeras para reducir significativamente la brecha de rendimiento entre los Modelos de Lenguaje Grandes cuantizados y los de precisión completa, logrando resultados casi sin pérdida en configuraciones MXFP mixtas y mejoras sustanciales en la cuantización desafiante de solo pesos de 2 bits.

Autores originales: Wenhua Cheng, Weiwei Zhang, Heng Guo, Haihao Shen, Zaner Ma

Publicado 2026-05-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wenhua Cheng, Weiwei Zhang, Heng Guo, Haihao Shen, Zaner Ma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva e increíblemente detallada de conocimientos (un Modelo de Lenguaje Grande, o LLM). Esta biblioteca es tan enorme que requiere un edificio del tamaño de un almacén para almacenarla y un camión masivo para entregarla. Aunque es poderosa, esto hace que sea imposible que quepa en un automóvil regular (como tu teléfono o una computadora portátil estándar) para uso cotidiano.

Para resolver esto, los científicos utilizan un proceso llamado cuantización. Piensa en esto como tomar la biblioteca y comprimirla en un pequeño folleto del tamaño de un bolsillo. El objetivo es reducir el libro tanto como sea posible (usando menos "bits" de datos) sin perder el significado de la historia.

Sin embargo, hay un inconveniente: si reduces el libro demasiado (hasta 2 o 4 bits), las páginas comienzan a borroso, las palabras se escriben mal y la historia carece de sentido. El modelo se vuelve "tonto".

SignRoundV2 es un nuevo kit de herramientas diseñado para solucionar esto. Es como un editor maestro que puede reducir la biblioteca al tamaño de un bolsillo manteniendo la historia perfecta. Así es como funciona, usando analogías simples:

1. La estrategia de "Empaque Inteligente" (Precisión Mixta Adaptativa)

Imagina que estás empacando una maleta para un viaje. Tienes un límite estricto de peso.

Antigua forma: Tratas cada artículo por igual. Podrías apretar tu abrigo de invierno pesado y tu camiseta ligera en el mismo espacio ajustado, arruinando el abrigo.
Forma de SignRoundV2: Actúa como un empacador inteligente. Sabe que algunas partes del modelo (como las capas del "abrigo de invierno") son muy sensibles y necesitan más espacio (mayor precisión) para funcionar correctamente. Otras partes (como las capas de la "camiseta") son resistentes y pueden ser apretadas (menor precisión) sin daño.

El artículo presenta una nueva forma de medir exactamente qué capas son "sensibles". Observa cuánto reacciona el "cerebro" del modelo (los gradientes) cuando se aplasta un trozo de datos. Si una capa se confunde fácilmente, el sistema le asigna más bits. Si es resistente, recibe menos bits. Esto ocurre automáticamente, capa por capa, para encontrar el equilibrio perfecto.

2. La "Verificación Pre-vuelo" (Búsqueda de Escala de Pre-ajuste)

Antes de volar un avión, revisas los instrumentos. Si los instrumentos están configurados incorrectamente, el avión podría estrellarse inmediatamente.

El problema: Al comprimir un modelo a tamaños extremos (como 2 bits), la configuración inicial suele ser incorrecta, lo que hace que el modelo falle antes incluso de comenzar a aprender cómo ajustarse.
La solución: SignRoundV2 realiza una rápida y ligera "verificación pre-vuelo". Busca los mejores ajustes iniciales (escalas) muy rápidamente, inspirado en cómo funciona la herramienta popular llama.cpp. Esto asegura que el modelo comience con el pie derecho, haciendo que la compresión posterior sea mucho más exitosa.

3. El "Filtro de Ruido" (Filtrado de Pérdidas)

Imagina que estás tratando de aprender un nuevo idioma escuchando una radio. La mayor parte del tiempo, la señal es clara. Pero a veces, hay una ráfaga fuerte de estática (un valor atípico) que suena como sinsentido. Si intentas aprender de esa estática, aprenderás las palabras incorrectas.

El problema: Durante el proceso de ajuste, algunos puntos de datos generan errores enormes (estática) que confunden al sistema, haciéndole pensar que necesita cambiar sus configuraciones drásticamente en la dirección incorrecta.
La solución: SignRoundV2 se pone "auriculares con cancelación de ruido". Identifica los errores más fuertes y confusos (el 0.1% superior de los datos malos) y los ignora durante el proceso de ajuste. Esto mantiene al modelo enfocado en la señal clara, evitando que se desvíe por unos pocos ejemplos malos.

Los Resultados: ¿Qué lograron?

El artículo afirma que con estos tres trucos, pueden reducir los modelos a tamaños extremadamente pequeños (como 2 bits o 4 bits) con una pérdida de inteligencia sorprendentemente baja.

La afirmación de "Casi sin pérdida": Con un promedio de 4.5 bits, el modelo comprimido funciona casi exactamente como la versión gigante y sin comprimir (solo una diferencia de aproximadamente 1%).
El "Milagro de 2 bits": Incluso a 2 bits (lo que usualmente rompe los modelos), SignRoundV2 recupera gran parte de la capacidad del modelo para razonar y responder preguntas, mucho mejor que los métodos anteriores.
Velocidad: A diferencia de otros métodos que requieren reentrenar todo el modelo desde cero (lo que toma semanas y computadoras masivas), este método es una solución "Post-entrenamiento". Toma el modelo existente y lo ajusta en unas pocas horas en una GPU estándar de alta gama.

En resumen: SignRoundV2 es una herramienta de compresión inteligente y eficiente que sabe exactamente dónde apretar y dónde dejar espacio, verifica sus configuraciones antes de comenzar e ignora el ruido. Esto nos permite ajustar cerebros de IA gigantes en dispositivos pequeños sin que pierdan la cabeza.

Resumen Técnico: SignRoundV2

Enunciado del Problema

El despliegue de Modelos de Lenguaje Grandes (LLM) en entornos con recursos limitados se ve obstaculizado por el enorme consumo de memoria y la latencia de inferencia asociadas a los modelos de precisión completa. La cuantización post-entrenamiento (PTQ) ofrece una solución práctica al comprimir pesos y activaciones sin necesidad de reentrenamiento. Sin embargo, llevar la cuantización a anchos de bits extremadamente bajos (por ejemplo, pesos de 2 bits o precisión mixta de 4 bits) suele resultar en una degradación severa del rendimiento. Los métodos existentes enfrentan tres desafíos principales:

Colapso de la Precisión: La cuantización uniforme de bajo bit a menudo no logra recuperar las capacidades de razonamiento de los modelos de precisión completa, particularmente en escenarios solo de pesos.
Métricas de Sensibilidad Ineficientes: Las estrategias tradicionales de precisión mixta adaptativa dependen de información de segundo orden (Hessiana) o distorsión de salida heurística, las cuales son computacionalmente prohibitivas para modelos grandes o no logran reflejar con precisión el impacto real de la cuantización en la pérdida de la tarea.
Inestabilidad de la Optimización: En regímenes de bits extremadamente bajos, el paisaje de optimización es inestable. Una mala inicialización de los parámetros de cuantización y la presencia de valores atípicos en la pérdida durante el ajuste pueden conducir a una convergencia subóptima.

Metodología

SignRoundV2 es un marco de PTQ mejorado diseñado para cerrar la brecha de rendimiento entre los modelos cuantizados y los de precisión completa bajo compresión agresiva. Se basa en la fundación de SignRound e introduce dos innovaciones centrales:

1. Métrica de Sensibilidad DeltaLoss y Asignación Adaptativa de Bits

Para abordar las limitaciones de las métricas basadas en la Hessiana, SignRoundV2 introduce DeltaLoss, una métrica de sensibilidad de primer orden.

Mecanismo: Estima el aumento de la pérdida ( $\Delta L$ ) inducido por la cuantización utilizando una expansión de Taylor de primer orden alrededor del punto cuantizado. La métrica combina la magnitud de las perturbaciones de cuantización con la sensibilidad del gradiente consciente de la tarea:
$\text{DeltaLoss} = \|g_{aq} \odot (A_q - A_f)\|_1 + \|g_{wq} \odot (W_q - W_f)\|_1$
donde $g$ representa los gradientes calculados en un pequeño conjunto de calibración, y $\odot$ denota la multiplicación elemento a elemento.
Asignación: Esta métrica guía una estrategia de precisión mixta adaptativa por capa. El problema de asignación de bits se formula como una tarea de optimización discreta para minimizar la DeltaLoss total bajo una restricción de ancho de bits promedio objetivo. Esto se resuelve eficientemente utilizando programación dinámica, lo que permite al modelo asignar mayor precisión a capas sensibles (por ejemplo, aquellas con gradientes grandes y desviaciones de cuantización) mientras comprime agresivamente las capas robustas.

2. Técnicas de Estabilización para Regímenes de Bajo Bit

Reconociendo que la estabilidad de la optimización es crítica para la cuantización de bits extremadamente bajos, SignRoundV2 emplea dos técnicas ligeras:

Búsqueda de Escala Pre-ajuste: Inspirado en la matriz de importancia en llama.cpp, el método realiza una búsqueda rápida para identificar factores de escala iniciales de alta calidad antes de la etapa principal de ajuste. Esto evita los peligros de una inicialización trivial (por ejemplo, establecer parámetros de recorte en 1.0) que pueden obstaculizar la convergencia.
Filtrado de Pérdidas: Para evitar que los gradientes atípicos degraden los parámetros de cuantización aprendidos, el marco excluye las $k$ pérdidas más grandes (donde $k$ es el 0.1% del total de elementos) al calcular el error cuadrático medio durante la fase de ajuste.

Contribuciones Clave

Precisión Mixta Adaptativa Eficiente: El artículo introduce una estrategia que aprovecha la información del gradiente y las desviaciones inducidas por la cuantización para guiar la asignación de bits por capa mediante programación dinámica, manteniendo un alto rendimiento incluso bajo compresión agresiva (por ejemplo, pesos de 2 bits).
Mecanismos de Estabilización: Los autores proponen técnicas simples pero efectivas, específicamente el filtrado de pérdidas y una búsqueda de escala pre-ajuste ligera, para mejorar la estabilidad y la precisión en regímenes de bits extremadamente bajos donde la PTQ estándar a menudo falla.
Compensación entre Rendimiento y Costo: SignRoundV2 logra una precisión competitiva en comparación con el Entrenamiento Consciente de la Cuantización (QAT) de alto costo y los métodos de cuantización vectorial en configuraciones solo de pesos, mientras requiere una sobrecarga computacional sustancialmente menor y mantiene un rendimiento sólido en escenarios de pesos-activaciones.

Resultados Experimentales

Los autores evaluaron SignRoundV2 en diversas familias de LLM (Llama 2/3, Qwen) y puntos de referencia (ARC, MMLU, HellaSwag, etc.).

Cuantización Solo de Pesos (W2A16): En configuraciones uniformes de 2 bits, SignRoundV2 supera consistentemente a las líneas base establecidas de PTQ (GPTQ, AWQ, OmniQuant) y a métodos de alta complejidad (AQLM, QuIP#). Por ejemplo, en Llama-3-70B, logra una precisión promedio del 69.02% a 2 bits, reduciendo significativamente la brecha con la precisión completa.
Precisión Mixta Adaptativa: Con un ancho de bits promedio de 2.5 bits, el método logra un rendimiento casi sin pérdida en configuraciones MXFP mixtas, reduciendo la brecha de rendimiento a aproximadamente 1% en comparación con los modelos de precisión completa. En Llama-3.1-8B a 2.5 bits, mejora la tasa de recuperación sobre la línea base AMQ en 12.24 puntos porcentuales.
Formatos MXFP y NVFP: El marco demuestra un rendimiento robusto en regímenes de 4 bits y 4.5 bits MXFP/NVFP, superando a menudo a las líneas base SignRoundV1 y Redondeo al Más Cercano (RTN), acercándose a la precisión de precisión completa a 4.5–5 bits.
Eficiencia: El proceso de cuantización es altamente eficiente. SignRoundV2 completa la cuantización de Llama-2-70B en 2.5 horas en una sola GPU A100, en comparación con cientos de horas para métodos como QuIP# o AQLM.

Significancia

El artículo postula que SignRoundV2 representa un paso significativo hacia el cierre de la brecha de rendimiento en la PTQ de bits extremadamente bajos. Al integrar una métrica de sensibilidad informada por gradientes con técnicas de estabilización, el marco permite el despliegue de LLM con compresión agresiva (hasta 2 bits) sin los costos prohibitivos de reentrenamiento o cuantización vectorial compleja. Los resultados sugieren que una PTQ efectiva puede reducir significativamente la huella computacional y de memoria de los LLM, ofreciendo una solución escalable para una inferencia eficiente en GPUs de consumo y dispositivos periféricos.

Limitaciones

Los autores reconocen varias restricciones:

Rendimiento Uniforme de 2 Bits: Incluso con SignRoundV2, persiste una brecha notable de precisión en configuraciones uniformes de 2 bits en comparación con los modelos de precisión completa, lo que indica que la precisión mixta o un entrenamiento adicional siguen siendo necesarios para la compresión más extrema.
Asignación de Bits Estática: La configuración del ancho de bits se determina antes del ajuste por bloques y permanece estática; actualizar conjuntamente la asignación de bits y los parámetros de redondeo podría mejorar la precisión, pero aumentaría la complejidad de la búsqueda.
Dependencia de Gradientes: La dependencia de DeltaLoss requiere el cálculo de gradientes, lo que limita la aplicabilidad inmediata en marcos de solo inferencia (por ejemplo, ONNX Runtime) que no soportan pasos hacia atrás.