🤖 machine learning

Statistically-Lossless Quantization of Large Language Models

Este artículo presenta la Cuantización Estadísticamente Inofensiva (SLQ, por sus siglas en inglés), un método de cuantización asimétrica por capas que logra tanto una precisión libre de pérdida de tarea por debajo de los 4 bits por parámetro como una fidelidad libre de pérdida de distribución a 5–6 bits, al tiempo que ofrece aceleraciones de inferencia de 1.7–3.7x con respecto a FP16.

Autores originales: Michael Helcig, Eldar Kurtic, Dan Alistarh

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Michael Helcig, Eldar Kurtic, Dan Alistarh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la inteligencia artificial como una biblioteca enorme y bulliciosa donde los libros no están hechos de papel, sino de matemáticas puras. Estos "libros" son los Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés), las computadoras súper inteligentes que pueden escribir historias, resolver ecuaciones y charlar como humanos. Pero hay un inconveniente: estas bibliotecas son enormes. Para leer un libro, necesitas una supercomputadora gigante, costosa y que consume mucha energía. La mayoría de la gente no tiene una de esas en su sala de estar. Por eso, los científicos han estado intentando encoger estos libros, haciéndolos más pequeños y ligeros para que puedan caber en teléfonos o computadoras portátiles normales. Este proceso se llama "cuantización". Piensa en ello como tomar una foto de alta definición y comprimirla en un tamaño de archivo más pequeño. Usualmente, cuando reduces demasiado un archivo, la imagen se vuelve borrosa o pixelada (esto es compresión "con pérdida"). Si quieres que la imagen permanezca perfecta, el archivo sigue siendo enorme (esto es compresión "sin pérdida"). La gran pregunta que los científicos se han estado haciendo es: ¿Podemos encoger estos cerebros de IA tanto como para que quepan en un teléfono, pero que sigan siendo lo suficientemente inteligentes como para pasar una prueba, sin que tartamudeen o alucinen?

Este artículo, titulado "Statistically-Lossless Quantization of Large Language Models" (Cuantización estadísticamente sin pérdida de modelos de lenguaje de gran tamaño), se sumerge directamente en ese delicado punto medio. Los autores, Michael Helcig, Eldar Kurtic y Dan Alistarh, argumentan que no tenemos que elegir entre un modelo diminuto y borroso o uno perfecto y gigante. En su lugar, proponen una nueva forma de encoger estos modelos que es "estadísticamente sin pérdida". Aquí está el truco de magia: se dieron cuenta de que cuando los humanos (o incluso la propia IA) responden preguntas, siempre hay un pequeño toque de aleatoriedad. Si le haces a la misma IA la misma pregunta dos veces, podría dar respuestas ligeramente diferentes, tal como tú podrías responder a la pregunta de un amigo de manera distinta dependiendo de tu estado de ánimo. Los autores descubrieron que si el modelo encogido se mantiene dentro de ese rango natural de "cambios de humor", es suficiente. Crearon un método llamado SLQ (Cuantización Estadísticamente Sin Pérdida) que actúa como un maestro sastre. En lugar de cortar cada parte del cerebro de la IA al mismo tamaño pequeño, mide exactamente qué tan sensible es cada parte. Algunas partes reciben un poco de espacio (tan bajo como 3.3 bits por parámetro), mientras que otras reciben un poco más.

El artículo presenta algunos descubrimientos muy específicos que cambian nuestra forma de pensar sobre el encogimiento de la IA. Primero, demostraron que una forma específica de medir el "encogimiento" es crucial. Introdujeron una métrica llamada EAR (Tasa de Aceptación Esperada), que es como una "puntuación de acuerdo de tokens". Si la IA original y la IA encogida están de acuerdo en 99 de cada 100 palabras que elegirían, eso es una victoria. Descubrieron que para lograr este acuerdo perfecto, es necesario ser cuidadosos con cómo se encogen los números. Demostraron matemáticamente que usar una forma "simétrica" de encoger (que trata los números positivos y negativos de la misma manera) en realidad crea más ruido y errores que una forma "asimétrica" (que desplaza la escala para ajustarse perfectamente a los datos). Es como intentar meter una maleta desequilibrada en una caja cuadrada; si la fuerzas hacia el centro, no cerrará bien. Tienes que desplazar la maleta para que se ajuste a la forma de la caja.

Los resultados son bastante impresionantes. Usando su método SLQ, lograron encoger modelos como Llama-3.3-70B y Qwen3 a un promedio de 3.3 a 4.7 bits por parámetro manteniendo su precisión "sin pérdida de tarea" (lo que significa que siguen pasando las mismas pruebas que la versión grande). Si quisieran ser aún más estrictos y asegurar que el "estado de ánimo" interno de la IA (su distribución de probabilidad) fuera casi idéntico al original, necesitarían unos 5 a 6 bits. Pero, ¿lo mejor de todo? Debido a que los modelos son mucho más pequeños, se ejecutan mucho más rápido. Los autores probaron esto en hardware real y encontraron que sus modelos encogidos eran de 1.7 a 3.7 veces más rápidos que las versiones originales de tamaño completo, e incluso podían caber en menos tarjetas gráficas. También demostraron que los métodos más antiguos, como GPTQ o AWQ, a menudo fallan en este objetivo de ser "estadísticamente sin pérdida", ya sea siendo demasiado borrosos o no comprimiendo lo suficiente. En resumen, este artículo sugiere que, al ser más inteligentes sobre dónde y cómo encogemos la IA, podemos hacer que estos cerebros gigantes sean pequeños, rápidos y sigan siendo increíblemente precisos, sin necesidad de sacrificar la calidad de sus respuestas.

Resumen Técnico: Cuantización Estadísticamente Inofensiva de Modelos de Lenguaje Extensos

Planteamiento del Problema

Los enfoques actuales de cuantización para Modelos de Lenguaje Extensos (LLM) enfrentan un compromiso binario: los métodos con pérdida (p. ej., GPTQ, AWQ) logran alta compresión y aceleración de la inferencia pero degradan la precisión del modelo, mientras que los métos sin pérdida (p. ej., ZipNN, representaciones codificadas por entropía) preservan la fidelidad pero a menudo no proporcionan aceleración de la inferencia o no alcanzan altas tasas de compresión.

Este artículo identifica una brecha entre estos extremos: el régimen de la Cuantización Estadísticamente Inofensiva (SLQ, por sus siglas en inglés). Los autores argumentan que, dado que la mayoría de los LLM de pesos abiertos se despliegan con parámetros de muestreo estocásticos (p. ej., temperatura > 0), sus salidas exhiben naturalmente una varianza de ejecución a ejecución. Un modelo cuantizado que se mantenga dentro de esta varianza de muestreo natural es, para fines prácticos, inofensivo. El desafío es definir y lograr una compresión que preserve las características de salida del modelo bajo un muestreo estándar sin requerir una reconstrucción bit a bit exacta.

Metodología

El marco propuesto de SLQ utiliza cuantización escalar no uniforme por capa con rejillas de cuantización asimétricas. La metodología se construye sobre tres pilares fundamentales:

1. Fundamento Teórico: Cuantización Asimétrica vs. Simétrica

El artículo demuestra que la cuantización asimétrica es un requisito previo para la fidelidad inofensiva de la distribución, mientras que la cuantización simétrica es insuficiente para este objetivo estricto.

Ineficiencia de Centrado ( $\gamma$ ): Definida como $\gamma = 2M/R$ , donde $M$ es la magnitud absoluta máxima y $R$ es el rango dinámico. Para distribuciones simétricas, $\gamma=1$ ; para distribuciones asimétricas (típicas en LLM), $\gamma > 1$ .
Ley de Varianza Gamma-al-Cuadrado: Los autores demuestran que la cuantización simétrica infla la varianza del ruido de salida por un factor de $\gamma^2$ $γ^{2}$ en relación con la cuantización asimétrica.
- $\sigma^2_{sym} = \gamma^2 \sigma^2_{asym}$
Impacto: Esta inflación de la varianza conduce a mayores probabilidades de "cambios de decisión" (cambiar el token argmax), particularmente en regiones de baja entropía donde el modelo tiene mayor confianza. En consecuencia, la cuantización simétrica requiere significativamente más bits (hasta 1.5 bits por parámetro más) para lograr la misma fidelidad de distribución que la cuantización asimétrica.

2. Métricas de Fidelidad

Para navegar en el régimen casi inofensivo, el artículo introduce dos definiciones distintas de inofensividad y sus métricas correspondientes:

Inofensivo para la Tarea (TL - Task-Lossless): Preserva la precisión en pruebas de cero disparos (zero-shot) dentro de la varianza de muestreo natural.
- Métrica: Tasa de recuperación (porcentaje de la precisión en BF16 retenida).
- Estrategia de Búsqueda: Calibración de punto único. Aprovechando la relación lineal observada entre la divergencia KL y la recuperación de la tarea en el régimen casi inofensivo, los autores derivan un umbral de KL a partir de una única medición de referencia para predecir los requisitos de ancho de bits sin una búsqueda exhaustiva.
Inofensivo para la Distribución (DL - Distribution-Lossless): Requiere que la distribución del siguiente token del modelo cuantizado sea prácticamente indistinguible de la original.
- Métrica: Tasa de Aceptación Esperada (EAR). Inspirada en la decodificación especulativa, la EAR mide la probabilidad máxima de acuerdo de tokens entre las distribuciones originales y cuantizadas bajo un acoplamiento óptimo.
- Definición: $EAR = \frac{1}{N} \sum_{i} \sum_{k=1}^{K} \min(p_i(k), q_i(k))$ , restringida a los $K$ tokens superiores. Una EAR de 0.99 implica un 99% de acuerdo bajo acoplamiento óptimo.
- Estrategia de Búsqueda: Optimización directa sobre las restricciones de EAR utilizando datos de calibración.

3. El Pipeline SLQ

Estimación de Sensibilidad: Utiliza la Estimación de Shapley de Multibit de Ancho para evaluar el impacto marginal de asignar anchos de bits específicos (de un conjunto $\{2, \dots, 8\}$ ) a diferentes grupos de capas. Esto extiende los métodos previos de elección binaria a un rango completo de anchos de bits enteros.
Asignación de Ancho de Bits: Formula la asignación como un Problema de la Mochila de Opción Múltiple resuelto mediante Programación Lineal Entera (ILP). El resolvedor minimiza la degradación predicha sujeto a un presupuesto de ancho de bits o una restricción de fidelidad.
Implementación: El método utiliza cuantización de grupo entera asimétrica (tamaño de grupo 128) y es compatible con kernels de inferencia estándar (p. ej., kernels Humming en vLLM).

Resultados Clave

Los autores evaluaron SLQ en cuatro modelos (Qwen3-8B, Qwen3-32B, Qwen3.5-27B y Llama-3.3-70B-Instruct) utilizando cuantización de solo pesos.

Precisión y Compresión

Inofensivo para la Tarea (TL): Se logra con anchos de bits agresivos que van desde 3.3 a 4.7 bits por parámetro (bpp).
- Ejemplo: Llama-3.3-70B logró una recuperación del 99.1% a 3.59 bpp, superando la cuantización uniforme de 4 bits.
- Ejemplo: Qwen3.5-27B logró una recuperación del 99.1% a 3.30 bpp.
Inofensivo para la Distribución (DL): Se logra a 5.0 a 6.6 bpp con EAR $\ge 0.99$ $\geq 0.99$ .
- Ejemplo: Qwen3-32B alcanzó una recuperación del 100.1% a 4.98 bpp.
- Ejemplo: Llama-3.3-70B alcanzó una recuperación del 99.9% a 6.55 bpp.
Comparación: SLQ supera significativamente a métodos de vanguardia como QTIP y YAQA en el régimen de inofensividad de la distribución. Por ejemplo, en Llama-3.1-8B, QTIP a 4 bits logró una EAR de 0.9519, mientras que SLQ logró una divergencia KL mucho menor (0.004) a 5.59 bpp.

Aceleración de la Inferencia

Utilizando kernels optimizados Humming en GPUs NVIDIA L40s, las configuraciones de SLQ proporcionaron un rendimiento (throughput) de 1.7× a 3.7× sobre las bases de referencia en BF16.

Eficiencia de Hardware: La reducción del tamaño del modelo permitió que modelos más grandes cupieran en menos GPUs (p. ej., Llama-3.3-70B cupo en 2 GPUs en lugar de 4).
Comparación: SLQ superó consistentemente a las bases de referencia de FP8 en rendimiento por GPU.

Ablación y Análisis

Asimetría: Eliminar la cuantización asimétrica (forzando la simetría) aumentó el ancho de bits requerido para los objetivos de DL en aproximadamente ~1.5 bpp.
Rango de Ancho de Bits: Restringir la búsqueda a elecciones binarias (p. ej., {4, 8}) resultó en anchos de bits promedio más altos en comparación con la búsqueda en el rango completo {2–8}.
Análisis a Nivel de Token: En las configuraciones de DL, el 98.1% de los tokens coincidieron exactamente con la base; las divergencias se limitaron a variaciones estilísticas menores (sinónimos, puntuación) sin errores factuales.
Tokens de Pensamiento (Thinking Tokens): Las configuraciones de DL no introdujeron una sobrecarga adicional de "tokens de pensamiento" en comparación con BF16, mientras que las configuraciones con pérdida (TL y Uniform-4) aumentaron los tokens de pensamiento en un 2.2–2.9%.

Significancia y Reivindicaciones

El artículo afirma establecer un nuevo paradigma para la compresión de LLM al formalizar la cuantización estadísticamente inofensiva. Sus principales contribuciones son:

Formalización de la Brecha: Distinguir entre la inofensividad a nivel de tarea y la inofensividad a nivel de distribución, argumentando que esta última es necesaria para una verdadera fidelidad en escenarios de decodificación estocástica.
La Ley $\gamma^2$ : Proporcionar la primera prueba formal que conecta el diseño de la cuantización asimétrica con los cambios de decisión a nivel de token, demostrando que la cuantización simétrica es fundamentalmente ineficiente para los objetivos de inofensividad de la distribución.
La Métrica EAR: Introducir una métrica de fidelidad directamente interpretable (Tasa de Aceptación Esperada) que complementa la divergencia KL.
Eficiencia Práctica: Demostrar que la compresión estadísticamente inofensiva es alcanzable en anchos de bits sub-4-bits (para la inofensividad de la tarea) y de aproximadamente ~5–6 bits (para la inofensividad de la distribución), entregando simultáneamente aceleraciones significativas de la inferencia, cerrando eficazmente la brecha entre la compresión con pérdida y el almacenamiento sin pérdida.

Los autores posicionan a SLQ no como un reemplazo para todos los métodos de cuantización, sino como un enfoque basado en principios para el régimen "casi inofensivo" donde los pequeños cambios distributivos son críticos, ofreciendo una solución con dominio de Pareto sobre los cuantificadores uniformes.