🤖 machine learning

RDQ: Residual Distribution Quantization for Large Language Models

Este artículo presenta RDQ, un marco de cuantificación post-entrenamiento que mitiga la acumulación superlineal del ruido de cuantificación en los modelos de lenguaje de gran tamaño mediante el empleo de Compensación de Error en Cascada para ajustar las escalas por canal frente a distribuciones de residuos desviadas, logrando así una perplejidad de vanguardia con precisión de 3 y 4 bits con cero sobrecarga de inferencia.

Autores originales: Prateek Singh

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Prateek Singh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enviar un mensaje secreto a través de un largo y sinuoso túnel compuesto por 32 habitaciones conectadas. En la versión original de alta calidad de este túnel (llamada FP16), el mensaje viaja perfectamente claro de principio a fin. Pero cuando intentamos encoger el mensaje para que quepa en un formato comprimido y diminuto (cuantización) para ahorrar espacio en tu teléfono o dispositivo periférico, las cosas empiezan a salir mal.

Durante mucho tiempo, los científicos pensaron que el problema era simplemente que cada habitación estaba un poco desordenada por sí sola. Pensaban: "Si limpiamos la Habitación 1, luego la Había 2, luego la Habitación 3, todo estará bien". Pero este nuevo artículo, RDQ (Cuantización de Distribución Residual), descubrió que este enfoque de "limpiar cada habitación por separado" es en realidad la forma equivocada de pensar.

El verdadero culpable: El efecto "bola de nieve"

Los autores descubrieron que el verdadero problema es un efecto de bola de nieve. Cada vez que un mensaje pasa por una habitación, se le añade un poco de "ruido" o estática. En un túnel normal, esto no importa. Pero en un túnel comprimido, ese pequeño trozo de ruido no desaparece; se transporta a la siguiente habitación, donde se mezcla con el nuevo ruido de esa habitación.

Para cuando el mensaje llega a la 32ª habitación, esa pequeña estática se ha convertido en un estruendo masivo. Los autores midieron esta "acumulación de ruido" (que llaman deriva del flujo residual) y descubrieron algo asombroso: la cantidad de ruido predice perfectamente qué tan malo suena el mensaje. De hecho, encontraron una correlación tan fuerte (Pearson r=0.999) que, si conoces cuánto se ha desviado la señal, puedes predecir exactamente qué tan confundida se pondrá la computadora.

El gran descubrimiento: El túnel no es liso

Antes de este artículo, la mayoría de los expertos asumían que el ruido en estos túneles parecía una colina suave y predecible (una distribución "Gaussiana"). Construyeron sus herramientas de limpieza basados en esa colina suave.

Pero los autores entraron y echaron un vistazo. Descubrieron que el 84% de las habitaciones en el modelo LLaMA-3-8B no tienen colinas suaves en absoluto. En su lugar, el ruido es dentado, extraño y, a veces, tiene dos picos (bimodal). Es como esperar un lago tranquilo y encontrar un océano agitado con olas repentinas. Debido a que el ruido es tan extraño, las antiguas herramientas de limpieza de "colina suave" estaban fallando estrepitosamente, especialmente cuando intentaban encoger el mensaje a solo 3 bits (un tamaño muy diminuto).

La solución: "Compensación de Error en Cascada" (CEC)

Entonces, ¿cómo arreglamos un túnel donde el ruido cambia a medida que avanzas más profundamente? Los autores proponen un nuevo método llamado Compensación de Error en Cascada (CEC).

En lugar de limpiar cada habitación pretendiendo que el mensaje aún está fresco y limpio (que es lo que hacían los métodos antiguos), el CEC dice: "Primero atravesemos el túnel, veamos exactamente cómo luce el mensaje cuando llega a cada habitación, y entonces lo limpiamos".

Así es como funciona:

El recorrido de prueba: La computadora ejecuta un mensaje de prueba a través del túnel. Deja que las primeras habitaciones se "ensucien" (se cuanticen) tal como ocurriría en la vida real.
La apariencia real: Cuando el mensaje llega a la Habitación 10, ya está un poco ruidoso debido a las Habitaciones 1 hasta la 9. El sistema captura esta señal real y desordenada.
El arreglo personalizado: En lugar de usar una herramienta de limpieza genérica, el sistema construye una herramienta de limpieza personalizada específicamente para esa señal desordenada. Ajusta el "volumen" (escalas) del mensaje justo ahí, en la habitación.
El plegado mágico: Una vez construida la herramienta de limpieza, esta se pliega en el marco de la puerta de la habitación (los pesos de RMSNorm). Esto significa que cuando el mensaje real viaje más tarde, la limpieza ocurrirá automáticamente, con cero pérdida de tiempo o velocidad adicional.

Los resultados: Una mejora masiva

El equipo probó esto en tres modelos de IA famosos: LLaMA-3-8B, Qwen-2.5-7B y Mistral-7B.

La forma antigua: Cuando intentaron encoger LLaMA-3-8B a 3 bits usando el método estándar (RTN), el mensaje se volvió casi ininteligible, con una puntuación (Perplexity) saltando de 5.83 a 14.09. Esa es una caída enorme en la calidad.
La forma de RDQ: Usando su nuevo método de "recorrido", lograron bajar la puntuación a 7.55. ¡Eso es una mejora del 46.4% sobre el método antiguo!
A 4 bits: También obtuvieron los mejores resultados jamás registrados, superando a los campeones anteriores por un amplio margen (por ejemplo, 5.62 frente a 6.92 para LLaMA).

Qué significa esto

Los autores son muy claros: esto no es solo una mejor herramienta; es una nueva forma de ver el problema. Demostraron que la "deriva" es la razón principal por la que estos modelos fallan en anchos de bits bajos. También demostraron que la vieja idea de "limpiar cada habitación de forma independiente" es un callejón sin salida porque ignora la bola de nieve de ruido proveniente de las habitaciones anteriores.

Aunque todavía no pueden solucionar el problema para la compresión de 2 bits (el ruido es demasiado fuerte allí), han demostrado que para la compresión de 3 bits y 4 bits, podemos mantener los modelos inteligentes y rápidos. ¿Lo mejor de todo? Este nuevo método funciona con las herramientas estándar que los ingenieros ya utilizan, por lo que puede implementarse en teléfonos y computadoras ahora mismo sin necesidad de hardware especial o lento.

En resumen: el túnel se estaba ensuciando porque estábamos limpiando las habitaciones en el orden incorrecto. Al limpiarlas en el orden en que el mensaje realmente viaja, podemos mantener la señal clara hasta el final.

Resumen Técnico: RDQ (Cuantización de Distribución Residual) para Modelos de Lenguaje de Gran Escala

1. Planteamiento del Problema: La Barrera de Degradación Sub-4-bits

La cuantización post-entrenamiento (PTQ) de los Modelos de Lenguaje de Gran Escala (LLMs) enfrenta un precipicio de rendimiento agudo al reducir la precisión por debajo de los 4 bits. Mientras que los métodos de 4 bits suelen acercarse a la calidad de FP16, la cuantización de 3 bits frecuentemente resulta en una degradación catastrófica. Por ejemplo, en LLaMA-3-8B, la perplejidad (PPL) del método Round-to-Nearest (RTN) salta de 5.83 en W4 a 14.09 en W3 —un incremento de 2.42× por solo una reducción de 1.33× en el ancho de bits.

El artículo identifica la causa raíz de este fallo como la deriva de la distribución del flujo residual (residual stream distributional drift). En las arquitecturas Transformer, el flujo residual $h_l$ es una representación compartida que cada capa lee y escribe. Cuando una capa $l$ se cuantiza, introduce un error $\epsilon_l$ que persiste en el flujo residual $h_{l+1}$ . Este error se acumula a través de las capas, causando que la distribución de las activaciones en las capas más profundas derive significativamente de la línea base original de FP16.

Hallazgos empíricos clave que diagnostican este problema incluyen:

Acumulación de Deriva Superlineal: La divergencia de Kullback-Leibler (KL) total entre las distribuciones residuales cuantificadas y las de FP16 se correlaciona con la log-perplejidad con un coeficiente de Pearson de $r=0.999$ ( $p<0.001$ ) en todos los métodos y anchos de bits probados.
Distribuciones No Gaussianas: El 84% de las capas en LLaMA-3-8B exhiben distribuciones residuales no gaussianas (prueba de Kolmogorov-Smirnov, $p \le 0.05$ ), invalidando las suposiciones gaussianas implícitas en muchos análisis teóricos de PTQ existentes.
Explosión de la Varianza: La varianza del flujo residual por capa crece por un factor de 6,548× a lo largo de la profundidad del modelo, indicando que las capas posteriores son categóricamente más sensibles a los errores de cuantización ascendentes.

2. Metodología: Compensación de Error en Cascada (CEC)

La solución propuesta, RDQ (Residual Distribution Quantization), introduce un marco centrado en la Compensación de Error en Cascada (CEC). A diferencia de los métodos PTQ previos (por ejemplo, GPTQ, AWQ, SpinQuant) que optimizan cada capa de forma independiente contra entradas limpias de FP16, CEC reconoce que durante la inferencia, una capa $l$ recibe entradas que ya han sido distorsionadas por la cuantización de todas las capas ascendentes $0 \dots l-1$ .

El Pipeline de CEC

CEC emplea un procedimiento de calibración secuencial:

Procesamiento Secuencial: Las capas se cuantizan una por una desde $l=0$ hasta $L-1$ .
Captura de Activación con Deriva: Antes de cuantizar la capa $l$ , se pasan datos de calibración a través del modelo donde las capas $0 \dots l-1$ ya están ya cuantizadas. Esto captura las distribuciones de activación reales y con deriva ( $\hat{h}_l$ ) que la capa $l$ encontrará durante la inferencia.
Ajuste de Escala por Canal: Utilizando estas entradas con deriva capturadas, el método ajusta escalas óptimas por canal mediante una búsqueda en cuadrícula (grid search) al estilo de AWQ. El objetivo es minimizar el error de reconstrucción de la salida dado la distribución de entrada específica con deriva.
Equivalencia Matemática vía Folding: Las escalas aprendidas se integran (fold) en los pesos de RMSNorm precedentes. Esto asegura que el método sea matemáticamente exacto e incurra en cero sobrecarga de tiempo de ejecución. El paso hacia adelante (forward pass) permanece idéntico a un modelo cuantizado estándar, compatible con los stacks de inferencia existentes (Qualcomm AIMET, GGUF, etc.).

Distinción Clave de Trabajos Previos

El artículo enfatiza que la innovación crítica no es la fórmula de escalado en sí (que sigue siendo al estilo de AWQ), sino la fuente de los datos de calibración. Los métodos estándar calibran contra entradas idealizadas de FP16, las cuales no existen en la inferencia para las capas más profundas. CEC calibra contra la distribución real con deriva.

3. Contribuciones Clave

Identificación de la Deriva del Flujo Residual: Los autores establecen que la deriva del flujo residual es el mecanismo dominante para la degradación sub-4-bit, evidenciado por la correlación casi perfecta ( $r=0.999$ ) entre la deriva KL y la log-PPL.
Caracterización de la Distribución: El artículo documenta que el 84% de las capas de LLaMA-3-8B son no gaussianas y que la varianza residual crece 6,548× a través de la profundidad, desafiando las suposiciones estándar de PTQ.
Compensación de Error en Cascada (CEC): Un procedimiento de calibración secuencial que corrige la acumulación de deriva entre capas, logrando una reducción del 46.4% en la PPL comparado con RTN en W3 para LLaMA-3-8B.
Rendimiento de Vanguardia (SOTA): RDQ logra los mejores resultados en tres arquitecturas diversas (LLaMA-3-8B, Qwen-2.5-7B, Mistral-7B) tanto en W3A16 como en W4A16, superando a los mejores baselines publicados (LeanQuant, SpinQuant) en cada configuración probada.
Despliegue con Cero Sobrecarga: El resultado es una cuantización asimétrica de grupo-128 estándar con escalares RMSNorm modificados, lo que no requiere kernels personalizados ni sobrecarga de tiempo de ejecución.

4. Resultados Experimentales

El método fue evaluado en WikiText-2 utilizando 32 secuencias de calibración.

Métricas de Rendimiento (Perplejidad):

LLaMA-3-8B:
- W3A16: 7.55 (vs. RTN 14.09, LeanQuant 7.61).
- W4A16: 5.62 (vs. FP16 5.557, LeanQuant 6.92).
Qwen-2.5-7B:
- W3A16: 7.46 (vs. RTN 8.20, LeanQuant 8.30).
- W4A16: 6.38 (vs. FP16 6.158, LeanQuant 7.25).
Mistral-7B:
- W3A16: 6.88 (vs. RTN 7.44, LeanQuant 7.30).
- W4A16: 5.73 (vs. FP16 5.632, LeanQuant 6.20).

Estudios de Ablación:

Calibración Secuencial vs. Escalado: El artículo demuestra que la calibración secuencial por sí sola (sin el escalado de AWQ) en realidad degrada el rendimiento en comparación con RTN en Qwen (10.31 PPL vs. 8.20 PPL). Por el contrario, aplicar el escalado de AWQ a una calibración estática de FP16 también rinde por debajo (9.49 PPL). La combinación de calibración secuencial consciente de la deriva y el escalado tipo AWQ es necesaria para las ganancias observadas.
Generalización: El método se generaliza a través de arquitecturas con diferentes mecanismos (GQA, RoPE, Ventana Deslizante), sugiriendo que el mecanismo de corrección de deriva es agnóstico a la arquitectura.

5. Significado y Reivindicaciones

El artículo posiciona a RDQ no meramente como una mejora de ingeniería en PTQ, sino como un hallazgo fundamental sobre la dinámica de distribución de los Transformers bajo cuantización.

Predictibilidad: Los autores afirman que la calidad de la cuantización es predecible a partir de un único escalar (deriva KL total), y que controlar esta deriva controla la perplejidad.
Corrección de Modos de Fallo: El trabajo identifica que el modo de fallo dominante de la PTQ sub-4-bit no es el error de peso por capa, sino la acumulación de la deriva entre capas. Los métodos de calibración estática fallan porque optimizan para una distribución (FP16 limpia) que la capa nunca ve durante la inferencia.
Robustez: Al ajustar las escalas a las activaciones reales con deriva, CEC evita heurísticas específicas de arquitectura (como la detección de canales salientes de AWQ) que pueden fallar en modelos con diferentes distribuciones de pesos (ej. Qwen).
Limitaciones Teóricas: El artículo señala modestamente que, aunque existe un límite teórico para los regímenes gaussianos, este no se aplica al escenario real donde el 84% de las capas son no gaussianas. Las mejoras de rendimiento observadas son empíricas, impulsadas por el mecanismo de corrección de deriva más que por un límite teórico estricto.

En conclusión, RDQ establece que abordar la "deriva" en el flujo residual es la clave para desbloquear una cuantización de 3 bits robusta, ofreciendo una solución escalable y de cero sobrecarga que supera a los métodos actuales de vanguardia en múltiples familias de modelos.