MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

Resumen Técnico: MARR (Reconstrucción Residual Adaptativa al Módulo)

Enunciado del Problema
La cuantización post-entrenamiento (PTQ) de bajo bit es crítica para desplegar modelos de lenguaje grande (LLM) y transformadores de visión (ViT) bajo estrictas restricciones de memoria y ancho de banda. Si bien los métodos de PTQ basados en reconstrucción (por ejemplo, GPTQ) minimizan eficazmente los errores de cuantización locales, a menudo no logran tener en cuenta los errores acumulados de las capas anteriores en configuraciones de bajo bit. Enfoques recientes, como GPTAQ y ResComp, abordan esto introduciendo términos residuales entre capas para corregir las discrepancias acumuladas en las activaciones. Sin embargo, los autores identifican una limitación crítica en estos métodos: la dependencia de una suposición de Aproximación Hessiana (HA).

Bajo la suposición de HA, el objetivo de reconstrucción simplifica el Hessiano de la pérdida de la tarea a una matriz diagonal. Los autores demuestran que, si bien los términos residuales reducen eficazmente los errores acumulados, simultáneamente introducen un sesgo de Aproximación Hessiana (HA) adicional. Este sesgo surge porque el término residual interactúa con la brecha de aproximación entre el Hessiano real de la pérdida de la tarea y la métrica local simplificada de Error Cuadrático Medio (MSE). En consecuencia, una fuerza residual demasiado fuerte puede amplificar este sesgo, lo que lleva a un rendimiento de cuantización subóptimo. Además, el equilibrio óptimo entre la corrección de errores y el sesgo de HA es dependiente del módulo; un único coeficiente de escalado residual global es insuficiente para manejar la heterogeneidad entre los diferentes módulos de una red.

Metodología
Para abordar la compensación entre la corrección de errores acumulados y el sesgo de HA relacionado con los residuos, el artículo propone la Reconstrucción Residual Adaptativa al Módulo (MARR). La metodología central consta de tres componentes:

1. Reconstrucción Residual Escalada:
   Los autores introducen un coeficiente de escalado, $\alpha$, para modular el término residual $r$ en el objetivo de reconstrucción. La función objetivo se formula como la minimización de $\|\Delta w \hat{X} - \alpha r\|_F^2$. Esto permite que el método controle explícitamente la fuerza de la información entre capas inyectada en cada módulo. El análisis teórico (Ecuación 6) muestra que el sesgo de HA contiene términos dependientes del residual $r$; por lo tanto, escalar $\alpha$ ajusta directamente la magnitud de este sesgo en relación con el beneficio de la corrección de errores.

2. Escalado Específico del Módulo:
   Reconociendo que el $\alpha$ óptimo varía entre módulos debido a las diferencias en las estadísticas de activación y las magnitudes residuales propagadas, MARR asigna un coeficiente de escalado único $\alpha_m$ a cada módulo $m$. Esto reemplaza el coeficiente global utilizado en trabajos anteriores (por ejemplo, en GPTAQ donde $\alpha=1$).

3. Estimación Adaptativa Basada en PID:
   Para determinar el $\alpha_m$ óptimo sin costosas búsquedas exhaustivas en cuadrícula, los autores diseñan una estrategia de actualización adaptativa basada en Proporcional-Integral-Derivativo (PID).

   • Señal de Retroalimentación: El error de reconstrucción a nivel de módulo (MSE) sirve como señal de retroalimentación. Dado que el proceso de cuantización es no suave y discreto, la optimización basada en gradientes no es viable. En su lugar, el método utiliza un enfoque de retroalimentación de orden cero.
   • Mecanismo de Actualización: El algoritmo trata $\alpha_m$ como una variable ajustable. Calcula una señal de desviación basada en la tendencia de diferencias finitas del error de reconstrucción. Esta señal se procesa a través de un controlador PID (con componentes proporcional, integral y derivativo) para generar una actualización incremental para $\alpha_m$.
   • Estabilidad: La actualización incluye una señal de desviación acotada por $\tanh$ para evitar sobrepasos y un criterio de parada temprana basado en el cambio relativo de la función objetivo. En la práctica, el coeficiente converge en pocas iteraciones (típicamente $T=3$).

Contribuciones Clave

• Perspectiva Teórica: El artículo identifica y analiza el "efecto de doble cara" de la reconstrucción residual: si bien reduce los errores acumulados, introduce un sesgo relacionado con HA. Esto explica por qué los residuos fijos y fuertes pueden degradar el rendimiento.
• Marco MARR: La propuesta de un marco adaptativo al módulo que asigna coeficientes de escalado específicos a los residuos, permitiendo que cada módulo equilibre independientemente la corrección de errores y el sesgo de aproximación.
• Optimización Eficiente: El diseño de una estrategia de actualización adaptativa basada en PID que estima eficientemente coeficientes específicos del módulo utilizando retroalimentación de error de reconstrucción, evitando el costo computacional de una búsqueda exhaustiva.
• Validación Empírica: Extensos experimentos que demuestran que MARR supera consistentemente a las líneas base de reconstrucción residual más avanzadas (GPTAQ, ResComp) bajo cuantización de bajo bit (W2A4, W3A3, etc.) en diversos LLM (Llama2, Llama3) y ViT (DeiT).

Resultados Experimentales
Los autores evaluaron MARR en varios modelos bajo configuraciones de cuantización de peso-activación (W/A) y solo de peso (W):

• LLM (W2A4): MARR logró reducciones significativas de la perplejidad en los conjuntos de datos WikiText2 y C4. Por ejemplo, en Llama2-7b, MARR redujo la perplejidad en un 14.94% en comparación con GPTAQ. En Llama3-8b, la reducción fue del 9.82%. En términos de precisión en tareas posteriores, MARR mostró mejoras consistentes, con ganancias de hasta un 2.54% en la precisión promedio de cero disparos para Llama2-7b.
• ViT: En ImageNet, MARR mejoró la precisión top-1 en los modelos DeiT-T, DeiT-S y DeiT-B. Cabe destacar que, en DeiT-S bajo cuantización W3A3, MARR logró una ganancia relativa del 4.61% sobre la línea base GPTAQ.
• Cuantización Solo de Peso: Incluso cuando las activaciones permanecen en alta precisión (por ejemplo, W2A16), MARR demostró mejoras, aunque las ganancias fueron a veces más dependientes de la tarea, confirmando que el mecanismo de control residual sigue siendo beneficioso incluso cuando se reduce la discrepancia de activación.
• Eficiencia: La actualización basada en PID introduce una sobrecarga única de PTQ de aproximadamente 2.1–2.7× en relación con el método GPTAQ de línea base. Los autores señalan que esto es aceptable dadas las ganancias de rendimiento y el hecho de que sigue siendo significativamente más rápido que los métodos de reconstrucción basados en retropropagación.

Significado y Afirmaciones
El artículo afirma que MARR proporciona una solución fundamentada al rendimiento subóptimo de los métodos existentes de reconstrucción residual en la PTQ de bajo bit. Al modelar explícitamente la compensación entre la corrección de errores acumulados y el sesgo de HA, y al adaptar este equilibrio a nivel de módulo, MARR logra una precisión de cuantización superior sin requerir reentrenamiento. Los autores enfatizan la generalidad de su enfoque, notando su efectividad tanto en LLM como en ViT, lo que sugiere que controlar la contribución residual es un requisito fundamental para empujar los límites de la cuantización por debajo de 4 bits. El trabajo concluye que, si bien la estrategia PID añade sobrecarga computacional, es un mecanismo necesario y eficiente para evitar el rendimiento subóptimo causado por una fuerza residual de "talla única".