Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion

Resumen Técnico: Cerrando el Espacio Nulo: Cuantización Consciente de la Guía para la Difusión Libre de Clasificador

Declaración del Problema
El despliegue de modelos de difusión con Guía Libre de Clasificador (CFG, por sus siglas en inglés) bajo restricciones de cómputo del mundo real requiere la Cuantización Post-Entrenamiento (PTQ). Sin embargo, los métodos de PTQ existentes tratan a los modelos CFG como redes de una sola rama, ignorando la estructura fundamental de pares condicional/incondicional necesaria para la inferencia. Esta omisión estructural crea dos desafíos críticos de despliegue:

1. Ceguera de Medición: Las métricas de eficiencia estándar (conteo de parámetros, Operaciones de Bits o BOPs) reportan costos de una sola pasada, descontando invisiblemente la sobrecarga de latencia de aproximadamente ~2× impuesta por el patrón de ejecución de dos pasadas de CFG ($\tilde{\varepsilon} = \varepsilon_\emptyset + w(\varepsilon_y - \varepsilon_\emptyset)$). Además, las pilas de inferencia INT8 de consumo (por ejemplo, ONNX Runtime sin TensorRT) a menudo no logran realizar las mejoras de velocidad teóricas debido a retrocesos en la pila de software, creando una brecha masiva entre la eficiencia predicha y la real.
2. La Trampa del Desplazamiento de Rama (Branch-Drift Trap): Calibrar la cuantización basándose únicamente en la "brecha de guía" ($\Delta = \varepsilon_y - \varepsilon_\emptyset$) admite un espacio nulo matemático exacto. Un modelo cuantizado puede lograr una fidelidad de brecha perfecta (preservando la diferencia entre ramas) mientras que la rama incondicional ($\varepsilon_\emptyset$) se desplaza arbitrariamente por un vector $\delta$. Debido a que la predicción guiada $\tilde{\varepsilon}$ depende del valor absoluto de $\varepsilon_\emptyset$, este desplazamiento no restringido corrompe la calidad de la muestra final, incluso cuando las métricas de brecha parecen ideales.

Metodología: Precisión Mixta Consciente de la Guía (GAMP)
Para resolver estos problemas, los autores proponen la Precisión Mixta Consciente de la Guía (GAMP), un marco de PTQ diseñado para cerrar el espacio nulo por construcción.

• Objetivo de Calibración: En lugar de minimizar únicamente el error de reconstrucción de la brecha, GAMP minimiza directamente el error de la predicción guiada: $L_{GAMP} = \|\tilde{\varepsilon}^q - \tilde{\varepsilon}^{fp}\|^2$. Esto fuerza a la rama incondicional a alinearse con su referencia de punto flotante, eliminando el espacio nulo de desplazamiento compartido.
• Análisis de Sensibilidad: El método identifica que las activaciones son significativamente más sensibles a la reducción de bits que los pesos en los modelos CFG. Fija los pesos en 4 bits y asigna bits de activación por capa basándose en su contribución a la degradación de la salida guiada ($E(l) = \|\tilde{\varepsilon}^q_l - \tilde{\varepsilon}^{fp}_l\|^2$).
• Estrategia de Asignación: Un algoritmo de mochila codicioso (greedy knapsack) asigna bits de activación (promoviendo las capas de 4 bits a 8 bits) basándose en la sensibilidad por Operación de Bit, asegurando que la precisión se concentre donde más impacta en la salida guiada final.
• Calibración de Doble Rama: El proceso de calibración ejecuta tanto la pasada condicional como la incondicional para capturar el rango completo de activación, evitando la subestimación de los umbrales de recorte comunes en la calibración de una sola pasada.

Contribuciones Clave

1. Caracterización de la Latencia de CFG: La medición empírica en GPUs NVIDIA T4 revela un impuesto de latencia de 1.99× constante para la inferencia guiada a través de diversos tamaños de lote y formatos, un costo oculto por las métricas de BOPs estándar.
2. Teorema del Espacio Nulo y Confirmación Empírica: El artículo demuestra formalmente que la calibración basada solo en la brecha permite un desplazamiento incontrolado de la rama incondicional. Esto se confirma empíricamente con un resultado de "falso positivo" donde el modelo con mejores diagnósticos de brecha (Gap-only-W4A8) produjo la peor calidad de muestra (FID 334), mientras que un modelo con peores puntuaciones de brecha pero mejor calibración de salida guiada (GAMP) logró una calidad significativamente mayor.
3. Algoritmo GAMP: Un método de PTQ que calibra directamente sobre la predicción guiada, cerrando la trampa del desplazamiento de rama y optimizando la asignación de bits basada en la sensibilidad de la salida guiada.
4. Pautas de Despliegue: Recomendaciones concretas para profesionales, incluyendo el reporte de BOPs de paso guiado, la validación de la calibración mediante el error de predicción guiada en lugar de solo métricas de brecha, y el uso de GAMP para la asignación de precisión de activación.

Resultados Experimentales
Los experimentos se realizaron en un UNet ADM de 6.1 millones de parámetros entrenado en CIFAR-10 (32×32).

• Diagnóstico de la Pila de Software: El estudio identificó que el fallo de la inferencia INT8 en alcanzar las mejoras de velocidad teóricas (un retraso de 147× respecto a FP16 en algunos casos) se debe a limitaciones de la pila de software (la falta de librerías TensorRT causando retrocesos de memcpy entre GPU↔CPU), no a limitaciones aritméticas.
• Sensibilidad de Precisión: Reducir la precisión de la activación de 8 bits a 4 bits causó una degradación 4.6 veces más pronunciada en el FID en comparación con la reducción de la precisión de los pesos, validando el enfoque en la asignación de bits de activación.
• Desempeño de GAMP:
  • Fallo de Solo Brecha (Gap-Only): La configuración "Solo Brecha" logró una alineación de brecha casi ideal ($\cos(\Delta) = 0.882$) pero una calidad de muestra catastrófica (FID 334), confirmando la trampa del desplazamiento de rama.
  • Éxito de GAMP: GAMP, con un promedio de 6 bits de activación, logró un FID de 39.4, una mejora del 49% sobre una línea base de gasto uniforme lineal con la misma precisión promedio.
  • Eficiencia: GAMP logró una calidad cercana a W4A8 (FID ~40) con 13% menos BOPs que su contraparte uniforme W4A8. Notablemente, GAMP logró un FID menor a pesar de tener puntuaciones de fidelidad de brecha ($\rho=1.509$) más débiles que el modelo de Solo Brecha, reforzando que el error de la salida guiada, y no la fidelidad de la brecha, es lo que gobierna la calidad de la muestra.

Significado y Reivindicaciones
El artículo afirma ser el primero en identificar y demostrar analíticamente la "trampa del desplazamiento de rama" inherente a la PTQ basada solo en la brecha para modelos CFG. Argumenta que los diagnósticos estándar (como $\rho$ y $\cos(\Delta)$) son insuficientes y activamente engañosos para la calibración de PTQ. Al cambiar el objetivo de calibración hacia la predicción guiada, GAMP previene demostrablemente el desplazamiento de la rama incondicional. El trabajo proporciona una corrección necesaria al flujo de despliegue para modelos de difusión CFG, ofreciendo un método para lograr una generación de alta calidad con presupuestos de cómputo más bajos, mientras caracteriza con precisión los verdaderos costos de latencia y eficiencia de la inferencia guiada. Los autores señalan que, aunque los experimentos se limitan actualmente a CIFAR-10, la naturaleza estructural de la trampa implica que se aplica igualmente a modelos latentes más grandes (por ejemplo, Stable Diffusion) y arquitecturas basadas en Transformers.