💻 computer science

HQ-DM: Single Hadamard Transformation-Based Quantization-Aware Training for Low-Bit Diffusion Models

El artículo presenta HQ-DM, un novedoso marco de Entrenamiento Consciente de la Cuantización que utiliza una Transformación de Hadamard Única para mitigar eficazmente los valores atípicos de activación y prevenir la amplificación de valores atípicos de los pesos, permitiendo así una cuantización de bajo bit de alto rendimiento (W4A4 y W4A3) para modelos de difusión con mejoras significativas en la calidad de generación de imágenes sobre los métodos actuales de vanguardia.

Autores originales: Shizhuo Mao, Hongtao Zou, Qihu Xie, Song Chen, Yi Kang

Publicado 2026-08-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shizhuo Mao, Hongtao Zou, Qihu Xie, Song Chen, Yi Kang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un artista digital a pintar una obra maestra, pero en lugar de darle un estudio completo con pinceles de alta definición, le entregas un pequeño cuaderno de bocetos de baja resolución. Este es el desafío que enfrentan los "modelos de difusión", un tipo de inteligencia artificial que crea imágenes impresionantes convirtiendo lentamente el ruido estático aleatorio en imágenes claras, paso a paso. Piensa en ello como un escultor que comienza con un enorme bloque de mármol y va tallando pequeñas piezas una y otra vez hasta que emerge una estatua. El problema es que este proceso es increíblemente pesado; requiere computadoras masivas y mucha memoria, lo que dificulta su ejecución en dispositivos cotidianos como teléfonos o computadoras portátiles.

Para solucionar esto, los científicos utilizan un truco llamado "cuantización". Imagina que tomas una foto de alta definición y la reduces a una versión pixelada que ocupa menos espacio. En el mundo de la IA, esto significa convertir los números súper precisos del modelo (que usan mucha memoria) en números más pequeños y simples (usando menos bits). Sin embargo, hay un inconveniente: cuando reduces estos números demasiado, la IA se confunde por los "outliers" (valores atípicos). Estos son valores extremos y poco comunes en los datos que actúan como una única estrella deslumbrante en un cielo oscuro. Si intentas encajar esa estrella en una cuadrícula pequeña y de baja resolución, distorsiona toda la imagen, haciendo que la IA produzca imágenes borrosas o extrañas. La gran pregunta es: ¿cómo reducimos el tamaño del modelo sin perder los detalles que hacen que el arte luzca bien?

Aquí es donde entra en juego un nuevo estudio llamado HQ-DM con una solución ingeniosa. Los investigadores descubrieron que los "outliers" que causan problemas en los modelos de difusión son como invitados obstinados en una fiesta que están parados en la puerta, bloqueando a todos los demás. Los métodos anteriores intentaban apretar a estos invitados o mover los muebles alrededor, pero a menudo esto hacía que la habitación fuera más desordenada. El equipo de HQ-DM descubrió una forma mejor: utilizan una herramienta matemática llamada Transformación de Hadamard Única. Puedes pensar en esto como una técnica de "mezcla" mágica. En lugar de intentar forzar la estrella brillante en una caja pequeña, hacen girar todo el cielo para que la luz de la estrella se distribuya uniformemente por todo el lienzo. De repente, ningún punto es demasiado brillante para ser manejado, y la IA puede reducir fácilmente los números sin perder la calidad de la imagen.

Lo que hace especial a este enfoque es cómo maneja los "pesos" (la memoria del modelo) frente a las "activaciones" (los datos que se mueven a través del modelo). Los métodos antiguos intentaban mezclar ambos, pero esto a menudo creaba nuevos puntos brillantes en la memoria, empeorando las cosas. HQ-DM es más inteligente: solo mezcla los datos en movimiento (activaciones) justo antes de que se reduzcan, dejando la memoria intacta. Esto es como reorganizar a los invitados en el pasillo sin mover los muebles de la sala de estar. Debido a esto, el método funciona perfectamente con chips de computadora estándar que están diseñados para matemáticas rápidas y simples, permitiendo que la IA se ejecute mucho más rápido.

Los resultados de este truco de "mezcla" son impresionantes. Cuando los investigadores probaron su método en un generador de imágenes popular llamado LDM-4 utilizando el conjunto de datos ImageNet (una colección de imágenes de 256×256 píxeles), descubrieron que su modelo podía reducirse a tamaños muy pequeños sin perder su toque artístico. Específicamente, cuando utilizaron una configuración muy agresiva donde tanto la memoria como los datos se redujeron a solo 4 bits (W4A4), su método mejoró la puntuación de calidad de imagen (Inception Score) en un 12.8% en comparación con el mejor método anterior. De manera aún más dramática, cuando llevaron los datos a solo 3 bits (W4A3)—un nivel donde la mayoría de los otros métodos fallan por completo—, su modelo mejoró la puntuación en un asombroso 467.73%.

El artículo también muestra que este método es eficiente. No toma mucho tiempo más entrenar el modelo y, debido a que se lleva bien con el hardware de computadora estándar, puede ejecutarse entre 1.10 y 1.14 veces más rápido que intentos previos de cuantización de pocos bits similares. Los investigadores probaron esto en diferentes tipos de modelos, incluyendo aquellos basados en "Transformers" (una arquitectura de IA diferente), y encontraron que el truco de "mezcla" funcionaba igual de bien allí. En resumen, HQ-DM sugiere que, simplemente reorganizando los datos antes de reducirlos, podemos hacer que los poderosos generadores de arte por IA sean lo suficientemente pequeños como para ejecutarse en los dispositivos que usamos todos los días, sin sacrificar la belleza de las imágenes que crean.

Resumen Técnico: HQ-DM – Entrenamiento con Conciencia de Cuantización Basado en una Transformación de Hadamard Única para Modelos de Difusión de Bajo Bit

1. Planteamiento del Problema

Los modelos de difusión se han consolidado como marcos de trabajo de vanguardia para la síntesis de imágenes; sin embargo, su despliegue en entornos de tiempo real o con recursos limitados se ve obstaculizado por los altos costos computacionales y el consumo de memoria. Si bien la cuantificación de modelos ofrece una solución para reducir el almacenamiento y acelerar la inferencia, aplicar esto a los modelos de difusión presenta desafíos únicos que se distinguen de las tareas de clasificación o generación tradicionales.

El cuello de botella principal reside en la naturaleza no estacionaria de las distribuciones de activación durante el proceso de eliminación de ruido de múltiples pasos. A diferencia de las tareas estáticas, la escala, las estructuras de características y las propiedades estadísticas de las activaciones en los modelos de difusión varían significamente a través de los pasos temporales (timesteps). Además, estos modelos exhiben distribuciones de cola larga con valores atípicos (outliers) prominentes. Bajo una cuantificación de bajo bit (por ejemplo, 4 bits o menos), estos valores atípicos causan errores severos de recorte (clipping) y redondeo. Crucialmente, estos errores se acumulan y amplifican a lo largo de los pasos de muestreo iterativos, lo que conduce a una degradación sustancial en la calidad de la generación. Los métodos existentes de Entrenamiento con Conciencia de Cuantificación (QAT) y Cuantificación Post-Entrenamiento (PTQ) luchan por mitigar estos valores atípicos de activación de manera efectiva, resultando a menudo en un rendimiento deficiente en anchos de bit bajos.

2. Metodología: HQ-DM

Los autores proponen HQ-DM, un nuevo marco de Entrenamiento con Conciencia de Cuantificación (QAT) diseñado para mitigar los valores atípicos de activación manteniendo la eficiencia de hardware. La innovación central es la aplicación de una Transformación de Hadamard Única a las matrices de activación antes de la cuantificación.

2.1 Transformación de Hadamard Única vs. Doble

Trabajos previos (por ejemplo, QuaRot, Xi et al.) utilizaron una "Transformación de Hadamard Doble", aplicando la transformación tanto a los pesos como a las activaciones. Los autores identifican dos limitaciones críticas en este enfoque convencional para los modelos de difusión:

Incompatibilidad con la Convolución: La propiedad distributiva requerida para la Doble Hadamard no se aplica directamente a las operaciones de convolución, especialmente con convoluciones de múltiples saltos (multi-stride) comunes en los modelos de difusión.
Amplificación de Valores Atípicos en los Pesos: Aplicar la transformación de Hadamard a matrices de pesos que originalmente tienen pocos valores atípicos puede generar inadvertidamente nuevos valores atípicos en los pesos transformados, amplificando los errores de cuantificación.

HQ-DM introduce la Transformación de Hadamard Única, la cual aplica la transformación solo a las matrices de activación antes de la cuantificación, dejando los pesos sin transformar.

Mecanismo: La matriz de activación de entrada $X$ se multiplica por una matriz de Hadamard de bloque diagonal $H$ (construida a partir de matrices de Hadamard estándar $H_k$ ). Las activaciones transformadas $(XH)$ son luego cuantificadas.
Recuperación: Debido a la ortogonalidad de la matriz de Hadamard ( $H^T = H^{-1} = H$ ), los valores originales pueden recuperarse durante la inferencia mediante la operación $\hat{X} = S_{XH} \cdot (XH)_{int} \cdot H$ .
Eficiencia de Hardware: Al extraer el factor de normalización $2^{-k/2}$ hacia las escalas de cuantificación de punto flotante, la computación central involucra únicamente multiplicación de matrices enteras y convolución. Esto asegura la compatibilidad con aceleradores de hardware que soportan operaciones INT.

2.2 Marco de Destilación Basado en LoRA

HQ-DM integra la Transformación de Hadamard Única en un marco de destilación inspirado en EfficientDM:

Configuración Maestro-Estudiante: Un modelo maestro de precisión completa (FP32) guía a un modelo estudiante cuantificado.
Adaptación LoRA: Los pesos pre-entrenados originales se mantienen congelados. En su lugar, las matrices de Adaptación de Bajo Rango (LoRA) ( $A$ y $B$ ) se entrenan para adaptar el modelo al ruido de cuantificación. El peso adaptado es $W' = W + B \cdot A$ .
Cuantificación Consciente del Paso Temporal: Reconociendo la naturaleza no estacionaria de las activaciones, el marco emplea escalas de cuantificación aprendibles (LSQ) dependientes del paso temporal tanto para pesos como para activaciones, optimizándolos de forma independiente para cada paso de eliminación de ruido.
Cuantificación Simétrica: A diferencia de algunos métodos existentes que usan cuantificación asimétrica para las activaciones, HQ-DM adopta la cuantificación simétrica para asegurar la compatibilidad total con las operaciones de convolución entera.

3. Contribuciones Clave

Marco de Transformación de Hadamard Única: Los autores proponen un marco de destilación que aplica la Transformación de Hadamard Única a las activaciones para reducir los valores atípicos. Este enfoque mejora significativamente el rendimiento de los modelos de difusión en configuraciones de cuantificación de bajo bit.
Diseño Amigable para la Implementación: El método de Transformación de Hadamard Única propuesto aborda las limitaciones del enfoque de Doble Hadamard al:
- Permitir el soporte fluido para operaciones de convolución entera (INT), las cuales son críticas para los modelos de difusión.
- Prevenir la amplificación de valores atípicos en los pesos, evitando así la introducción de errores de cuantificación adicionales en las matrices de pesos.
Desempeño Superior en Bajo Bit: El método demuestra un rendimiento excepcional en múltiples conjuntos de datos (ImageNet, LSUN) y arquitecturas (U-Net basados en LDM y DiT basados en Transformer), particularmente en escenarios de cuantificación de activación de ultra-bajo bit (por ejemplo, W4A3).

4. Resultados Experimentales

Los autores evaluaron HQ-DM en el conjunto de datos ImageNet 256×256 usando el modelo LDM-4, así como en LSUN-Bedrooms, LSUN-Churches y modelos DiT-XL.

ImageNet 256×256 (LDM-4):
- Cuantificación W4A4: HQ-DM mejoró el Inception Score (IS) en un 12.8% en comparación con el estado del arte EfficientDM.
- Cuantificación W4A3: HQ-DM logró una mejora masiva del 467.73% en IS sobre EfficientDM. También mostró mejoras superiores al 100% en las cuatro métricas (IS, FID, sFID, Precisión).
Conjuntos de Datos LSUN: HQ-DM superó consistentemente a EfficientDM y otros baselines (PTQD, QuEST) a través de varios anchos de bit (W8A4, W4A4, W4A3, W4A2). Por ejemplo, en LSUN-Bedrooms, HQ-DM redujo el FID en 5.56, 3.66 y 4.92 para las configuraciones W8A4, W4A4 y W4A3, respectivamente.
DiT-XL: En modelos basados en Transformer, HQ-DM logró una mejora relativa de IS del 60.92% y una mejora de precisión del 13.79% sobre EfficientDM bajo cuantificación W4A4.
Eficiencia: Los tiempos de entrenamiento y calibración para HQ-DM son comparables a los de EfficientDM, lo que indica que la sobrecarga computacional de la transformación de Hadamard dispersa es insignificante. La latencia de inferencia se redujo aproximadamente un 10%–14% en comparación con los enfoques de Doble Hadamard debido a una mejor compatibilidad de hardware.

5. Significado y Reivindicaciones

El artículo afirma que HQ-DM proporciona una solución sistemática a los cuellos de botella clave que dificultan la cuantificación precisa de los modelos de difusión: la distribución de activación no estacionaria y la acumulación de valores atípicos. Al introducir la Transformación de Hadamard Única, los autores demuestran que es posible lograr una generación de alta calidad con anchos de bit ultra-bajos (W4A3) sin sacrificar la eficiencia de hardware.

Los autores enfatizan que su método es particularmente significativo porque resuelve el compromiso entre la supresión de valores atípicos y la compatibilidad de hardware. A diferencia de métodos anteriores que fallaban al soportar convoluciones o degradaban la calidad de los pesos, HQ-DM soporta operaciones de convolución entera directamente mientras suaviza eficazmente los valores atípicos de activación. Los resultados sugieren que HQ-DM es una solución práctica y generalizable para el despliegue de modelos de difusión eficientes de bajo bit en escenarios del mundo real.