💻 computer science

HQ-DM: Single Hadamard Transformation-Based Quantization-Aware Training for Low-Bit Diffusion Models

O artigo introduz o HQ-DM, um novo framework de Treinamento Consciente de Quantização que utiliza uma Transformação de Hadamard Única para mitigar efetivamente outliers de ativação e prevenir a amplificação de outliers de peso, permitindo assim uma quantização de baixo bit de alto desempenho (W4A4 e W4A3) para modelos de difusão com melhorias significativas na qualidade de geração de imagens em relação aos métodos de estado da arte existentes.

Autores originais: Shizhuo Mao, Hongtao Zou, Qihu Xie, Song Chen, Yi Kang

Publicado 2026-08-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shizhuo Mao, Hongtao Zou, Qihu Xie, Song Chen, Yi Kang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um artista digital a pintar uma obra-prima, mas em vez de dar a ele um estúdio completo com pincéis de alta definição, você entrega a ele um pequeno caderno de esboços de baixa resolução. Este é o desafio enfrentado pelos "modelos de difusão", um tipo de inteligência artificial que cria imagens deslumbrantes ao transformar gradualmente o ruído estático aleatório em imagens nítidas, passo a passo. Pense nisso como um escultor que começa com um grande bloco de mármore e vai retirando pequenos pedaços repetidamente até que uma estátua emerja. O problema é que esse processo é incrivelmente pesado; exige computadores massivos e muita memória, tornando difícil executá-lo em dispositivos comuns, como celulares ou laptops.

Para resolver isso, os cientistas usam um truque chamado "quantização". Imagine pegar uma foto de alta definição e encolhê-la para uma versão pixelada que ocupa menos espaço. No mundo da IA, isso significa converter os números superprecisos do modelo (que usam muita memória) em números menores e mais simples (usando menos bits). No entanto, há uma armadilha: quando você encolhe esses números demais, a IA fica confusa por causa dos "outliers" (valores atípicos). Estes são valores extremos e raros nos dados que agem como uma única estrela intensamente brilhante em um céu escuro. Se você tentar encaixar essa estrela em uma grade pequena e de baixa resolução, ela distorce toda a imagem, fazendo com que a IA produza imagens borradas ou estranhas. A grande questão é: como podemos encolher o modelo sem perder os detalhes que fazem a arte parecer boa?

É aqui que um novo estudo chamado HQ-DM entra com uma solução inteligente. Os pesquisadores descobriram que os "outliers" que causam problemas nos modelos de difusão são como convidados teimosos em uma festa que estão parados na porta, bloqueando todos os outros. Métos anteriores tentavam espremer esses convidados ou mudar os móveis de lugar, mas isso frequentemente deixava a sala mais bagunçada. A equipe do HQ-DM descobriu uma maneira melhor: eles usam uma ferramenta matemática chamada Transformação de Hadamard Única. Você pode pensar nisso como uma técnica de "embaralhamento" mágico. Em vez de tentar forçar a estrela brilhante dentro de uma caixa pequena, eles giram todo o céu para que a luz da estrela seja espalhada uniformemente por toda a tela. De repente, nenhum ponto único é brilhante demais para ser processado, e a IA pode encolher os números facilmente sem perder a qualidade da imagem.

O que torna essa abordagem especial é como ela lida com os "pesos" (a memória do modelo) versus as "ativações" (os dados que se movem através do modelo). Métodos antigos tentavam embaralhar ambos, mas isso frequentemente criava novos pontos brilhantes na memória, piorando a situação. O HQ-DM é mais inteligente: ele apenas embaralha os dados em movimento (ativações) logo antes de serem encolhidos, deixando a memória intocada. Isso é como rearranjar os convidados no corredor sem mover os móveis da sala de estar. Devido a isso, o método funciona perfeitamente com chips de computador padrão, que são projetados para cálculos rápidos e simples, permitindo que a IA rode muito mais rápido.

Os resultados deste truque de "embaralhamento" são impressionantes. Quando os pesquisadores testaram seu método em um popular gerador de imagens chamado LDM-4 usando o conjunto de dados ImageNet (uma coleção de imagens de 256×256 pixels), descobriram que seu modelo podia ser encolhido para tamanhos muito pequenos sem perder seu toque artístico. Especificamente, quando usaram uma configuração muito agressiva onde tanto a memória quanto os dados foram encolhidos para apenas 4 bits (W4A4), seu método melhorou a pontuação de qualidade de imagem (Inception Score) em 12,8% em comparação com o melhor método anterior. De forma ainda mais dramática, quando forçaram os dados para apenas 3 bits (W4A3)—um nível onde a maioria dos outros métodos falha completamente—seu modelo melhorou a pontuação em impressionantes 467,73%.

O artigo também mostra que este método é eficiente. Não leva muito mais tempo para treinar o modelo e, como funciona bem com o hardware de computador padrão, pode rodar cerca de 1,10 a 1,14 vezes mais rápido do que tentativas anteriores de quantização de baixos bits semelhantes. Os pesquisadores testaram isso em diferentes tipos de modelos, incluindo aqueles baseados em "Transformers" (uma arquitetura de IA diferente), e descobriram que o truque de "embaralhamento" funcionou tão bem quanto lá. Em suma, o HQ-DM sugere que, ao simplesmente rearranjar os dados antes de encolhê-los, podemos tornar os poderosos geradores de arte de IA pequenos o suficiente para rodar nos dispositivos que usamos todos os dias, sem sacrificar a beleza das imagens que eles criam.

Resumo Técnico: HQ-DM – Treinamento Consciente de Quantização Baseado em Transformação Hadamard Única para Modelos de Difusão de Baixo Bit

1. Declaração do Problema

Os modelos de difusão estabeleceram-se como estruturas de síntese de imagem de estado da arte; no entanto, sua implementação em ambientes de tempo real ou com recursos limitados é dificultada pelos altos custos computacionais e consumo de memória. Embora a quantização de modelos ofereça uma solução para reduzir o armazenamento e acelerar a inferência, a aplicação dela a modelos de difusão apresenta desafios únicos, distintos de tarefas tradicionais de classificação ou geração.

O principal gargalo reside na natureza não estacionária das distribuições de ativação durante o processo de denoising de múltiplas etapas. Ao contrário de tarefas estáticas, a escala, as estruturas de características e as propriedades estatísticas das ativações em modelos de difusão variam significamente através dos passos temporais (timesteps). Além disso, esses modelos exibem distribuições de cauda longa com outliers proeminentes. Sob quantização de baixo bit (por exemplo, 4 bits ou menos), esses outliers causam erros severos de clipping e arredondamento. Crucialmente, esses erros se acumulam e se amplificam ao longo dos passos de amostragem iterativos, levando a uma degradação substancial na qualidade da geração. Métodos existentes de Treinamento Consciente de Quantização (QAT) e Quantização Pós-Treinamento (PTQ) lutam para mitigar esses outliers de ativação de forma eficaz, resultando frequentemente em um desempenho insatisfatório em larguras de bit baixas.

2. Metodologia: HQ-DM

Os autores propõem o HQ-DM, um novo framework de Treinamento Consciente de Quantização (QAT) projetado para mitigar outliers de ativação enquanto mantém a eficiência de hardware. A inovação central é a aplicação de uma Transformação Hadamard Única às matrizes de ativação antes da quantização.

2.1 Transformação Hadamard Única vs. Dupla

Trabalhos anteriores (ex: QuaRot, Xi et al.) utilizaram uma "Transformação Hadamard Dupla", aplicando a transformação tanto aos pesos quanto às ativações. Os autores identificam duas limitações críticas nesta abordagem convencional para modelos de difusão:

Incompatibilidade com Convolução: A propriedade distributiva necessária para a Hadamard Dupla não se aplica diretamente a operações de convolução, especialmente com convoluções de múltiplos strides comuns em modelos de difusão.
Amplificação de Outliers de Peso: Aplicar a transformação Hadamard em matrizes de peso que originalmente possuem poucos outliers pode gerar inadvertidamente novos outliers nos pesos transformados, amplificando os erros de quantização.

O HQ-DM introduz a Transformação Hadamard Única, que aplica a transformação apenas às matrizes de ativação antes da quantização, deixando os pesos sem transformação.

Mecanismo: A matriz de ativação de entrada $X$ é multiplicada por uma matriz Hadamard diagonal de blocos $H$ (construída a partir de matrizes Hadamard padrão $H_k$ ). As ativações transformadas $(XH)$ são então quantizadas.
Recuperação: Devido à ortogonalidade da matriz Hadamard ( $H^T = H^{-1} = H$ ), os valores originais podem ser recuperados durante a inferência via a operação $\hat{X} = S_{XH} \cdot (XH)_{int} \cdot H$ .
Eficiência de Hardware: Ao extrair o fator de normalização $2^{-k/2}$ para as escalas de quantização de ponto flutuante, o cálculo central envolve apenas multiplicação de matrizes inteiras e convolução. Isso garante compatibilidade com aceleradores de hardware que suportam operações INT.

2.2 Framework de Destilação Baseado em LoRA

O HQ-DM integra a Transformação Hadamard Única em um framework de destilação inspirado no EfficientDM:

Configuração Professor-Aluno: Um modelo professor de precisão total (FP32) guia um modelo aluno quantizado.
Adaptação LoRA: Os pesos pré-treinados originais são congelados. Em vez disso, matrizes de Adaptação de Baixo Rank (LoRA) ( $A$ e $B$ ) são treinadas para adaptar o modelo ao ruído de quantização. O peso adaptado é $W' = W + B \cdot A$ .
Quantização Consciente do Passo Temporal: Reconhecendo a natureza não estacionária das ativações, o framework emprega escalas de quantização aprendíveis (LSQ) conscientes do timestep tanto para pesos quanto para ativações, otimizando-os independentemente para cada passo de denoising.
Quantização Simétrica: Diferente de alguns métodos existentes que usam quantização assimétrica para ativações, o HQ-DM adota quantização simétrica para garantir compatibilidade total com operações de convolução inteira.

3. Principais Contribuições

Framework de Transformação Hadamard Única: Os autores propõem um framework de destilação que aplica a Transformação Hadamard Única às ativações para reduzir outliers. Esta abordagem melhora significativamente o desempenho de modelos de difusão em configurações de quantização de baixo bit.
Design Amigável à Implementação: O proposto Transformação Hadamard Única aborda as limitações da abordagem Hadamard Dupla ao:
- Permitir suporte contínuo para operações de convolução inteiras (INT), que são críticas para modelos de difusções.
- Prevenir a amplificação de outliers de peso, evitando assim a introdução de erros de quantização adicionais nas matrizes de peso.
Desempenho Superior em Baixo Bit: O método demonstra um desempenho excepcional em múltiplos datasets (ImageNet, LSUN) e arquiteturas (LDMs baseados em U-Net e DiTs baseados em Transformer), particularmente em cenários de quantização de ativação de ultra-baixo bit (ex: W4A3).

4. Resultados Experimentais

Os autores avaliaram o HQ-DM no dataset ImageNet 256×256 usando o modelo LDM-4, bem como no LSUN-Bedrooms, LSUN-Churches e modelos DiT-XL.

ImageNet 256×256 (LDM-4):
- Quantização W4A4: O HQ-DM melhorou o Inception Score (IS) em 12,8% em comparação com o estado da arte EfficientDM.
- Quantização W4A3: O HQ-DM alcançou uma melhoria massiva de 467,73% no IS sobre o EfficientDM. Também mostrou melhorias superiores a 100% em todas as quatro métricas (IS, FID, sFID, Precisão).
Datasets LSUN: O HQ-DM superou consistentemente o EfficientDM e outros baselines (PTQD, QuEST) em várias larguras de bit (W8A4, W4A4, W4A3, W4A2). Por exemplo, no LSUN-Bedrooms, o HQ-DM reduziu o FID em 5,56, 3,66 e 4,92 para as configurações W8A4, W4A4 e W4A3, respectivamente.
DiT-XL: Em modelos baseados em Transformer, o HQ-DM alcançou uma melhoria relativa de IS de 60,92% e uma melhoria de precisão de 13,79% sobre o EfficientDM sob quantização W4A4.
Eficiência: Os tempos de treinamento e calibração para o HQ-DM são comparáveis ao EfficientDM, indicando que o overhead computacional da transformação Hadamard esparsa é negligenciável. A latência de inferência é reduzida em aproximadamente 10%–14% em comparação com abordagens de Hadamard Dupla devido à melhor compatibilidade de hardware.

5. Significância e Alegações

O artigo afirma que o HQ-DM fornece uma solução sistemática para os principais gargalos que impedem a quantização precisa de modelos de difusão: distribuições de ativação não estacionárias e acúmulo de outliers. Ao introduzir a Transformação Hadamard Única, os autores demonstram que é possível alcançar geração de alta qualidade em larguras de bit ultra-baixas (W4A3) sem sacrificar a eficiência de hardware.

Os autores enfatizam que seu método é particularmente significativo porque resolve o compromisso entre supressão de outliers e compatibilidade de hardware. Ao contrário de métodos anteriores que falharam em suportar convoluções ou degradaram a qualidade dos pesos, o HQ-DM suporta operações de convolução inteira diretamente enquanto suaviza efetivamente os outliers de ativação. Os resultados sugerem que o HQ-DM é uma solução prática e generalizável para implantar modelos de difusão eficientes e de baixo bit em cenários do mundo real.