6Bit-Diffusion: Inference-Time Mixed-Precision Quantization for Video Diffusion Models

Resumo Técnico: 6Bit-Diffusion

1. O Problema

Os Transformers de Difusão (DiTs) revolucionaram a geração de vídeos, oferecendo alta fidelidade e consistência temporal. No entanto, sua implantação prática é severamente limitada por:

• Alto Custo Computacional e de Memória: Modelos grandes (ex: HunyuanVideo) causam Out-Of-Memory (OOM) em dispositivos de consumo, e modelos menores (ex: CogVideoX) levam dezenas de minutos para gerar vídeos curtos em GPUs de ponta.
• Limitações da Quantização Existente: Métodos de quantização pós-treinamento (PTQ) atuais geralmente utilizam alocação estática de precisão (fixa para todas as camadas e passos de tempo).
  • Falha Dinâmica: A sensibilidade à quantização das ativações varia drasticamente ao longo dos passos de tempo de difusão. Uma política estática causa "flickering" (piscar) em passos sensíveis ou desperdiça oportunidades de compressão em passos estáveis.
  • Suporte de Hardware: Novas arquiteturas de GPU (como a NVIDIA Blackwell) introduziram formatos nativos de baixa precisão (NVFP4), mas os métodos atuais não os integram eficazmente com precisões mistas dinâmicas.

2. Metodologia

Os autores propõem o 6Bit-Diffusion, um framework de aceleração sem treinamento que combina três componentes principais para explorar a redundância temporal e a sensibilidade dinâmica:

A. Quantização de Precisão Mista Dinâmica (DMPQ)

• Insight Principal: Existe uma forte correlação linear entre a diferença relativa entrada-saída de um bloco no passo de tempo anterior ($t-1$) e a sensibilidade à quantização das suas camadas lineares internas no passo atual ($t$).
• Mecanismo:
  • Calcula-se a magnitude da transformação do bloco ($\Gamma_{t-1}$) usando a distância L1 relativa.
  • Um preditor leve usa essa métrica para alocar dinamicamente a precisão:
    • Camadas Instáveis (Alta variação): Mantidas em INT8 para garantir robustez.
    • Camadas Estáveis (Baixa variação): Comprimidas para NVFP4 (formato de 4 bits nativo da NVIDIA Blackwell) para maximizar a compressão de memória.
  • Suavização de Outliers: Utiliza uma Transformada de Hadamard em blocos locais (Block Hadamard Transform) para redistribuir outliers de ativação antes da quantização, permitindo o uso de formatos de baixa precisão sem perda de qualidade.

B. Cache de Delta Temporal (TDC)

• Insight Principal: Os resíduos (deltas) entre a entrada e a saída de um bloco Transformer exibem alta consistência temporal entre passos adjacentes.
• Mecanismo:
  • Em vez de calcular a saída completa do bloco a cada passo, o sistema verifica a similaridade entre os dois últimos deltas ($\Delta_{t-1}$ e $\Delta_{t-2}$).
  • Se a similaridade for alta (indicando estabilidade), o bloco é pulado (skipped) e o delta anterior é reutilizado.
  • Um mecanismo de Troca Guiada por Erro monitora o acúmulo de erro de aproximação e força um recálculo completo quando necessário para evitar drift (desvio) na qualidade do vídeo.

C. Atualização de Delta Purificado (PDR)

• Problema Resolvido: A combinação ingênua de DMPQ e TDC causa acúmulo de ruído de quantização nos deltas cacheados, degradando o vídeo.
• Solução: Antes de salvar um delta no cache, o sistema avalia a dificuldade de quantização. Se houver muitos outliers, o bloco é calculado em precisão completa (FP16/BF16) para garantir que o delta armazenado seja "puro". Isso quebra a cadeia de acúmulo de erro.

3. Contribuições Principais

1. Primeiro Framework Dinâmico NVFP4/INT8: Introdução do DMPQ, que aloca precisão online baseada na sensibilidade temporal, adaptando-se às novas arquiteturas de hardware (Blackwell).
2. Aceleração Espacial-Temporal Unificada: Integração do TDC com a quantização, criando um sistema que reduz tanto a memória (via quantização) quanto a computação (via cache de skips).
3. Mecanismo de Purificação de Cache: Solução inovadora para o problema de acúmulo de erro ao combinar cache e quantização agressiva, permitindo aceleração extrema sem degradação visual.
4. Predição Linear Leve: Demonstração de que a sensibilidade à quantização pode ser prevista com baixo custo computacional usando apenas a variação de entrada-saída do passo anterior.

4. Resultados Experimentais

Os testes foram realizados no modelo CogVideoX (versões 2B e 5B) em uma GPU NVIDIA RTX-5090.

• Aceleração:
  • 1.92× de aceleração end-to-end em comparação com a linha de base FP16.
  • O DMPQ sozinho fornece 1.36×; a adição do TDC eleva para 1.92×.
• Redução de Memória:
  • 3.32× de redução no uso de memória da GPU.
• Qualidade de Vídeo:
  • Mantém qualidade visual comparável à linha de base FP16, superando métodos estáticos (como SmoothQuant e ViDiT-Q) que sofrem de distorções geométricas, alucinações e perda de consistência temporal.
  • Métricas como Flow-score (consistência temporal) e Aesthetic Quality permanecem próximas ao original, mesmo com precisão média de ativação de ~6 bits.
• Comparação com Baselines:
  • Em configurações agressivas (W4A6), métodos estáticos caem drasticamente em qualidade (ex: ViDiT-Q cai para 0.4433 em qualidade estética no modelo 5B), enquanto o 6Bit-Diffusion mantém 0.5724.

5. Significado e Impacto

O 6Bit-Diffusion estabelece um novo marco para a inferência eficiente de DiTs de vídeo. Ao demonstrar que a precisão pode ser ajustada dinamicamente a cada passo de tempo e que a redundância temporal pode ser explorada de forma segura (evitando acúmulo de erro), o trabalho torna viável a execução de modelos de geração de vídeo de alta qualidade em hardware de consumo e data centers com restrições de memória. A adaptação nativa ao formato NVFP4 posiciona o método como pronto para a próxima geração de GPUs, oferecendo um caminho prático para a democratização da geração de vídeo por IA.