📊 statistics

Improved denoising diffusion probabilistic models with efficient non-diagonal covariance modeling

Este artigo apresenta o modelo Kronecker-DCT (K-DCT), uma nova aproximação de covariância não diagonal que aproveita a fatoração de Kronecker e a Transformada Discreta de Cosseno para capturar eficientemente as correlações de imagens naturais, melhorando significativamente a qualidade e a verossimilhança de Modelos Probabilísticos de Difusão de Denoising (DDPMs) com menos etapas de amostragem, mantendo um overhead computacional desprezível.

Autores originais: Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma máquina que aprende a criar arte não pintando do zero, mas começando com uma tela coberta de estática e removendo lentamente o ruído, com cuidado, até que uma imagem clara surja. Esta é a ideia central por trás de uma família de modelos de inteligência artificial conhecidos como modelos de difusão de denoising (redução de ruído). Eles se tornaram uma ferramenta padrão para gerar imagens de alta qualidade, desde rostos realistas até paisagens, porque produzem resultados que são ao mesmo tempo nítidos e diversos. No entanto, há um problema: o processo de remover o ruído é inerentemente lento. Para obter uma boa imagem, o computador deve dar milhares de passos pequenos e cautelosos, retirando um pouco de estática de cada vez. Se tentar dar passos maiores para acelerar o processo, a imagem frequentemente torna-se borrada ou distorcida porque a máquina perde a noção de como as diferentes partes da imagem se relacionam entre si.

Por muito tempo, pesquisadores tentaram resolver este problema de velocidade fazendo uma suposição simplificadora: eles assumiam que a incerteza na imagem, em qualquer dado momento, poderia ser descrita observando cada pixel de forma independente. É um pouco como tentar descrever o clima olhando apenas para a temperatura em um ponto específico, ignorando como o vento naquele ponto afeta a chuva no próximo. Embora essa abordagem funcione razoavelmente bem quando se dão passos minúsculos, ela falha quando os pesquisadores tentam dar os passos maiores e mais rápidos necessários para o uso prático. A realidade das imagens naturais é muito mais complexa; a cor de um pixel está profundamente conectada aos seus vizinhos, e os canais vermelho, verde e azul de uma imagem influenciam-se mutuamente de formas intrincadas. Um novo estudo publicado no Transactions on Machine Learning Research sugere que, ao reconhecer essas conexões complexas, podemos tornar esses geradores de imagens significativamente mais rápidos sem sacrificar a qualidade.

Os pesquisadores, uma equipe de instituições que incluem a Universidade de Cambridge e o King's College London, propuseram-se a construir um mapa melhor dessas conexões. Eles focaram na "covariância posterior", um termo técnico que descreve, essencialmente, como a incerteza de uma parte da imagem depende da incerteza de outra. Nos modelos antigos e mais simples, esse mapa era desenhado como uma grade onde apenas as linhas diagonais importavam, implicando que o futuro de um pixel era independente de seus vizinhos. A nova equipe argumentou que isso era uma simplificação drástica que ignorava a verdadeira estrutura das imagens naturais, que exibem correlações fortes e não diagonais entre pixels e canais de cores. Eles também observaram que essas imagens possuem um padrão de frequência específico, onde os detalhes desaparecem de uma forma previsível, semelhante à forma como um acorde musical possui uma estrutura específica de notas.

Para capturar essa complexidade sem deixar o computador lento, a equipe desenvolveu um novo modelo matemático que chamam de K-DCT. O nome vem de duas ideias principais que eles combinaram. Primeiro, reconheceram que a relação entre as cores (como vermelho, verde e azul) e a relação entre as localizações espaciais (esquerda, direita, cima, baixo) são aproximadamente separadas uma da outra. Isso permitiu que dividissem o problema massivo e complexo em duas partes menores e gerenciáveis. Segundo, perceberam que as relações espaciais em uma imagem são melhor compreendidas não olhando para os pixels diretamente, mas olhando para a imagem como uma coleção de ondas, usando uma técnica chamada Transformada Discreta de Cosseno (Discrete Cosine Transform). Este é um método que decompõe uma imagem em suas frequências fundamentais, de forma muito semelhante a como um prisma decompõe a luz branca em um arco-íris de cores. Ao trabalhar neste domínio de frequência, os pesquisadores puderam descrever a complexa teia de conexões entre os pixels usando um conjunto muito compacto de números.

O resultado é um modelo que é tanto altamente expressivo quanto incrivelmente eficiente. Embora uma descrição completa das conexões em uma imagem de alta resolução exigiria uma quantidade massiva de memória e poder computacional, o modelo K-DCT consegue realizar o mesmo trabalho com uma pegada que é mal maior do que a própria imagem. Os pesquisadores testaram esta abordagem em vários conjuntos de dados de imagens bem conhecidos, incluindo o CIFAR-10, que contém pequenas imagens de objetos cotidianos, e o CelebA, que apresenta retratos de celebridades. Eles também testaram em conjuntos de dados maiores e mais complexos, como o ImageNet e o LSUN. Em todos os casos, compararam seu novo método com as melhores técnicas existentes, que dependiam das suposições diagonais mais simples.

As descobertas foram claras e consistentes. Quando os pesquisadores forçaram os modelos a gerar imagens em menos etapas — simulando um cenário onde a velocidade é crítica — o novo modelo K-DCT produziu resultados significativamente melhores. As imagens eram mais nítidas, detalhadas e estatisticamente mais próximas dos dados reais sobre os quais foram treinados. Em termos técnicos, os modelos alcançaram taxas de erro menores e melhores pontuações de verossimilhança (likelihood scores), o que significa que o computador estava mais confiante em suas criações. Talvez o mais importante seja que a velocidade do processo de geração não sofreu. Os cálculos extras exigidos pelo novo modelo foram tão eficientes que adicionaram quase nenhum tempo ao processo, mesmo em imagens de alta resolução. Isso sugere que o gargalo na geração rápida de imagens não era o poder bruto do computador, mas a forma como a incerteza estava sendo modelada.

A equipe também explorou por que essa abordagem funciona tão bem. Eles descobriram que as conexões entre pixels em uma imagem de denoising não desaparecem rapidamente; em vez disso, elas seguem um decaimento lento e previsível que abrange muitas ordens de magnitude. Modelos simples que tentam ignorar essas conexões de longo alcance ou aproximá-las com alguns padrões básicos falham em capturar essa nuance. O modelo K-DCT, por outro lado, acomoda naturalmente essa estrutura. Curiosamente, o modelo teve um desempenho excepcional mesmo em conjuntos de dados como o CelebA, onde as imagens são de rostos humanos e não possuem a simetria perfeita ou a invariância de translação que a teoria matemática assume. Isso sugere que o modelo é robusto o suficiente para lidar com imperfeições do mundo real, capturando a estrutura "completa" essencial dos dados, mesmo quando os padrões subjacentes não são perfeitamente regulares.

Embora o estudo não pretenda afirmar que resolveu todos os problemas da inteligência artificial, ele oferece uma solução convincente para um obstáculo específico e persistente: o equilíbrio entre velocidade e qualidade na geração de imagens. Ao se afastar da suposição de que os pixels agem sozinhos e abraçar a realidade de que eles estão profundamente interconectados, os pesquisadores mostraram que podemos acelerar o processo criativo dessas máquinas. O trabalho implica que o futuro da geração de imagens eficiente não reside na construção de computadores maiores, mas na construção de modelos mais inteligentes que entendam a natureza verdadeira e complexa das imagens que tentam criar. O modelo K-DCT serve como uma prova de que uma compreensão mais precisa da estrutura estatística pode levar a melhorias tangíveis no desempenho, tornando a geração de imagens de alta qualidade mais rápida e acessível sem exigir um salto nas capacidades de hardware.

Resumo Técnico: Modelos Probabilísticos de Difusão de Denoising Melhorados com Modelagem Eficiente de Covariância Não-Diagonal

Definição do Problema

Os Modelos Probabilísticos de Denoising de Difusão (DDPMs) alcançam um desempenho de estado da arte na geração de imagens, mas sofrem com velocidades de amostragem lentas devido à sua natureza inerentemente sequencial. Embora o processo de amostragem possa ser acelerado ao realizar menos passos, ou seja, passos maiores (amostragem de salto de etapa/skip-step), essa abordagem degrada a qualidade da amostra se a covariância do posterior de denoising não for modelada com precisão.

Tentativas anteriores de acelerar a amostragem aproveitando informações de segunda ordem basearam-se em simplificações drásticas, como assumir que a covariância do posterior é diagonal ou de baixo posto (low-rank). Os autores argumentam que essas suposições são insuficientes porque imagens naturais exibem fortes correlações não-diagonais entre pixels e canais de cor, bem como um espectro de frequência de lei de potência de decaimento lento. Consequentemente, aproximações diagonais falham em capturar a estrutura estatística complexa do posterior de denoising, particularmente quando o número de passos de amostragem é pequeno. Além disso, modelar a matriz de covariância completa é computacionalmente proibitivo ( $O(D^2)$ de complexidade para $D$ pixels), criando um compromisso entre precisão e tratabilidade semelhante ao encontrado na otimização de redes neurais de segunda ordem.

Metodologia

O artigo propõe um novo modelo de covariância chamado Kronecker-DCT (K-DCT) que captura as propriedades estatísticas específicas de imagens naturais mantendo a eficiência computacional.

1. O Modelo de Covariância K-DCT

O modelo proposto, $E_\phi(x_t, t)$ , aproxima a covariância do posterior de denoising (ou a covariância do erro de previsão de ruído) usando uma decomposição estruturada:
$E_\phi(x_t, t) = \text{diag}(\varepsilon_\phi) + C_\phi C_\phi^\top \otimes (F^\top \otimes F^\top) \text{diag}(\lambda_\phi) (F \otimes F)$

O modelo consiste em três componentes principais:

Linha de Base Diagonal: Um termo $\text{diag}(\varepsilon_\phi)$ que absorve quaisquer contribuições diagonais, garantindo que o modelo seja pelo menos tão expressivo quanto os modelos diagonais anteriores.
Correlação Entre Canais: Capturada pelo termo $C_\phi C_\phi^\top \in \mathbb{R}^{3\times3}$ , que modela a correlação total entre os canais de cor RGB.
Correlação Entre Pixels (Espacial): Modelada usando um produto de Kronecker da correlação de canal e um componente espacial. O componente espacial é diagonalizado no domínio da frequência usando a matriz da Transformada Discreta de Cosseno (DCT) $F$ $F$ .
- Os autores justificam o uso da DCT sobre a Transformida Discreta de Fourier (DFT) observando que imagens naturais possuem estruturas de covariância Toeplitz + Hankel (devido às condições de contorno) em vez da estrutura circulante assumida pela DFT. A base DCT diagonaliza naturalmente essa estrutura.
- Os autovalores $\lambda_\phi$ são parâmetros aprendidos no domínio da frequência.

2. Eficiência Computacional

A estrutura K-DCT permite treinamento e amostragem eficientes sem construir explicitamente a matriz de covariância completa $3D \times 3D$ :

Complexidade: A complexidade computacional é reduzida de $O(D^2)$ para $O(D \log d)$ (onde $d$ é a dimensão da imagem), tornando o overhead negligenciável em comparação com o passo direto (forward pass) da rede de score.
Treinamento: Os autores adaptam dois objetivos existentes para aprender os parâmetros da covariância:
- Correspondência de Covariância Ótima (OCM): Baseada no Jacobiano da função de score (fórmula de segunda ordem de Tweedie).
- Resíduo de Previsão de Ruído (NPR): Baseada em uma formulação de Erro Médio Quadrático Mínimo (MMSE).
- Ambos os objetivos são estendidos para lidar com modelos não-diagonais usando estimadores de traço estocásticos e produtos matriz-vetor eficientes derivados da estrutura Kronecker-DCT.
Amostragem: A amostragem é realizada adicionando duas amostras Gaussianas independentes: uma do termo diagonal e outra do termo Kronecker-DCT. Esta última é amostrada eficientemente usando a base DCT e os autovalores aprendidos.

3. Estratégia de Treinamento

O modelo K-DCT é treinado como uma "amortização" sobre redes de score de primeira ordem (UNets) pré-treinadas. A arquitetura compartilha parâmetros com o modelo pré-treinado, com cabeças de rede neural adicionais e pequenas ( $NN_2$ ) dedicadas a prever os componentes da covariância ( $\varepsilon_\phi, C_\phi, \lambda_\phi$ ). Esta abordagem requer o treinamento de apenas uma pequena fração do total de parâmetros.

Principais Contribuições

Parametrização de Covariância Inovadora: Introdução do modelo K-DCT, que combina correlações inter-canais fatoradas por Kronecker com correlações espaciais baseadas em DCT. Isso captura o espectro de lei de potência de decaimento lento e a estrutura não-diagonal das imagens naturais de forma mais precisa do que aproximações diagonais ou de baixo posto.
Implementação Eficiente: Demonstração de que o modelo K-DCT pode ser treinado e amostrado com complexidade $O(D \log d)$ , evitando os gargalos de memória e computação da estimativa de covariância total.
Validação Empírica: Avaliação sistemática através de múltiplos conjuntos de dados (CIFAR-10, CelebA, ImageNet, LSUN) mostrando que o K-DCT supera os modelos de amostragem de estado da arte (SOTA) anteriores, particularmente no regime de poucos passos de amostragem.

Resultados

Os autores avaliaram seu método contra modelos de covariância heurísticos, diagonais e de baixo posto usando duas métricas primárias: Distância de Fréchet Inception (FID) para qualidade da amostra e Log-Verossimilhança Negativa (NLL) para ajuste estatístico.

Desempenho: O modelo K-DCT alcançou consistentemente um FID menor e um NLL menor em comparação com as linhas de base diagonais e de baixo posto em todos os conjuntos de dados e objetivos de treinamento (OCM e NPR).
Regime de Poucos Passos: As melhorias foram mais significativas quando o número de passos de amostragem ( $K$ ) era pequeno (ex: 10–25 passos). Nestes regimes, as aproximações diagonais falham em capturar a estrutura posterior necessária, enquanto o K-DCT mantém alta fidelidade.
Compromisso (Trade-off): O método alcança um compromisso superior entre FID e NLL em comparação com métodos existentes. Embora modelos destilados de um único passo possam oferecer geração mais rápida, eles carecem de estimativa de verossimilhança tratável, uma vantagem mantida pela abordagem K-DCT.
Overhead: Experimentos confirmaram que a parametrização K-DCT introduz um overhead de tempo de execução (wall-clock time) negligenciável em comparação com modelos diagonais, mesmo em conjuntos de dados de alta resolução como LSUN Bedroom (256x256).

Significância e Alegações

O artigo alega que modelar a estrutura não-diagonal dos posteriors de denoising é crucial para acelerar a amostragem de difusão sem sacrificar a qualidade. A significância do trabalho reside em:

Preencher a Lacuna: Ele preenche a lacuna entre a necessidade teórica de informação de segunda ordem precisa e as restrições práticas de memória e computação.
Estrutura Estatística: Destaca que as imagens naturais possuem propriedades estatísticas específicas (correlações espaço-cromáticas separáveis e espectros de lei de potência) que podem ser exploradas eficientemente via estrutura K-DCT.
Limitações e Trabalho Futuro: Os autores observam modestamente que, embora o K-DCT melhore o desempenho, ele ainda não iguala o FID de modelos destilados de um único passo. Eles sugerem que isso pode ser porque os posteriors de salto de etapa estão longe de serem Gaussianos, implicando que mesmo um modelo de covariância perfeito não pode corrigir totalmente o erro de amostragem se a própria suposição Gaussiana for violada. Eles também especulam que, embora o método seja projetado para imagens, ele poderia se aplicar a outros domínios com invariância de translação aproximada, como áudio e fala, citando resultados preliminares de prova de conceito em dados de fala.