Resumo Técnico: Direcionamento Geral e Eficiente de Modelos de Difusão (NA-RFM)

Declaração do Problema

Os modelos de difusão estabeleceram-se como a metodologia dominante para a síntese de imagens de alta qualidade. Embora possam ser guiados de forma eficaz quando as condições (por exemplo, rótulos de classe ou prompts de texto) são incorporadas ao processo de treinamento via Guia Livre de Classificador (CFG), muitas aplicações exigem o direcionamento para condições que foram não vistas ou indisponíveis durante o treinamento. Exemplos incluem novas classes de objetos, espécies de detalhamento fino ou propriedades visuais específicas definidas apenas por exemplos.

Abordagens existentes para direcionar modelos incondicionais para tais condições não vistas tipicamente dependem de direcionamento baseado em gradiente. Esses métodos ou treinam classificadores condicionados ao ruído ou utilizam classificadores prontos para calcular gradientes em cada etapa de denoising. Embora eficazes, essas abordagens incorrem em um overhead computacional substancial devido aos cálculos de gradiente por etapa e à retropropagação através do modelo de difusão ou de classificadores auxiliares durante a inferência.

Metodologia: Direcionamento de RFM Alinhado ao Ruído (NA-RFM)

Os autores propõem o Direcionamento de RFM Alinhado ao Ruído (NA-RFM), um método post-hoc para direcionar modelos de difusão incondicionais pré-treinados sem exigir gradientes em tempo de inferência. O método opera em duas fases distintas: uma fase de preparação offline e uma fase de amostragem online livre de gradientes.

1. Observações Principais

O design do NA-RFM é fundamentado em duas observações empíricas relativas ao comportamento dos modelos de difusão em diferentes níveis de ruído:

• Observação 1 (Estrutura Coarse de Alto Ruído): Em níveis de ruído elevados, as trajetórias reversas já contêm informações grosseiras (coarse) preditivas da classe final gerada. Aproximações Lineares-Gaussianas ou de PCA do modelo de difusão neste regime podem fornecer um sinal de direcionamento tratável.
• Observação 2 (Direções de Ativação Transferíveis): Em níveis de ruído moderados e baixos, as ativações do processo direto fornecem sinais discriminativos fortes. Crucialmente, a direção aprendida a partir dessas ativações permanece alinhada através de uma janela de passos de amostragem reversa intermediários/tardios, permitindo que uma única direção aprendida offline seja reutilizada durante a amostragem.

2. Estágio Offline

Para um conceito alvo $c$ (por exemplo, uma classe específica ou propriedade visual), o NA-RFM calcula dois sinais de direcionamento usando exemplos rotulados:

• Alinhamento de Ruído (Estatísticas de PCA): Os autores calculam estatísticas de Análise de Componentes Principais (PCA) para a classe alvo ($\mu_c, V_c$) e para o conjunto de dados completo ($\mu_{all}, V_{all}$). Essas estatísticas definem um denoiser de PCA condicionado à classe $D_c$ e um denoiser incondicional $D_{all}$. A diferença entre esses denoisers serve como um sinal de direcionamento no espaço de pixels para passos de alto ruído.
• Aprendizado de Direção RFM: Usando ativações do processo direto de imagens rotuladas corrompidas para um nível de referência de baixo ruído, os autores treinam uma Máquina de Recurso Recursiva (RFM). A RFM aprende uma direção discriminativa alvo-versus-fundo ($v_c$) no espaço de ativação de um bloco U-Net selecionado. Esta direção é derivada do Produto Externo do Gradiente Médio (AGOP) do preditor RFM, enfatizando características que separam o alvo do restante.

3. Estágio de Amostragem Online

Durante a inferência, o NA-RFM direciona o processo de geração sem retropropagação:

• Janela de Alto Ruído ($\sigma_t \ge \sigma_{end}$): O amostrador aplica o Alinhamento de Ruído. Ele calcula a diferença entre os denoisers de PCA condicionados à classe e incondicionais e adiciona esta correção diretamente à imagem limpa estimada ($\hat{x}_0$).
• Janela Intermediária/Tardia ($\sigma_t \in [\sigma_{lo}^R, \sigma_{hi}^R]$): O amostrador aplica o Direcionamento de Ativação RFM. A direção aprendida $v_c$ é remodelada para a forma de tensor do bloco alvo e adicionada ao tensor de ativação do bloco. Esta edição é amplificada pela extrapolação da estimativa denoisada resultante em direção à estimativa direcionada.
• Eficiência: O processo online requer apenas passagens para frente (forward passes) através do modelo de difusão e operações simples de matriz-vetor. Nenhum gradiente é calculado através do modelo de difusão ou de qualquer classificador.

Principais Contribuições

1. Direcionamento Post-Hoc Livre de Gradiente: O NA-RFM permite a geração controlável para condições não vistas sem o retreinamento do modelo de difusão ou o cálculo de gradientes durante a inferência, abordando os gargalos computacionais dos métodos baseados em gradiente existentes.
2. Mecanismo de Direcionamento Híbrido: O artigo introduz uma combinação inovadora de Alinhamento de Ruído (para controle coarse em alto ruído) e Direcionamento de Ativação RFM (para controle de detalhamento fino em ruído intermediário/baixo), aproveitando as propriedades distintas da trajetória de difusão em diferentes estágios.
3. Validação Teórica e Empírica de Transferência de Direção: Os autores fornecem um modelo teórico (Proposição A.1) e evidência empírica (Figura 3) demonstrando que as direções de ativação discriminativas aprendidas em níveis de baixo ruído permanecem estáveis e transferíveis através da janela de amostragem intermediária/tardia.
4. Computação no Espaço de Amostras: Para lidar com espaços de ativação de alta dimensão com amostras limitadas, o método utiliza computações compactas no espaço de amostras tanto para a extração de estatísticas de PCA quanto de direção RFM, evitando a formação de grandes matrizes de covariância.

Resultados Experimentais

O NA-RFM foi avaliado em quatro benchmarks: CIFAR-10, ImageNet (256×256), CelebA-HQ (atributo múltiplo) e espécies de aves de detalhamento fino (fora da distribuição).

• Acurácia: O NA-RFM supera significativamente as linhas de base de gradiente sem treinamento (ex: TFG). No CIFAR-10, alcança 96,6% de acurácia alvo comparado a 77,1% do TFG-4. No ImageNet, a acurácia melhora de 59,8% para 75,8%. Para espécies de aves de detalhamento fino, a acurácia sobe de 2,2% para 14,1%.
• Qualidade de Imagem: O método mantém ou melhora a qualidade da imagem (FID). No CIFAR-10, o NA-RFM alcança um FID de 41,4, comparável ao guia de classificador (41,9) e significativamente melhor que o TFG-4 (73,9).
• Eficiência: O NA-RFM oferece acelerações substanciais. No CIFAR-10, é 16× mais rápido que o TFG-4. No ImageNet, o tempo total para 1024 imagens cai de 22,7 horas (TFG-4) para 2,67 horas (NA-RFM), uma vez que a preparação offline é amortizada sobre as amostras geradas.
• Generalização: O método estende-se a modelos de difusão latente baseados em transformer (SiT-XL/2) e modelos condicionais (Stable Diffusion 1.5) para controlar atributos visuais como profundidade de campo, que são difíceis de especificar apenas via prompts de texto.

Significância e Alegações

O artigo alega que o NA-RFM fornece uma receita geral e eficiente para direcionar modelos de difusão incondicionais. Ao desacoplar a construção do sinal de direcionamento (offline) do processo de amostragem (online), ele alcança alta acurácia de alvo e qualidade de imagem enquanto elimina o custo computacional dos cálculos de gradiente por etapa.

Os autores enfatizam que seu método evita a necessidade de treinar classificadores condicionados ao ruído ou depender de classificadores prontos que podem fornecer gradientes fracos ou desalinhados. Em vez disso, o NA-RFM constrói direções de direcionamento específicas para o alvo diretamente a partir de dados de exemplo, permitindo o controle robusto sobre uma ampla gama de condições, incluindo classes raras e atributos de detalhamento fino. O trabalho sugere que combinar correções de alto ruído coarse com direções de ativação de baixo ruído estáveis é uma estratégia viável para modelagem generativa escalável e controlável.