Resumo Técnico: SteeringDiffusion

Declaração do Problema

Os modelos de difusão estabeleceram-se como o paradigma dominante para síntese de imagens de alta qualidade. No entanto, adaptar esses modelos a novos estilos visuais ou domínios apresenta desafios significativos. O ajuste fino completo tradicional é computacionalmente caro e propenso ao sobreajuste. Embora métodos de Ajuste Fino Eficiente em Parâmetros (PEFT), como LoRA, DiffFit e ajuste fino ortogonal, ofereçam alternativas mais leves, eles não fornecem uma superfície de controle contínua e navegável no momento da inferência. Alterar o ponto de operação nesses métodos geralmente requer re-treinamento ou ajuste grosseiro de hiperparâmetros, em vez de mover-se ao longo de um eixo de controle coerente. Da mesma forma, abordagens como DreamBooth, Inversão Textual e ControlNet carecem de uma interface explícita que permita a navegação contínua de compensações entre conteúdo e estilo sem modificar os parâmetros subjacentes do modelo.

A questão central abordada por este trabalho é: É possível orientar modelos de difusão através de modulação no nível de ativação para expor uma superfície de controle suave e monótona?

Metodologia: Orientação via Controle Explícito Engarrafado (S-BEC)

Os autores propõem o SteeringDiffusion, um método fundamentado no conceito de Orientação via Controle Explícito Engarrafado (S-BEC). Diferentemente dos métodos de adaptação no espaço de pesos, o SteeringDiffusion mantém a espinha dorsal U-Net inteiramente congelada e introduz uma interface de controle leve no nível de ativação.

Arquitetura Central

1. Escolha Congelada: O U-Net pré-treinado (Stable Diffusion SD 1.5 ou SDXL), o VAE e o codificador de texto CLIP permanecem inalterados.
2. Código Latente Condicionado ao Prompt: Um pequeno módulo aprendível ($g_\theta$) mapeia uma incorporação de texto agrupada (do codificador CLIP congelado) para um código de orientação de baixa dimensão $v \in \mathbb{R}^k$. Resultados empíricos sugerem que uma dimensão pequena ($k \approx 8\text{--}16$) é suficiente.
3. Modulação de Ativação: Este código latente $v$ é projetado em parâmetros afins ($\gamma, \beta$) que modulam ativações intermediárias através de transformações no estilo FiLM/AdaGN. A modificação é aplicada a características normalizadas por GroupNorm nos blocos intermediários e de aumento de amostragem do U-Net.
   • A regra de atualização é: $\Delta_\ell(h_\ell, c, t) = s \cdot f(t) \cdot (\gamma_\ell(v) \odot \text{GN}(h_\ell) + \beta_\ell(v))$.
4. Inicialização Zero: Todas as projeções de orientação são inicializadas com zero. Isso garante que, em uma escala de orientação $s=0$, a saída seja exatamente equivalente ao modelo base congelado, assegurando nenhuma degradação quando o controle estiver desativado.
5. Comutação Temporal: Uma função de comutação consciente do passo de tempo $f(t)$ (um sigmoid escalonado e deslocado) suprime a modulação durante os primeiros passos de remoção de ruído (onde a estrutura global é formada) e aumenta-a durante as etapas posteriores (onde textura e estilo são refinados). Isso previne a interrupção do conteúdo.

Controle na Inferência

No momento da inferência, um único escalar $s$ controla a força da orientação. Isso permite que os usuários naveguem continuamente pela compensação entre conteúdo e estilo sem re-treinamento ou alteração dos pesos do modelo.

Contribuições Principais

1. Framework de Orientação no Nível de Ativação: O artigo introduz o S-BEC como uma abstração geral para controlar espinhas dorsais de difusão congeladas através de modulação leve de ativação, em vez de atualizações de pesos.
2. Superfície de Controle Suave: Os autores demonstram que essa abordagem expõe uma superfície de controle suave, monótona e invariante ao estilo. Variar o escalar $s$ resulta em uma compensação previsível entre preservação de conteúdo e intensidade de estilo.
3. Diagnóstico de Estabilidade de Inversão: Uma nova métrica diagnóstica baseada na inversão DDIM é introduzida para medir a perturbação da trajetória. Essa métrica revela fortes correlações com a magnitude da intervenção e complementa métricas perceptuais padrão.
4. Distinção de Paradigma: O trabalho estabelece que os métodos existentes (LoRA, ControlNet, adaptadores de rank-1) não podem expor uma superfície de controle comparável, posicionando o S-BEC como um paradigma distinto e superior para controlabilidade em tempo de execução.

Resultados Experimentais

Os experimentos foram conduzidos no Stable Diffusion 1.5 e SDXL utilizando o conjunto de dados ArtBench-10 (cobrindo estilos como Art Nouveau, Impressionismo, Renascimento e Ukiyo-e).

• Monotonicidade: Em todos os estilos e dimensões ($k$) testados, o aumento da escala de orientação $s$ resultou em aumentos estritamente monótonos na mudança de estilo e diminuições na preservação de conteúdo (CLIP-I), sem violações observadas.
• Comparação com LoRA: Sob orçamentos de parâmetros equivalentes (Steering: 0,88M parâmetros vs. LoRA: 0,80M parâmetros), o SteeringDiffusion alcançou 33–80% de maior mudança de estilo em níveis comparáveis de preservação de conteúdo. Crucialmente, enquanto o LoRA exibiu "colapso de estilo" (comportamento não monótono e quedas bruscas na preservação de conteúdo) em multiplicadores altos, o SteeringDiffusion manteve uma compensação suave.
• Comparação com ControlNet e Rank-1: O ControlNet exigiu 720$\times$ mais parâmetros e causou significativamente mais interrupção de conteúdo. Adaptadores Rank-1 alcançaram apenas ~69% da mudança de estilo em preservação de conteúdo equivalente e induziram perturbação severa da trajetória.
• Generalização: A superfície de controle suave generalizou-se efetivamente do SD 1.5 para a maior espinha dorsal SDXL sem modificações arquitetônicas.
• Eficiência: O método adiciona sobrecarga de inferência negligenciável (~3 ms) e treina aproximadamente 2$\times$ mais rápido do que as bases LoRA.

Significado e Alegações

O artigo posiciona o SteeringDiffusion como uma interface de controle prática e de propósito geral para modelos de difusão congelados. Seu significado principal reside em reformular a controlabilidade como um problema de design de interface em vez de um problema de contagem de parâmetros.

Os autores argumentam que:

1. Geometria de Baixa Dimensão: Ao mediar todas as decisões de orientação através de um único código latente de baixa dimensão compartilhado entre blocos, o S-BEC cria uma interface de controle explícita independente da profundidade da rede. Isso contrasta com métodos no espaço de pesos (como LoRA), onde o controle é distribuído por milhares de parâmetros independentes, levando a comportamentos incoerentes e não monótonos em altas intensidades.
2. Coesão da Trajetória: A modulação no nível de ativação perturba o estado atual sem alterar o campo vetorial subjacente da dinâmica de difusão. Isso preserva a coerência da trajetória de remoção de ruído, ao contrário de atualizações de pesos ou ramos externos (ControlNet), que podem introduzir regiões instáveis ou atratores.
3. Alinhamento Temporal: A comutação consciente do passo de tempo alinha o controle com o surgimento semântico do estilo (etapas tardias), prevenindo o emaranhamento de conteúdo e estilo que ocorre com perturbações uniformes.

O artigo conclui que uma pequena interface de controle explícita, engarrafada e alinhada temporalmente pode expor uma superfície de controle bem comportada em grandes espinhas dorsais congeladas, oferecendo uma alternativa estável aos métodos atuais de PEFT e edição. Os autores observam explicitamente que suas alegações são validadas para transferência de estilo e que extensões para outros atributos (identidade do objeto, layout espacial) ou restrições de segurança requerem validação empírica adicional.