Resumo Técnico: NoiseTilt: Núcleos Reversos com Inclinação de Ruído para Alinhamento de Recompensa em Difusão

Declaração do Problema

O escalonamento em tempo de inferência emergiu como um mecanismo poderoso para alinhar modelos de difusão pré-treinados com as preferências do usuário sem o custo de um retreinamento. Quando as preferências são expressas como funções de recompensa, o processo iterativo de denoising dos modelos de difusão oferece uma forma agnóstica ao modelo para direcionar a amostragem para regiões de alta recompensa. No entanto, os métodos existentes enfrentam um compromisso fundamental entre orientação por gradiente e compatibilidade de ruído:

1. Métodos de Deslocamento de Média (Orientação por Gradiente): Abordagens como o DPS [10] injetam gradientes de recompensa diretamente na média do núcleo gaussiano reverso. Embora eficazes para direcionar a geração, elas deslocam os estados amostrados para fora do "regime compatível com o ruído" — a estreita região do espaço latente onde o modelo pré-treinado foi treinado para operar. Esse deslocamento faz com que os estados intermediários se tornem fora da distribuição (out-of-distribution), degradando a qualidade da geração e tornando o sistema propenso ao reward hacking.
2. Métodos Baseados em Busca: Abordagens como o SVDD [38] preservam a média reversa base ao extrair $K$ candidatos de um núcleo estocástico e selecionar o melhor. Embora isso mantenha a compatibilidade de ruído e a qualidade da amostra, abdica da orientação direta por gradiente, dependendo da amostragem aleatória para encontrar direções de melhoria de recompensa. Isso é computacionalmente ineficiente, exigindo um número proibitivamente grande de amostras para alcançar um alinhamento forte.

Nenhum método anterior alcança simultaneamente a orientação por gradiente e a compatibilidade de ruído.

Metodologia: Núcleo Reverso com Inclinação de Ruído (NTRK)

Os autores propõem o Noise-Tilted Reverse Kernels (NTRK), um amostrador que resolve esse compromisso mantendo a média reversa fixa e roteando a informação de recompensa exclusivamente através do termo de ruído.

Mecanismo Central

O passo reverso padrão é definido como $\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \bm{\epsilon}_t$, onde $\bm{\epsilon}_t \sim \mathcal{N}(\bm{0}, \bm{I})$.
O NTRK modifica o termo de ruído para:
$$\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \tilde{\bm{\epsilon}}_t$$
onde o ruído guiado $\tilde{\bm{\epsilon}}_t$ é uma mistura de uma direção de recompensa branqueada e estocasticidade não enviesada:
$$\tilde{\bm{\epsilon}}_t = \sqrt{\rho_t} \, \mathcal{W}(\nabla_{\bm{x}_t} r(\hat{\bm{x}}_{0|t})) + \sqrt{1-\rho_t} \, \bm{\epsilon}_t$$
Aqui, $\rho_t \in [0, 1]$ controla a força da orientação, e $\hat{\bm{x}}_{0|t}$ é a estimativa de Tweedie da imagem limpa.

O Operador de Branqueamento ($\mathcal{W}$)

O desafio central é que um gradiente de recompensa bruto é estruturado e determinístico, o que viola as propriedades estatísticas do típico ruído Gaussiano exigido pelo modelo pré-treinado. Injetá-lo diretamente criaria um "ruído atípico", levando a artefatos.

Para resolver isso, os autores introduzem um operador de branqueamento $\mathcal{W}$ que transforma o gradiente de recompensa em um vetor de ruído "típico" antes da injeção. Este operador garante que a perturbação permaneça dentro do regime compatível com o ruído, preservando ao mesmo tempo o sinal direcional do gradiente. O operador é construído via uma sequência de projeções em conjuntos de alta confiança derivados de estatísticas Gaussianas padrão:

1. Projeção de Ordem Estatística de Dois Níveis (2OS): O vetor de entrada é remodelado em blocos (tiles). Os valores são ordenados dentro de cada bloco e depois entre os blocs. As estatísticas duplamente ordenadas resultantes são limitadas a intervalos de confiança de 99,99% derivados da distribuição Beta. Isso suprime artefatos estruturados localizados enquanto mantém o histograma global.
2. Estatísticas por Bloco (Tile-Wise): O operador restringe ainda mais a média e a energia centrada de cada bloco para corresponder às distribuições esperadas do ruído Gaussiano padrão.
3. Domínios de Transformação Ortogonal: As mesmas projeções de intervalo de confiança são aplicadas em domínios transformados (ex: misturas compactas de Fourier e estilo Hadamard) para suprimir estruturas globais residuais que não são visíveis no domínio espacial.

Crucialmente, para entradas que já são ruído Gaussiano típico, $\mathcal{W}$ as deixa quase inalteradas, enquanto entradas estruturadas são substancialmente branqueadas.

Contribuições Principais

1. Resolução do Compromisso: O NTRK é o primeiro método que alcança simultaneamente a orientação por gradiente e a compatibilidade de ruído. Ele preserva a média reversa pré-treinada (ao contrário dos métodos de deslocamento de média) enquanto utiliza uma única amostra por passo (ao contrário dos métodos de busca).
2. O Operador de Branqueamento: O artigo identifica que a qualidade do alinhamento de recompensa está diretamente ligada à qualidade do operador de branqueamento. A projeção baseada em 2OS proposta mostra ser superior à simples projeção de norma ou restrições de igualdade rígida (como o WGNC [24]), pois equilibra a supressão de estrutura com a preservação da variabilidade natural do ruído.
3. Eficiência: Ao rotear gradientes através do termo de ruído, o NTRK alcança desempenho de estado da arte com significativamente menos avaliações de função (NFE).

Resultados Experimentais

Os autores avaliaram o NTRK em três tarefas principais usando FLUX [35] para imagens e Wan2.1 [70] para vídeo:

• Geração de Imagens Estéticas: O NTRK alcançou a maior recompensa alvo (Aesthetic Score) entre todos os baselines. Notavelmente, o NTRK com apenas 25 NFEs superou a recompensa do melhor baseline (SVDD) que utilizou 500 NFEs, representando uma redução de 20$\times$ no computo. Ele também manteve ou melhorou métricas de dados não utilizados (held-out) como ImageReward e HPSv2.
• Geração de Imagens Alinhadas ao Texto: Em prompts composicionais complexos (T2I-CompBench++), o NTRK superou os baselines em PickScore (recompensa alvo) e métricas de held-out como VQA Score e HPSv2.
• Geração de Vídeo Alinhada por Preferência: Usando VideoReward como alvo, o NTRK gerou vídeos com melhor alinhamento de texto, qualidade de movimento e qualidade visual comparado ao DPS e FreeDoM.
• Aplicações Adicionais: O método foi aplicado com sucesso à geração consciente de quantidade (contagem de objetos) e alinhamento de recompensa baseado em VLM (posicionamento de horizonte e profundidade), demonstrando ampla aplicabilidade.
• Integração com Ajuste Fino (Fine-Tuning): O NTRK mostrou-se ortogonal ao ajuste fino (ex: MixGRBS [37]), proporcionando ganhos adicionais quando aplicado sobre modelos já ajustados.

Significância e Alegações

O artigo afirma que o NTRK oferece um mecanismo simples e amplamente aplicável para o alinhamento de recompensa em tempo de inferência que mantém intacta a dinâmica de amostragem pré-treinada. Ao tratar o gradiente de recompensa como uma perturbação a ser branqueada, em vez de um deslocamento na média, o NTRK evita os problemas de fora da distribuição que assolam a orientação por gradiente.

Os autores enfatizam que a eficácia do método depende fortemente do operador de branqueamento. Seus estudos de ablação mostram que operadores mais fracos falham em remover a estrutura prejudicial, enquanto operadores excessivamente rígidos distorcem o ruído genuíno. A abordagem 2OS proposta navega com sucesso por esse compromisso, permitindo a geração de alta recompensa sem sacrificar a qualidade inerente ao modelo pré-treinado.

O trabalho sugere que o escalonamento de inferência futuro pode ir além da busca de força bruta ou deslocamentos destrutivos de média, aproveitando em vez disso as propriedades estatísticas do ruído para guiar a geração de forma eficiente.