Resumo Técnico: SONIC (Spectral Optimization of Noise for Inpainting with Consistency)

Declaração do Problema

As abordagens atuais para inpainting de imagens utilizando modelos de texto-para-imagem prontos para uso (especificamente modelos de difusão de denoising e modelos de fluxo) enfrentam um compromisso entre versatilidade e desempenho. Embora métodos sem treinamento que dependem de orientação (guidance) e amostragem posterior permitam o uso de modelos genéricos para problemas inversos sem o ajuste fino (fine-tuning) dispendioso, eles frequentemente produzem resultados com estruturas de imagem inconsistentes em comparação com modelos de inpainting especializados e treinados.

Os autores argumentam que a principal limitação dos métodos existentes sem treinamento é a negligência em relação à amostra de ruído inicial. Embora seja bem estabelecido que o ruído inicial determina amplamente o layout e a estrutura da geração final, otimizar este ruído diretamente é computacionalmente proibitivo. As abordagens padrão exigem o back-propagation através de toda a cadeia de denoising (desdobrando $T$ passos), o que é inviável para modelos modernos de grande escala devido a restrições de memória e computação. Consequentemente, os métodos existentes frequentemente se contentam com uma inicialização de ruído subótima, levando a desalinhamentos estruturais nas regiões inpainted.

Metodologia

O SONIC propõe um novo framework sem treinamento que otimiza a amostra de ruído inicial para reproduzir fielmente as regiões não mascaradas de uma imagem de entrada, garantindo assim a consistência estrutural no inpainting final. O método evita o back-propagation através do denoiser empregando duas inovações técnicas centrais:

1. Linearização da Trajetória de Denoising

Para contornar a necessidade de desdobrar a cadeia de denoising, o SONIC aproxima a trajetória de denoising como um caminho linear.

• Formulação: Em vez de tratar o processo de denoising $x_0 = D_T(x_T)$ como uma função não linear complexa que requer o cálculo de gradiente através de cada passo, os autores aproximam a trajetória $x(t)$ como:
  $$\hat{x}(t) \approx \text{stopgrad}(D_T(x_T) - x_T)(1 - \frac{t}{T}) + x_T$$
• Mecanismo: Esta linearização assume que a diferença entre a imagem final denoisada e o ruído inicial é constante ao longo do processo. Isso permite que o objetivo de otimização seja formulado como uma perda diferenciável em relação a $x_T$ sem realizar o back-propagation através do denoiser $D_T(\cdot)$. A perda minimiza a diferença entre a imagem mascarada observada $y$ e a versão corrompida da saída denoisada linearmente aproximada.

2. Precondicionamento Espectral

A otimização direta do ruído inicial no domínio espacial frequentemente leva à instabilidade, onde diferentes frequências espaciais convergem em taxas distintas, causando cintilação (flickering) ou artefatos.

• Otimização no Domínio Espectral: O método transforma o problema de otimização para o domínio da frequência. O ruído inicial $x_T$ é representado por sua transformada de Fourier $X_T$.
• Otimização Adam: A otimização é realizada sobre $X_T$ usando o otimizador Adam. Como o Adam divide as atualizações de parâmetros por seus segundos momentos, operar no domínio espectral atua efetivamente como um precondicionador. Isso permite que diferentes componentes de frequência converjam em seus ritmos preferidos, estabilizando o processo de otimização e evitando que o ruído divirja do manifold aceitável.
• Restrições Espaciais: Para evitar que as regiões não observadas (mascaradas) do ruído se afastem da distribuição Gaussiana esperada pelo modelo, as atualizações de gradiente são mascaradas. Apenas os gradientes correspondentes aos pixels observados (não mascarados) são aplicados.

Detalhes de Implementação

• Eficiência no Espaço Latente: O método opera inteiramente no espaço latente. Para imagens mascaradas, os autores empregam uma estratégia simples de preenchimento por vizinho mais próximo antes da codificação, considerando isso suficiente para um desempenho robusto.
• Fluxo de Trabalho: O processo envolve a otimização do ruído inicial $X_T$ por um número fixo de iterações (ex: 20) usando a perda linearizada e o precondicionamento espectral. O ruído otimizado resultante é então alimentado em um pipeline de inpainting padrão sem treinamento (ex: BLD-SD3.5) para gerar a imagem final.

Principais Contribuições

1. Otimização do Ruído Inicial sem Back-propagation: O artigo introduz uma estratégia de linearização que permite a otimização da amostra de ruído inicial para problemas inversos sem o custo computacional de desdobrar a cadeia de denoising.
2. Precondicionamento Espectral: Os autores demonstram que otimizar no domínio espectral com Adam proporciona uma convergência significativamente mais estável do que a otimização espacial, abordando as taxas de convergência dependentes de frequência inerentes aos modelos de difusão/fluxo.
3. Estado da Arte Sem Treinamento: O método alcança um desempenho superior em comparação com as linhas de base (baselines) de inpainting sem treinamento (FLAIR, FlowChef, FlowDPS, BLD-SD3.5) e resultados competitivos contra modelos especializados treinados.

Resultados Experimentais

Os autores avaliaram o SONIC em três datasets padrão: FFHQ (rostos), DIV2K (imagens naturais) e BrushBench (máscaras complexas).

• Desempenho Quantitativo: O SONIC superou os métodos de ponta sem treinamento (FLAIR, FlowChef, FlowDPS, BLD-SD3.5) e o modelo especializado treinado BrushNet em métricas perceptuais chave: SSIM, LPIPS e FID.
  • No FFHQ, o SONIC alcançou um LPIPS de 0,121 e um FID de 12,883, significativamente melhor que o FLAIR (0,266 LPIPS, 18,982 FID) e o BrushNet (0,237 LPIPS, 17,950 FID).
  • No DIV2K e BrushBench, tendências semelhantes foram observadas, com o SONIC mostrando a melhor consistência estrutural e similaridade perceptual.
• Resultados Qualitativos: Comparações visuais mostraram que o SONIC produz regiões inpainted que se alinham melhor com a estrutura global, iluminação e layout da imagem de entrada em comparação com as linhas de base, que frequentemente sofriam de desalinhamento estrutural ou artefatos de desfoque.
• Estudos de Ablação:
  • A remoção do precondicionamento espectral (otimização no domínio espacial) levou a um desempenho significativamente pior (LPIPS e FID mais altos), confirmando a necessidade de estabilização no domínio da frequência.
  • A remoção das restrições espaciais causou a divergência da otimização, introduzindo artefatos visíveis e mudanças de cor.
  • O uso de pixels de verdade fundamental (ground-truth) para o encoder (limite superior) rendeu resultados quase idênticos ao preenchimento simples por vizinho mais próximo, validando a robustez da estratégia de espaço latente.

Significância e Alegações

O artigo afirma que o SONIC aborda uma lacuna crítica na aplicação de modelos generativos genéricos a problemas inversos. Ao identificar a amostra de ruído inicial como o "ingrediente ausente" e fornecer um método prático e estável para otimizá-la, o SONIC permite que modelos prontos para uso alcancem o desempenho anteriormente reservado para redes de inpainting especializadas e treinadas.

Os autores enfatizam que seu método é sem treinamento, evitando os custos e problemas de generalização associados ao ajuste fino de modelos em tipos específicos de máscara. Eles posicionam o SONIC não apenas como uma ferramenta de inpainting, mas como uma prova de conceito de que a linearização e o precondicionamento espectral podem desbloquear o potencial de modelos de fluxo genéricos para uma gama mais ampla de problemas inversos, como super-resolução e deblurring, sem a necessidade de amostragem posterior complexa ou back-propagation.