U-Sketch: An Efficient Approach for Sketch to Image Diffusion Models

1. Problema e Contexto

O artigo aborda o desafio da síntese de imagem a partir de esboços (sketch-to-image). Embora os modelos de difusão tenham demonstrado desempenho excepcional na geração de imagens a partir de texto (text-to-image), eles ainda apresentam limitações na tarefa de seguir estritamente o layout espacial de esboços de referência.

• Limitação dos Métodos Atuais: Métodos anteriores baseados em GANs careciam de flexibilidade de guia textual. Abordagens recentes baseadas em difusão, como a proposta por Voynov et al. [30], utilizam um preditor de arestas baseado em MLP (Perceptron Multicamada) que opera pixel a pixel.
• Deficiências Identificadas: A operação pixel a pixel do MLP falha em capturar correlações espaciais globais e locais entre os pixels, exigindo um grande número de iterações de desruído (denoising steps) para produzir resultados satisfatórios, o que resulta em ineficiência temporal.

2. Metodologia: O Framework U-Sketch

Os autores propõem o U-Sketch, um framework inovador que integra modelos de difusão com uma arquitetura de rede neural específica para guiar a síntese espacial. O sistema opera em três componentes principais:

A. Preditor de Arestas Latentes em U-Net (ULEP)

Em vez de um MLP, o núcleo do U-Sketch é um preditor baseado em U-Net.

• Entrada: O preditor recebe um vetor de ativações concatenadas extraídas das camadas intermediárias do U-Net de desruído do modelo base (Stable Diffusion), juntamente com o nível de ruído ($t$) e seu positional encoding.
• Funcionamento: A arquitetura U-Net, por sua natureza convolucional, é capaz de capturar e extrair correlações espaciais entre pixels (tanto locais quanto globais), ao contrário do MLP que trata cada pixel isoladamente.
• Objetivo: Estimar o mapa de arestas da representação latente da imagem em cada passo de desruído.

B. Processo de Guia (Guidance) durante a Inferência

O guia é aplicado durante a fase de inferência (sem necessidade de re-treinar o modelo de difusão base):

1. O processo de difusão reversa gera uma estimativa da imagem latente ($z_{t-1}$).
2. O ULEP prevê o mapa de arestas ($\hat{E}$) baseado nas ativações intermediárias.
3. Calcula-se uma função de perda (similaridade) entre o mapa de arestas previsto e o mapa de arestas do esboço de entrada ($\mathcal{E}(e)$).
4. O gradiente dessa perda é usado para ajustar a estimativa latente, forçando a imagem gerada a aderir ao contorno do esboço original.
5. Otimização: O guia é aplicado apenas nos primeiros $S$ passos do processo de desruído (ex: 50% dos passos), equilibrando fidelidade ao esboço e realismo.

C. Rede de Simplificação de Esboço

O framework inclui uma rede de simplificação que permite ao usuário pré-processar o esboço de entrada. Esta rede suaviza e refina as linhas, removendo ruídos e linhas indistintas, o que melhora a eficácia do guia espacial, especialmente em esboços manuais de baixa qualidade.

3. Contribuições Principais

1. Primeira Abordagem Baseada em U-Net para Difusão: Propõem o primeiro framework de síntese texto-para-imagem guiada por esboço que utiliza uma arquitetura U-Net para prever mapas de arestas latentes durante a inferência.
2. Eficiência Computacional: A capacidade da U-Net de entender o contexto espacial global permite que o modelo atinja resultados de alta qualidade com ~80% menos passos de desruído em comparação com métodos baseados em MLP.
3. Qualidade e Realismo: O método produz imagens mais realistas e com melhor aderência aos contornos espaciais, evitando o aspecto "anime" ou plano de fundo que métodos anteriores tendem a gerar quando forçados a seguir esboços complexos.
4. Flexibilidade de Entrada: A inclusão da rede de simplificação oferece controle ao usuário para melhorar a qualidade de entrada antes da geração.

4. Resultados e Avaliação

Os autores realizaram avaliações qualitativas e quantitativas comparando o U-Sketch com o método baseline (MLP):

• Qualitativo:

  • O U-Sketch gerou imagens com maior realismo e fidelidade de bordas.
  • Mesmo com 50 passos de desruído, o U-Sketch superou o MLP que utilizava 250 passos em termos de qualidade visual e coerência estrutural.
  • O tempo de execução foi drasticamente reduzido (ex: ~50 segundos no U-Sketch vs. ~250 segundos no MLP com mais passos em uma GPU T4).

• Quantitativo (Métricas e Estudos de Usuário):

  • Recall: O U-Sketch obteve um Recall de 0.645, superior ao MLP (0.595), indicando melhor sobreposição entre as arestas do esboço e da imagem gerada.
  • Preferência do Usuário: Em um estudo com 37 participantes, 60.9% preferiram as imagens do U-Sketch em termos de realismo, 70.5% em fidelidade de bordas e 70.7% em coerência estrutural global.
  • Avaliação (Rating): Em uma escala de 1 a 5, o U-Sketch superou o MLP em todas as métricas (Realismo: 3.97 vs 3.29; Fidelidade de Borda: 3.86 vs 2.89).

5. Significado e Conclusão

O U-Sketch representa um avanço significativo na área de síntese de imagens guiada por esboços. Ao substituir a abordagem pixel a pixel (MLP) por uma abordagem baseada em convolução espacial (U-Net), os autores conseguiram resolver o dilema entre fidelidade ao esboço e realismo da imagem, ao mesmo tempo que reduziram drasticamente o custo computacional.

O trabalho destaca que a compreensão das correlações espaciais globais é crucial para guiar modelos de difusão de forma eficiente. Além disso, os autores apontam a necessidade de desenvolver métricas de avaliação específicas para esta tarefa e sugerem que a influência da inicialização do ruído é um fator crítico a ser explorado em trabalhos futuros.