StructDiff: A Structure-Preserving and Spatially Controllable Diffusion Model for Single-Image Generation

1. O Problema

A geração de imagem única (single-image generation) visa sintetizar amostras diversas que mantenham o conteúdo visual similar à imagem de entrada, capturando suas estatísticas internas sem depender de dados externos. Apesar dos avanços recentes, os métodos existentes enfrentam dois desafios principais:

• Preservação Estrutural: Métodos multiescala (como SinGAN) sofrem com acúmulo de erros durante a geração hierárquica, distorcendo objetos grandes. Métodos de escala única (como SinDiffusion) possuem campos receptivos fixos que não conseguem capturar simultaneamente texturas finas e estruturas globais, levando a perda de coerência estrutural.
• Controle Espacial: A maioria das abordagens carece de controle espacial preciso. É difícil guiar a estrutura ou o posicionamento do conteúdo gerado (ex.: mover, escalar ou editar regiões específicas) sem reentrenar o modelo ou perder a fidelidade à imagem original.

2. Metodologia (StructDiff)

O StructDiff é um framework generativo baseado em um modelo de difusão de escala única (single-scale), projetado para resolver as limitações acima através de três inovações principais:

A. Arquitetura de Campo Receptivo Adaptativo (ARF)

• Motivação: Para evitar o acúmulo de erros de métodos multiescala e a rigidez de métodos de campo receptivo fixo.
• Implementação: O modelo utiliza uma arquitetura totalmente convolucional (removendo downsampling, upsampling e módulos de atenção para evitar "memorização" excessiva).
• Mecanismo: Introduz blocos ARF (Adaptive Receptive Field) que contêm múltiplas ramificações convolucionais paralelas com diferentes tamanhos de kernel (ex.: 5x5, 7x7, 9x9, 11x11).
• Funcionamento: Um mecanismo de atenção dinamicamente pondera a fusão das características dessas ramificações. Se a imagem contém objetos grandes, os kernels maiores recebem mais peso; para detalhes finos, os menores são priorizados. Isso permite percepção multiescala dentro de uma única escala de treinamento.

B. Codificação Posicional 3D (3D PE) para Controle Espacial

• Inovação: É a primeira exploração de codificação posicional baseada em PE para geração de imagem única.
• Estrutura: O vetor posicional é tridimensional, composto por:
  1. Coordenadas espaciais $(x, y)$.
  2. Uma máscara binária de primeiro plano/fundo ($m$).
• Embedding de Fourier: O vetor é transformado por um mapeamento de Fourier aprendível. Isso garante equivariância à translação (preservando a consistência de regiões não controladas) e sensibilidade a alta frequência (bordas nítidas).
• Controle: Durante a inferência, modificar a PE permite deslocar, escalar ou deformar regiões específicas (ex.: mover um objeto, ajustar traços faciais) mantendo a coerência estrutural global.

C. Aplicações sem Treinamento (Training-Free)

O framework adapta-se a várias tarefas sem reentrenamento:

• Geração Guiada por Texto: Usa CLIP para alinhar o conteúdo gerado com prompts textuais.
• Edição e Outpainting: Utiliza estratégias de amostragem que injetam estruturas de baixa frequência de uma imagem de referência ou estendem a imagem mantendo a consistência semântica e de ruído.

D. Função de Perda

O treinamento combina:

1. Erro Quadrático Médio (MSE): Padrão em DDPM para remoção de ruído.
2. Perda Perceptiva Sensível ao Primeiro Plano ($L_{FG}$): Uma combinação de perda VGG e perda de borda (Sobel) aplicada apenas na região de primeiro plano, garantindo fidelidade estrutural e de borda nos objetos principais.

3. Contribuições Chave

1. Framework Estrutural: Proposta do StructDiff, que utiliza campos receptivos adaptativos para alcançar percepção estrutural multiescala em um modelo de difusão de escala única, superando a distorção em objetos grandes.
2. Controle Espacial via PE: Introdução da primeira codificação posicional 3D (com embedding de Fourier) como prior espacial manipulável, permitindo controle preciso de localização, escala e detalhes locais sem reentrenamento.
3. Nova Métrica de Avaliação: Desenvolvimento de um critério de avaliação baseado em Grandes Modelos de Linguagem (LLMs) (usando GPT-4o). Esta métrica (SIQS) avalia qualidade e consistência estrutural, oferecendo uma alternativa eficiente e de baixo custo aos estudos de usuários tradicionais e superando as limitações de métricas objetivas cegas.

4. Resultados Experimentais

• Desempenho Quantitativo: Em conjuntos de dados como Places50, Mulmini-N e Mulmini-L (focado em objetos grandes), o StructDiff superou métodos state-of-the-art (SinGAN, SinDDM, SinDiffusion) em métricas de fidelidade estrutural (SIFID) e qualidade visual (MUSIQ, DB-CNN).
• Consistência Estrutural: Em imagens com objetos grandes, o StructDiff demonstrou superioridade significativa na preservação da forma global e detalhes finos, evitando a fragmentação comum em outros métodos.
• Validação da Métrica LLM: A métrica baseada em LLM mostrou uma taxa de concordância de 92,5% com estudos de usuários humanos, superando drasticamente métricas tradicionais (que ficaram em ~70%).
• Controle Espacial: Na edição guiada por PE, o StructDiff manteve bordas nítidas e o layout de fundo intacto, enquanto métodos comparáveis (como SinDDM) produziram artefatos e bordas borradas.
• Comparação com DiT: Diferentemente de modelos baseados em Transformers de Difusão (DiT) treinados em grandes datasets, que tendem a memorizar a imagem ou gerar pouca diversidade, o StructDiff preserva as estatísticas internas da imagem única com alta diversidade.

5. Significado e Impacto

O trabalho do StructDiff representa um avanço significativo na área de aprendizado interno (internal learning) e geração de imagens.

• Solução de Limitações Arquitetônicas: Demonstra que é possível obter percepção multiescala e controle espacial sem a complexidade de arquiteturas hierárquicas ou a necessidade de grandes datasets.
• Ferramenta Prática: Oferece um framework versátil para tarefas de edição de imagem, outpainting e síntese guiada por texto, operando diretamente em uma única imagem de entrada.
• Mudança de Paradigma na Avaliação: A introdução de métricas baseadas em LLMs para tarefas de geração de imagem única oferece uma nova direção para avaliação automatizada, reduzindo a dependência de avaliações humanas custosas e subjetivas.

Em resumo, o StructDiff estabelece um novo estado da arte para a geração e manipulação de imagens a partir de uma única fonte, equilibrando fidelidade estrutural, qualidade visual e controle espacial manipulável.