Resumo Técnico: Pro-DG: Guia de Difusão Procedural para Geração de Fachadas Arquitetônicas

Declaração do Problema

A geração de variações realistas de fachadas arquitetônicas que aderem a princípios estruturais, preservando ao mesmo tempo a identidade central de um design original, permanece um desafio significativo. Métodos existentes em computação gráfica e visão focam tipicamente ou em modelagem procedural (que frequentemente exige intervenção substancial do artista para o fotorealismo) ou em síntese de imagem baseada em difusão (que luta com controle estrutural preciso e consistência global). Embora abordagens neuro-simbólicas recentes tenham tentado preencher essa lacuna, há uma falta de frameworks que combinem efetivamente estruturas procedurais simbólicas e hierárquicas com modelos de difusão para permitir edições estruturais controláveis e em grande escala (por exemplo, duplicação de andares, reorganização de janelas) sem perder a fidelidade visual da imagem de origem. Métodos atuais de edição baseados em difusão frequentemente focam na manipulação localizada de objetos em vez de reestruturar todo o espaço da imagem.

Metodologia

O framework proposto, Pro-DG, unifica gramáticas simbólicas de fachada com síntese de imagem baseada em difusão através de um pipeline de cinco etapas:

1. Reconstrução Procedural Inversa:
   O sistema começa extraindo uma representação procedural de uma imagem de fachada de entrada ($F_{in}$) e sua segmentação. Ele utiliza FaçAID, um método neuro-simbólico baseado em transformadores, para inferir uma árvore de derivação de gramática de divisão hierárquica ($P_{in}$). Esta árvore divide o espaço da imagem em regiões semânticas (por exemplo, andares, paredes, janelas) e não terminais, capturando a hierarquia estrutural da fachada.

2. Edição de Estrutura:
   Os usuários definem edições modificando a representação procedural para criar uma estrutura alvo ($P_{out}$). As edições podem envolver o ajuste de parâmetros (por exemplo, número de andares) ou a alteração da hierarquia (por exemplo, exclusão de elementos específicos). O par $(P_{in}, P_{out})$ define a transformação desejada.

3. Correspondência Hierárquica:
   Um algoritmo de correspondência inovador cria uma correspondência entre as estruturas de origem ($P_{in}$) e alvo ($P_{out}$). Esta etapa emparelha símbolos da árvore alvo com a árvore de origem com base em duas métricas personalizadas:

   • Métrica SVD: Usa a Decomposição em Valores Singulares para comparar a complexidade estrutural e a simetria de regiões da imagem, tratando regiões com diferentes contagens de elementos, mas padrões estruturais semelhantes, como idênticas.
   • Métrica de Histograma: Usa a distância de Hellinger em histogramas de intensidade para garantir consciência de conteúdo (por exemplo, distinguir entre uma parede e uma janela).
     O algoritmo impõe consistência pai-filho, garantindo que os nós correspondidos respeitem as restrições hierárquicas da gramática.

4. Reconstrução por Difusão (Inversão):
   O sistema realiza Inversão de Texto Nulo na imagem de entrada para recuperar o vetor de ruído inicial e as ativações da rede ($\Psi_{in}$) necessários para reconstruir $F_{in}$. Simultaneamente, mapas de borda Canny ($C_{in}$) são extraídos. Esta etapa captura a "identidade" da fachada original.

5. Inferência Guiada:
   A etapa central de síntese guia um modelo de difusão (Stable Diffusion 1.5 com um ControlNet de borda Canny) para gerar a saída ($F_{out}$).

   • Entradas de Controle: A correspondência hierárquica é usada para construir um novo mapa de borda Canny ($C_{out}$) e ativações de rede alvo ($\Psi_{out}$) copiando e redimensionando segmentos da origem com base nas correspondências estabelecidas.
   • Otimização: O processo de difusão é guiado por $C_{out}$ via ControlNet para impor a estrutura alvo. Além disso, um objetivo de otimização minimiza a distância L2 entre as ativações latentes atuais e $\Psi_{out}$, garantindo a preservação da aparência e textura locais.

Contribuições Principais

O artigo apresenta três contribuições primárias:

1. Algoritmo de Correspondência Consciente de Hierarquia: Uma métrica inovadora que combina análise estrutural baseada em SVD e análise de conteúdo baseada em histograma para impor consistência pai-filho enquanto alinha sinais estruturais e visuais entre árvores procedurais.
2. Pipeline Unificado ControlNet: Um sistema que sintetiza sinais de controle derivados da hierarquia (bordas Canny) e alvos de ativação para guiar todas as etapas do processo de difusão, permitindo a reestruturação global do espaço da imagem em vez de edições localizadas.
3. Avaliação Abrangente: Uma avaliação em 50 imagens de fachada diversas demonstrando ganhos consistentes em fidelidade estrutural e coerência visual em comparação com baselines de última geração.

Resultados e Avaliação

O método foi avaliado em um conjunto de dados de 50 imagens de fachada do mundo real, com um subconjunto de 20 usado para análise qualitativa e estudos com usuários.

• Resultados Qualitativos: O sistema gera com sucesso fachadas editadas que preservam a identidade central do design original enquanto aderem a edições estruturais complexas. As saídas exibem fotorealismo comparável ao modelo subjacente Stable Diffusion 1.5.
• Baselines: Os autores compararam seu método contra:
  • Baseline ControlNet: Uma abordagem padrão baseada em segmentação usando Inversão de Texto Nulo.
  • Baseline Photoshop: Uma abordagem semi-automática de inpainting baseada em colagem usando Adobe Firefly.
  • Renderizações Sintéticas: Renderizações 3D de modelos de fachada modificados usados como proxy para verdade fundamental.
• Estudo com Usuários: Em um estudo envolvendo 105 usuários e 3.045 avaliações, o Pro-DG foi significativamente preferido à baseline ControlNet por realismo e preservação de aparência. Também superou a baseline Photoshop em adesão à edição e preservação de identidade, apesar da baseline Photoshop usar um modelo de preenchimento generativo mais avançado (Firefly).
• Métricas Quantitativas:
  • Distância Wasserstein Fatia (SWD): O Pro-DG alcançou a menor SWD (0,1185), indicando preservação superior de aparência e textura locais em comparação com as baselines ControlNet (0,1844) e Photoshop (0,124).
  • Distância de Cosseno CLIP (CCD): O Pro-DG mostrou forte similaridade semântica (0,118), superando a baseline ControlNet (0,2146). Embora a baseline Photoshop tivesse uma CCD ligeiramente menor (0,0936), isso é atribuído à cópia direta de objetos pela baseline, que a métrica favorece.
• Estudos de Ablação: Experimentos confirmaram a necessidade tanto do ControlNet quanto da orientação de ativação; a remoção de qualquer um levou a alucinações ou saídas desfocadas. O estudo também destacou que a correspondência hierárquica para símbolos terminais (por exemplo, paredes) é crítica para manter a fidelidade da textura.

Significado e Limitações

O artigo afirma que o Pro-DG aborda a lacuna inexplorada entre estruturas procedurais simbólicas e modelos de difusão, oferecendo um framework para geração de imagens de alta qualidade e controlável que mantém a integridade arquitetônica. Diferentemente da maioria dos métodos de edição baseados em difusão que transformam objetos específicos, o Pro-DG permite a reestruturação de todo o espaço da imagem, mantendo a identidade do design original.

Limitações reconhecidas pelos autores incluem:

• Geração de Novos Elementos: O método luta quando a estrutura alvo introduz elementos não presentes no design original (por exemplo, adicionar portas a uma fachada sem portas), pois o emparelhamento hierárquico carece de correspondências válidas.
• Expressividade da Gramática: Se a gramática subjacente (FaçAID) não puder expressar a complexidade de uma fachada específica, a reconstrução inversa falha, levando a incompatibilidades.
• Ruído Visual: Imagens de entrada com obstruções (árvores, placas) podem introduzir ruído não estrutural nos mapas Canny e ativações, resultando em saídas incoerentes.
• Restrições do Modelo: A implementação atual depende do Stable Diffusion 1.5 e seu ControlNet, o que limita a fidelidade alcançável em comparação com backbones de difusão mais novos e especializados.

Os autores concluem que a sinergia entre representações procedurais simbólicas e síntese orientada por dados promete aplicações em restauração de fachadas e design arquitetônico interativo, demonstrando o potencial da integração neuro-simbólica na edição de imagens estruturadas.