Resumen Técnico: Pro-DG: Guía Difusiva Procedimental para la Generación de Fachadas Arquitectónicas

Enunciado del Problema

La generación de variaciones realistas de fachadas arquitectónicas que se adhieran a principios estructurales mientras preservan la identidad central de un diseño original sigue siendo un desafío significativo. Los métodos existentes en gráficos por computadora y visión artificial se centran típicamente ya sea en el modelado procedimental (que a menudo requiere una intervención sustancial del artista para lograr el fotorealismo) o en la síntesis de imágenes basada en difusión (que lucha con el control estructural preciso y la consistencia global). Aunque los enfoques neuro-simbólicos recientes han intentado cerrar esta brecha, existe una falta de marcos que combinen eficazmente estructuras procedimentales simbólicas y jerárquicas con modelos de difusión para permitir ediciones estructurales controlables a gran escala (por ejemplo, duplicación de pisos, reorganización de ventanas) sin perder la fidelidad visual de la imagen de origen. Los métodos actuales de edición basados en difusión a menudo se centran en la manipulación localizada de objetos en lugar de reestructurar todo el espacio de la imagen.

Metodología

El marco propuesto, Pro-DG, unifica gramáticas simbólicas de fachadas con la síntesis de imágenes basada en difusión mediante una tubería de cinco etapas:

1. Reconstrucción Procedimental Inversa:
   El sistema comienza extrayendo una representación procedimental de una imagen de fachada de entrada ($F_{in}$) y su segmentación. Utiliza FaçAID, un método neuro-simbólico basado en transformadores, para inferir un árbol de derivación de gramática de división jerárquica ($P_{in}$). Este árbol divide el espacio de la imagen en regiones semánticas (por ejemplo, pisos, muros, ventanas) y no terminales, capturando la jerarquía estructural de la fachada.

2. Edición de Estructura:
   Los usuarios definen ediciones modificando la representación procedimental para crear una estructura objetivo ($P_{out}$). Las ediciones pueden implicar ajustar parámetros (por ejemplo, número de pisos) o alterar la jerarquía (por ejemplo, eliminar elementos específicos). El par $(P_{in}, P_{out})$ define la transformación deseada.

3. Emparejamiento Jerárquico:
   Un algoritmo de emparejamiento novedoso crea una correspondencia entre las estructuras de origen ($P_{in}$) y objetivo ($P_{out}$). Este paso empareja símbolos del árbol objetivo con el árbol de origen basándose en dos métricas personalizadas:

   • Métrica SVD: Utiliza la Descomposición en Valores Singulares para comparar la complejidad estructural y la simetría de las regiones de la imagen, tratando regiones con diferentes conteos de elementos pero patrones estructurales similares como idénticas.
   • Métrica de Histograma: Utiliza la distancia de Hellinger en histogramas de intensidad para asegurar la conciencia del contenido (por ejemplo, distinguir entre un muro y una ventana).
     El algoritmo hace cumplir la consistencia padre-hijo, asegurando que los nodos emparejados respeten las restricciones jerárquicas de la gramática.

4. Reconstrucción por Difusión (Inversión):
   El sistema realiza una Inversión de Texto Nulo en la imagen de entrada para recuperar el vector de ruido inicial y las activaciones de la red ($\Psi_{in}$) necesarios para reconstruir $F_{in}$. Simultáneamente, se extraen mapas de bordes Canny ($C_{in}$). Este paso captura la "identidad" de la fachada original.

5. Inferencia Guiada:
   El paso central de síntesis guía un modelo de difusión (Stable Diffusion 1.5 con ControlNet de bordes Canny) para generar la salida ($F_{out}$).

   • Entradas de Control: El emparejamiento jerárquico se utiliza para construir un nuevo mapa de bordes Canny ($C_{out}$) y activaciones de red objetivo ($\Psi_{out}$) copiando y redimensionando segmentos de la fuente basándose en las correspondencias establecidas.
   • Optimización: El proceso de difusión se guía mediante $C_{out}$ a través de ControlNet para hacer cumplir la estructura objetivo. Además, un objetivo de optimización minimiza la distancia L2 entre las activaciones latentes actuales y $\Psi_{out}$, asegurando la preservación de la apariencia local y la textura.

Contribuciones Clave

El artículo presenta tres contribuciones principales:

1. Algoritmo de Emparejamiento Consciente de la Jerarquía: Una métrica novedosa que combina el análisis estructural basado en SVD y el análisis de contenido basado en histogramas para hacer cumplir la consistencia padre-hijo mientras alinea señales estructurales y visuales entre árboles procedimentales.
2. Tubería Unificada ControlNet: Un sistema que sintetiza señales de control derivadas de la jerarquía (bordes Canny) y objetivos de activación para guiar todos los pasos del proceso de difusión, permitiendo la reestructuración global del espacio de la imagen en lugar de ediciones localizadas.
3. Evaluación Exhaustiva: Una evaluación en 50 imágenes de fachadas diversas que demuestra ganancias consistentes en fidelidad estructural y coherencia visual en comparación con las líneas base del estado del arte.

Resultados y Evaluación

El método fue evaluado en un conjunto de datos de 50 imágenes de fachadas del mundo real, con un subconjunto de 20 utilizado para análisis cualitativo y estudios de usuarios.

• Resultados Cualitativos: El sistema genera con éxito fachadas editadas que preservan la identidad central del diseño original mientras se adhieren a ediciones estructurales complejas. Los resultados exhiben un fotorealismo comparable al modelo subyacente Stable Diffusion 1.5.
• Líneas Base: Los autores compararon su método contra:
  • Línea Base ControlNet: Un enfoque estándar basado en segmentación usando ControlNet con Inversión de Texto Nulo.
  • Línea Base Photoshop: Un enfoque de inpainting semi-automático basado en collage usando Adobe Firefly.
  • Renderizados Sintéticos: Renderizados 3D de modelos de fachada modificados utilizados como proxy para la verdad fundamental.
• Estudio de Usuarios: En un estudio que involucró a 105 usuarios y 3.045 evaluaciones, Pro-DG fue significativamente preferido sobre la línea base ControlNet por realismo y preservación de la apariencia. También superó a la línea base Photoshop en adherencia a la edición y preservación de la identidad, a pesar de que la línea base Photoshop utilizaba un modelo de relleno generativo más avanzado (Firefly).
• Métricas Cuantitativas:
  • Distancia de Wasserstein Recortada (SWD): Pro-DG logró la SWD más baja (0.1185), indicando una preservación superior de la apariencia local y la textura en comparación con las líneas base ControlNet (0.1844) y Photoshop (0.124).
  • Distancia de Coseno CLIP (CCD): Pro-DG mostró una fuerte similitud semántica (0.118), superando a la línea base ControlNet (0.2146). Aunque la línea base Photoshop tuvo una CCD ligeramente más baja (0.0936), esto se atribuye a la copia directa de objetos por parte de la línea base, lo cual favorece la métrica.
• Estudios de Ablación: Los experimentos confirmaron la necesidad tanto de ControlNet como de la guía de activación; la eliminación de cualquiera de ellos condujo a alucinaciones o resultados borrosos. El estudio también destacó que el emparejamiento jerárquico para símbolos terminales (por ejemplo, muros) es crítico para mantener la fidelidad de la textura.

Significancia y Limitaciones

El artículo afirma que Pro-DG aborda la brecha inexplorada entre las estructuras procedimentales simbólicas y los modelos de difusión, ofreciendo un marco para la generación de imágenes de alta calidad y controlable que mantiene la integridad arquitectónica. A diferencia de la mayoría de los métodos de edición basados en difusión que transforman objetos específicos, Pro-DG permite la reestructuración de todo el espacio de la imagen mientras retiene la identidad del diseño original.

Las limitaciones reconocidas por los autores incluyen:

• Generación de Nuevos Elementos: El método lucha cuando la estructura objetivo introduce elementos no presentes en el diseño original (por ejemplo, añadir puertas a una fachada sin puertas), ya que el emparejamiento jerárquico carece de correspondencias válidas.
• Expresividad de la Gramática: Si la gramática subyacente (FaçAID) no puede expresar la complejidad de una fachada específica, la reconstrucción inversa falla, lo que lleva a desajustes.
• Ruido Visual: Las imágenes de entrada con obstrucciones (árboles, letreros) pueden introducir ruido no estructural en los mapas Canny y las activaciones, resultando en resultados incoherentes.
• Restricciones del Modelo: La implementación actual depende de Stable Diffusion 1.5 y su ControlNet, lo que limita la fidelidad alcanzable en comparación con los nuevos backbones de difusión especializados.

Los autores concluyen que la sinergia entre representaciones procedimentales simbólicas y síntesis basada en datos promete aplicaciones en la restauración de fachadas y el diseño arquitectónico interactivo, demostrando el potencial de la integración neuro-simbólica en la edición de imágenes estructuradas.