Résumé Technique : Pro-DG : Guidance Diffusion Procédurale pour la Génération de Façades Architecturales

Énoncé du Problème

La génération de variations réalistes de façades architecturales qui respectent les principes structurels tout en préservant l'identité fondamentale d'un design original demeure un défi majeur. Les méthodes existantes en infographie et en vision par ordinateur se concentrent généralement soit sur la modélisation procédurale (nécessitant souvent une intervention artistique substantielle pour le photoréalisme), soit sur la synthèse d'images basée sur la diffusion (qui peine à assurer un contrôle structurel précis et une cohérence globale). Bien que des approches neuro-symboliques récentes aient tenté de combler ce fossé, il manque des cadres capables de combiner efficacement des structures procédurales hiérarchiques symboliques avec des modèles de diffusion pour permettre des modifications structurelles contrôlables à grande échelle (par exemple, duplication d'étages, réorganisation des fenêtres) sans perdre la fidélité visuelle de l'image source. Les méthodes d'édition basées sur la diffusion actuelles se concentrent souvent sur la manipulation d'objets localisés plutôt que sur la restructuration de tout l'espace de l'image.

Méthodologie

Le cadre proposé, Pro-DG, unifie les grammaires de façades symboliques avec la synthèse d'images basée sur la diffusion via un pipeline en cinq étapes :

1. Reconstruction Procédurale Inverse :
   Le système commence par extraire une représentation procédurale à partir d'une image de façade d'entrée ($F_{in}$) et de sa segmentation. Il utilise FaçAID, une méthode neuro-symbolique basée sur un transformateur, pour inférer un arbre de dérivation de grammaire de division hiérarchique ($P_{in}$). Cet arbre divise l'espace de l'image en régions sémantiques (par exemple, étages, murs, fenêtres) et non-terminaux, capturant ainsi la hiérarchie structurelle de la façade.

2. Édition de Structure :
   Les utilisateurs définissent des modifications en altérant la représentation procédurale pour créer une structure cible ($P_{out}$). Les modifications peuvent impliquer l'ajustement de paramètres (par exemple, nombre d'étages) ou l'altération de la hiérarchie (par exemple, suppression d'éléments spécifiques). La paire $(P_{in}, P_{out})$ définit la transformation souhaitée.

3. Appariement Hiérarchique :
   Un algorithme d'appariement novateur établit une correspondance entre la structure source ($P_{in}$) et la structure cible ($P_{out}$). Cette étape associe les symboles de l'arbre cible à l'arbre source sur la base de deux métriques personnalisées :

   • Métrique SVD : Utilise la décomposition en valeurs singulières pour comparer la complexité structurelle et la symétrie des régions de l'image, traitant les régions avec des nombres d'éléments différents mais des motifs structurels similaires comme identiques.
   • Métrique Histogramme : Utilise la distance d'Hellinger sur les histogrammes d'intensité pour assurer la conscience du contenu (par exemple, distinguer un mur d'une fenêtre).
     L'algorithme impose une cohérence parent-enfant, garantissant que les nœuds appariés respectent les contraintes hiérarchiques de la grammaire.

4. Reconstruction par Diffusion (Inversion) :
   Le système effectue une Inversion de Texte Null sur l'image d'entrée pour récupérer le vecteur de bruit initial et les activations du réseau ($\Psi_{in}$) nécessaires à la reconstruction de $F_{in}$. Simultanément, des cartes de contours Canny ($C_{in}$) sont extraites. Cette étape capture l'« identité » de la façade originale.

5. Inférence Guidée :
   L'étape de synthèse centrale guide un modèle de diffusion (Stable Diffusion 1.5 avec un ControlNet à bord Canny) pour générer la sortie ($F_{out}$).

   • Entrées de Contrôle : L'appariement hiérarchique est utilisé pour construire une nouvelle carte de contours Canny ($C_{out}$) et des activations de réseau cibles ($\Psi_{out}$) en copiant et redimensionnant des segments de la source sur la base des correspondances établies.
   • Optimisation : Le processus de diffusion est guidé par $C_{out}$ via ControlNet pour imposer la structure cible. De plus, un objectif d'optimisation minimise la distance L2 entre les activations latentes actuelles et $\Psi_{out}$, assurant la préservation de l'apparence et de la texture locales.

Contributions Clés

L'article présente trois contributions principales :

1. Algorithme d'Appariement Conscient de la Hiérarchie : Une métrique novatrice combinant une analyse structurelle basée sur la SVD et une analyse de contenu basée sur les histogrammes pour imposer une cohérence parent-enfant tout en alignant les indices structurels et visuels entre les arbres procéduraux.
2. Pipeline ControlNet Unifié : Un système qui synthétise des signaux de contrôle dérivés de la hiérarchie (contours Canny) et des cibles d'activation pour guider toutes les étapes du processus de diffusion, permettant une restructuration globale de l'espace de l'image plutôt que des éditions localisées.
3. Évaluation Complète : Une évaluation sur 50 images de façades diverses démontrant des gains constants en fidélité structurelle et en cohérence visuelle par rapport aux références de l'état de l'art.

Résultats et Évaluation

La méthode a été évaluée sur un ensemble de données de 50 images de façades réelles, avec un sous-ensemble de 20 utilisé pour l'analyse qualitative et les études utilisateurs.

• Résultats Qualitatifs : Le système génère avec succès des façades éditées qui préservent l'identité fondamentale du design original tout en adhérant à des modifications structurelles complexes. Les sorties affichent un photoréalisme comparable à celui du modèle Stable Diffusion 1.5 sous-jacent.
• Références (Baselines) : Les auteurs ont comparé leur méthode à :
  • Référence ControlNet : Une approche standard basée sur la segmentation utilisant ControlNet et l'Inversion de Texte Null.
  • Référence Photoshop : Une approche d'inpainting semi-automatique basée sur la collage utilisant Adobe Firefly.
  • Rendu Synthétique : Des rendus 3D de modèles de façades modifiés utilisés comme proxy de la vérité terrain.
• Étude Utilisateur : Dans une étude impliquant 105 utilisateurs et 3 045 évaluations, Pro-DG a été nettement préféré à la référence ControlNet pour le réalisme et la préservation de l'apparence. Il a également surpassé la référence Photoshop en matière d'adhésion aux modifications et de préservation de l'identité, malgré le fait que la référence Photoshop utilisait un modèle de remplissage génératif plus avancé (Firefly).
• Métriques Quantitatives :
  • Distance de Wasserstein Tranchée (SWD) : Pro-DG a obtenu la SWD la plus faible (0,1185), indiquant une préservation supérieure de l'apparence et de la texture locales par rapport aux références ControlNet (0,1844) et Photoshop (0,124).
  • Distance Cosinus CLIP (CCD) : Pro-DG a montré une forte similarité sémantique (0,118), surpassant la référence ControlNet (0,2146). Bien que la référence Photoshop ait eu une CCD légèrement plus faible (0,0936), cela est attribué à la copie directe d'objets par la référence, ce que la métrique favorise.
• Études d'Ablation : Les expériences ont confirmé la nécessité à la fois de ControlNet et de la guidance par activation ; le retrait de l'un ou l'autre a conduit à des hallucinations ou à des sorties floues. L'étude a également souligné que l'appariement hiérarchique pour les symboles terminaux (par exemple, murs) est crucial pour maintenir la fidélité de la texture.

Importance et Limites

L'article affirme que Pro-DG comble le fossé inexploré entre les structures procédurales symboliques et les modèles de diffusion, offrant un cadre pour une génération d'images de haute qualité et contrôlable qui maintient l'intégrité architecturale. Contrairement à la plupart des méthodes d'édition basées sur la diffusion qui transforment des objets spécifiques, Pro-DG permet la restructuration de tout l'espace de l'image tout en conservant l'identité du design original.

Les limites reconnues par les auteurs incluent :

• Génération d'Éléments Nouveaux : La méthode éprouve des difficultés lorsque la structure cible introduit des éléments absents du design original (par exemple, ajouter des portes à une façade sans portes), car l'appariement hiérarchique manque de correspondances valides.
• Expressivité de la Grammaire : Si la grammaire sous-jacente (FaçAID) ne peut pas exprimer la complexité d'une façade spécifique, la reconstruction inverse échoue, entraînant des erreurs d'appariement.
• Bruit Visuel : Les images d'entrée avec des obstructions (arbres, panneaux) peuvent introduire du bruit non structurel dans les cartes Canny et les activations, résultant en des sorties incohérentes.
• Contraintes du Modèle : L'implémentation actuelle repose sur Stable Diffusion 1.5 et son ControlNet, ce qui limite la fidélité atteignable par rapport aux nouvelles architectures de diffusion spécialisées.

Les auteurs concluent que la synergie entre les représentations procédurales symboliques et la synthèse pilotée par les données promet des applications dans la restauration de façades et la conception architecturale interactive, démontrant le potentiel de l'intégration neuro-symbolique dans l'édition d'images structurée.