🤖 machine learning

Pro-DG: Procedural Diffusion Guidance for Architectural Facade Generation

Dieser Beitrag stellt Pro-DG vor, eine neuartige ControlNet-Pipeline, die hierarchische prozedurale Regeln nutzt, um fotorealistische Gebäudefassaden mit präzisen strukturellen Bearbeitungen wie der Verdopplung von Geschossen und der Neuordnung von Fenstern zu generieren, wobei gleichzeitig die lokale visuelle Treue und die architektonische Identität gewahrt bleiben.

Ursprüngliche Autoren: Aleksander Plocharski, Jan Swidzinski, Przemyslaw Musialski

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aleksander Plocharski, Jan Swidzinski, Przemyslaw Musialski

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Foto eines schönen, alten Gebäudes. Nun stellen Sie sich vor, Sie möchten sein Design ändern – vielleicht eine ganze zusätzliche Etage hinzufügen, die Fenster neu anordnen oder einen einzelnen Eingang in einen dreifachen Eingang umwandeln – ohne die ursprüngliche „Persönlichkeit" des Gebäudes zu verlieren oder es wie eine völlig andere, gefälschte Struktur aussehen zu lassen.

Dies ist das Problem, das die Arbeit Pro-DG zu lösen versucht. Die Autoren haben ein intelligentes Werkzeug entwickelt, das wie ein digitaler Architekt agiert, der sowohl die „Regeln" des Bauens als auch die „Kunst" des Aussehens versteht.

So funktioniert es, aufgeschlüsselt in einfache Schritte:

1. Die „Reverse Engineering" (Das Lesen des Bauplans)

Zuerst betrachtet das System Ihr Foto des Gebäudes. Anstatt nur Pixel (Farbpunkte) zu sehen, versucht es, den verborgenen Bauplan oder das „Rezept" hinter dem Bild zu entschlüsseln.

Die Analogie: Stellen Sie sich vor, Sie schauen auf einen fertigen Kuchen und versuchen, das genaue Rezept herauszufinden, mit dem er gebacken wurde (wie viele Etagen, wie die Glasur aufgetragen wurde, wo die Streusel sitzen).
Die Technik: Es verwendet eine spezielle KI, um das Foto in einen hierarchischen Baum zu verwandeln. Dieser Baum zerlegt das Gebäude in logische Teile: „Das gesamte Gebäude" teilt sich in „Etagen" auf, die sich in „Wände" teilen, die sich in „Fenster" teilen. Dies wird als prozedurale Grammatik bezeichnet.

2. Die „Architekten-Editierung" (Das Ändern des Rezepts)

Sobald das System den Bauplan hat, teilen Sie ihm (als Benutzer) mit, was geändert werden soll.

Die Analogie: Sie sagen dem Koch: „Ich möchte die Anzahl der Fenster im zweiten Stock verdoppeln" oder „Verschieben Sie den Balkon in den dritten Stock."
Die Magie: Da das System die Regeln des Gebäudes (die Baumstruktur) versteht, kann es diese Änderungen logisch vornehmen. Es dehnt nicht einfach ein Fenster; es versteht, dass, wenn Sie eine Etage hinzufügen, Sie eine ganze neue Reihe von Fenstern hinzufügen müssen, um zu passen.

3. Der „Vermittler" (Verbinden von Alt und Neu)

Dies ist der cleverste Teil. Das System muss wissen, welcher Teil des alten Gebäudes welchem Teil des neuen Entwurfs entspricht.

Die Analogie: Stellen Sie sich vor, Sie räumen Möbel in einem Zimmer um. Sie müssen wissen, dass das „alte Sofa" an die „neue Sofastelle" wandert. Wenn Sie die Möbel einfach zufällig herumwerfen, sieht das Zimmer unordentlich aus.
Die Technik: Das System verwendet einen speziellen mathematischen Trick (Vergleich von Formen und Mustern), um die alten Fenster mit den neuen Fensterpositionen zu paaren. Es stellt sicher, dass die „Ziegeltextur" von der alten Wand zur neuen Wand gelangt und der „Himmel" Himmel bleibt.

4. Der „Maler" (Erstellen des neuen Fotos)

Schließlich verwendet das System einen leistungsstarken Bildgenerator (ein Diffusionsmodell), um das neue Bild zu malen.

Die Analogie: Stellen Sie sich einen Maler vor, der blindfoldet ist, aber von zwei Personen geführt wird. Eine Person hält ein Drahtgitter des neuen Gebäudes (die Struktur), und die andere hält ein Foto des alten Gebäudes (der Stil). Der Maler nutzt das Drahtgitter, um zu wissen, wo er malen soll, und das Foto, um zu wissen, wie die Farbe aussehen soll.
Das Ergebnis: Die KI erstellt ein brandneues, realistisches Foto des Gebäudes mit Ihren Änderungen. Es sieht aus wie ein echtes Foto, nicht wie ein Cartoon, und behält den einzigartigen Stil des ursprünglichen Gebäudes bei (die Beleuchtung, die Ziegel Farbe, die Verwitterung).

Warum ist das besonders?

Die meisten KI-Bildtools sind wie ein Zauberstab, der nur kleine Dinge ändern kann (wie das Entfernen eines Mülleimers oder das Ändern der Farbe einer Tür). Wenn Sie versuchen, eine ganze neue Etage mit einem Zauberstab hinzuzufügen, gerät die KI normalerweise in Verwirrung und lässt das Gebäude seltsam oder kaputt aussehen.

Pro-DG ist anders, weil es das Gebäude wie ein strukturiertes Puzzle behandelt. Es versteht, dass Gebäude Regeln haben. Dies ermöglicht es ihm, große strukturelle Änderungen vorzunehmen (wie das Hinzufügen von Etagen oder das Neuordnen ganzer Abschnitte), während das Gebäude wie dasselbe Gebäude aussieht, nur bearbeitet.

Was die Autoren getestet haben

Das Team testete dies an 50 echten Gebäudefotos. Sie verglichen ihre Methode mit:

Standard-KI-Tools: Die oft versagten, die Identität oder Struktur des Gebäudes korrekt zu erhalten.
Manueller Bearbeitung (Photoshop): Die einen Menschen stundenlang manuelle Arbeit kostet.

Das Urteil:

Besser als Standard-KI: Menschen bevorzugten ihre Ergebnisse, weil die Gebäude realistischer aussahen und ihre ursprüngliche „Ausstrahlung" bewahrten.
Besser als manuelle Bearbeitung: Es war viel schneller und konsistenter als der Versuch, Fenster in Photoshop auszuschneiden und einzufügen.
Der Haken: Wenn Sie versuchen, etwas hinzuzufügen, das auf dem Originalfoto überhaupt nicht existierte (wie das Hinzufügen einer Tür zu einer Wand, die keine Türen hatte), gerät das System manchmal in Verwirrung, weil es keine „alte Tür" hat, von der es den Stil kopieren kann. Auch wenn das Originalfoto Bäume oder Schilder enthält, die die Sicht blockieren, kann das System ins Stolpern geraten.

Kurz gesagt, Pro-DG ist ein Werkzeug, mit dem Sie das Skelett eines Gebäudes neu gestalten können, während Haut und Seele intakt bleiben, alles automatisch von einem Computer erledigt, der sowohl Mathematik als auch Kunst versteht.

Technische Zusammenfassung: Pro-DG: Prozedurale Diffusionsführung zur Generierung architektonischer Fassaden

Problemstellung

Die Generierung realistischer Variationen architektonischer Fassaden, die strukturellen Prinzipien folgen und gleichzeitig die Kernidentität eines ursprünglichen Entwurfs bewahren, bleibt eine erhebliche Herausforderung. Bestehende Methoden in der Computergrafik und Computer Vision konzentrieren sich typischerweise entweder auf prozedurale Modellierung (die oft erhebliche Eingriffe eines Künstlers für fotorealistische Ergebnisse erfordert) oder auf diffusionsbasierte Bildsynthese (die Schwierigkeiten mit präziser struktureller Kontrolle und globaler Konsistenz hat). Während neuere neuro-symbolische Ansätze versucht haben, diese Lücke zu schließen, fehlt es an Frameworks, die symbolische, hierarchische prozedurale Strukturen effektiv mit Diffusionsmodellen kombinieren, um kontrollierbare, großskalige strukturelle Bearbeitungen (z. B. Stockwerkduplizierung, Fensterneuordnung) zu ermöglichen, ohne die visuelle Fidelity des Quellbildes zu verlieren. Aktuelle diffusionsbasierte Bearbeitungsmethoden konzentrieren sich häufig auf die lokale Manipulation von Objekten statt auf die Umstrukturierung des gesamten Bildraums.

Methodik

Das vorgeschlagene Framework, Pro-DG, vereint symbolische Fassadengrammatiken mit diffusionsbasierter Bildsynthese durch eine Pipeline aus fünf Stufen:

Inverse Prozedurale Rekonstruktion:
Das System beginnt damit, eine prozedurale Darstellung aus einem Eingabebild der Fassade ( $F_{in}$ ) und dessen Segmentierung zu extrahieren. Es nutzt FaçAID, eine transformer-basierte neuro-symbolische Methode, um einen Ableitungsbaum einer hierarchischen Split-Grammatik ( $P_{in}$ ) zu inferieren. Dieser Baum unterteilt den Bildraum in semantische Bereiche (z. B. Stockwerke, Wände, Fenster) und Nicht-Terminals und erfasst die strukturelle Hierarchie der Fassade.
Strukturbedingte Bearbeitung:
Benutzer definieren Bearbeitungen, indem sie die prozedurale Darstellung modifizieren, um eine Zielstruktur ( $P_{out}$ ) zu erstellen. Bearbeitungen können das Anpassen von Parametern (z. B. Anzahl der Stockwerke) oder das Ändern der Hierarchie (z. B. Löschen spezifischer Elemente) umfassen. Das Paar $(P_{in}, P_{out})$ definiert die gewünschte Transformation.
Hierarchisches Matching:
Ein neuartiger Matching-Algorithmus erstellt eine Korrespondenz zwischen der Quell- ( $P_{in}$ ) und der Zielstruktur ( $P_{out}$ ). Dieser Schritt paart Symbole aus dem Zielbaum mit dem Quellbaum basierend auf zwei benutzerdefinierten Metriken:
- SVD-Metrik: Nutzt die Singulärwertzerlegung, um strukturelle Komplexität und Symmetrie von Bildbereichen zu vergleichen und behandelt Bereiche mit unterschiedlichen Elementanzahlen, aber ähnlichen strukturellen Mustern als identisch.
- Histogramm-Metrik: Nutzt die Hellinger-Distanz auf Intensitätshistogrammen, um inhaltsbewusst zu sein (z. B. Unterscheidung zwischen einer Wand und einem Fenster).
  Der Algorithmus erzwingt Eltern-Kind-Konsistenz und stellt sicher, dass gematchte Knoten die hierarchischen Einschränkungen der Grammatik respektieren.
Diffusionsrekonstruktion (Inversion):
Das System führt eine Null-Text-Inversion am Eingabebild durch, um den initialen Rauschvektor und die Netzaktivierungen ( $\Psi_{in}$ ) wiederherzustellen, die erforderlich sind, um $F_{in}$ zu rekonstruieren. Gleichzeitig werden Canny-Kantenkarten ( $C_{in}$ ) extrahiert. Dieser Schritt erfasst die „Identität" der ursprünglichen Fassade.
Geführte Inferenz:
Der Kernschritt der Synthese führt ein Diffusionsmodell (Stable Diffusion 1.5 mit einem Canny-Edge-ControlNet) zur Generierung der Ausgabe ( $F_{out}$ ).
- Steuerungseingaben: Das hierarchische Matching wird verwendet, um eine neue Canny-Kantenkarte ( $C_{out}$ ) und Ziel-Netzaktivierungen ( $\Psi_{out}$ ) zu konstruieren, indem Segmente aus der Quelle basierend auf den etablierten Korrespondenzen kopiert und skaliert werden.
- Optimierung: Der Diffusionsprozess wird durch $C_{out}$ via ControlNet geleitet, um die Zielstruktur durchzusetzen. Zusätzlich minimiert ein Optimierungsziel den L2-Abstand zwischen den aktuellen latenten Aktivierungen und $\Psi_{out}$ , wodurch die Erhaltung des lokalen Erscheinungsbilds und der Textur sichergestellt wird.

Hauptbeiträge

Die Arbeit präsentiert drei primäre Beiträge:

Hierarchiebewusster Matching-Algorithmus: Eine neuartige Metrik, die SVD-basierte Strukturanalyse und histogrammbasierte Inhaltsanalyse kombiniert, um Eltern-Kind-Konsistenz durchzusetzen und gleichzeitig strukturelle und visuelle Hinweise zwischen prozeduralen Bäumen auszurichten.
Vereintes ControlNet-Pipeline: Ein System, das hierarchieabgeleitete Steuersignale (Canny-Kanten) und Aktivierungsziele synthetisiert, um alle Schritte des Diffusionsprozesses zu steuern und eine globale Umstrukturierung des Bildraums statt lokaler Bearbeitungen zu ermöglichen.
Umfassende Evaluation: Eine Evaluation über 50 diverse Fassadenbilder, die konsistente Gewinne in der strukturellen Fidelity und visuellen Kohärenz im Vergleich zu State-of-the-Art-Baselines demonstriert.

Ergebnisse und Evaluation

Die Methode wurde an einem Datensatz von 50 realen Fassadenbildern evaluiert, wobei eine Teilmenge von 20 für qualitative Analysen und Benutzerstudien verwendet wurde.

Qualitative Ergebnisse: Das System generiert erfolgreich bearbeitete Fassaden, die die Kernidentität des ursprünglichen Entwurfs bewahren und gleichzeitig komplexe strukturelle Bearbeitungen einhalten. Die Ausgaben zeigen eine Fotorealität, die mit dem zugrundeliegenden Stable Diffusion 1.5-Modell vergleichbar ist.
Baselines: Die Autoren verglichen ihre Methode mit:
- ControlNet-Baseline: Ein standardmäßiger segmentierungsbasierter ControlNet-Ansatz unter Verwendung von Null-Text-Inversion.
- Photoshop-Baseline: Ein halbautomatischer kollagebasierter Inpainting-Ansatz unter Verwendung von Adobe Fireﬂy.
- Synthetische Renderings: 3D-Renderings modifizierter Fassadenmodelle, die als Proxy für den Ground Truth verwendet wurden.
Benutzerstudie: In einer Studie mit 105 Teilnehmern und 3.045 Bewertungen wurde Pro-DG für Realismus und Erhaltung des Erscheinungsbilds signifikant bevorzugt gegenüber der ControlNet-Baseline. Es übertraf auch die Photoshop-Baseline in der Einhaltung von Bearbeitungen und der Erhaltung der Identität, obwohl die Photoshop-Baseline ein fortschrittlicheres generatives Füllmodell (Fireﬂy) verwendete.
Quantitative Metriken:
- Sliced Wasserstein Distance (SWD): Pro-DG erreichte die niedrigste SWD (0,1185), was eine überlegene Erhaltung des lokalen Erscheinungsbilds und der Textur im Vergleich zur ControlNet-Baseline (0,1844) und der Photoshop-Baseline (0,124) anzeigt.
- CLIP Cosine Distance (CCD): Pro-DG zeigte eine starke semantische Ähnlichkeit (0,118) und übertraf die ControlNet-Baseline (0,2146). Während die Photoshop-Baseline eine etwas niedrigere CCD (0,0936) aufwies, wird dies der direkten Kopie von Objekten durch die Baseline zugeschrieben, die von der Metrik begünstigt wird.
Ablationsstudien: Experimente bestätigten die Notwendigkeit sowohl von ControlNet als auch von Aktivierungsführung; das Entfernen von einem führte zu Halluzinationen oder unscharfen Ausgaben. Die Studie hob zudem hervor, dass hierarchisches Matching für Terminale (z. B. Wände) entscheidend für die Aufrechterhaltung der Texturfidelity ist.

Bedeutung und Einschränkungen

Die Arbeit behauptet, dass Pro-DG die unerforschte Lücke zwischen symbolischen prozeduralen Strukturen und Diffusionsmodellen adressiert und ein Framework für hochwertige, kontrollierbare Bildgenerierung bietet, die architektonische Integrität bewahrt. Im Gegensatz zu den meisten diffusionsbasierten Bearbeitungsmethoden, die spezifische Objekte transformieren, ermöglicht Pro-DG die Umstrukturierung des gesamten Bildraums unter Beibehaltung der Identität des ursprünglichen Entwurfs.

Von den Autoren anerkannte Einschränkungen umfassen:

Generierung neuer Elemente: Die Methode hat Schwierigkeiten, wenn die Zielstruktur Elemente einführt, die im ursprünglichen Entwurf nicht vorhanden waren (z. B. das Hinzufügen von Türen zu einer türlosen Fassade), da das hierarchische Pairing keine gültigen Korrespondenzen aufweist.
Grammatikexpressivität: Wenn die zugrundeliegende Grammatik (FaçAID) die Komplexität einer bestimmten Fassade nicht ausdrücken kann, schlägt die inverse Rekonstruktion fehl, was zu Fehlpaarungen führt.
Visuelles Rauschen: Eingabebilder mit Verdeckungen (Bäume, Schilder) können nicht-strukturelles Rauschen in die Canny-Karten und Aktivierungen einbringen, was zu inkohärenten Ausgaben führt.
Modellbeschränkungen: Die aktuelle Implementierung basiert auf Stable Diffusion 1.5 und dessen ControlNet, was die erreichbare Fidelity im Vergleich zu neueren, spezialisierten Diffusions-Backbones begrenzt.

Die Autoren schließen, dass die Synergie zwischen symbolischen prozeduralen Darstellungen und datengesteuerter Synthese vielversprechend für Anwendungen in der Fassadenrestaurierung und im interaktiven architektonischen Entwurf ist und das Potenzial der neuro-symbolischen Integration in der strukturierten Bildbearbeitung demonstriert.