🤖 machine learning

Pro-DG: Procedural Diffusion Guidance for Architectural Facade Generation

Dit artikel presenteert Pro-DG, een innovatieve ControlNet-pijplijn die hiërarchische procedurale regels benut om fotorealistische architecturale gevels te genereren met precieze structurele bewerkingen, zoals verdiepingverdubbeling en vensterherindeling, terwijl de lokale uiterlijke trouw en architecturale identiteit behouden blijven.

Oorspronkelijke auteurs: Aleksander Plocharski, Jan Swidzinski, Przemyslaw Musialski

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aleksander Plocharski, Jan Swidzinski, Przemyslaw Musialski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto hebt van een prachtig, oud gebouw. Nu, stel je voor dat je het ontwerp wilt veranderen—misschien een hele extra verdieping toevoegen, de ramen herschikken, of een enkele deur omtoveren tot een ingang met drie deuren—zonder de oorspronkelijke "persoonlijkheid" van het gebouw te verliezen of het eruit te laten zien als een compleet ander, nep bouwwerk.

Dit is het probleem dat het artikel Pro-DG probeert op te lossen. De auteurs hebben een slimme tool ontwikkeld die fungeert als een digitaal architect die zowel de "regels" van hoe gebouwen worden gebouwd als de "kunst" van hoe ze eruitzien, begrijpt.

Zo werkt het, opgesplitst in eenvoudige stappen:

1. De "Reverse Engineering" (Het blauwdruk lezen)

Eerst bekijkt het systeem je foto van het gebouw. In plaats van alleen pixels (kleurpunten) te zien, probeert het het verborgen blauwdruk of "recept" achter de afbeelding te achterhalen.

De Analogie: Denk eraan als naar een afgewerkte taart te kijken en proberen het exacte recept te achterhalen waarmee hij is gebakken (hoeveel lagen, hoe de glazuur is gespoten, waar de spikkels zitten).
De Technologie: Het gebruikt een speciale AI om de foto om te zetten in een hiërarchische boom. Deze boom breekt het gebouw op in logische onderdelen: "Het hele gebouw" splitst zich op in "Verdiepingen", die op hun beurt splitsen in "Muren", die weer splitsen in "Ramen". Dit wordt een procedurale grammatica genoemd.

2. De "Architects Bewerking" (Het recept aanpassen)

Zodra het systeem het blauwdruk heeft, vertel jij (de gebruiker) wat er moet veranderen.

De Analogie: Je vertelt de kok: "Ik wil het aantal ramen op de tweede verdieping verdubbelen," of "Verplaats het balkon naar de derde verdieping."
De Magie: Omdat het systeem de regels van het gebouw begrijpt (de boomstructuur), kan het deze veranderingen logisch doorvoeren. Het rekent niet zomaar een raam uit; het begrijpt dat als je een verdieping toevoegt, je een hele nieuwe rij ramen moet toevoegen om te matchen.

3. De "Matchmaker" (Oud verbinden met Nieuw)

Dit is het slimste deel. Het systeem moet weten welk deel van het oude gebouw overeenkomt met welk deel van het nieuwe ontwerp.

De Analogie: Stel je voor dat je meubels in een kamer herschikt. Je moet weten dat de "oude bank" naar de "nieuwe bankplek" verplaatst wordt. Als je de meubels zomaar willekeurig zou rondgooien, zou de kamer er rommelig uitzien.
De Technologie: Het systeem gebruikt een speciale wiskundige truc (het vergelijken van vormen en patronen) om de oude ramen te koppelen aan de nieuwe raamposities. Het zorgt ervoor dat de "baksteentextuur" van de oude muur naar de nieuwe muur gaat, en dat de "lucht" de lucht blijft.

4. De "Schilder" (Het nieuwe fototoestel genereren)

Tot slot gebruikt het systeem een krachtige afbeeldingsgenerator (een Diffusiemodel) om het nieuwe plaatje te schilderen.

De Analogie: Stel je een schilder voor die blinddoek is, maar wordt begeleid door twee mensen. De ene persoon houdt een wireframe van het nieuwe gebouw vast (de structuur), en de andere houdt een foto van het oude gebouw vast (de stijl). De schilder gebruikt het wireframe om te weten waar hij moet schilderen en de foto om te weten hoe de verf eruit moet zien.
Het Resultaat: De AI genereert een gloednieuwe, realistische foto van het gebouw met je wijzigingen. Het ziet eruit als een echte foto, geen cartoon, en het behoudt de unieke stijl van het oorspronkelijke gebouw (de belichting, de baksteenkleur, de verweering).

Waarom is dit speciaal?

De meeste AI-afbeeldingstools zijn als een toverstaf die alleen kleine dingen kan veranderen (zoals een prullenbak verwijderen of de kleur van een deur veranderen). Als je probeert een hele nieuwe verdieping toe te voegen met een toverstaf, raakt de AI meestal in de war en ziet het gebouw er raar of gebroken uit.

Pro-DG is anders omdat het het gebouw behandelt als een gestructureerde puzzel. Het begrijpt dat gebouwen regels hebben. Dit stelt het in staat om grote, structurele veranderingen te maken (zoals het toevoegen van verdiepingen of het herschikken van hele secties) terwijl het gebouw eruit blijft zien als hetzelfde gebouw, alleen bewerkt.

Wat de auteurs hebben getest

Het team testte dit op 50 echte foto's van gebouwen. Ze vergeleken hun methode met:

Standaard AI-tools: Die er vaak niet in slaagden de identiteit of structuur van het gebouw correct te behouden.
Handmatig bewerken (Photoshop): Waarvoor een mens uren nodig heeft om dit handmatig te doen.

Het oordeel:

Beter dan standaard AI: Mensen gaven de voorkeur aan hun resultaten omdat de gebouwen realistischer leken en hun oorspronkelijke "sfeer" behielden.
Beter dan handmatig bewerken: Het was veel sneller en consistenter dan proberen ramen in Photoshop te knippen en plakken.
De Haken en Ogen: Als je probeert iets toe te voegen dat helemaal niet bestond in de originele foto (zoals het toevoegen van een deur aan een muur die geen deuren had), raakt het systeem soms in de war omdat het geen "oude deur" heeft om de stijl van te kopiëren. Ook als de originele foto bomen of borden bevat die het zicht blokkeren, kan het systeem op zijn kop vallen.

Kortom, Pro-DG is een tool waarmee je het skelet van een gebouw kunt herontwerpen terwijl de huid en ziel intact blijven, allemaal automatisch gedaan door een computer die zowel wiskunde als kunst begrijpt.

Technische Samenvatting: Pro-DG: Procedurele Diffusiegeleiding voor Generatie van Architecturale Gevels

Probleemstelling

Het genereren van realistische variaties van architecturale gevels die voldoen aan structurele principes terwijl de kernidentiteit van een oorspronkelijk ontwerp behouden blijft, blijft een aanzienlijke uitdaging. Bestaande methoden in computergraphics en visie richten zich doorgaans op procedurele modellering (vaak met aanzienlijke artistieke interventie vereist voor fotorealisme) of op diffusiegebaseerde beeldsynthese (die worstelt met precieze structurele controle en globale consistentie). Hoewel recente neuro-symbolische benaderingen hebben geprobeerd deze kloof te overbruggen, ontbreekt het aan kaders die symbolische, hiërarchische procedurele structuren effectief combineren met diffusiemodellen om controleerbare, grootschalige structurele bewerkingen mogelijk te maken (bijv. verdiepingverdubbeling, vensterherindeling) zonder de visuele trouw van de bronafbeelding te verliezen. Huidige op diffusie gebaseerde bewerkingsmethoden richten zich vaak op lokale objectmanipulatie in plaats van het herstructureren van de volledige beeldruimte.

Methodologie

Het voorgestelde kader, Pro-DG, verenigt symbolische gevelgrammatica's met diffusiegebaseerde beeldsynthese via een pijplijn van vijf fasen:

Inverse Procedurele Reconstructie:
Het systeem begint met het extraheren van een procedurele representatie uit een invoergevelafbeelding ( $F_{in}$ ) en diens segmentatie. Het maakt gebruik van FaçAID, een transformer-gebaseerde neuro-symbolische methode, om een hiërarchische splitsingsgrammatica-afleidingsboom ( $P_{in}$ ) af te leiden. Deze boom verdeelt de beeldruimte in semantische regio's (bijv. verdiepingen, muren, ramen) en niet-terminals, waarmee de structurele hiërarchie van de gevel wordt vastgelegd.
Structuurbewerking:
Gebruikers definiëren bewerkingen door de procedurele representatie te wijzigen om een doelstructuur ( $P_{out}$ ) te creëren. Bewerkingen kunnen het aanpassen van parameters inhouden (bijv. aantal verdiepingen) of het wijzigen van de hiërarchie (bijv. het verwijderen van specifieke elementen). Het paar $(P_{in}, P_{out})$ definieert de gewenste transformatie.
Hiërarchische Matching:
Een nieuw matching-algoritme creëert een correspondentie tussen de bron ( $P_{in}$ ) en doel ( $P_{out}$ ) structuren. Deze stap koppelt symbolen uit de doelboom aan de bronboom op basis van twee aangepaste metrieken:
- SVD-metriek: Gebruikt Singuliere Waarde Decompositie om structurele complexiteit en symmetrie van beeldregio's te vergelijken, waarbij regio's met een verschillend aantal elementen maar vergelijkbare structurele patronen als identiek worden behandeld.
- Histogrammetriek: Gebruikt Hellinger-afstand op intensiteitshistogrammen om inhoudsbewustzijn te waarborgen (bijv. onderscheid maken tussen een muur en een raam).
  Het algoritme dwingt ouder-kind-consistentie af, zodat gematchde knopen de hiërarchische beperkingen van de grammatica respecteren.
Diffusiereconstructie (Inversie):
Het systeem voert Null-Text Inversie uit op de invoerafbeelding om het initiële ruisvector en netwerkactivaties ( $\Psi_{in}$ ) te herstellen die nodig zijn om $F_{in}$ te reconstrueren. Tegelijkertijd worden Canny-kaartjes ( $C_{in}$ ) geëxtraheerd. Deze stap vangt de "identiteit" van de oorspronkelijke gevel.
Geleide Inferentie:
De kernsynthesestap leidt een diffusiemodel (Stable Diffusion 1.5 met een Canny-edge ControlNet) om de uitvoer ( $F_{out}$ ) te genereren.
- Controle-invoer: De hiërarchische matching wordt gebruikt om een nieuwe Canny-edge kaart ( $C_{out}$ ) en doelnetwerkactivaties ( $\Psi_{out}$ ) te construeren door segmenten van de bron te kopiëren en van formaat te veranderen op basis van de vastgestelde correspondenties.
- Optimalisatie: Het diffusieproces wordt via ControlNet geleid door $C_{out}$ om de doelstructuur af te dwingen. Daarnaast minimaliseert een optimalisatiedoel de L2-afstand tussen de huidige latente activaties en $\Psi_{out}$ , waardoor behoud van lokale verschijning en textuur wordt gewaarborgd.

Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

Hiërarchie-bewust Matching-algoritme: Een nieuwe metriek die SVD-gebaseerde structurele analyse en histogram-gebaseerde inhoudsanalyse combineert om ouder-kind-consistentie af te dwingen terwijl structurele en visuele aanwijzingen tussen procedurele bomen worden afgestemd.
Geïntegreerde ControlNet-pijplijn: Een systeem dat hiërarchie-afgeleide controlesignalen (Canny-edges) en activatiedoelen synthetiseert om alle stappen van het diffusieproces te leiden, waardoor globale beeldruimterestructurering mogelijk wordt in plaats van lokale bewerkingen.
Uitgebreide Evaluatie: Een evaluatie over 50 diverse gevelafbeeldingen die consistente winst in structurele trouw en visuele coherentie aantoont ten opzichte van state-of-the-art baselines.

Resultaten en Evaluatie

De methode werd geëvalueerd op een dataset van 50 realistische gevelafbeeldingen, waarbij een subset van 20 werd gebruikt voor kwalitatieve analyse en gebruikersstudies.

Kwalitatieve Resultaten: Het systeem genereert succesvol bewerkte gevels die de kernidentiteit van het oorspronkelijke ontwerp behouden terwijl ze voldoen aan complexe structurele bewerkingen. De uitvoer vertoont fotorealisme dat vergelijkbaar is met het onderliggende Stable Diffusion 1.5-model.
Baselines: De auteurs vergeleken hun methode met:
- ControlNet-baseline: Een standaard op segmentatie gebaseerde ControlNet-benadering met gebruik van Null-Text Inversie.
- Photoshop-baseline: Een semi-automatische collage-gebaseerde inpainting-benadering met gebruik van Adobe Fireﬂy.
- Synthetische Renderings: 3D-renderings van gemodificeerde gevelmodellen gebruikt als proxy voor ground truth.
Gebruikersstudie: In een studie met 105 gebruikers en 3.045 evaluaties werd Pro-DG aanzienlijk verkiest boven de ControlNet-baseline voor realisme en behoud van verschijning. Het presteerde ook beter dan de Photoshop-baseline in naleving van bewerkingen en behoud van identiteit, ondanks dat de Photoshop-baseline een geavanceerder generatief vulmodel (Fireﬂy) gebruikte.
Kwantitatieve Metrieken:
- Gesneden Wasserstein-afstand (SWD): Pro-DG behaalde de laagste SWD (0,1185), wat wijst op superieur behoud van lokale verschijning en textuur in vergelijking met de ControlNet (0,1844) en Photoshop (0,124) baselines.
- CLIP Cosine-afstand (CCD): Pro-DG toonde sterke semantische gelijkenis (0,118), wat beter was dan de ControlNet-baseline (0,2146). Hoewel de Photoshop-baseline een iets lagere CCD had (0,0936), wordt dit toegeschreven aan het directe kopiëren van objecten door de baseline, wat de metriek bevoordeelt.
Ablatiestudies: Experimenten bevestigden de noodzaak van zowel ControlNet als activatiegeleiding; het verwijderen van een van beide leidde tot hallucinaties of wazige uitvoer. De studie benadrukte ook dat hiërarchische matching voor terminale symbolen (bijv. muren) cruciaal is voor het behoud van textuurtrouw.

Betekenis en Beperkingen

Het artikel stelt dat Pro-DG de onontgonnen kloof tussen symbolische procedurele structuren en diffusiemodellen aanpakt, en een kader biedt voor hoogwaardige, controleerbare beeldgeneratie die architecturale integriteit behoudt. In tegenstelling tot de meeste op diffusie gebaseerde bewerkingsmethoden die specifieke objecten transformeren, stelt Pro-DG de herstructurering van de volledige beeldruimte mogelijk terwijl de identiteit van het oorspronkelijke ontwerp behouden blijft.

Beperkingen die door de auteurs worden erkend, zijn:

Generatie van Nieuwe Elementen: De methode heeft moeite wanneer de doelstructuur elementen introduceert die niet in het oorspronkelijke ontwerp aanwezig waren (bijv. het toevoegen van deuren aan een deurloze gevel), omdat de hiërarchische koppeling geen geldige correspondenties heeft.
Grammatica-expressiviteit: Als de onderliggende grammatica (FaçAID) de complexiteit van een specifieke gevel niet kan uitdrukken, faalt de inverse reconstructie, wat leidt tot mismatches.
Visuele Ruis: Invoerafbeeldingen met obstructies (bomen, borden) kunnen niet-structurele ruis introduceren in de Canny-kaarten en activaties, wat resulteert in incoherente uitvoer.
Modelbeperkingen: De huidige implementatie is afhankelijk van Stable Diffusion 1.5 en diens ControlNet, wat de bereikbare trouw beperkt in vergelijking met nieuwere, gespecialiseerde diffusieruggengraten.

De auteurs concluderen dat de synergie tussen symbolische procedurele representaties en datagedreven synthese veelbelovend is voor toepassingen in gevelrestauratie en interactief architecturaal ontwerp, en het potentieel demonstreert van neuro-symbolische integratie in gestructureerde beeldbewerking.