Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans

Het paper introduceert HouseMind, een multimodaal groot taalmodel dat discrete tokens gebruikt om vloerplannen te begrijpen, te genereren en te bewerken, waardoor het coherente en controleerbare architecturale ontwerpen kan creëren op basis van tekstuele instructies.

De kern

HuisMind: De Vertaler tussen Woorden en Woonplannen

Stel je voor dat je een architect bent, maar in plaats van met potlood en papier te werken, praat je gewoon met een slimme robot. Je zegt: "Ik wil een grote woonkamer in het midden, met een keuken erboven en een slaapkamer links."

Vroeger was dit voor computers een nachtmerrie. Ze konden prachtige plaatjes maken, maar de ruimtes waren vaak onlogisch: de keuken hing in de lucht, de slaapkamer had geen deur, of de muren liepen dwars door elkaar. Computers zagen de kleuren, maar begrepen niet de logica van een huis.

Dat is waar HouseMind (van onderzoekers van Tsinghua University en UC Berkeley) verandert. Het is als een nieuwe taal voor ruimtes. Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. Het Geheim: Ruimtes als Lego-blokjes

Stel je een vloerplan voor als een ingewikkeld legpuzzel. De oude computers probeerden het hele plaatje in één keer te tekenen, zoals een schilder dat probeert een landschap te schilderen zonder te weten waar de bomen staan.

HouseMind doet het anders. Het breekt het huis op in kleine, losse blokjes (de auteurs noemen dit "tokens").

• De contouren: De buitenkant van het huis wordt omgezet in een reeks code-blokjes.
• De kamers: Elke kamer (keuken, slaapkamer, badkamer) wordt een eigen blokje met een eigen "naam" en "vorm".

Het is alsof je in plaats van een tekening te maken, een zin schrijft: "Hier komt een blokje 'Keuken', daar een blokje 'Slaapkamer', en ze moeten aan elkaar grenzen." Door ruimtes om te zetten in deze blokken, kan de computer net zo met een huis redeneren als een mens met woorden.

2. De Drie Superkrachten

HouseMind is een "meervoudig slimme" robot die drie dingen kan doen, allemaal met één brein:

• Het Begrijpen (De Vertaler):
  Je geeft het een tekening van een huis. HouseMind kijkt ernaar en zegt: "Ah, dit is een woonkamer van 30 m², links daarvan zit een slaapkamer, en de keuken is erboven." Het vertaalt de visuele tekening naar een logische beschrijving, net als een tolk die een foto in een verhaal omzet.
• Het Maken (De Bouwer):
  Je zegt: "Maak een huis met drie slaapkamers en een grote tuin." HouseMind pakt zijn blokjes en bouwt een compleet, logisch vloerplan. Geen zwevende muren, geen kamers die in de muur zitten. Het bouwt het alsof het een lego-constructie is die perfect in elkaar past.
• Het Aanpassen (De Renovateur):
  Je hebt al een plan, maar je zegt: "Verwijder de balkon en maak er een extra badkamer van." HouseMind pakt precies dat stukje, verwijdert het en plaatst de nieuwe badkamer, zonder dat de rest van het huis in elkaar stort. Het is alsof je een kamer in een huis verbouwt zonder de muren van de buren aan te raken.

3. Waarom is dit zo speciaal?

Stel je voor dat je een tekst naar een ander land stuurt. Een oude vertaler zou misschien woorden letterlijk vertalen, maar de betekenis verliezen. HouseMind is als een cultuur-expert.

• Het begrijpt de regels: Het weet dat een badkamer niet in de lucht hangt en dat een keuken vaak dicht bij de woonkamer zit.
• Het is snel en lokaal: Veel slimme AI-modellen zijn enorme, dure supercomputers die in de cloud zitten. HouseMind is zo efficiënt ontworpen dat het op een gewone krachtige computer (zelfs lokaal) kan draaien. Het is als een slimme smartphone-app in plaats van een fabriek.
• Het is betrouwbaar: Andere modellen maken soms mooie plaatjes die eruitzien als een huis, maar als je erin zou lopen, zou je tegen een muur lopen. HouseMind zorgt dat de "logica" klopt, zodat het plan ook echt bouwbaar is.

De Grootste Les

HouseMind toont aan dat we niet hoeven te kiezen tussen "mooie plaatjes" en "slimme logica". Door ruimtes te vertalen naar een taal die computers begrijpen (die blokken-codes), kunnen we AI gebruiken om echt creatief en praktisch te bouwen.

Het is alsof we de architectuur hebben gegeven een stem, zodat we niet meer hoeven te tekenen, maar gewoon hoeven te praten om ons droomhuis te creëren.

Technische samenvatting

Titel: Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans

Auteurs: Sizhong Qin, Ramon Elias Weber, Xinzheng Lu (Tsinghua University & UC Berkeley)
Modelnaam: HouseMind

---

1. Het Probleem

Architecturale vloerplannen ontwerpen vereist gezamenlijk redeneren over geometrie, semantiek en ruimtelijke hiërarchie. Bestaande AI-systemen kampen met de volgende beperkingen:

• Gebrek aan ruimtelijk redeneren: Diffusiemodellen en autoregressieve modellen genereren vaak visueel plausible, maar structureel inconsistente plattegronden (bijv. onlogische ruimtelijke relaties of circulatie).
• Beperkte controleerbaarheid: Veel modellen fungeren als "black boxes" en bieden weinig interpretatie of controle over specifieke ruimtelijke aanpassingen.
• Fragmentatie: Bestaande frameworks kunnen vaak niet begrijpen, genereren én bewerken binnen één architectuur, wat leidt tot modulaire en inefficiënte workflows.
• Computatie-intensiviteit: Veel state-of-the-art modellen zijn te zwaar voor lokale implementatie in praktische ontwerpprocessen.

2. Methodologie: HouseMind

HouseMind is een efficiënt, lokaal inzetbaar multimodaal groot taalmodel (MLLM) dat vloerplannen begrijpen, genereren en bewerken verenigt in één coherent raamwerk. De kern van de methode is het vertalen van continue geometrie naar discrete token-sequenties.

A. Hiërarchische Tokenisatie (Room-Instance Tokenization)

In plaats van vloerplannen als continue afbeeldingen te behandelen, worden ze gedecodeerd naar discrete tokens via Vector-Quantized Variational Autoencoders (VQ-VAE):

1. Contour-tokenisatie (Outline): Een VQ-VAE-encoder converteert de globale omtrek van het gebouw naar een reeks "outline tokens".
2. Ruum-tokenisatie (Conditional Room): Een tweede VQ-VAE-encoder encodeert individuele kamers, maar doet dit conditioneel op de omtrek. Dit zorgt ervoor dat de model de ruimtelijke context (buren, grenzen) begrijpt.
3. Gestructureerde Sequentie: De volledige vloerplaat wordt weergegeven als een verweven sequentie van tokens: [Omtrek-Tokens, Ruimtelabel, Ruimtetokens, Ruimtelabel, Ruimtetokens, ...]. Dit creëert een uniforme vocabulaire die geometrie en semantiek combineert.

B. Multimodale Uitlijning en Instructie-Tuning

Het model volgt een drie-traps trainingspipeline gebaseerd op een Qwen3-0.6B backbone:

1. Embedding Initialisatie: De VQ-VAE codeboeken (outline en room codes) worden toegevoegd aan de vocabulaire van het taalmodel als unieke trainbare tokens. Dit vestigt een 1-op-1 correspondentie tussen ruimtelijke codes en tekstuele tokens.
2. Multimodale Pre-training: Het model wordt getraind op grote hoeveelheden gekoppelde data (tekstbeschrijvingen + outline tokens + room tokens). Het leert om de volgende token te voorspellen in gemengde sequenties, waardoor het de relatie tussen taal en geometrie leert begrijpen.
3. Instructie-Tuning (SFT): Het model wordt fijn afgestemd op drie specifieke taken:
   • Begrijpen: Een bestaande plattegrond analyseren en beschrijven (JSON, bubble diagram).
   • Genereren: Een volledige plattegrond creëren op basis van tekst en een omtrek.
   • Bewerken: Een bestaande plattegrond aanpassen volgens natuurlijke taal instructies (bijv. "voeg een badkamer toe aan de westkant").

3. Belangrijkste Bijdragen

• Unificatie van Taken: HouseMind is het eerste framework dat vloerplanbegrip, generatie en bewerking verenigt in één enkel autoregressief model.
• Discrete Ruimtelijke Tokens: Door kamers en contouren te discretiseren, overbrugt het model de kloof tussen symbolisch redeneren en continue geometrie, wat leidt tot beter controleerbare en interpreteerbare output.
• Efficiëntie en Lokale Implementatie: Het model is lichtgewicht (gebaseerd op een 0.6B parameter backbone) en kan real-time inference uitvoeren op een enkele GPU (RTX 3090), wat het geschikt maakt voor lokale workflows.
• Gestructureerde Redenering: In tegenstelling tot pixel-gebaseerde modellen, redeneert HouseMind op het niveau van "ruimte-instanties", wat zorgt voor consistente topologie en ruimtelijke relaties.

4. Resultaten

De evaluatie is uitgevoerd op een nieuw, unificerend benchmark (gebaseerd op het RPLAN dataset) met 2.308 test samples.

• Begrijpen (Understanding): HouseMind overtreft grote multimodale modellen (zoals LLaVA, Qwen-VL, InternVL) significant.
  • RMR (Room Match Rate): 99,8% (vs. ~90% bij concurrenten).
  • LocAcc (Locatie Nauwkeurigheid): 96,9% (vs. ~50% bij concurrenten).
  • RelAcc (Ruimtelijke Relaties): 80,8% (vs. ~20% bij concurrenten).
• Genereren (Generation): HouseMind behaalt superieure scores op zowel pixel-niveau als graf-niveau.
  • Micro/Macro IoU: 0,71 / 0,65 (verbetering van >10% ten opzichte van ChatHouseDiffusion).
  • FID (Realisme): 1,91 (veel lager is beter; concurrenten scoren rond 11-50).
  • Node F1: 99,4%, wat aangeeft dat de kamertypes bijna perfect worden voorspeld.
• Bewerken (Editing): Het model voert precieze, lokale modificaties uit zonder de structuur van de rest van het plan te beschadigen.
  • ∆IoU (Bewerkingsnauwkeurigheid): 0,608 (vs. <0,1 bij beeldbewerkingsmodellen zoals FLUX.1).
  • Het behoudt de globale ruimtelijke logica veel beter dan generieke beeldbewerkingsmodellen.

5. Betekenis en Conclusie

HouseMind markeert een paradigmaverschuiving in het generatieve ontwerp van gebouwen:

• Van Pixel naar Structuur: Het bewijst dat het tokeniseren van ruimtelijke elementen (kamers) effectiever is dan het genereren van pixels voor architecturale taken. Dit zorgt voor structureel geldige ontwerpen.
• Controleerbaarheid: Architecten kunnen nu vloerplannen direct aansturen via natuurlijke taal met de zekerheid dat de topologische relaties (buren, circulatie) correct blijven.
• Toekomstperspectief: De methode opent de deur voor "human-aligned" ontwerpsystemen die niet alleen visueel mooi zijn, maar ook voldoen aan functionele en veiligheidsnormen, en lokaal inzetbaar zijn zonder zware cloud-infrastructuur.

Kortom, HouseMind demonstreert dat Large Language Models, wanneer gekoppeld aan een geschikte tokenisatiestrategie voor ruimtelijke data, krachtige instrumenten kunnen zijn voor het begrijpen, creëren en aanpassen van complexe architecturale omgevingen.