Knowledge driven Description Synthesis for Floor Plan Interpretation

Dit paper introduceert twee diepneuraalnetwerkmodellen, DSIC en TBDG, voor het genereren van flexibele en robuuste tekstuele beschrijvingen van plattegronden om de beperkingen van bestaande methoden te overwinnen.

De kern

Van Vloerplan naar Verhaal: Hoe AI een Huis "Leest"

Stel je voor dat je een oud, complex vloerplan van een huis in handen hebt. Voor een architect is het een duidelijke blauwdruk, maar voor de meeste mensen is het een wirwar van lijnen en symbolen. Wat als je een robot of een computer zou kunnen geven die niet alleen het plan ziet, maar er ook een levendig verhaal over kan vertellen? "Dit is een ruime woonkamer met een open haard, en links daarvan zie je een slaapkamer met een ingebouwde kast..."

Dat is precies wat dit onderzoek doet. De auteurs, Shreya, Chiranjoy en Gaurav, hebben twee slimme manieren bedacht om vloerplannen om te zetten in tekst. Ze noemen dit "Knowledge driven Description Synthesis" (Kennis-gedreven beschrijvingen maken), maar laten we het simpel houden: het is een vertaler van lijnen naar taal.

Hier is hoe het werkt, uitgelegd met een paar creatieve vergelijkingen:

Het Probleem: Waarom is dit moeilijk?

Normale foto's zijn als een schilderij; elke pixel heeft kleur en detail. Een vloerplan is echter meer als een code of een schematische tekening. Als je een computer gewoon een foto van een huis laat zien, herkent hij een boom of een auto. Maar als je hem een vloerplan laat zien, ziet hij alleen lijnen. Traditionele methoden proberen dit op te lossen door eerst de lijnen te analyseren (zoals "dit is een deur", "dit is een badkuip") en daar vervolgens een zinnetje bij te plakken.

Het probleem hiermee is dat het te rigide is. Het is alsof je een recept volgt waarbij je alleen de ingrediënten mag noemen, maar niet mag vertellen hoe ze samenkomen. Als de computer één ding verkeerd herkent, is het hele verhaal verkeerd.

De Oplossing: Twee Slimme Manieren

De auteurs hebben twee modellen ontwikkeld om dit probleem op te lossen. Je kunt ze zien als twee verschillende soorten detectives die een dossier (het vloerplan) onderzoeken.

1. DSIC: De "Visuele Detective"

Dit model (Description Synthesis from Image Cue) werkt puur op basis van wat het ziet.

• Hoe het werkt: Het kijkt naar het vloerplan en haalt er de belangrijkste stukken uit (zoals kamers en meubels), net als iemand die door een raam kijkt en zegt: "Ik zie een bed, ik zie een raam."
• De Analogie: Stel je voor dat je een blindeman bent die een tekening moet beschrijven door alleen de lijnen te voelen. Hij probeert het verhaal te vertellen op basis van de vorm.
• Het nadeel: Als het vloerplan heel anders is dan wat hij heeft geoefend (bijvoorbeeld een heel ander type keuken), raakt hij in de war en vertelt hij een verhaal dat niet helemaal klopt. Hij mist de "context".

2. TBDG: De "Woorden-Meester" (De Winnaar)

Dit model (Transformer Based Description Generation) is slimmer. Het gebruikt niet alleen wat het ziet, maar ook woorden die het al kent.

• Hoe het werkt: Dit model leert eerst korte beschrijvingen van losse stukken van het plan (bijv. "slaapkamer met kast"). Vervolgens gebruikt het een heel krachtig systeem (een Transformer, vergelijkbaar met de technologie achter moderne chatbots) om die losse stukjes te combineren tot een vloeiend verhaal.
• De Analogie: Stel je voor dat je een chef-kok bent. De "Visuele Detective" (DSIC) kijkt alleen naar de ingrediënten in de koelkast. De "Woorden-Meester" (TBDG) kijkt naar de ingrediënten, maar heeft ook het receptboek bij zich. Hij weet dat als er een bed en een kast zijn, het waarschijnlijk een slaapkamer is, en hij kan daar een mooi verhaal over vertellen, zelfs als de tekening wat vaag is.
• Het voordeel: Omdat het model "weet" hoe woorden samenhangen, is het veel robuuster. Het kan een verhaal vertellen over een huis dat het nog nooit heeft gezien, omdat het de logica van taal begrijpt.

De Vergelijking: Een Race

De auteurs hebben hun modellen getest op een enorme verzameling vloerplannen (het BRIDGE-dataset). Ze hebben gekeken hoe goed de gegenereerde verhalen overeenkwamen met echte, door mensen geschreven beschrijvingen.

• De oude methoden (zoals het stapelen van losse zinnetjes) waren als een robot die zegt: "Slaapkamer. Badkamer. Keuken." Droog en saai.
• De nieuwe modellen (DSIC en TBDG) maakten veel natuurlijker zinnen.
• De winnaar: TBDG won het duel. Het kon de details van een huis het beste beschrijven, zelfs als het plan complex was. Het was alsof TBDG niet alleen de lijnen zag, maar ook de intentie van de architect begreep.

Waarom is dit belangrijk?

Stel je voor dat je een huis wilt kopen op een website, maar je hebt geen tijd om naar de plattegrond te kijken. In plaats daarvan krijg je een tekst: "Dit huis heeft een lichte woonkamer die uitkomt op een groot terras, en de slaapkamers liggen aan de rustige achterkant." Dat is veel makkelijker te begrijpen dan een tekening.

Dit onderzoek laat zien dat we AI niet alleen kunnen gebruiken om plaatjes te herkennen, maar om ze te begrijpen en er een verhaal van te maken. De "Woorden-Meester" (TBDG) is de sleutel tot het maken van systemen die echt flexibel kunnen denken, in plaats van alleen maar regels te volgen.

Kortom: De auteurs hebben een manier gevonden om AI te leren niet alleen naar een vloerplan te kijken, maar er ook echt naar te luisteren en er een mooi verhaal over te vertellen.

Technische samenvatting

Titel: Kennisgedreven Synthese van Beschrijvingen voor Vloerplan-Interpretatie

Auteurs: Shreya Goyal, Chiranjoy Chattopadhyay, en Gaurav Bhatnagar
Datum: Maart 2021

---

1. Probleemstelling

Het genereren van tekstuele beschrijvingen (image captioning) voor vloerplannen is een uitdagend probleem binnen de kunstmatige intelligentie, met toepassingen in robotica, vastgoed en architecturale automatisering. Bestaande methoden voor vloerplannen hebben echter belangrijke beperkingen:

• Onvoldoende detail: Simpele captions vangen vaak geen fijne details van de ruimtelijke indeling.
• Rigiditeit: Bestaande beschrijvingen hebben vaak een starre structuur en missen flexibiliteit, wat ze ongeschikt maakt voor real-time scenario's.
• Afwijking van natuurlijke beelden: Vloerplannen zijn grafische documenten (2D lijntekeningen) en niet zoals natuurlijke foto's waarbij elke pixel essentieel is. Traditionele benaderingen die puur op visuele kenmerken vertrouwen, falen hier vaak omdat ze specifieke semantische informatie missen.
• Meertraps-pipelines: Eerdere werken gebruikten vaak een meertraps-pipeline (bijv. eerst objectdetectie, dan classificatie, dan tekstgeneratie). Fouten in eerdere stappen (zoals verkeerde symbolherkenning) leiden tot fouten in de uiteindelijke beschrijving.

Het doel van dit paper is het overbruggen van deze gaten door modellen te ontwikkelen die zowel visuele kenmerken als tekstuele cues integreren om flexibele, meervoudige zinnen (paragrafen) te genereren.

2. Methodologie

De auteurs stellen twee diepe leermodellen voor die zijn getraind op de BRIDGE-dataset (een grote dataset met vloerplannen en annotaties). Beide modellen gebruiken een end-to-end framework, maar verschillen in hoe ze input verwerken.

A. DSIC (Description Synthesis from Image Cue)

Dit model leert beschrijvingen direct uit visuele kenmerken zonder externe tekstuele input tijdens de inferentie.

• Encoder: Een Region Proposal Network (RPN) samen met een CNN extraheren visuele kenmerken van regio's in het vloerplan. De top 5 regio's worden gepooled tot één vector.
• Decoder: Een hiërarchische RNN-structuur (gebaseerd op LSTM):
  • S-RNN (Sentence-level): Genereert een "onderwerp-vector" (topic vector) voor elke zin en bepaalt het aantal zinnen.
  • W-RNN (Word-level): Genereert de daadwerkelijke woorden voor elke zin op basis van de onderwerp-vector.
• Aanpak: Puur visueel; het model probeert direct van pixeldata naar tekst te vertalen.

B. TBDG (Transformer Based Description Generation)

Dit model is robuuster en integreert "kennis" (tekstuele cues) uit de dataset om de beschrijving te verrijken.

• Extra Kennis: In plaats van alleen visuele features, gebruikt TBDG regio-specifieke bijschriften (captions) die al in de BRIDGE-dataset aanwezig zijn.
• Encoder:
  1. Regio's worden geëxtraheerd (via RPN).
  2. Een LSTM-model genereert korte bijschriften voor elke regio.
  3. Deze bijschriften worden gefuseerd en omgezet in woord-embeddings (via Word2Vec).
  4. Een Bi-LSTM fungeert als encoder voor deze tekstuele input.
• Decoder: Een Transformer-achtige architectuur met een Attention-mechanisme.
  • De decoder (LSTM) kijkt naar de gehele ingevoerde sequentie (de gefuseerde regio-bijschriften) en leert de afhankelijkheden tussen input en output.
  • Het attention-mechanisme (SoftMax) bepaalt welke delen van de input het meest relevant zijn voor het genereren van het volgende woord.
• Voordeel: Door tekstuele cues te gebruiken, kan het model context beter begrijpen en is het minder afhankelijk van perfecte visuele detectie.

3. Belangrijkste Bijdragen

1. End-to-End Learning: In tegenstelling tot eerdere meertraps-pipelines (die klassieke ML-methoden combineerden voor segmentatie en classificatie), leren de voorgestelde modellen visuele en tekstuele features gezamenlijk in één end-to-end deep learning framework.
2. Twee Nieuwe Modellen: Introductie van DSIC (visueel gedreven) en TBDG (kennisgedreven/tekstueel gedreven).
3. Robuustheid: Het paper toont aan dat het gebruik van tekstuele cues (TBDG) leidt tot robuustere resultaten, vooral bij algemene vloerplannen die niet exact in de trainingsdata voorkomen.
4. Uitgebreide Evaluatie: Een uitgebreide vergelijking met state-of-the-art methoden (zoals Densecap, semi-gestructureerde templates, en standaard taalmodellen zoals LSTM/GRU) op de BRIDGE-dataset.

4. Resultaten

De modellen werden geëvalueerd op de BRIDGE-dataset (13.000 vloerplannen) met behulp van de volgende metrieken: BLEU, ROUGE, METEOR en Average Precision (AP).

• Kwalitatieve Resultaten:
  • DSIC genereert beschrijvende zinnen, maar mist soms relevantie bij onbekende vloerplannen.
  • TBDG produceert de meest mensachtige en contextuele beschrijvingen. Het slaagt erin details over specifieke ruimtes (slaapkamer, badkamer, trap) en hun onderlinge relaties te beschrijven, zelfs als de visuele input niet perfect is.
  • Bestaande methoden (semi-gestructureerd) genereren vaak starre, voorspelbare zinnen zonder globale context.
• Kwantitatieve Resultaten:
  • TBDG behaalde de hoogste scores op bijna alle metrieken (BLEU-1, BLEU-2, METEOR, ROUGE-L).
  • DSIC presteerde aanzienlijk beter dan de baselines (LSTM, Bi-LSTM, GRU) en de semi-gestructureerde methoden, maar bleef iets achter op TBDG.
  • De Multi-staged pipeline (visuele detectie + tekstgeneratie) presteerde slechter dan de end-to-end modellen omdat fouten in de detectiestap (bijv. verkeerd herkende symbolen) de tekstgeneratie beïnvloedden.
  • Symbolherkenning: YOLO presteerde beter (mAP 82,06%) dan Faster-RCNN (75,25%) voor het detecteren van decoratieve symbolen in vloerplannen.
  • Klassificatie: VGG19 presteerde het beste voor kamerclassificatie (82,98% nauwkeurigheid) vergeleken met Capsule Networks of klassieke ML-methoden.

5. Betekenis en Conclusie

Het paper demonstreert dat voor het interpreteren van grafische documenten zoals vloerplannen, puur visuele benaderingen onvoldoende zijn. De integratie van tekstuele cues (kennis) in het generatieproces (zoals gedaan in TBDG) is cruciaal voor het produceren van accurate, flexibele en mensachtige beschrijvingen.

• Significantie: De voorgestelde aanpak lost het probleem van starre beschrijvingen op en biedt een robuustere oplossing voor real-world toepassingen in vastgoed en architectuur.
• Toekomstperspectief: De auteurs suggereren dat de modellen verder kunnen worden gegeneraliseerd door de netwerkarchitectuur te verbeteren en de methode voor het opnemen van woord-cues te herontwerpen, zodat ze om kunnen gaan met een nog bredere variatie aan vloerplannen.

Kortom, dit werk markeert een verschuiving van gefragmenteerde, meertraps-analyses naar geïntegreerde, kennisgedreven end-to-end modellen voor de interpretatie van technische tekeningen.