⚡ electrical engineering

FlatLands: Generative Floormap Completion From a Single Egocentric View

Dit paper introduceert FlatLands, een dataset en benchmark voor het genereren van complete vloerplannen in vogelperspectief vanuit één egeocentrische afbeelding, waarmee onzekerheidsbewuste binnenkaarten voor embodied navigatie mogelijk worden gemaakt.

Oorspronkelijke auteurs: Subhransu S. Bhattacharjee, Dylan Campbell, Rahul Shome

Gepubliceerd 2026-03-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Subhransu S. Bhattacharjee, Dylan Campbell, Rahul Shome

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

FlatLands: Het Voltooiingspuzzel voor Robots

Stel je voor dat je in een volledig donkere kamer staat. Je kunt alleen de vloer direct voor je voeten zien, maar de rest van de kamer is verborgen achter muren, meubels of in het donker. Nu, als mens, kun je je waarschijnlijk voorstellen hoe de rest van de kamer eruitziet: "Aha, daar moet wel een deur zijn, en waarschijnlijk loopt de vloer door tot aan de muur."

Maar voor een robot is dit een enorme uitdaging. Een robotcamera ziet slechts een klein stukje van de wereld. Als de robot een route wil plannen, moet hij weten waar hij niet kan lopen (muren, trappen) en waar hij wel kan lopen (de vloer).

Deze paper introduceert FlatLands, een nieuw hulpmiddel om robots te helpen die "gaten in hun kennis" op te vullen.

1. Het Probleem: De "Geknipte" Foto

Stel je voor dat je een foto maakt van de vloer in een kamer, maar je camera is zo gericht dat je alleen de hoek ziet. De rest van de foto is zwart of onbekend.

De uitdaging: Hoe teken je de rest van de kamer in? Moet je aannemen dat er een muur is? Of een deur? Of misschien een trap?
Het risico: Als de robot verkeerd gokt, botst hij tegen een muur of valt hij van een trap.

2. De Oplossing: Een Slimme "Inktvlek"

De auteurs hebben FlatLands bedacht. Dit is eigenlijk een enorme verzameling van 270.000 voorbeelden van binnenkamers, waar robots kunnen leren hoe ze die "zwarte gaten" moeten invullen.

Ze gebruiken een slimme analogie: Het is als een inktvlek op een stuk papier.

Je hebt een stuk papier (de kamer).
Er staat een klein vlekje inkt (wat de robot ziet).
De rest is leeg.
De taak van de AI is om de rest van het papier in te kleuren, zodat het een logisch geheel wordt.

Maar hier is het twistpunt: Er is niet één juiste oplossing.
Als je alleen een stukje vloer ziet, kan de rest van de kamer een grote woonkamer zijn, of een lange gang, of een kamer met een hoek. De AI moet niet één antwoord geven, maar een reeks van mogelijke antwoorden.

3. De "Magische" Robots (Generatieve Modellen)

De paper test verschillende manieren om dit op te lossen:

De "Gokker" (Deterministische modellen): Deze robot zegt: "Ik denk dat het hier een muur is." Hij geeft één antwoord. Als hij het fout heeft, is hij het fout.
De "Dromer" (Stochastische/Generatieve modellen): Deze robot zegt: "Oké, ik zie dit stukje vloer. Het kan een muur zijn, maar het kan ook een deur zijn, of een open ruimte. Hier zijn vier verschillende scenario's die allemaal logisch zijn."

De paper laat zien dat de "Dromer" veel beter werkt. Waarom? Omdat hij de onzekerheid respecteert. Als de robot niet zeker weet wat er aan de andere kant van de muur zit, geeft hij meerdere opties. Dit helpt de robot om veilig te plannen: "Ik ga niet naar links, want daar zou een muur kunnen zijn, maar ik kan wel naar rechts."

4. De Nieuwe "Scorekaart"

Omdat er meerdere goede antwoorden mogelijk zijn, kun je niet gewoon zeggen "goed" of "fout". De auteurs hebben nieuwe regels bedacht om te meten hoe goed de robot is:

De "Energie-Score": Dit meet of de robot niet alleen de juiste gaten invult, maar ook genoeg variatie biedt. Een robot die altijd hetzelfde zegt, is saai en onveilig. Een robot die verschillende mogelijkheden bedenkt, is slim.

5. Waarom is dit belangrijk?

Dit onderzoek is de basis voor robots die echt veilig door onze huizen kunnen lopen zonder dat ze een complete kaart van het huis nodig hebben voordat ze beginnen.

Voorbeelden: Een robot die voor je ouderenzorg zorgt en niet tegen meubels botst, of een reddingsrobot die door een ingestort gebouw navigeert terwijl hij maar een klein stukje van de ruimte kan zien.

Kortom:
FlatLands is als een enorme "opleidingschool" voor robots. Het leert hen niet alleen om te kijken, maar vooral om te voorstellen. Het leert hen dat als ze niet alles zien, ze niet moeten raden, maar een paar slimme, waarschijnlijke scenario's moeten bedenken om veilig door het leven (of het huis) te komen.

Titel: FlatLands: Generatieve Voltooiing van Vloerplannen vanuit één Ego-centrisch Beeld

Auteurs: Subhransu S. Bhattacharjee, Dylan Campbell, en Rahul Shome (Australian National University).

1. Probleemstelling

Binnen de autonome robotica en navigatie is partiële waarneembaarheid een fundamentele beperking. Een robot die een enkele egocentrische (eerste-persoons) RGB-afbeelding vastlegt, ziet slechts een klein deel van de vloer; de rest is verborgen door obstakels of ligt buiten het gezichtsveld. Voor effectieve navigatie en planning is echter een volledige, metrische traversabiliteitskaart (een kaart die aangeeft waar de robot veilig kan bewegen) nodig.

De kernuitdaging is het invoeren van een bruikbare traversabiliteitskaart (een Bird's-Eye-View of BEV raster) op basis van slechts één afbeelding. Omdat er veel mogelijke indelingen van de ruimte bestaan die consistent zijn met het beperkte waargenomen deel, is dit een Bayesiaans invers probleem. Het doel is niet om één enkele "beste" schatting te maken (een punt-schatting), maar om een verdeling van plausibele kaarten te genereren die de onzekerheid in de onwaargenomen gebieden kwantificeren.

2. Methodologie

De auteurs introduceren FlatLands, een dataset en benchmark, en stellen een end-to-end pipeline voor die bestaat uit twee hoofdfasen:

A. De FlatLands Dataset

FlatLands is de eerste gestandaardiseerde benchmark voor deze taak, opgebouwd uit 17.656 echte binnenruimtes afkomstig van zes bestaande datasets (o.a. ScanNet, Matterport3D, ZInD).

Data: Het bevat 270.575 observaties met uitgelijnde ground-truth BEV-kaarten.
Input/Output: Voor elke observatie wordt een binair raster van 256x256 gegenereerd met vier lagen:
1. $F_{obs}$ : De waargenomen vloer (zichtbaar).
2. $U$ : Het masker van de geldige maar onwaargenomen gebieden.
3. $F^*$ : De volledige ground-truth vloerkaart.
4. $V$ : Een validiteitsmasker (binnen de grenzen van de ruimte).
Splitsing: De dataset bevat strikt gescheiden trainings-, validatie- en testsets, waarbij de ScanNet++ dataset uitsluitend wordt gebruikt voor Out-of-Distribution (OOD) evaluatie om generalisatievermogen te testen.

B. De Pipeline

De voorgestelde pipeline (Fig. 1 in het paper) werkt als volgt:

Perceptie (Front-end): Vanuit een enkele RGB-afbeelding worden dieptekaarten (via DepthPro) en vloersegmentaties (via SegFormer) geschat. Deze worden geprojecteerd naar een BEV-grid om $F_{obs}$ en het masker $U$ te vormen.
Generatieve Voltooiing: Een conditioneel generatief model neemt $(F_{obs}, U)$ $(F_{o b s}, U)$ als input en genereert de ontbrekende delen van de kaart.
- Het model moet de waargenomen data exact behouden (hard clamping) en alleen variëren in de onwaargenomen gebieden.
- Het doel is het sampleen van de posterior $P(F_{unobserved} | F_{obs}, U)$ .

C. Geëvalueerde Methodes

De auteurs vergelijken 11 methoden in vier categorieën:

Naive Baselines: Vullen met obstakels, vloer, nearest-neighbor propagatie, of willekeurig.
Deterministische Modellen: U-Net, PartialConv U-Net, en LaMa (een inpainting-model). Deze produceren één enkele uitkomst.
Epistemische Ensembles: Meerdere instanties van LaMa met verschillende zaden (seeds) om variatie te creëren.
Stochastische Generatieve Modellen:
- Diffusiemodellen: Posterior sampling via DDIM.
- Flow Matching: ODE-gebaseerde generatie.
- FM+XAttn: Flow Matching met een conditionele encoder en cross-attention mechanismen om globale lay-out hints beter te integreren.

3. Belangrijkste Bijdragen

FlatLands Benchmark: De eerste uitgebreide dataset en evaluatieprotocol voor single-view BEV vloercompletering met realistische, metrische binnenruimtes, inclusief in-distribution (ID) en out-of-distribution (OOD) splitsen.
Nieuwe Evaluatiemetrics:
- UMR (Unobserved-region Mismatch Rate): Meet de fouten in het onwaargenomen gebied.
- MES (Masked Energy Score): Een nieuwe metric die zowel fideliteit (nabijheid aan ground truth) als diversiteit (variatie tussen samples) combineert voor stochastische modellen.
End-to-End Validatie: Demonstratie van een volledige RGB-naar-vloerkaart pipeline die werkt met echte sensoren (monoculair RGB), niet alleen met perfecte ground-truth inputs.
Analyse van Onzekerheid: Een diepgaande analyse toont aan dat stochastische modellen onzekerheid beter lokaliseren in structureel ambigu gebieden (zoals hoeken en deuropeningen) dan ensemble-methoden, die vaak willekeurige variatie introduceren.

4. Resultaten

De experimentele resultaten tonen duidelijke trends:

Stochastische Modellen vs. Deterministische Modellen:
- Stochastische generatieve modellen (vooral FM+XAttn en Diffusie) presteren significant beter dan deterministische modellen wanneer er meerdere plausibele oplossingen mogelijk zijn.
- Met een "Oracle Best-of-K" selectie (waarbij de beste van 4 samples wordt gekozen) overtreffen stochastische modellen alle deterministische baselines in zowel ID als OOD scenarios.
Kwaliteit van Onzekerheid:
- FM+XAttn levert de beste MES scores, wat betekent dat het de juiste balans vindt tussen accurate voorspellingen en het tonen van variatie waar nodig.
- Boundary Variance Analyse: FM+XAttn concentreert zijn variatie (onzekerheid) specifiek op de grenzen van de vloer (waar de lay-out onzeker is), terwijl ensemble-methoden (LaMa-Ensemble) variatie tonen over de hele kaart, wat wijst op "seed-divergentie" in plaats van echte lay-out-ambiguïteit.
Generalisatie (OOD):
- De rangschikking van de methoden blijft stabiel op de OOD-testset (ScanNet++), wat aantoont dat de modellen hebben geleerd over algemene ruimtelijke structuren en niet alleen over artefacten van de trainingsdata.
End-to-End Prestaties:
- Wanneer de pipeline wordt uitgevoerd met geschatte diepte en segmentatie (in plaats van ground truth), neemt de prestatie af, maar de rangschikking van de methoden blijft behouden.
- De "stochastische meerwaarde" (het voordeel van meerdere samples) verdwijnt echter bijna volledig bij end-to-end evaluatie, omdat de fouten in de perceptie (front-end) de bottleneck vormen, niet de voltooiing.

5. Betekenis en Toekomstperspectief

Dit werk is van groot belang voor Embodied AI en robotnavigatie:

Veiligheid: Door onzekerheid expliciet te modelleren, kunnen robots beslissingen nemen die rekening houden met het risico van botsing in onbekende gebieden.
Actieve Perceptie: De gegenereerde kaarten kunnen dienen als prior voor "belief-space planning", waarbij robots actief beslissen welke nieuwe observaties nodig zijn om hun onzekerheid te verkleinen.
Schaalbaarheid: De gebruikte 2D BEV-representatie is computatie-efficiënt en onafhankelijk van de specifieke sensor, wat het toepasbaar maakt voor diverse robotplatforms.

Beperkingen en Toekomstig Werk:
De huidige benchmark focust op binaire traversabiliteit (vloer vs. geen vloer) en vereenvoudigde camera-intrinsieken. Toekomstig werk moet uitbreiden naar:

Grijswaarden voor traversabiliteit (bijv. trappen, hellingen).
Semantische informatie (wat voor type ruimte is het?).
Multi-view input en multi-verdiepingen.
Integratie in gesloten-lus planners voor echte navigatie.

Samenvattend biedt FlatLands een rigoureuze testomgeving die aantoont dat generatieve modellen essentieel zijn voor het omgaan met onzekerheid in binnenlandse navigatie, en dat het lokaliseren van onzekerheid in specifieke structurele gebieden cruciaal is voor robuuste robotica.