FlatLands: Generative Floormap Completion From a Single Egocentric View

1. Il Problema: Completamento della Mappa da una Vista Singola

Il lavoro affronta una sfida fondamentale nell'autonomia robotica indoor: la parzialità dell'osservabilità. Un robot che si muove in un ambiente interno riceve tipicamente una singola immagine RGB egocentrica (vista dal punto di vista del robot), che cattura solo una piccola porzione del pavimento a causa di occlusioni (mobili, muri) e del campo visivo limitato.

Tuttavia, per la navigazione sicura e la pianificazione del percorso, è necessario un mappa metrica completa della traversabilità (floormap) in vista dall'alto (Bird's-Eye View, BEV).
Il compito specifico definito è il completamento generativo della mappa del pavimento: dato un singolo frame RGB, inferire la distribuzione di probabilità delle mappe di traversabilità plausibili per le regioni non osservate, rispettando esattamente le evidenze osservate. Questo è un problema inverso bayesiano, dove l'obiettivo non è una singola stima puntuale, ma un insieme di ipotesi (posteriore) che catturi l'incertezza strutturale dell'ambiente.

2. Metodologia e Pipeline

Il paper propone una pipeline end-to-end che separa la percezione del segnale osservato dalla generazione della parte mancante.

A. Pipeline di Inferenza (Fig. 1)

1. Fase di Percezione: Da un singolo frame RGB, vengono estratti:
   • Una mappa di profondità (usando DepthPro).
   • Una segmentazione del pavimento (usando SegFormer).
   • Questi dati vengono proiettati ortogonalmente nel piano BEV per generare la mappa osservata ($F_{obs}$) e la maschera di non osservazione ($U$).
2. Fase Generativa: Un modello condizionale prende in input $(F_{obs}, U)$ e genera completamenti per la regione $U$.
   • Il modello deve preservare esattamente $F_{obs}$ (vincolo di "evidence clamping").
   • Per le regioni non osservate, il modello genera $K$ campioni ($\hat{F}^{(1)}, \dots, \hat{F}^{(K)}$) per rappresentare l'incertezza multimodale (es. diverse configurazioni di porte o corridoi).

B. Il Dataset FlatLands

Per colmare la mancanza di benchmark reali, gli autori introducono FlatLands:

• Origine: Aggrega 17.656 scene metriche reali da 6 dataset esistenti (Matterport3D, ScanNet, ARKitScenes, ecc.).
• Volume: 270.575 osservazioni sintetizzate.
• Sintesi: Le osservazioni sono generate simulando telecamere virtuali su mesh 3D, calcolando visibilità e occlusioni tramite ray-casting.
• Split: Include split In-Distribution (ID) e Out-of-Distribution (OOD, usando ScanNet++ solo per il test), garantendo una valutazione rigorosa della generalizzazione.
• Formato: Input e output sono mappe binarie 256x256 (traversabile/non traversabile) con maschere di validità.

C. Modelli Valutati

Il benchmark confronta 11 approcci divisi in categorie:

1. Baselines "Naive": Riempimento con ostacoli, pavimento, propagazione dei vicini, o casuale.
2. Modelli Deterministici: U-Net, PartialConv U-Net, LaMa (adattato per mappe binarie). Producono una singola mappa.
3. Ensemble Epistemico: Ensemble di LaMa con diversi semi casuali.
4. Generatori Stocastici (Posterior Samplers):
   • Diffusion Models: Inpainting tramite processi di denoising.
   • Flow Matching: Modelli che apprendono campi di velocità per trasportare la distribuzione.
   • FM+XAttn: Flow Matching potenziato con un encoder di condizione e meccanismi di Cross-Attention per integrare meglio le informazioni globali della mappa osservata.

3. Contributi Chiave

1. Definizione del Task e Benchmark FlatLands: Il primo dataset e benchmark standardizzato per il completamento metrico del pavimento indoor da una singola vista, con 270k+ osservazioni allineate e maschere di validità.
2. Valutazione dell'Incertezza: Introduzione di metriche specifiche per valutare non solo la fedeltà (fidelity) ma anche la diversità e la calibrazione delle ipotesi multiple.
   • UMR (Unobserved-region Mismatch Rate): Tasso di errore sulle regioni non osservate.
   • MES (Masked Energy Score): Una metrica di scoring che bilancia la fedeltà al ground truth e la diversità tra i campioni generati (basata sulla distanza di Jaccard).
3. Analisi dell'Incertezza: Dimostrazione che i modelli stocastici, in particolare quelli basati su Flow Matching con attenzione incrociata (FM+XAttn), localizzano l'incertezza nelle regioni strutturalmente ambigue (bordi, porte) invece di generare rumore casuale ovunque.

4. Risultati Principali

• Superiorità dei Modelli Generativi: I modelli stocastici con selezione "oracle" (best-of-K) superano sistematicamente tutti i modelli deterministici, confermando che campionare dal posteriore recupera completamenti di qualità superiore che un singolo estimatore non può raggiungere.
• FM+XAttn come SOTA: Il modello FM+XAttn ottiene le migliori prestazioni complessive, specialmente nel punteggio MES (calibrazione) e nella capacità di concentrare la varianza solo sui bordi strutturali ambigui, a differenza degli ensemble che mostrano varianza diffusa (rumore).
• Generalizzazione OOD: Le gerarchie di performance si mantengono stabili anche sul set di test OOD (ScanNet++), indicando che i modelli hanno appreso prior strutturali generali sugli interni e non stanno solo memorizzando artefatti dei dati di training.
• Pipeline End-to-End: Anche quando si utilizza un pipeline reale RGB->BEV (con stime di profondità e segmentazione rumorose), i modelli stocastici mantengono la coerenza e producono estensioni plausibili della stanza, mentre i modelli deterministici tendono a frammentare o troncare il pavimento.
• Fallimenti: In casi di occlusione estrema (>50% del pavimento nascosto), i modelli tendono a "perdere il bordo" (boundary leakage), estendendo il pavimento in aree ostacolate. Inoltre, il modello LaMa tende a collassare (mode collapse) in condizioni di segnale condizionante molto debole.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

• Navigazione Robusta: Fornisce ai robot una rappresentazione probabilistica dello spazio non osservato, essenziale per la pianificazione in spazi parzialmente osservabili (POMDP) e per evitare collisioni in aree non visibili.
• Separazione Percezione-Generazione: Dimostra che l'incertezza nella mappa può essere gestita efficacemente da modelli generativi moderni, separando il problema della stima geometrica da quello della completamento strutturale.
• Standardizzazione: FlatLands fornisce un terreno di prova rigoroso per futuri lavori su mappatura indoor, esplorazione attiva e pianificazione basata su incertezza.
• Efficienza: L'uso di mappe BEV binarie (anziché rappresentazioni 3D dense o mesh) rende il processo computazionalmente efficiente e adatto all'uso in tempo reale su hardware robotico.

In sintesi, il paper stabilisce che per la mappatura indoor da una singola vista, l'approccio generativo stocastico è superiore a quello deterministico, offrendo non solo una mappa più accurata, ma anche una stima affidabile di dove il robot non è sicuro, guidando così azioni di esplorazione o pianificazione più conservative e sicure.