FlatLands: Generative Floormap Completion From a Single Egocentric View

Resumen Técnico: FlatLands

1. El Problema

La autonomía robótica en interiores enfrenta una limitación fundamental: la parcialidad de la observación. Una sola imagen egocéntrica (vista en primera persona) captura solo una pequeña porción del suelo debido a oclusiones y al campo de visión limitado. Sin embargo, para tareas críticas como la navegación, la planificación de rutas y la localización, un robot necesita un mapa de transitabilidad métrico completo en vista cenital (Bird's-Eye View o BEV).

El desafío principal es que inferir el mapa completo a partir de una sola vista es un problema inverso bayesiano inherentemente ambiguo. No existe una única solución determinista; múltiples configuraciones de habitaciones y obstáculos son consistentes con la observación parcial. Por lo tanto, el objetivo no es predecir un único mapa, sino inferir una distribución de probabilidad sobre los mapas de transitabilidad plausibles en las regiones no observadas, manteniendo la evidencia observada intacta.

2. Metodología y Marco de Trabajo

A. El Dataset FlatLands
Los autores introducen FlatLands, el primer benchmark estandarizado para la finalización de mapas de suelo en BEV a partir de una sola vista.

• Origen: Agrega 17,656 escenas métricas reales de interiores de seis conjuntos de datos existentes (ZInD, ARKitScenes, Matterport3D, ScanNet, 3RScan y ScanNet++).
• Escala: Contiene 270,575 observaciones sintetizadas.
• Procesamiento: Se generan observaciones egocéntricas virtuales mediante proyección ortográfica desde mallas 3D. Cada muestra incluye:
  • $F_{obs}$: Mapa de suelo observado (binario).
  • $U$: Máscara de región no observada válida.
  • $F^*$: Mapa de suelo completo (Ground Truth).
  • $V$: Máscara de espacio de trabajo válido.
• Protocolo de Evaluación: Incluye particiones estrictas In-Distribution (ID) y Out-of-Distribution (OOD), donde ScanNet++ se utiliza exclusivamente para pruebas OOD sin tocarlo durante el entrenamiento.

B. Pipeline de Tarea
El sistema se descompone en dos etapas:

1. Percepción (Front-end): Dada una imagen RGB, se estima la profundidad y la segmentación del suelo, proyectándolos al plano BEV para obtener $F_{obs}$ y la máscara de oclusión.
2. Finalización (Generación): Un modelo generativo condicional toma el par $(F_{obs}, U)$ y muestrea múltiples hipótesis completas del mapa, respetando estrictamente los píxeles observados.

C. Modelos Evaluados
Se compararon 11 métodos bajo un protocolo unificado:

• Baselines sin entrenamiento: Rellenos triviales (todo obstáculo, todo suelo, propagación por vecinos más cercanos, aleatorio).
• Modelos Deterministas: U-Net, PartialConv UNet y LaMa (adaptados para mapas binarios).
• Ensembles Epistémicos: LaMa Ensemble (4 modelos independientes con diferentes semillas).
• Generadores Estocásticos (Muestreo Posterior):
  • Diffusion: Modelos de difusión denoising (DDIM).
  • Flow Matching: Modelos de emparejamiento de flujos.
  • FM+XAttn: Flow Matching con un codificador de condiciones y mecanismos de atención cruzada inyectados en resoluciones gruesas para mejorar la coherencia estructural.

3. Contribuciones Clave

1. Formalización y Dataset: Se define formalmente la tarea de finalización de suelo en BEV a una sola vista y se libera FlatLands, el primer benchmark masivo con 270k+ observaciones alineadas y metadatos de procedencia.
2. Evaluación Rigurosa: Se introduce un conjunto de métricas que incluye:
   • UMR (Unobserved-region Mismatch Rate): Tasa de error en la región no observada.
   • MES (Masked Energy Score): Una métrica nueva que evalúa simultáneamente la fidelidad (proximidad a la verdad) y la diversidad (variedad de las muestras) en muestreos múltiples.
   • Análisis de Varianza de Límites: Descomposición de la incertidumbre para distinguir entre ambigüedad estructural real (bordes) y divergencia de semillas.
3. Pipeline End-to-End: Se valida el enfoque completo desde imagen RGB hasta mapa BEV, demostrando la viabilidad con sensores reales.

4. Resultados Principales

• Superioridad de los Modelos Generativos: Los modelos estocásticos con selección "best-of-K" (elegir la mejor de K muestras) superan consistentemente a todos los predictores deterministas en fidelidad (IoU y F1). Esto confirma que el muestreo posterior recupera completaciones de mayor calidad que una estimación puntual.
• Mejor Calibración con FM+XAttn: El modelo FM+XAttn (Flow Matching con Atención Cruzada) logra el mejor puntaje MES.
  • Localización de Incertidumbre: A diferencia de los ensembles (LaMa-Ens) que dispersan la varianza uniformemente (confundiendo divergencia de semillas con ambigüedad), FM+XAttn concentra la incertidumbre (varianza alta) únicamente en los límites estructurales ambiguos (donde las paredes podrían estar), manteniendo una varianza casi nula en las regiones interiores bien definidas.
• Generalización OOD: El ordenamiento de los métodos se mantiene en el conjunto de prueba OOD (ScanNet++), indicando que los modelos aprenden priores de diseño arquitectónico generales y no sobreajustan a artefactos de los datos de entrenamiento.
• Análisis de Fallos:
  • En casos de oclusión extrema (donde >50% del suelo es invisible), los modelos deterministas y LaMa tienden a colapsar o generar "islas" desconectadas.
  • Los generadores estocásticos manejan mejor la ambigüedad, aunque todos sufren "fugas" de suelo en regiones totalmente no observadas.
• Pipeline Real: Al pasar de condiciones de verdad absoluta (BEV GT) a imágenes RGB reales (con estimación de profundidad y segmentación ruidosas), la ventaja de los modelos estocásticos disminuye, sugiriendo que el cuello de botella se desplaza de la finalización a la percepción frontal (estimación de profundidad/segmentación).

5. Significado e Impacto

Este trabajo es fundamental para la IA Encarnada (Embodied AI) y la robótica de interiores por varias razones:

• Planificación bajo Incertidumbre: Proporciona priores espaciales probabilísticos que permiten a los planificadores de movimiento operar de manera segura en entornos parcialmente observables, identificando zonas de alto riesgo (alta varianza) donde el robot debe recopilar más información.
• Eficiencia Computacional: Al centrarse en mapas binarios 2D en lugar de reconstrucciones 3D densas o mallas complejas, el enfoque es ligero y adecuado para la ejecución en tiempo real en robots.
• Nueva Línea de Investigación: Establece un estándar para evaluar la completitud generativa en mapas, moviendo el campo más allá de la simple reconstrucción geométrica hacia la inferencia de distribuciones de probabilidad estructurales.

En conclusión, FlatLands demuestra que los modelos generativos estocásticos, específicamente aquellos con mecanismos de atención cruzada como FM+XAttn, son superiores para inferir mapas de navegación completos y cuantificar la incertidumbre estructural a partir de una sola vista, sentando las bases para sistemas de navegación robótica más robustos y conscientes del riesgo.