FlatLands: Generative Floormap Completion From a Single Egocentric View

Título: FlatLands: Completamento Generativo de Mapas de Chão a partir de uma Única Visão Ego-Cêntrica

1. O Problema

A autonomia robótica em ambientes internos enfrenta o desafio fundamental da parcial observabilidade. Uma única imagem ego-cêntrica (vista de primeira pessoa) captura apenas uma pequena fração do chão, deixando a maior parte do espaço navegável oculta devido a oclusões e ao campo de visão limitado do sensor.

• Objetivo: Inferir um mapa métrico completo de navegabilidade (traversability map) a partir de uma única imagem RGB, preenchendo as regiões não observadas.
• Desafio Principal: Este é um problema de inversão Bayesiana inerentemente ambíguo. Uma única observação parcial pode corresponder a múltiplos layouts de ambiente plausíveis (ex: uma parede pode estar a 2 metros ou 5 metros de distância). Portanto, o objetivo não é apenas encontrar uma estimativa pontual única, mas modelar a distribuição de probabilidade sobre os mapas de chão possíveis, capturando a incerteza estrutural.
• Limitação Existente: Não existia um benchmark padronizado e realista para a completamento de mapas métricos de chão em visão única (Single-View BEV Floor Completion) em ambientes internos.

2. Metodologia e Framework

A. O Dataset e Benchmark: FlatLands

Os autores introduzem o FlatLands, o primeiro dataset e benchmark dedicado a esta tarefa.

• Escala e Origem: Compõe-se de 270.575 observações extraídas de 17.656 cenas reais métricas, agregadas de seis datasets existentes (ZInD, ARKitScenes, Matterport3D, ScanNet, 3RScan e ScanNet++).
• Estrutura dos Dados: Cada observação inclui:
  • Imagem RGB ego-cêntrica.
  • Mapa de chão observado ($F_{obs}$) projetado em visão de cima (BEV).
  • Máscara de não observação ($U$) indicando o que falta preencher.
  • Mapa de chão completo ground-truth ($F^*$) e máscara de validade ($V$).
• Protocolo de Avaliação: Separação rigorosa em In-Distribution (ID) e Out-of-Distribution (OOD), onde o dataset ScanNet++ é usado estritamente para teste OOD, garantindo generalização real.

B. Pipeline de Processamento

O trabalho propõe um pipeline end-to-end que decopla a percepção da completamento:

1. Frente de Percepção (Front-end): A partir da imagem RGB, estima-se um mapa de profundidade (usando DepthPro) e uma segmentação de chão (usando SegFormer). Esses dados são projetados ortogonalmente no plano do chão para gerar o mapa observado $F_{obs}$ e a máscara de oclusão $U$.
2. Fase de Completamento (Generative Stage): Um modelo generativo condicional recebe $(F_{obs}, U)$ e gera múltiplas hipóteses para a região não observada, preservando exatamente as evidências observadas.

C. Abordagens Comparadas

O benchmark avalia 11 métodos sob um protocolo unificado:

• Baselines Não Treinados: Preenchimento por obstáculos, chão, propagação de vizinhos mais próximos e aleatório.
• Modelos Determinísticos: U-Net, PartialConv U-Net e LaMa (focados em uma única estimativa pontual).
• Modelos Estocásticos (Geradores):
  • Ensembles: LaMa Ensemble (múltiplos modelos treinados com sementes diferentes).
  • Amostragem Posterior: Modelos de Difusão, Flow Matching e Flow Matching com Atenção Cruzada (FM+XAttn).

3. Contribuições Principais

1. Formalização e Dataset: Definição formal da tarefa de completamento de chão em BEV de visão única e lançamento do FlatLands, o primeiro benchmark de grande escala com metadados de visibilidade e validade alinhados.
2. Protocolo de Avaliação Rigoroso: Introdução de métricas específicas para avaliar não apenas a fidelidade, mas também a diversidade e calibração das previsões estocásticas (ex: Masked Energy Score - MES).
3. Análise de Incerteza: Demonstração de que modelos generativos estocásticos superam os determinísticos ao capturar a ambiguidade do layout.
   • Descoberta chave: Ensembles determinísticos (LaMa-Ens.) tendem a confundir divergência de sementes com ambiguidade real do layout (variância uniforme).
   • Descoberta chave: Modelos condicionais baseados em Flow (FM+XAttn) concentram a incerteza corretamente nas fronteiras estruturais (onde a ambiguidade real existe), mantendo baixa variância em regiões internas bem definidas.

4. Resultados Experimentais

• Desempenho Geral: Modelos estocásticos com seleção "best-of-K" (escolher a melhor amostra entre K) superam todos os modelos determinísticos em fidelidade (IoU e F1), confirmando que a amostragem posterior recupera completamentos de maior qualidade.
• Generalização OOD: A hierarquia de desempenho é preservada no conjunto de teste OOD (ScanNet++), indicando que os priores de layout aprendidos generalizam bem para arquiteturas não vistas durante o treinamento.
• Métricas de Calibração:
  • O FM+XAttn obteve o melhor Masked Energy Score (MES), equilibrando melhor fidelidade e diversidade.
  • A análise de variância de fronteira mostrou que o FM+XAttn localiza a incerteza nas bordas (razão de variância interior/borda de ~600x), enquanto o LaMa-Ensemble espalha a incerteza uniformemente (razão de ~2.4x), o que é menos útil para planejamento de navegação.
• Pipeline End-to-End: Ao usar imagens RGB reais (com ruído de estimativa de profundidade e segmentação), o desempenho absoluto cai, mas a classificação relativa dos métodos se mantém. Curiosamente, a vantagem estocástica diminui neste cenário, sugerindo que o gargalo se torna a percepção front-end, e não o modelo de completamento.

5. Significado e Impacto

• Para Robótica e Navegação: O trabalho fornece uma ferramenta crucial para robôs que precisam tomar decisões sob incerteza. Ao fornecer múltiplas hipóteses de mapas de chão, permite que planejadores de trajetória evitem colisões em regiões ambíguas e decidam ativamente onde se mover para reduzir a incerteza (percepção ativa).
• Avanço em IA Generativa: Demonstra a aplicação eficaz de modelos generativos modernos (Difusão e Fluxo) para problemas de completamento geométrico métrico, indo além da síntese de texturas RGB.
• Padrão Futuro: O FlatLands estabelece um novo padrão para avaliação de tarefas de mapeamento interno, incentivando o desenvolvimento de modelos que não apenas "adivinham" o layout, mas quantificam corretamente a confiança em suas previsões.

Em resumo, o FlatLands preenche uma lacuna crítica na pesquisa de IA Embutida, oferecendo dados, métricas e resultados que validam a superioridade de abordagens generativas estocásticas para a construção de mapas de navegação robustos a partir de visões parciais.