Occupancy-Grounded Room Segmentation for Hierarchical 3D Scene Graphs

Resumo Técnico: Segmentação de Ambientes Baseada em Ocupação para Grafos de Cena 3D Hierárquicos

Definição do Problema
Grafos de Cena 3D Hierárquicos (3DSGs) são essenciais para que robôs indoor organizem informações geométricas e semânticas através de escalas espaciais, vinculando a percepção de nível de objeto ao raciocínio de nível de ambiente. No entanto, a construção da "camada de ambiente" (room layer) em sistemas existentes carece de uma definição geométrica padronizada. Abordagens atuais derivam nós de ambiente a partir de substratos espaciais díspares, como clusters de conectividade de lugares, planos de paredes ou saídas de segmentação. Consequentemente, os nós de ambiente não são avaliados contra um critério geométrico comum, tornando difícil determinar se um nó de ambiente previsto realmente corresponde a uma instância física de ambiente no cenário. Além disso, as avaliações existentes frequentemente dependem de métricas indiretas (ex: precisão de trajetória) em vez de comparações geométricas diretas com o layout real (ground-truth) dos ambientes.

Metodologia
Os autores propõem um pipeline de 3DSG baseado em ocupação que ancora os nós de ambiente a regiões de espaço livre rastreadas, derivadas da decomposição de ocupação. O pipeline processa entradas RGB-D através de quatro estágios principais:

1. Percepção Geométrica: Quadros RGB-D são integrados em um mapa de octree de ocupação 3D. Este mapa é colapsado em uma camada 2D de espaço livre via análise de folga vertical (vertical-clearance). Uma célula de solo é marcada como "livre" apenas se sua coluna de voxels verticais contiver uma lacuna de pelo menos 0,3 m, preservando efetivamente limites arquitetônicos (paredes) enquanto suprime detritos baixos ou suspensos.
2. Fundamentação de Região (Inovação Central): A camada 2D de espaço livre é particionada em regiões poligonais usando uma forma incremental de DUDE (Decomposition of Unstructured Discrete Environments). Essas regiões são rastreadas ao longo do tempo usando associação por Interseção sobre União (IoU) para garantir estabilidade contra ruído de mapeamento. Crucialmente, cada região rastreada estável é ancorada a exatamente um nó de ambiente, fornecendo a cada ambiente uma pegada poligonal explícita e persistente.
3. Construção do Grafo: O sistema monta um grafo hierárquico contendo nós de agente, objeto, navegação e ambiente. Objetos e nós de navegação são atribuídos a nós de ambiente baseando-se na contenção poligonal. A adjacência entre ambientes é estabelecida apenas quando as regiões de suporte estão conectadas por uma passagem navegável.
4. Framework de Avaliação: Diferente de métodos anteriores, esta abordagem permite que a camada de ambiente seja avaliada como uma tarefa padrão de segmentação de ambiente 2D. Polígonos de ambiente previstos são correspondidos um-a-um com instâncias de ambiente anotadas do ground-truth usando atribuição de Hungarian baseada em IoU.

Principais Contribuições

• Ancoragem Geométrica Explícita: O artigo introduz um método onde os nós de ambiente não são clusters abstratos, mas são explicitamente fundamentados a polígonos de espaço livre rastreados, conferindo-lhes uma extensão espacial mensurável.
• Avaliação Padronizada: Aplica métricas de segmentação de ambiente 2D (Recall, Precisão, F1, mIoU, Boundary F1) para camadas de ambiente de 3DSG pela primeira vez, permitindo a comparação direta da recuperação de instâncias de ambiente contra o ground-truth.
• Implementação de Pipeline: Um pipeline completo é fornecido que funde percepção geométrica, decomposição de espaço livre e rastreamento de região para gerar um 3DSG hierárquico.

Resultos
O método foi avaliado em 12 cenas do Matterport3D e comparado com o Hydra, um baseline de estado da arte de conectividade de lugares.

• Recuperação de Instância: A abordagem baseada em ocupação superou significativamente o Hydra em Recall (0,379 vs. 0,152) e F1 score (0,427 vs. 0,241). Em média, o método proposto recuperou quase cinco ambientes do ground-truth por cena, comparado a menos de dois para o Hydra.
• Trade-off de Precisão: O método proposto exibiu Precisão inferior (0,518 vs. 0,703). Os autores atribuem isso a nós de ambiente não correspondidos cujos polígonos de região eram mal delimitados para satisfazer critérios estritos de correspondência de IoU, frequentemente devido a problemas de fidelidade de borda.
• Modos de Falha: A análise qualitativa revelou que, enquanto o Hydra sofre de "colapso" (mesclando ambientes distintos em nós únicos devido à densidade de conectividade), as falhas do método proposto são frequentemente locais, originadas da decomposição de espaço livre mesclando layouts não convexos ou conexões estreitas. Adicionalmente, a precisão da borda é limitada por erros na reconstrução do mapa de ocupação subjacente.
• Ablação: Variar o limiar de DUDE ($d_{thr}$) demonstrou um trade-off entre granularidade de decomposição e recall; limiares mais grosseiros reduziram significativamente o número de ambientes previstos e o recall.

Significância e Alegações
O artigo afirma que a ancoragem baseada em ocupação fornece uma maneira mensurável e comparável de avaliar o raciocínio de nível de ambiente em 3DSGs. Ao expor a camada de ambiente como polígonos explícitos, os autores demonstram que é possível recuperar substancialmente mais instâncias de ambiente do que os baselines de conectividade de lugares.

No entanto, os autores mantêm um tom modesto quanto ao sucesso final da abordagem. Eles declaram explicitamente que a recuperação de instâncias de ambiente e pegadas de ambiente com bordas precisas permanecem como problemas abertos. Os resultados destacam um fundamental trade-off entre cobertura e precisão: embora o método recupere mais ambientes, ele tem dificuldade com a delineação precisa das bordas. O artigo conclui que a qualidade da camada de ambiente é, em última análise, limitada pela qualidade do mapa de ocupação de entrada e pela granularidade da decomposição de espaço livre, e não apenas pela estratégia de ancoragem.