Resumo Técnico: De Evidência de Geometria Visual para Memória de Ocupação Semântica Incorporada

1. Definição do Problema

O artigo aborda o desafio do mapeamento de ocupação semântica incorporada de longo horizonte em ambientes internos. Embora os métodos existentes lidem efetivamente com a predição local de quadro único ou percepção online de nível de sala, eles têm dificuldade com o mapeamento persistente e escalável através de espaços internos conectados (ex: edifícios inteiros).

As principais limitações nas abordagens atuais incluem:

• Transiente vs. Persistente: A maioria dos métodos trata a geometria visual (ex: mapas de pontos) como o próprio estado do mapa. No entanto, os mapas de pontos são densos no plano da imagem, mas esparsos e enviesados para superfícies em 3D, falhando em codificar explicitamente o espaço livre observado, regiões desconhecidas ou confiança temporal. A acumulação ingênua deles leva a superfícies duplicadas e semânticas inconsistentes.
• Falta de Benchmarks Hierárquicos: Os benchmarks de ambientes internos existentes (ex: Occ-ScanNet, EmbodiedOcc) focam em volumes locais ou salas únicas. Eles não suportam conjuntamente varreduras de perspectiva de alta fidelidade, observações panorâmicas e ambientes de escala de edifício conectados sob um protocolo hierárquico unificado.
• Espaço Livre vs. Desconhecido: Os sistemas atuais frequentemente falham em distinguir entre espaço livre observado e regiões desconhecidas, levando a erros em atualizações causais ao revisitar áreas.

2. Metodologia

Os autores propõem dois componentes principais: um novo benchmark (HIOcc) e uma nova estrutura de mapeamento (GEM-Occ).

A. HIOcc: Benchmark de Ocupação Interna Hierárquica

O HIOcc unifica três grandes conjuntos de dados — ScanNet, ScanNet++ e Matterport3D — em um formato comum de ocupação semântica esparsa, preservando suas geometrias de observação nativas.

• Escopo: Abrange mais de 2.000 cenas internas, 300.000+ quadros e 142,6K m².
• Três Regimes de Avaliação:
  1. Predição de Ocupação Semântica Local: Predição de visão única a partir de quadros RGB-D com pose definida.
  2. Mapeamento Online de Nível de Sala: Fusão causal de observações dentro de uma única sala.
  3. Mapeamento de Nível de Edifício: Mapeamento de longo horizonte através de ambientes panorâmicos conectados (Matterport3D).
• Pipeline de Anotação: Converte malhas 3D anotadas em alvos de ocupação semântica esparsos. Emprega filtragem de visibilidade (filtragem de frustum para perspectiva, filtragem de primeiro impacto para panoramas) para garantir que os alvos reflitam apenas a geometria observável, distinguindo estados ocupados, livres e desconhecidos.

B. GEM-Occ: Estrutura de Memória de Evidência Gaussiana

O GEM-Occ trata as predições locais de geometria visual não como o estado do mapa, mas como evidência transiente a ser fundida em uma memória persistente.

• Conversão de Evidência:
  • Evidência de Ocupação Gaussiana Semântica: As predições de geometria local (mapas de profundidade/pontos) são convertidas em primitivas Gaussianas anisotrópicas ($g_i$) que representam superfícies ocupadas. Estas incluem distribuições semânticas e pesos de confiança.
  • Evidência de Raio de Espaço Livre: Regiões ao longo do raio de visão antes do primeiro impacto na superfície são registradas como evidência negativa (espaço livre), enquanto regiões atrás do impacto permanecem desconhecidas, a menos que sejam observadas posteriormente.
• Estrutura de Memória Hierárquica:
  • O mapa é organizado em caches locais, submapas de nível de sala e um grafo de conectividade de nível de edifício.
  • Isso evita tensores de voxels globais densos, permitindo escalabilidade.
• Fusão Causal:
  • A evidência recebida é correspondida à memória Gaussiana existente usando distância espacial ou de Mahalanobis.
  • Atualizações Sensíveis à Visibilidade e Incerteza: O sistema realiza fusão ponderada por confiança. Crucialmente, os raios de espaço livre fornecem evidência de log-odds negativa para suprimir "flutuadores" (floaters) em espaços livres observados sem apagar a geometria ocluída válida.
  • Poda e Fusão: Gaussianas de baixa confiança ou redundantes são periodicamente podadas ou fundidas para controlar o crescimento da memória.
• Mecanismo de Consulta: A ocupação é consultada via espalhamento (splatting) de Gaussiana para ocupação, agregando Gaussianas próximas para calcular a probabilidade de ocupação e as distribções semânticas em qualquer localização 3D.

3. Principais Contribuições

1. Formulação: Definiu o mapeamento de ocupação semântica hierárquica como um problema de memória incorporada que requer manutenção causal de estados ocupados, livres, desconhecidos e semânticos em escalas local, de sala e de edifício.
2. Dataset (HIOcc): Introduziu um benchmark de grande escala unificando ScanNet, ScanNet++ e Matterport3D com protocolos para avaliação local, de nível de sala e de nível de edifício.
3. Framework (GEM-Occ): Propôs uma estrutura que converte geometria visual transiente em memória semântica Gaussiana persistente, modelando explicitamente a evidência de raio de espaço livre para distinguir espaço vazio observado de regiões desconhecidas.
4. Estratégia de Fusão: Projetou uma regra de fusão causal sensível à visibilidade e incerteza que melhora a estabilidade temporal e a consistência de revisitação.

4. Resultados Experimentais

Experimentos foram conduzidos no HIOcc através de três configurações:

• Predição Local: O GEM-Occ alcançou 61,37 IoU e 57,76 mIoU, superando baselines fortes como GPOcc (60,69 IoU, 55,08 mIoU) e SplatSSC. A melhoria é atribuída ao uso de evidência Gaussiana semântica sobre a voxelização direta de mapas de pontos.
• Mapeamento Online de Nível de Sala: O GEM-Occ melhorou o IoU para 56,79 e o mIoU para 46,20, superando o GPOcc (52,94 IoU, 44,81 mIoU). O método demonstrou estabilidade superior em observações sequenciais.
• Mapeamento de Nível de Edifício: No Matterport3D, o GEM-Occ alcançou 53,8 IoU e 46,7 mIoU, com uma Consistência de Revisitação de 86,2%.
  • Escalabilidade: O design hierárquico reduziu o uso de memória de 1,36 MB/m² (memória Gaussiana plana) para 0,81 MB/m² e a latência de consulta de 49,5 ms para 33,8 ms, demonstrando um melhor equilíbrio entre precisão e escalabilidade.

Estudos de Ablação confirmaram que:

• Substituir Gaussianas semânticas por voxelização de mapa de pontos degrada significativamente o desempenho.
• A evidência explícita de raio de espaço livre é crítica para o mapeamento online e consistência de revisitação.
• A memória hierárquica é essencial para a escalabilidade, reduzindo a pegada de memória sem sacrificar a precisão local.

5. Significância e Alegações

O artigo afirma que o GEM-Occ representa uma mudança de tratar a ocupação como uma tarefa de predição por quadro para um problema de memória persistente. Ao desacoplar a evidência visual transiente do estado de mapa persistente e modelar explicitamente o espaço livre, o método alcança:

• Melhor Consistência de Revisitação: O mapa permanece estável quando o agente retorna a áreas visitadas anteriormente.
• Escalabilidade: A estrutura hierárquica permite o mapeamento de edifícios conectados sem o custo computacional de voxels globais densos.
• Robustez: A distinção entre espaço livre e desconhecido evita o acúmulo de erros em regiões ocluídas.

Os autores observam limitações, incluindo a dependência de anotações de datasets existentes (que podem conter ruído), foco em cenas estáticas e o espaço de rótulos grosseiro de 11 classes. Eles sugerem que trabalhos futuros devem abordar ambientes dinâmicos e avaliar o impacto desses mapas em tarefas incorporadas de downstream, como navegação e manipulação. No entanto, os resultados atuais demonstram que a memória Gaussiana hierárquica é um caminho viável para a compreensão de cenas incorporadas escaláveis de longo horizonte.