INHerit-SG: Incremental Hierarchical Semantic Scene Graphs with RAG-Style Retrieval

Título: INHerit-SG: Grafos de Cena Semântica Hierárquicos Incrementais com Recuperação Estilo RAG

1. O Problema

O foco da robótica móvel está evoluindo da reconstrução métrica de alta precisão para a interação semântica em ambientes humanos. No entanto, as abordagens existentes para mapeamento semântico apresentam limitações críticas para tarefas de inteligência corporificada (embodied AI):

• Incompatibilidade com Intenção Humana: Métodos baseados em campos de características densas (flat feature fields) ou embeddings implícitos são difíceis de interpretar e não alinham bem com instruções de linguagem natural complexas (ex: "não o preto", "perto da planta").
• Falta de Estrutura e Escalabilidade: Representações planas carecem de hierarquia, dificultando o raciocínio espacial em larga escala.
• Custo Computacional e Atualização: Métodos estruturados existentes muitas vezes exigem processamento em lote (offline) ou atualizações contínuas pesadas, tornando-os ineficientes para manutenção "on-the-fly" (em tempo real) durante a exploração.
• Fragilidade na Recuperação: Mecanismos de recuperação atuais dependem de similaridade de vetores (embedding), falhando frequentemente em lidar com negações lógicas, relações encadeadas e verificações de consistência semântica.

2. Metodologia: INHerit-SG

O INHerit-SG propõe um sistema leve que redefine o mapa como uma base de conhecimento estruturada e pronta para RAG (Retrieval-Augmented Generation), onde descrições em linguagem natural atuam como âncoras semânticas explícitas.

Arquitetura Principal:
O sistema opera através de uma arquitetura de duplo processo assíncrono e um pipeline de recuperação em loop fechado:

• Construção Hierárquica (Fluxo Duplo):

  • Fluxo Geométrico (Síncrono/Ligeiro): Responsável pela segmentação de salas e andares (níveis L0 e L1) usando transformadas de distância euclidiana (EDT) e algoritmos de watershed em mapas de ocupação voxel. Mantém o rastreamento contínuo (~2Hz).
  • Fluxo Semântico (Assíncrono/Heavy): Opera em uma fila de quadros-chave (keyframes) para instanciar objetos (L3) e áreas funcionais (L2). Utiliza modelos como SAM3 (Segment Anything) para máscaras e DINOv3 para características visuais.
  • Mecanismo de Atualização Acionada por Eventos: Em vez de atualizar o grafo constantemente, o sistema reorganiza a topologia apenas quando ocorrem eventos semânticos significativos (ex: troca de andar, fechamento de loop, nova área). Um supervisor baseado em VLM (Vision-Language Model) analisa mapas de visão de pássaro (BEV) para decidir quando atualizar, garantindo consistência de longo prazo com baixo custo.

• Representação de Nós (Estilo RAG):

  • Os nós do grafo não armazenam nuvens de pontos densas, mas sim metadados leves: tags semânticas, embeddings visuais, coordenadas 3D e um ponteiro para a melhor imagem de observação (Best-View).
  • As descrições em linguagem natural são armazenadas explicitamente, permitindo que o mapa funcione como uma base de dados consultável por linguagem.

• Recuperação Interpretável em Loop Fechado:

  • Decomposição de Consultas: LLMs (Large Language Models) multi-papel decompõem instruções complexas em restrições atômicas, extraindo negações e atribuindo pesos de importância.
  • Filtragem Hierárquica: O sistema aplica filtros "duros" (ex: ID do andar) e "suaves" (similaridade semântica) para ranquear candidatos.
  • Verificação Visual (VLM Audit): Os candidatos principais passam por uma verificação final onde um VLM analisa a imagem recortada (Best-View) para confirmar se o objeto atende estritamente à intenção do usuário (incluindo negações), eliminando falsos positivos.

3. Contribuições Principais

1. INHerit-SG: Um framework de grafo de cena hierárquico que organiza o mapa como uma base de conhecimento indexada por linguagem, alinhando-se diretamente com o raciocínio humano.
2. Arquitetura Assíncrona e Acionada por Eventos: Decupla a segmentação geométrica do raciocínio semântico e atualiza o grafo apenas sob eventos semânticos relevantes, permitindo mapeamento incremental escalável.
3. Pipeline de Recuperação Interpretável: Substitui a correspondência cega de embeddings por um processo de verificação em loop fechado que utiliza LLMs para lógica e VLMs para auditoria visual, lidando robustamente com negações e relações complexas.
4. HM3DSem-SQR: A criação de um novo conjunto de dados de benchmark com 6.084 consultas que testam raciocínio de alto nível, incluindo negações lógicas, relações espaciais encadeadas e restrições de atributos finos.

4. Resultados Experimentais

O sistema foi avaliado no dataset HM3DSem-SQR (simulação) e em ambientes do mundo real:

• Precisão de Recuperação: O INHerit-SG alcançou o estado da arte (SOTA) em consultas complexas. No dataset HM3DSem-SQR, obteve 37.7% de precisão dentro de 1m e 32.3% dentro de 0.5m, superando significativamente métodos como ConceptGraphs, Embodied-RAG e HOV-SG.
• Avaliação Humana: Em um estudo com 120 participantes, o sistema demonstrou uma taxa de aceitação humana (72.90%) muito superior às linhas de base, especialmente em consultas com negação e ambiguidade.
• Eficiência de Recursos: Ao substituir nuvens de pontos densas por referências leves, o tamanho do mapa foi drasticamente reduzido (aprox. 47.5 MB vs. 18 GB em métodos baseados em nuvem de pontos), tornando-o viável para execução em dispositivos com recursos limitados.
• Ablação: A remoção da verificação VLM reduziu a precisão, mas aumentou a velocidade, confirmando o trade-off entre latência e confiabilidade. A hierarquia (níveis L2) provou ser crucial para o raciocínio escalável.

5. Significado e Impacto

O INHerit-SG representa um avanço significativo na interseção entre mapeamento semântico e interação robótica:

• Interpretabilidade: Ao tornar o processo de recuperação transparente e baseado em lógica explícita em vez de "caixas pretas" de embeddings, o sistema permite que robôs entendam e executem instruções complexas e negativas com confiança.
• Escalabilidade: A abordagem de atualização acionada por eventos e a representação leve permitem que robôs operem em ambientes de longo prazo sem acumular custos computacionais proibitivos.
• Aplicabilidade Prática: A validação em ambientes reais e a integração com plataformas de navegação (como ROS MoveBase) demonstram que o sistema não é apenas teórico, mas pronto para tarefas de "encontrar e ir" (find-and-go) em cenários domésticos e industriais complexos.

Em resumo, o trabalho propõe uma mudança de paradigma: de mapas como representações geométricas densas para mapas como memórias semânticas estruturadas e consultáveis, essenciais para a próxima geração de robôs autônomos interativos.