ExPrIS: Knowledge-Level Expectations as Priors for Object Interpretation from Sensor Data

Resumo Técnico: ExPrIS – Expectativas em Nível de Conhecimento como Priores para Interpretação de Objetos

Definição do Problema
Embora o aprendizado profundo tenha avançado significativamente o reconhecimento de objetos por robôs através de abordagens baseadas em dados, esses métodos carecem de consistência semântica e falham em aproveitar o conhecimento pré-existente valioso sobre o ambiente. Modelos puramente baseados em dados lutam com o contexto ambiental, particularmente em relação a áreas ocluídas ou objetos não observados recentemente. As abordagens existentes para a construção de Grafos de Cena Semântica 3D (3DSSGs) de conjunto aberto (open-set) normalmente dependem apenas do poder das redes neurais profundas subjacentes, ignorando observações prévias de fluxos de dados de sensores ou conhecimento de alto nível. A questão central de pesquisa abordada é como processar efetivamente expectativas derivadas de um nível de conhecimento como priors dentro de métodos modernos de geração de grafos de cena.

Metodologia
O projeto ExPrIS propõe uma arquitetura baseada na construção incremental de um Grafo de Cena Semântica 3D (3DSSG) para integrar expectativas de nível de conhecimento. A metodologia é estruturada em torno de três componentes principais:

1. Arquitetura de 3DSSG Dinâmica:

   • O sistema utiliza um grafo heterogêneo organizado em uma hierarquia de múltiplas camadas com tipos variados de nós e arestas, variando de objetos de baixo nível a conceitos de alto nível (salas, edifícios).
   • Ao contrário de hierarquias rígidas (ex: estruturas fixas objeto-lugar-sala) ou conexões simples de heurística de distância, o design proposto é modular e extensível. Ele separa relações espaciais de semânticas e suporta a inferência dinâmica de conceitos compostos.
   • Para representação geométrica, o sistema emprega volumes de contorno (bounding volumes) e grades de voxels esparsos em vez de malhas de Função de Distância Assinada Truncada (TSDF). Essa escolha prioriza o armazenamento eficiente, manipulação e processamento acelerado por GPU via integração com PyTorch, o que é suficiente para o raciocínio semântico e tarefas subsequentes sem o alto custo computacional de uma reconstrução densa.
   • O grafo é construído incrementalmente a partir de dados de sensores (RGB-D de forma ascendente (bottom-up), derivando a estrutura a partir de relações de contato físico e suporte entre objetos.

2. Geração de Expectativa Baseada em Conhecimento:

   • O sistema define "expectativas" como informações adicionais disponíveis antes de um passo de inferência. Dois tipos são integrados:
     • Contexto: Informação dinâmica de observações anteriores, especificamente o 3DSSG global construído a partir de quadros anteriores.
     • Conhecimento: Informação de domínio estática e geral extraída de grafos de conhecimento externos, especificamente o ConceptNet.
   • Para gerenciar o ruído e o tamanho do ConceptNet, o sistema extrai subgrafos relevantes usando uma busca em largura baseada em classes de nós e tipos de relacionamento específicos. Também implementa algoritmos de incorporação (embedding) de grafos para gerar vetores de características para passagem de mensagens, oferecendo alternativas às embeddings pré-computadas.

3. Aprendizado de Máquina Enviesado por Expectativa:

   • O mecanismo central de aprendizado utiliza uma Rede Neural de Grafo Heterogênea (GNN), como GraphSAGE ou HGT.
   • A arquitetura apresenta uma camada global (agregando observações históricas e priors semânticos) e uma camada local (representando o quadro atual).
   • Arestas entre camadas facilitam o fluxo de informação, permitindo que o modelo refine previsões para objetos parcialmente observados ao aproveitar o contexto acumulado.
   • Nós globais são enriquecidos com características baseadas em priors (ex: rótulos previstos anteriormente, embeddings do CLIP). Esses priors são integrados diretamente na estrutura do grafo, em vez de serem codificados como vetores fixos.
   • O objetivo de treinamento foca em uma perda composta sobre as previsões de nós e arestas no grafo local. Crucialmente, o grafo global serve como um mecanismo de viés durante a inferência, não como um sinal de supervisão direta para a função de perda.

Principais Contribuições

• Integração de Priors de Conhecimento: O artigo apresenta uma abordagem inovadora para incorporar tanto priors contextuais (de dados de sensores passados) quanto conhecimento semântico (de grafos externos como o ConceptNet) diretamente no processo de inferência da geração de 3DSSG.
• Design de 3DSSG Modular: Introduz um design de camadas flexível e extensível para 3DSSGs que vai além de hierarquias rígidas e heurísticas simples de distância, suportando inferência dinâmica e abstrações específicas de domínio.
• Representação Geométrica Eficiente: A adoção de volumes de contorno e grades de voxels esparsos em vez de malhas TSDF permite o processamento escalável e eficiente, adequado para percepção robótica em tempo real, mantendo a fidelidade suficiente para tarefas semânticas.
• GNN Enviesada por Expectativa: O desenvolvimento de um framework de aprendizado onde o grafo global atua como um mecanismo de viés ativo e dinâmico durante a inferência, aumentando a robustez e a consistência semântica ao longo do tempo.

Resultos e Avaliação
O artigo não apresenta resultados experimentais finais de um robô implantado, pois o trabalho está atualmente na fase de design arquitetônico e análise offline.

• Status Atual: A implementação do 3DSSG é modular. O modelo de GNN enviesado por expectativa foi avaliado no contexto da arquitetura proposta, com resultados detalhados e código disponíveis em uma publicação separada [15] e no GitHub.
• Avaliação Planejada: Os autores delineiam um plano de avaliação abrangente a ser conduzido na plataforma de manipulador móvel Mobipick. O sistema terá a tarefa de um cenário de "arrumação" (tidy-up) em um ambiente de laboratório. Isso envolve:
  1. Explorar o ambiente para construir um mapa semântico.
  2. Identificar e realocar objetos que estão "fora do lugar".
  3. Raciocinar sobre contextos semânticos atuais e corretos para resolver ambiguidades.
• Resultados Hipotéticos: Os autores hipotetizam que a abordagem enviesada por expectativa demonstrará vantagens claras sobre modelos de quadro a quadro livres de contexto, especificamente em relação à melhoria da consistência semântica e estabilidade durante operações de longo prazo, mesmo na presença de observações parciais ou ambiguidades perceptivas.

Significância
A significância do projeto ExPrIS reside em sua tentativa de unir o aprendizado profundo puramente baseado em dados com o raciocínio baseado em conhecimento na robótica. Ao tratar as expectativas de nível de conhecimento como priors, a abordagem visa ir além da análise estática de quadro a quadro para criar uma compreensão de cenas mais robusta e semanticamente consistente ao longo do tempo. Esta integração é projetada para suportar operação autônoma de longo prazo, mapeamento semântico de larga escala e IA Explicável (XAI), tornando a influência do conhecimento nas previsões locais rastreável. O projeto trabalha em conjunto com o projeto irmão LIEREx, que incorpora modelos de visão-linguagem para consultas de vocabulário aberto, visando combinar conhecimento simbólico com percepção multimodal de conjunto aberto.