Resumo Técnico: Câmeras Externas Fixas como Mapas de Prioridade Comuns para Geração Ativa de Grafos de Cena 3D

Declaração do Problema

Sistemas robóticos modernos que operam em ambientes humanos não estruturados (por exemplo, residências, hospitais) exigem uma compreensão visual contextual rica para perceber, decidir e agir de forma autônoma. Pipelines de percepção tradicionais frequentemente falham em fornecer isso, produzindo ou mapas métricos densos de baixo nível que carecem de conteúdo semântico, ou saídas centradas em objetos que ignoram a estrutura relacional. Embora os Grafos de Cena 3D (3DSGs) ofereçam uma representação estruturada que captura entidades, suas localizações 3D e relações inter-objetos, construí-los de forma robusta em cenários do mundo real permanece desafiador, particularmente quando o conhecimento prévio está incompleto.

Além disso, os sistemas existentes de Percepção Semântica Ativa (ASP) geralmente dependem de sensores egocêntricos (a bordo) e frequentemente recorrem a dados de profundidade (RGB-D) ou Grandes Modelos de Linguagem (LLMs) proprietários para inferência de relações. Há uma falta de frameworks que possam integrar perfeitamente a infraestrutura de câmeras externas fixas — já implantada em muitos edifícios para vigilância — como uma fonte de conhecimento prévio para iniciar a compreensão da cena, especificamente em um cenário apenas RGB.

Metodologia

Os autores propõem um framework apenas RGB para geração ativa e incremental de grafos de cena 3D que trata observações de câmeras externas fixas como Mapas de Prioridade Comuns (CPMs). O sistema opera dentro de um pipeline unificado e agnóstico ao hardware que processa tanto as câmeras a bordo do robô quanto as câmeras externas fixas de forma idêntica.

Arquitetura do Sistema

O sistema funciona como um loop incremental de percepção-ação:

1. Inicialização (t=0): Observações RGB de uma ou mais câmeras externas fixas servem como um CPM. Estas são processadas para inicializar uma nuvem de pontos e um 3DSG, fornecendo estrutura semântica e geométrica antes que o robô se mova.
2. Exploração Ativa (t>0): O robô adquire novas imagens RGB de sua viewpoint atual. O mesmo pipeline atualiza a nuvem de pontos e o grafo de cena. Um módulo de exploração ativa seleciona então a Próxima-Melhor-View (NBV) para maximizar o ganho de informação, guiando o robô para regiões de alta incerteza semântica.

Componentes Principais

1. Geração de 3DSG Apenas RGB

• Estimativa de Geometria: O pipeline utiliza MapAnything [8] para inferir a geometria da cena a partir de imagens RGB. Em uma única passagem forward, o modelo prevê direções de raios por viewpoint, mapas de profundidade em escala relativa, poses da câmera e um fator de escala métrica global. Isso permite que o sistema projete pixels 2D de volta em uma nuvem de pontos 3D com escala métrica sem sensores de profundidade físicos.
• Construção do Grafo de Cena: O sistema adapta ConceptGraphs [12]. Utiliza SAM [21] para máscaras de instância e CLIP [22] para embeddings semânticos. Crucialmente, em vez de consultar LLMs proprietários para relações, os autores empregam um procedimento determinístico, apenas geométrico. As arestas espaciais são derivadas de caixas delimitadoras 3D orientadas usando predicados de prioridade fixa (por exemplo, em cima de, suportado por, dentro de, ao lado de) baseados em contato vertical, contenção e proximidade.

2. Percepção Semântica Ativa (ASP)
O framework integra ASP [18] para guiar a exploração. Um LLM (especificamente gemini-2.5-pro nos experimentos) amostra conclusões plausíveis da cena não observada condicionadas ao grafo atual. O sistema calcula o ganho de informação esperado para viewpoints candidatos usando informação mútua entre observações previstas e o grafo atual:
$$I(Y_{k+1}; G_k | x) = H(Y_{k+1} | x) - H(Y_{k+1} | x, G_k)$$
O robô move-se para o viewpoint que maximiza esse ganho, priorizando a resolução de ambiguidades semânticas.

3. Mapas de Prioridade Comuns (CPMs)
Observações de câmeras RGB externas são processadas de forma idêntica às imagens a bordo. Quando usadas como CPM, elas fornecem uma estrutura semântica e geométrica parcial antes da implantação, permitindo que o módulo ASP explore um contexto inicial mais rico e selecione viewpoints mais informativos desde o primeiro passo.

Contribuições Principais

1. Pipeline Apenas RGB: Um pipeline ponta a ponta para geração de grafos de cena 3D que permite a integração perfeita de câmeras externas fixas sem exigir sensores de profundidade ou modificações de hardware.
2. Loop de Exploração Ativa: Um mecanismo de exploração semântica que utiliza o grafo de cena gerado para selecionar viewpoints informativos, refinando ativamente o prior.
3. Validação Empírica: Evidência experimental demonstrando que priors de infraestrutura de câmeras melhoram substancialmente a completude do grafo de cena e a eficiência da exploração.

Resultados Experimentais

O método foi avaliado em três configurações usando os conjuntos de dados Replica e ReplicaCAD:

1. Validação do Pipeline Estático
A comparação do ConceptGraphs original (usando profundidade/poses de verdade fundamental) contra a variante proposta apenas RGB (usando previsões do MapAnything) no conjunto de dados Replica mostrou paridade forte.

• Pontuação F1: Quase idêntica (0,499 para CG vs. 0,500 para CG-RGB).
• Recall: A variante apenas RGB melhorou ligeiramente o recall (0,436 vs. 0,401), provavelmente porque previsões de profundidade mais ruidosas impediram a fusão excessivamente agressiva de objetos situados próximos.

2. Exploração Ativa com Inicialização CPM
Experimentos no simulador Habitat (apartamentos ReplicaCAD) compararam ASP operando apenas em observações a bordo versus ASP inicializado com uma única câmera externa.

• Impacto Inicial: A inicialização com uma câmera externa aumentou a contagem inicial de nós em +74% (de ~23 para ~40) e o recall inicial em +79% (de ~0,15 para ~0,26).
• Desempenho Sustentado: Até o passo 30, o sistema inicializado com CPM manteve uma trajetória mais alta, atingindo ~107 nós e um recall de ~0,56, comparado a ~98 nós e ~0,47 de recall para a linha de base apenas a bordo.

3. Valor Independente do CPM
Avaliando o sistema usando apenas câmeras externas fixas (1–3 câmeras) sem um robô móvel:

• Apartamentos Complexos: Três câmeras alcançaram um recall de 0,301.
• Salas Mobiliadas: Três câmeras alcançaram um recall de 0,555.
• Conclusão: Embora câmeras estáticas não possam igualar a cobertura da exploração robótica ativa, elas estabelecem com sucesso a estrutura dominante do ambiente, funcionando como priors de alta qualidade mesmo sem um robô móvel.

Significado e Alegações

O artigo alega que tratar câmeras externas fixas como Mapas de Prioridade Comuns oferece um método prático e sem custo para melhorar a autonomia robótica. Ao alavancar a infraestrutura de vigilância existente, o sistema fornece uma representação semântica e geométrica estruturada que pode ser refinada incrementalmente.

Os autores enfatizam que esta abordagem:

• Inicia a Exploração: Mesmo uma única câmera externa aumenta significativamente o recall inicial de objetos e fornece um contexto mais rico para a exploração ativa subsequente.
• Agnóstica ao Hardware: Remove dependências de sensores de profundidade e LLMs proprietários para inferência de relações, confiando em vez disso na reconstrução 3D feed-forward e em regras geométricas determinísticas.
• Melhora a Robustez: As views de campo amplo das câmeras externas ajudam a ancorar a reconstrução em um quadro de referência global consistente, potencialmente melhorando a estabilidade de localização e mapeamento entre salas.

O trabalho posiciona-se como o primeiro sistema a permitir a geração de 3DSG em um cenário apenas RGB que integra entradas de câmeras externas, abrindo novas direções para autonomia robótica escalável e assistida por infraestrutura.