FOUND-IT: Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand

Resumo Técnico: FOUND-IT

Declaração do Problema
Os métodos atuais de construção de grafos de cena 3D enfrentam duas limitações primárias: uma dependência de sensores de profundidade calibrados (estéreo ou RGB-D) e uma falta de flexibilidade na granularidade semântica. Sistemas em tempo real existentes frequentemente exigem pipelines complexos e configurações fixas de sensores, limitando a implantação. Além disso, eles tipicamente comprometem-se com uma granularidade de objeto específica no momento do mapeamento ou dependem de uma lista pré-definida e estática de tarefas. Essa rigidez impede que robôs adaptem sua representação espacial dinamicamente; por exemplo, um robô não pode facilmente alternar de navegar para um "fogão" (granularidade grosseira) para manipular um "botão" específico nesse fogão (granularidade fina) sem remapear ou pré-definir a tarefa. Adicionalmente, muitas abordagens lutam para generalizar a transitabilidade (lugares) e definições de região através de ambientes internos e externos diversos sem depender de priores geométricos estruturados.

Metodologia
Os autores propõem o FOUND-IT (Grafos de Cena 3D Orientados a Tarefas Baseados em Modelos Fundacionais com Granularidade Sob Demanda), um sistema que constrói grafos de cena 3D hierárquicos e de conjunto aberto utilizando apenas vídeo monocromático não calibrado em tempo real. O sistema é construído sobre Modelos Fundacionais Geométricos (GFMs), aproveitando especificamente o VGGT-SLAM 2.0 como sua espinha dorsal geométrica.

A arquitetura consiste em quatro camadas principais:

1. Mapeamento Geométrico: O sistema processa um fluxo de imagens monoculares, designando quadros-chave com base na disparidade. Estes são alimentados em um GFM para gerar mapas de profundidade densos, poses e intrínsecas da câmera. Submapas são encadeados e globalmente otimizados usando um grafo de fatores na variedade SL(4). Para gerenciar memória, o sistema opcionalmente esparsifica o mapa via voxelização, mantendo o mapa geral esparsificado enquanto permite que objetos consultados sejam representados densamente.
2. Camada de Objetos (Memória Visual e Cache): Em vez de pré-extrair instâncias de objetos, o FOUND-IT emprega um sistema de memória de dois estágios.
   • Memória Visual: Quadros-chave são passados por um Codificador de Percepção baseado em CLIP para criar embeddings semânticos. Isso adia a formação de objetos até que uma consulta seja recebida.
   • Formação no Momento da Consulta: Ao receber uma consulta de texto, o sistema calcula a similaridade de cosseno entre o embedding da consulta e os embeddings dos quadros-chave. Quadros-chave relevantes são então processados pelo SAM3 para gerar máscaras de segmentação 2D, que são retroprojetadas em 3D usando a profundidade do GFM.
   • Memória em Cache: Objetos resolvidos são armazenados como nuvens de pontos com caixas delimitadoras orientadas em 3D. Consultas subsequentes verificam primeiro este cache, permitindo a construção incremental e orientada a tarefas do mapa sem recomputação.
3. Camada de Lugares (Transitabilidade): Para mapear espaço transitável sem agrupamento geométrico complexo, os autores anexam um cabeçote de segmentação de solo ao GFM. Através de análise empírica, determinaram que camadas intermediárias do GFM (em vez da camada final) fornecem os melhores recursos para segmentação de solo. Este cabeçote prevê máscaras de solo, que são convertidas em um grafo esparsificado de telhas quadradas. Este grafo suporta fechamentos de loop e deformação dinâmica.
4. Camada de Regiões: Regiões (por exemplo, "cozinha", "estacionamento") não são pré-particionadas, mas são subconjuntos orientados a consulta do grafo de lugares. Cada nó de lugar resume suas observações usando uma distribuição von Mises-Fisher (vMF) de embeddings semânticos, capturando tanto uma direção média quanto um parâmetro de concentração. Uma consulta de vocabulário aberto é pontuada contra essas distribuições, ponderada pela confiança da observação. Uma propagação de rótulos de grafo consciente da confiança suaviza as pontuações através do grafo de lugares, e um modelo de mistura gaussiana separa lugares dentro da região de lugares fora da região.

Integração Agêntica
O sistema é projetado para ser orquestrado por um agente LLM. Diferentemente de sistemas agênticos anteriores que recuperam de uma representação pré-construída e fixa, o agente FOUND-IT constrói ativamente o grafo de cena incrementalmente. Ele consulta a memória visual para quadros relevantes, extrai objetos via SAM3 e atualiza o cache, efetivamente construindo a representação "sob demanda" com base na tarefa.

Principais Contribuições

1. Granularidade Orientada a Tarefas: Uma abordagem novel para construção de grafos de cena 3D que determina a granularidade de objetos e regiões no momento da consulta em vez do momento do mapeamento, suportando evolução dinâmica de tarefas sem uma lista pré-definida de tarefas.
2. Baseado em Modelo Fundacional Monocular: O primeiro método para construir grafos de cena 3D hierárquicos usando câmeras monoculares não calibradas ao aproveitar GFMs, eliminando a necessidade de sensores de profundidade ou calibração complexa.
3. Segmentação de Solo via Camadas Intermediárias: Uma demonstração de que camadas intermediárias de GFMs são ótimas para segmentação de solo, permitindo mapeamento de transitabilidade robusto em ambientes internos e externos diversos.
4. Agrupamento no Momento da Consulta: Um algoritmo eficiente para agrupar lugares em regiões de conjunto aberto usando estatísticas vMF e propagação de grafo, permitindo definições de regiões flexíveis (por exemplo, uma "sala de brincar" dentro de uma "sala de estar") com base na tarefa específica.
5. Construção Agêntica: Uma integração onde um agente LLM constrói incrementalmente a representação do grafo de cena com base em consultas entrantes, em vez de consultar um mapa estático.

Resultados Experimentais
Os autores avaliam o FOUND-IT através de vários benchmarks e cenários do mundo real:

• Dataset Clio (Extração de Objetos de Conjunto Aberto): O FOUND-IT alcançou o melhor desempenho em todas as cenas (cabine, apartamento, escritório) em termos de recall de conjunto aberto e IoU, superando tanto baselines orientadas a tarefas (como Clio e Campos Bayesianos) quanto métodos de conjunto aberto agnósticos a tarefas.
• Benchmark ASHiTA SG3D (Fundamentação de Tarefas): O sistema demonstrou uma melhoria de 79% na precisão sobre o estado da arte anterior (ASHiTA) para fundamentar descrições de tarefas em localizações de objetos.
• Benchmark HOV-SG (Agrupamento de Regiões): O método alcançou precisão e recall competitivos contra métodos específicos para interiores (HOV-SG, Hydra) e os superou em precisão semântica, apesar de depender menos de priores estruturais de interiores.
• Desempenho em Tempo Real: Em um NVIDIA Jetson Thor montado em um robô quadrúpede Spot, o sistema roda a 4 Hz usando um GFM leve (Depth Anything). Em uma GPU de desktop (RTX 3090), o pipeline completo roda a 6–7 Hz.
• Generalização no Mundo Real: O sistema construiu com sucesso grafos de cena a partir de vídeos do YouTube capturados casualmente de tours de apartamentos por corretores, demonstrando robustez a entradas não calibradas e de qualidade variável.

Significado e Alegações
O artigo alega que o FOUND-IT representa uma mudança fundamental em direção à inteligência espacial na robótica ao desacoplar a granularidade do mapa do processo de mapeamento. Ao utilizar modelos fundacionais, o sistema alcança reconstrução 3D plug-and-play a partir de vídeo monocromático, enquanto suporta raciocínio de conjunto aberto orientado a tarefas. Os autores enfatizam que essa abordagem permite que robôs lidem com tarefas complexas de locomoção-manipulação onde o nível de detalhe necessário evolui dinamicamente. O trabalho destaca o potencial de alavancar recursos intermediários de modelos fundacionais para tarefas específicas a jusante (como segmentação de solo) e demonstra que entendimento de cena hierárquico de alta fidelidade é alcançável sem suítes de sensores caras ou esquemas de tarefas rígidos e pré-definidos.