FunFact: Building Probabilistic Functional 3D Scene Graphs via Factor-Graph Reasoning

1. Problema

O entendimento de cenas 3D tem evoluído da análise puramente espacial e semântica para o entendimento funcional, que busca capturar como os objetos interagem (ex: qual interruptor controla qual luz, qual botão liga qual forno). No entanto, as abordagens existentes apresentam limitações críticas:

• Raciocínio Isolado: A maioria dos métodos analisa pares de objetos de forma independente, falhando em capturar as interdependências em toda a cena que os humanos usam para resolver ambiguidades.
• Ambiguidade Visual: Muitas relações funcionais não são totalmente observáveis apenas pela visão estática (ex: um interruptor e uma lâmpada podem estar distantes ou o efeito causal não é visível).
• Falta de Calibração: Modelos anteriores frequentemente preveem apenas a conexão mais provável sem quantificar adequadamente a incerteza, levando a pontuações de confiança mal calibradas.

O objetivo é criar um sistema que, a partir de imagens RGB-D, reconstrua não apenas a geometria, mas também as relações funcionais probabilísticas e bem calibradas entre objetos e suas partes.

2. Metodologia (FunFact)

O FunFact é um pipeline unificado que combina reconstrução de cena centrada em objetos/partes com inferência probabilística baseada em grafos de fatores. O processo divide-se em duas etapas principais:

A. Reconstrução de Cena (Scene Reconstruction)

1. Propostas de Objetos e Partes: Utiliza um Modelo de Linguagem e Visão (VLM, como GPT-4.1) para identificar objetos funcionais e suas partes (ex: botões, alças) a partir de imagens RGB, gerando caixas delimitadoras e descrições semânticas.
2. Filtragem e Grounding: As propostas do VLM são validadas e refinadas usando o GroundingDINO para detecção de objetos e o SAM (Segment Anything Model) para segmentação de instâncias. Isso elimina alucinações e garante que as partes estejam geometricamente consistentes com seus objetos pais.
3. Fusão Multi-visão: As detecções 2D são projetadas para 3D e fundidas através de múltiplas visões, criando um mapa 3D coerente e centrado em partes, formando a espinha dorsal estrutural.

B. Criação do Grafo de Cena Funcional (Functional Scene-Graph Creation)

1. Geração de Hipóteses: Um LLM propõe relações funcionais semânticas plausíveis entre os nós (objeto-objeto e objeto-parte) baseando-se em conhecimento de senso comum.
2. Construção do Grafo de Fatores Dual:
   • As relações candidatas são convertidas em variáveis binárias em um grafo de fatores dual.
   • Fatores de Proximidade: Atribuem uma crença inicial baseada na distância euclidiana entre os nós (relações próximas são mais prováveis).
   • Fatores de Cardinalidade: Impõem restrições estruturais (ex: "um interruptor controla apenas uma luz" ou "um forno tem múltiplos botões"). Isso penaliza configurações que violam a lógica de 1-para-1 ou 1-para-muitos.
3. Inferência Probabilística: Utiliza Propagação de Crenças (Belief Propagation) para realizar inferência conjunta sobre todas as arestas funcionais. Isso permite que o contexto global da cena resolva ambiguidades locais (ex: se há dois interruptores e duas lâmpadas, o sistema decide qual par é qual com base na proximidade e nas restrições de cardinalidade).
4. Resultado: Um grafo funcional 3D com pontuações de confiança calibradas para cada aresta.

3. Principais Contribuições

1. Pipeline Robusto: Um novo método para reconstruir grafos de cena funcionais de vocabulário aberto a partir de imagens RGB-D, integrando detecção hierárquica (objeto + parte) e raciocínio probabilístico.
2. Novo Dataset (FunThor): Introdução do FunThor, um benchmark sintético baseado no AI2-THOR. Diferente de datasets anteriores, o FunThor possui anotações funcionais densas, geometria em nível de parte e suporte a 26 tipos de relações funcionais, permitindo uma avaliação rigorosa de precisão e calibração.
3. Formulação de Grafo de Fatores: Uma abordagem inovadora que combina priors derivados de LLMs com evidências geométricas para inferir relações funcionais e produzir estimativas de confiança melhor calibradas do que o raciocínio par a par.

4. Resultados

Os experimentos foram conduzidos em datasets reais (SceneFun3D, FunGraph3D) e no novo FunThor:

• Desempenho de Mapeamento: O FunFact superou consistentemente os baselines (como OpenFunGraph e ConceptGraph) em Recall@K para a descoberta de nós (objetos e elementos interativos), especialmente em componentes finos e interativos.
• Descoberta de Relações: Houve uma melhoria significativa na recuperação de triplas completas (sujeito, interação, objeto). No FunThor, o FunFact superou o estado da arte em Recall@3 e Recall@5 em mais de 39 pontos percentuais.
• Calibração de Confiança: O método demonstrou um Erro de Calibração Esperado (ECE) substancialmente menor, especialmente em casos ambíguos (como interruptores e lâmpadas). Isso significa que quando o modelo diz ter 80% de certeza, a probabilidade real de estar correto é muito mais próxima de 80% do que em métodos concorrentes.
• Estudos de Ablação: A remoção do módulo de raciocínio em grafo de fatores ou da representação hierárquica (objeto-parte) resultou em quedas drásticas na precisão e F1-score, comprovando a importância de ambos os componentes.

5. Significado e Impacto

O trabalho FunFact representa um avanço significativo para a inteligência robótica e sistemas de Realidade Aumentada (AR):

• Tomada de Decisão Segura: Ao fornecer não apenas a relação, mas uma medida de confiança calibrada, robôs podem tomar decisões mais seguras, sabendo quando estão incertos sobre como interagir com um ambiente.
• Resolução de Ambiguidade: A capacidade de usar o contexto global da cena para resolver ambiguidades locais é crucial para a operação em ambientes domésticos reais, onde a visão estática é frequentemente insuficiente.
• Padrão de Avaliação: O lançamento do FunThor preenche uma lacuna crítica na comunidade, oferecendo um benchmark com anotações densas e precisas para avaliar a compreensão funcional, algo que datasets anteriores não conseguiam fazer adequadamente.

Em resumo, o FunFact move o campo do entendimento de cenas 3D de uma abordagem puramente geométrica/semântica para uma compreensão funcional probabilística, permitindo que agentes autônomos raciocinem sobre "como" usar o ambiente, e não apenas "o que" está nele.