FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos

Resumo Técnico: FunREC

1. Problema e Motivação

A reconstrução de ambientes 3D estáticos é uma tarefa madura na visão computacional, mas existe uma lacuna crítica na compreensão da funcionalidade e da articulação dos objetos. A maioria dos conjuntos de dados e métodos atuais captura apenas um único estado de um ambiente (ex: uma porta fechada), falhando em registrar como os objetos se movem, articulam e revelam seus interiores (ex: gavetas abrindo, portas girando).

Métodos existentes para reconstrução de objetos articulados geralmente dependem de:

• Configurações controladas (câmeras fixas, múltiplas vistas).
• Capturas multi-estado manuais (escanear a mesma sala aberta e fechada).
• Priors de modelos CAD (reconstrução baseada em similaridade com modelos sintéticos).

O FunREC visa resolver isso criando "gêmeos digitais funcionais" diretamente a partir de vídeos de interação em primeira pessoa (egocêntricos) RGB-D, sem necessidade de modelos CAD prévios ou configurações controladas. O objetivo é recuperar cenas 3D interativas onde as partes móveis podem ser manipuladas e simuladas.

2. Metodologia

O FunREC é um pipeline livre de treinamento (training-free) baseado em otimização, que integra raciocínio geométrico com priores semânticos e de movimento de modelos fundamentais (Foundation Models). O processo divide-se nas seguintes etapas:

A. Formulação do Problema
O sistema assume um vídeo RGB-D com $N$ quadros. O cenário é composto por uma geometria estática de fundo ($P_s$) e um conjunto de $K$ partes articuladas ($P_{mk}$). Cada parte é modelada com parâmetros de articulação ($\phi_k$) e uma sequência de transformações rígidas ao longo do tempo. O sistema suporta dois tipos de juntas:

• Prismáticas: Movimento de deslizamento (ex: gavetas), definido por um eixo de transição e deslocamento.
• Revolutas: Movimento de rotação (ex: portas), definido por um eixo, um ponto de pivô e um ângulo.

B. Construção de Fragmentos
O vídeo de entrada é dividido em fragmentos temporalmente contíguos. Um Modelo de Linguagem e Vídeo (VLM) classifica cada fragmento como estático ou dinâmico (interação) e prevê o tipo de articulação envolvido.

C. Reconstrução de Fragmentos Dinâmicos

1. Estimativa de Pose da Câmera: Usa correspondências densas (RoMA) filtradas por máscaras de mão e objeto para estimar o movimento da câmera, garantindo consistência global.
2. Rastreamento de Trajetórias 3D: Gera trajetórias esparsas de pontos 3D no mundo real (usando TAPIP3D).
3. Agrupamento de Movimento Consciente de Articulação:
   • Filtra trajetórias com movimento insignificante.
   • Ajusta hipóteses de articulação (linha para prismática, círculo para revoluta) a cada trajetória.
   • Agrupa trajetórias com parâmetros de junta similares usando HDBSCAN.
   • Seleciona o cluster que melhor corresponde à evidência 2D da interação (máscara do objeto interagiado).
4. Segmentação de Partes: Combina evidências geométricas (rastros 3D projetados) com agrupamento semântico de imagens (usando SAM e SAM2) para gerar máscaras densas e temporalmente consistentes da parte móvel em cada quadro.
5. Otimização Conjunta: Refina simultaneamente as poses das partes ($T^m_i$) e os parâmetros de articulação ($\phi^m$) minimizando um objetivo que inclui erros de transformação relativa e consistência de loop, utilizando o Ceres Solver.
6. Reconstrução Geométrica:
   • Reconstrói o fundo estático e a parte móvel em volumes TSDF (Truncated Signed Distance Function) separados.
   • A parte móvel é reconstruída em seu quadro canônico (removendo o movimento da câmera), resultando em um modelo 3D limpo e livre de oclusões.

D. Alinhamento Global
Fragmentos locais são alinhados em um quadro de coordenadas compartilhado usando correspondências geométricas (PREDACTOR) e otimização de grafos de pose para criar um gêmeo digital unificado e coerente.

3. Contribuições Principais

1. Método End-to-End: Primeira solução capaz de reconstruir cenas 3D articuladas em escala de ambiente, diretamente de vídeos egocêntricos "in-the-wild" (sem controle), sem depender de CAD.
2. Novos Conjuntos de Dados: Introdução de dois benchmarks para avaliação:
   • RealFun4D: 351 vídeos reais de interação em 60 apartamentos em 4 países.
   • OmniFun4D: 127 sequências fotorealistas renderizadas em ambientes OmniGibson.
3. Pipeline Livre de Treinamento: Utiliza priores de modelos fundamentais (VLM, Segmentação, Rastreamento) combinados com otimização geométrica, evitando a necessidade de grandes conjuntos de dados anotados para treinamento.
4. Aplicações Práticas: Geração de arquivos URDF/USD prontos para simulação física, mapeamento de affordances (o que pode ser feito com o objeto) e interação robótica.

4. Resultados Experimentais

O FunREC foi avaliado em três conjuntos de dados (RealFun4D, OmniFun4D e HOI4D) contra baselines de ponta (MonST3R, SpatialTrackerV2, BundleSDF, ArtGS).

• Estimativa de Movimento Articulada: Superou os baselines com margens significativas, alcançando erros de direção de eixo de ~5.3° e posição de ~0.03m (vs. >30° e >1m em outros métodos). A taxa de falha foi de 0% nos dados reais.
• Segmentação de Partes Móveis: Alcançou um mIoU de ~75-78%, superando os métodos anteriores (que variavam entre 5% e 26%) em mais de 50 pontos percentuais.
• Estimativa de Pose 6D e Reconstrução: Melhorou a precisão de pose (ADD-S) em mais de 2x e reduziu a distância de Chamfer (CD) para reconstrução de superfície para 0.7 cm (HOI4D) e 3.2 cm (OmniFun4D).
• Robustez: O método demonstrou robustez em cenários reais com oclusões e movimentos complexos, onde métodos baseados apenas em rastreamento falhavam frequentemente.

5. Significado e Impacto

O FunREC representa um avanço fundamental para a IA Embarcada e Robótica. Ao permitir a criação de gêmeos digitais que não apenas capturam a geometria, mas também a funcionalidade cinemática de um ambiente, o sistema viabiliza:

• Simulação Realista: Robôs podem ser treinados em ambientes digitais que refletem fielmente a física e as restrições de movimento do mundo real.
• Interação Robô-Mundo: Robôs podem aprender a abrir portas ou gavetas observando demonstrações humanas e replicando as ações no gêmeo digital.
• Mapeamento de Affordances: O sistema identifica automaticamente onde e como um humano pode interagir com objetos, essencial para assistentes pessoais inteligentes.

Em resumo, o FunREC fecha a lacuna entre a percepção visual passiva e a compreensão ativa e funcional do mundo físico, permitindo que agentes artificiais operem de forma mais segura e eficaz em ambientes humanos dinâmicos.