ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos

Título: ObjectForesight: Previsão de Trajetórias 3D Futuras de Objetos a partir de Vídeos Humanos

1. Problema e Motivação

O trabalho aborda a capacidade humana de antecipar como objetos se movem ou mudam através de interações (ex.: levantar uma xícara, cortar com uma faca). O objetivo é dotar sistemas computacionais dessa mesma habilidade: inferir e prever configurações futuras plausíveis de objetos a partir de observações visuais passivas.

• Desafio Principal: Prever a dinâmica futura de objetos rígidos em 3D (6 Graus de Liberdade - 6-DoF) a partir de vídeos curtos de primeira pessoa (egocêntricos), sem modelar explicitamente o movimento humano ou exigir supervisão de ação detalhada.
• Limitações de Abordagens Anteriores:
  • Modelos de mundo baseados em pixels ou espaços latentes carecem de fundamentação geométrica explícita e consistência temporal.
  • Conjuntos de dados existentes (robóticos) são limitados e scriptados, enquanto vídeos da internet carecem de informações 3D alinhadas (poses, profundidade, geometria).

2. Metodologia

A proposta do ObjectForesight divide-se em duas partes principais: a curadoria de um grande conjunto de dados e o modelo de previsão em si.

A. Curadoria de Dados (Pipeline Automatizado)

Como não existiam dados em escala para essa tarefa, os autores criaram um pipeline automatizado para transformar vídeos egocêntricos brutos (do dataset EPIC-Kitchens) em trajetórias 3D de alta fidelidade:

1. Filtragem e Descoberta: Seleção de segmentos de ação com mãos e objetos visíveis usando EgoHOS.
2. Máscaras Robustas: Uso do SAM2 (Segment Anything Model 2) com prompts temporais para obter máscaras de objetos estáveis e resistentes a oclusões.
3. Filtragem por VLM: Uso de modelos de linguagem visual (InternVL3) para garantir que o objeto esteja sendo manipulado (não estático) e que a visibilidade seja clara.
4. Reconstrução 3D: Geração de malhas 3D dos objetos usando TRELLIS.
5. Estimativa de Pose e Profundidade: Uso do SpaTrackerV2 para profundidade métrica e geometria da câmera, e do FoundationPose para estimativa e rastreamento de pose 6-DoF.
6. Resultado: Um dataset de mais de 2 milhões de clipes curtos (2-3 segundos) com trajetórias 6-DoF metricamente fundamentadas e livres de ruído.

B. Arquitetura do Modelo

O modelo é um Transformador de Difusão (Diffusion Transformer - DiT) que opera em coordenadas centradas no objeto.

• Entrada:
  • Um histórico curto de frames RGB e mapas de profundidade monoculares.
  • Uma nuvem de pontos da cena (baseada no primeiro frame, "anchor frame").
  • Máscaras do objeto e tokens de pose passados.
• Codificação de Contexto Geométrico:
  • Utiliza um PointTransformerV3 para codificar a geometria 3D da cena.
  • As características dos pontos são condicionadas pelo histórico de movimento recente (usando FiLM) e agrupadas em um embedding global da cena ($z_{geom}$) focado no objeto.
• Processo de Difusão:
  • O modelo prevê uma distribuição sobre futuras poses 6-DoF através de um processo de difusão.
  • As poses são tokenizadas em um espaço normalizado por profundidade (para estabilidade numérica), representando translação e rotação (6D continuous rotation).
  • O DiT remove o ruído do futuro, condicionado ao embedding geométrico da cena e aos tokens de pose passados.
• Saída: Uma sequência temporalmente coerente e fisicamente plausível de poses futuras do objeto.

3. Contribuições Chave

1. Formalização da Tarefa: Introdução e formalização da previsão de dinâmica 3D de objetos a partir de vídeos humanos, estabelecendo um padrão para aprender como objetos se movem no mundo real sem supervisão de ação explícita.
2. Modelo ObjectForesight: Um modelo de dinâmica centrado no objeto que prevê trajetórias 6-DoF futuras, operando no espaço SE(3) com fundamentação geométrica explícita, superando abordagens baseadas em pixels.
3. Dataset em Grande Escala: Construção de um dataset de 2+ milhões de trajetórias 3D centradas em objetos, extraídos automaticamente de vídeos do EPIC-Kitchens, utilizando técnicas avançadas de segmentação e reconstrução 3D.

4. Resultados Experimentais

Os autores avaliaram o modelo em dois datasets: o dataset curado do EPIC-Kitchens e o HOT3D-Clips (dados de laboratório com ground-truth preciso).

• Métricas: Erro de Deslocamento Médio (ADE), Erro de Deslocamento Final (FDE) para translação; e erros equivalentes para rotação (ARE, FRE).
• Desempenho:
  • O ObjectForesight-DiT superou significativamente as baselines, incluindo um modelo autoregressivo (ObjectForesight-AR), uma extrapolação de velocidade constante e geradores de vídeo de última geração (Luma Ray3).
  • No EPIC-Kitchens, reduziu o ADE de translação em 41% e o erro de rotação em comparação com a velocidade constante.
  • Superou o gerador de vídeo (Luma Ray3) em todos os métricas, demonstrando que prever diretamente no espaço 3D (SE(3)) é superior a inferir movimento a partir de frames sintetizados.
• Ablações:
  • O uso do PointTransformerV3 como codificador de cena foi crucial para o desempenho.
  • O modelo de difusão (DiT) mostrou-se superior ao autoregressivo para capturar a natureza "um-para-muitos" (multimodal) das interações futuras (ex.: um objeto pode ser levantado ou girado).
  • Aumentar a capacidade do modelo (número de camadas e dimensão) melhorou consistentemente a precisão.

5. Significado e Impacto

• Fundação para Robótica e IA Embutida: O trabalho fornece uma base escalável para aprender modelos de dinâmica física centrados em objetos diretamente da observação, essencial para robôs que precisam planejar manipulação em ambientes não estruturados.
• Superação de Limitações de Dados: Demonstra que é possível criar dados de treinamento de alta qualidade e em grande escala a partir de vídeos da internet, contornando a necessidade de captura de movimento manual ou ambientes controlados.
• Consistência Física e Geométrica: Ao operar explicitamente no espaço 3D e usar difusão, o modelo gera previsões que são não apenas visualmente plausíveis, mas geometricamente consistentes e fisicamente viáveis, algo difícil de alcançar com modelos de geração de vídeo tradicionais.

Em resumo, o ObjectForesight estabelece um novo paradigma para a previsão de movimento de objetos, combinando a riqueza de dados de vídeos do mundo real com a precisão geométrica de modelos 3D explícitos.