ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos

Resumen Técnico: ObjectForesight

1. El Problema

El objetivo central de este trabajo es dotar a los sistemas computacionales de la capacidad humana intuitiva de anticipar cómo los objetos se moverán o cambiarán en el espacio 3D tras una interacción, basándose únicamente en la observación visual pasiva.

El problema específico abordado es la predicción de la dinámica futura de objetos 3D a partir de secuencias de video egocéntrico (vistas en primera persona). A diferencia de los modelos de mundo o dinámicos convencionales que operan en el espacio de píxeles o en espacios latentes abstractos, este trabajo busca predecir trayectorias de 6 Grados de Libertad (6-DoF) (posición y orientación) para objetos rígidos.

Los desafíos principales identificados son:

• La falta de grandes conjuntos de datos con supervisión 3D física y limpia para interacciones humanas en el mundo real.
• La dificultad de separar el movimiento del objeto del movimiento de la cámara (ego-movimiento).
• La necesidad de generar predicciones que sean geométricamente consistentes, físicamente plausibles y que capturen la multimodalidad del futuro (un objeto puede moverse de varias maneras válidas).

2. Metodología

La propuesta se divide en dos componentes principales: la curación de un conjunto de datos a gran escala y el diseño de un modelo de aprendizaje profundo.

A. Curación de Datos (Pipeline Automatizado)
Dado que no existían datasets adecuados, los autores desarrollaron un pipeline automatizado para convertir videos egocéntricos crudos (del dataset EPIC-Kitchens) en trayectorias 3D de alta fidelidad:

1. Detección y Segmentación: Se utilizan modelos como EgoHOS para detectar manos y objetos, y SAM2 (Segment Anything Model 2) para refinar las máscaras de los objetos manipulados, asegurando consistencia temporal.
2. Reconstrucción 3D: Se emplea TRELLIS para reconstruir la malla 3D del objeto a partir de las vistas limpias.
3. Estimación de Pose y Profundidad: Se utiliza SpaTrackerV2 para obtener profundidad monoculular y geometría de la cámara, y FoundationPose para estimar y rastrear la pose 6-DoF del objeto.
4. Filtrado y Normalización: Se aplican filtros basados en Visión-Lenguaje (VLM) para descartar objetos estáticos y se normalizan las poses en un sistema de coordenadas de la cámara del "frame ancla" para eliminar el ego-movimiento.

• Resultado: Un dataset de más de 2 millones de clips cortos con trayectorias 3D de objetos, la primera colección de esta escala y fidelidad.

B. Modelo ObjectForesight
El modelo es un transformador de difusión (Diffusion Transformer - DiT) centrado en objetos, diseñado para predecir secuencias futuras de poses.

• Codificación de Contexto:
  • Utiliza un PointTransformerV3 para codificar la geometría 3D de la escena (nube de puntos) y el objeto.
  • Incorpora un vector de contexto que resume la historia de movimiento reciente (poses pasadas y cajas delimitadoras) mediante atención cruzada.
  • La codificación de la escena se inyecta en el modelo mediante FiLM (Feature-wise Linear Modulation) y AdaLN-Zero.
• Tokenización de Pose: Las poses 6-DoF se reparametrizan en tokens normalizados por profundidad ($u, v, s, r_{6D}$) para mejorar la estabilidad numérica.
• Proceso de Difusión:
  • El modelo aprende a eliminar ruido de una secuencia futura de poses, condicionado por la geometría de la escena y el historial de movimiento.
  • Utiliza una programación de ruido coseno y parametrización $v$ para estabilizar el entrenamiento.
  • Función de Pérdida: Combina la pérdida de predicción $v$ con pérdidas auxiliares en el espacio SE(3) (error de traslación y rotación geodésica), pérdidas de velocidad/acceleración para suavidad temporal y una penalización por profundidad mínima.
• Inferencia: Se utiliza muestreo DDIM determinista para generar trayectorias suaves y físicamente coherentes.

3. Contribuciones Clave

1. Formalización de la Tarea: Introducen y formalizan la tarea de predecir la dinámica futura de objetos 3D a partir de videos humanos, estableciendo un estándar para aprender cómo se mueven los objetos en el mundo real sin supervisión explícita de acciones.
2. Modelo ObjectForesight: Proponen un modelo de dinámica centrado en objetos que predice trayectorias 6-DoF futuras utilizando un enfoque de difusión basado en geometría explícita, superando a los modelos autoregresivos y generadores de video tradicionales.
3. Dataset a Gran Escala: Construyen y liberan un dataset de más de 2 millones de trayectorias 3D centradas en objetos, extraídas automáticamente de videos de interacción humana, proporcionando una base de datos masiva para el aprendizaje de dinámicas físicas.

4. Resultados

Los experimentos se realizaron en los datasets EPIC-Kitchens y HOT3D-Clips, comparando ObjectForesight contra baselines como velocidad constante, transformadores autoregresivos (AR) y generadores de video (Luma Ray3).

• Precisión: ObjectForesight (versión DiT) superó significativamente a todos los baselines. En EPIC-Kitchens, logró un ADE (Error de Desplazamiento Promedio) de 0.016 m y un ARE (Error de Rotación Promedio) de 2.30°, superando al baseline de velocidad constante en un 41% en ADE.
• Consistencia Geométrica: El enfoque basado en difusión produce trayectorias más suaves y físicamente plausibles que los modelos autoregresivos, que a menudo colapsan a soluciones deterministas o inestables.
• Generalización: El modelo demostró una fuerte capacidad de generalización a objetos y escenas no vistos, manteniendo la coherencia temporal.
• Comparación con Generación de Video: Superó ampliamente a los generadores de video de última generación (como Luma Ray3) en la precisión de la pose 3D, demostrando que predecir directamente en el espacio SE(3) es más efectivo que inferir la pose a partir de píxeles sintetizados.
• Ablaciones: Se demostró que el uso de un codificador geométrico adecuado (PointTransformerV3) y la escala del modelo (hasta 12 capas) son críticos para el rendimiento.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la razonamiento visual corporizado y la robótica:

• Fundamento Físico: Al operar explícitamente en el espacio 3D y SE(3), el modelo aprende las "afordancias" físicas de los objetos (cómo pueden moverse) en lugar de solo patrones visuales.
• Escalabilidad: Demuestra que es posible aprender dinámicas físicas complejas a partir de datos observacionales masivos y "en la naturaleza" (in-the-wild), sin necesidad de costosas capturas de movimiento o anotaciones manuales.
• Aplicaciones Futuras: La capacidad de predecir trayectorias 3D plausibles es crucial para la planificación de tareas robóticas, la simulación de entornos y la interacción humano-robot, permitiendo a los agentes anticipar el resultado de sus acciones antes de ejecutarlas.

En resumen, ObjectForesight establece un nuevo paradigma para la predicción de movimiento de objetos, combinando la potencia de los modelos de difusión con la precisión de la geometría 3D explícita, todo ello alimentado por un dataset masivo generado automáticamente.