Resumen Técnico: Predicción de Trayectoria Visual Espacialmente Estimulada para Manipulación Egocéntrica

Definición del Problema: Predicción de Trayectoria Visual Espacialmente Estimulada (SP-VTP)

Las políticas actuales de manipulación robótica a menudo dependen de instrucciones en lenguaje natural o identificadores de tareas discretos para especificar objetivos. Sin embargo, en entornos desordenados que contienen objetos visualmente similares, las descripciones lingüísticas (por ejemplo, "coge el tenedor") o los identificadores de tareas pueden ser ambiguos o no lograr identificar la instancia específica o la región de colocación. Los autores argumentan que, en tales escenarios, la especificación del objetivo es inherentemente espacial antes de ser lingüística: "coge este objeto y colócalo allí".

Para abordar esto, el artículo formaliza un nuevo escenario denominado Predicción de Trayectoria Visual Espacialmente Estimulada (SP-VTP). En este marco:

• Entrada: El modelo recibe una imagen egocéntrica del primer cuadro con estimulos espaciales estáticos (puntos o cajas delimitadoras) que indican el objeto objetivo y la región de colocación objetivo.
• Tarea: El modelo debe predecir trayectorias futuras del efector final (EE) basándose en observaciones egocéntricas en flujo continuo.
• Salida: A diferencia de la anclaje visual o el seguimiento que generan máscaras o cajas, la salida es una secuencia de movimientos relativos 6D del EE y estados de la pinza.
• Desafíos: El problema combina cuatro dificultades distintas:
  1. Especificación de Tarea Estática: El objeto y el objetivo se definen únicamente en el primer cuadro.
  2. Ejecución Dinámica: La cámara se mueve, el EE ocluye la escena y los objetos se reubican después de agarrarlos.
  3. Desambiguación de Instancias: El desorden y los distractores de la misma categoría requieren un seguimiento persistente a nivel de instancia.
  4. Movimiento Dependiente de la Fase: El mismo par objeto-objetivo puede requerir movimientos diferentes en distintas fases de ejecución.

Metodología

Dataset: EgoSPT

Para estudiar SP-VTP, los autores introducen EgoSPT, un dataset de trayectorias de manipulación egocéntrica espacialmente estimuladas.

• Recopilación: Los datos se recopilaron utilizando una Interfaz de Manipulación Universal (UMI) modificada equipada con una GoPro (lente ojo de pez de 170°) para video egocéntrico y un iPhone para el seguimiento de la trayectoria 6-DoF del EE mediante SLAM visual-inercial.
• Contenido: El dataset contiene 2.841 episodios de agarrar y colocar que involucran cinco tenedores visualmente similares y nueve objetivos (platos, cuencos, tazas).
• Estructura: Está organizado en tres escenas con dificultad creciente:
  • Escena 1: Diseños estructurados (condiciones limpias).
  • Escena 2: Diseños desordenados (distractores y ambigüedad espacial).
  • Escena 3: Subescenas desordenadas aleatoriamente con demostraciones escasas por configuración.
• Anotaciones: Cada episodio incluye anotaciones de anclaje del objeto y del objetivo en el primer cuadro (cajas delimitadoras) y trayectorias 3D del EE recuperadas.

Modelo: SPOT (Política de Objeto-Objetivo Espacialmente Estimulada)

Los autores proponen SPOT, una política diseñada para fusionar estímulos espaciales con observaciones visuales para generar fragmentos de trayectoria futura. La arquitectura consta de tres módulos principales:

1. Codificador de Tarea:

   • Procesa el primer cuadro ($I_0$) y los estímulos espaciales (objeto $p_{obj}$ y objetivo $p_{tgt}$).
   • Representación Dual de Estímulos: Los estímulos se codifican de dos maneras complementarias:
     • Visual: Las cajas delimitadoras se renderizan sobre el primer cuadro.
     • Coordenadas: Las coordenadas de la caja se codifican como tokens espaciales utilizando características posicionales de Fourier y una MLP.
   • Fusión: Una base DINOv2 ViT-B/14 congelada extrae tokens de imagen. Los tokens de estímulo (incrustados con roles) consultan estos tokens visuales mediante atención cruzada para extraer evidencia relevante para la tarea, fusionando el contexto global de la escena con información específica del objeto/objetivo.

2. Codificador de Observación:

   • Codifica el cuadro egocéntrico actual ($I_t$) utilizando la misma base visual congelada para garantizar un espacio visual compartido con el codificador de tarea.
   • Incorpora el historial reciente de trayectoria ($h_t$) mediante una MLP ligera e incrustaciones posicionales temporales.
   • Concatena los tokens visuales actuales y los tokens del historial para formar el contexto de ejecución.

3. Generador de Trayectoria:

   • Toma los tokens de tarea y observación concatenados como condición.
   • Predice un fragmento de trayectoria futura ($A_t \in \mathbb{R}^{H \times 10}$) que representa la traslación relativa, la rotación 6D y el ancho de la pinza.
   • Objetivo: La implementación predeterminada utiliza Flow Matching para predecir el campo de velocidad de la trayectoria, aunque también se admite una cabeza de difusión. El modelo se entrena para desruido tokens de trayectoria interpolados.

Protocolo de Evaluación

El artículo enfatiza divisiones conscientes de la escena para prevenir la filtración de datos y la sobreestimación de la generalización. Todos los episodios de la misma unidad de escena se mantienen dentro de una sola partición (entrenamiento o validación). Las métricas de evaluación incluyen Error de Desplazamiento Final (FDE), Posición L2, Rotación L2 y Ancho de Pinza L1.

Resultados Clave

Líneas Base de Estimulación

Los experimentos que comparan diferentes modalidades de estímulo (Sin Estímulo, Punto, Caja Delimitadora, Visual, Caja Delimitadora + Visual) demuestran que los estímulos espaciales mejoran significativamente el rendimiento sobre las líneas base sin estímulo.

• La combinación de Estímulos Visuales (cajas renderizadas) y Estímulos de Coordenadas (tokens de caja) produce los mejores resultados generales, reduciendo el FDE de 0.1739 (Sin Estímulo) a 0.1147.
• Los estímulos visuales por sí solos son particularmente efectivos para la precisión de rotación, mientras que los estímulos de coordenadas proporcionan geometría explícita beneficiosa para la traslación en escenas desordenadas.

Estudios de Ablación

• Codificador de Visión: DINOv2-Base supera a otros modelos fundacionales (SigLIP, SAM, EVA2, PE) en precisión de punto final y traslación, particularmente en escenas desordenadas (Escena 2 y 3).
• Congelado vs. No Congelado: Mantener la base visual congelada produce una mejor generalización que ajustarla finamente, lo que sugiere que adaptar la base a la distribución limitada de tareas conduce al sobreajuste.
• Cabeza de Trayectoria: La cabeza de Flow Matching supera consistentemente a la cabeza de Difusión en todas las métricas.
• Horizonte de Historial: Un horizonte de historial moderado ($K=4$) proporciona el mejor equilibrio, ofreciendo contexto de movimiento suficiente sin introducir observaciones obsoletas.

Rendimiento Cualitativo

Las visualizaciones muestran que SPOT infiere con éxito la fase de movimiento local correcta a partir de estímulos estáticos y observaciones actuales. Si bien la unión a largo plazo acumula deriva local (errores acumulativos), el modelo preserva la estructura geométrica gruesa de la trayectoria de manipulación, incluidos los movimientos de aproximación y retorno.

Significado y Afirmaciones

El artículo afirma establecer SP-VTP como una condición de tarea nueva, simple y escalable para la manipulación egocéntrica. Sus contribuciones principales son:

1. Formalización: Definir el primer escenario que enmarca la manipulación egocéntrica como predicción de trayectoria centrada en la visión y espacialmente estimulada, distinta de la planificación condicionada por lenguaje o el seguimiento estándar.
2. Dataset: Introducir EgoSPT, que proporciona las anotaciones de anclaje necesarias y la recuperación de movimiento 3D para estudiar este problema.
3. Política: Proponer SPOT, que demuestra que fusionar estímulos espaciales renderizados y de coordenadas con el historial visual predice eficazmente trayectorias futuras en configuraciones de escena novedosas.
4. Evaluación: Establecer un protocolo de evaluación consciente de la escena que prueba la verdadera generalización entre escenas en lugar de la memorización de diseños.

Los autores posicionan la estimulación espacial como una interfaz directa y de baja ambigüedad para especificar objetivos de manipulación en entornos desordenados, ofreciendo una alternativa práctica a las instrucciones basadas en lenguaje donde el contexto visual es primordial.