Compositional Motion Generation from Demonstration with Object-Centric Neural Fields

Resumen Técnico: Generación de Movimiento Composicional a partir de Demostraciones con Campos Neurales Centrados en Objetos

Planteamiento del Problema
El Aprendizaje desde la Demostración (LfD) enfrenta un desafío central al representar comportamientos diversos y de largo horizonte a partir de un número limitado de demostraciones. Tratar el movimiento como una secuencia monolítica a menudo pasa por alto la estructura composicional de las tareas, que típicamente se desarrollan mediante interacciones secuenciales a nivel de objeto (por ejemplo, alcanzar, agarrar, colocar). Aunque las Primitivas de Movimiento (MPs) ofrecen una representación compacta de las trayectorias, su composicionalidad suele imponerse manualmente y dependen de características manuales de baja dimensión que son difíciles de estimar de manera consistente. Por el contrario, aprender características directamente de imágenes requiere grandes conjuntos de datos, sacrificando la eficiencia de datos inherente a las MPs. Además, los enfoques existentes basados en campos neurales suelen operar a nivel de escena, escalando pobremente con el número de objetos, o fallan al no permitir la condicionación visual para la generación de trayectorias completas.

Metodología
Los autores proponen un marco de LfD generativo que conecta la percepción y el movimiento a través de representaciones compartidas a nivel de objeto. El enfoque consta de dos etapas primarias:

1. Modelado de Escena Composicional (MoE Espacial):
   El marco modela las escenas utilizando una Mezcla de Expertos (MoE) espacial basada en campos neurales centrados en objetos. Cada imagen se renderiza como una composición de un fondo fijo y $N$ campos específicos de objetos.

• Representación: Cada objeto $i$ está representado por un vector latente $z_i$ y una MLP basada en coordenadas ($F_i$) que predice la apariencia. Una red de deformación ($\Delta_i$), condicionada en $z_i$, mapea las coordenadas canónicas a coordenadas deformadas para capturar variaciones posicionales y geométricas.
• Entrenamiento: El modelo emplea una estrategia de muestreo de importancia basada en máscaras suaves. Esto asegura que cada experto aprenda de forma independiente sin colapsar sobre el mismo objeto, incluso si las máscaras de entrada son toscas. El entrenamiento procede en etapas: estimación del fondo, preentrenamiento centrado en objetos con un currículo de zoom consciente de la posición, y refinamiento composicional conjunto.
• Relabeling Latente: Para asegurar la consistencia, los autores definen un "conjunto de esquinas" $C_i$ para cada objeto, que representa los límites de las variaciones observadas. Durante el entrenamiento e inferencia, los vectores latentes se recuperan buscando combinaciones convexas de estas esquinas que reconstruyan mejor la imagen de entrada. Esto canonicaliza el espacio latente, restringiendo la generalización al soporte demostrado.

2. Generación de Movimiento Composicional (MoE Temporal):
   El movimiento se genera utilizando un MoE temporal que condiciona la generación de la trayectoria a los vectores latentes de los objetos.

• Mecanismo de Gating: Un mecanismo de gating dependiente del tiempo calcula los pesos $w_i(t)$ para cada experto de objeto. Esto permite que diferentes segmentos de la trayectoria sean influenciados por subconjuntos distintos de objetos (por ejemplo, una fase de "recogida" depende de la ubicación del objeto, mientras que una fase de "colocación" depende del objetivo).
• Condicionación: El marco utiliza Modulación Lineal por Características (FiLM) para inyectar información específica del objeto en el generador de trayectorias. La señal de condicionamiento agregada modula los parámetros de la red, permitiendo al modelo aprender primitivas de movimiento suaves, condicionadas por objetos, directamente desde la entrada visual.
• Optimización: El modelo minimiza la log-verosimilitud negativa de las trayectorias demostradas, empleando dropout latente durante el entrenamiento temprano para prevenir dependencias espurias.

Contribuciones Clave

• Modelo de Escena Generativo Centrado en Objetos: Un método para aprender representaciones centradas en objetos, suaves e interpretables a partir de imágenes utilizando un MoE espacial con deformaciones condicionadas por el latente.
• Gating Temporal para el Movimiento: Un marco de generación de movimiento que emplea un MoE temporal para lograr la composicionalidad secuencial, fundamentando el movimiento en la estructura visual mientras mantiene la eficiencia de datos de las primitivas.
• Marco de LfD Eficiente en Datos: Un sistema integrado que aprende primitivas de movimiento directamente de la entrada visual con significativamente menos demostraciones que las líneas base basadas en imágenes, soportando la generalización a través de diversas configuraciones de escena.
• Validación en 3D y el Mundo Real: El marco se demuestra operando en representaciones de escena 3D (vía campos de ocupación) y generalizando a nivel de categoría utilizando modelos de segmentación basados en lenguaje.

Resultados Experimentales
El marco fue evaluado en simulación y experimentos robóticos en el mundo real:

• Simulación: El método fue probado en cuatro tareas de manipulación (Evitación de Pared, Recogida y Colocación en Inclinación, Apilamiento de Tazas, Apilamiento de Cubos) con variaciones en la ubicación de los objetos y cambios geométricos.
  • Eficiencia de Datos: El método propuesto logró una Distancia Euclídea Media (MED) baja y altas tasas de éxito utilizando 10–30 demostraciones. Superó consistentemente a las líneas base (incluyendo Primitivas de Movimiento Neural Condicional, Política de Difusión y CNN-FiLM) entrenadas con 3 a 10 veces más datos.
  • Ablaciones: Eliminar el gating temporal resultó en errores más altos, confirmando el valor de la agregación de latentes variante en el tiempo. El enfoque centrado en objetos superó a las líneas base de características globales (CNN-FiLM, DINO-FiLM).
• Experimentos en el Mundo Real:
  • Robustez: El sistema completó con éxito tareas de recogida y colocación con objetos distractores y variaciones de iluminación.
  • Generalización a Nivel de Categoría: Utilizando modelos de visión-lenguaje para la segmentación, el robot se generalizó a objetos no vistos dentro de la misma categoría semántica (por ejemplo, diferentes tazas o pelotas) sin reentrenamiento.
  • Generalización 3D: En una tarea de apertura de cajón, el modelo utilizó campos de ocupación 3D derivados de escaneos ESDF. Entrenado con solo cuatro demostraciones, logró generalizarse a nuevos ángulos de apertura de cajón y posiciones de cajas, logrando una precisión de agarre subcentimétrica.

Significancia
El artículo sostiene que el modelado composicional a nivel de objeto proporciona un paradigma poderoso para el LfD. Al acoplar representaciones neurales centradas en objetos con una mezcla de expertos temporal, el marco ofrece una estructura latente interpretable y una generalización sistemática. La significancia reside en su capacidad para alcanzar un alto rendimiento de la tarea con demostraciones limitadas, cerrando la brecha entre la eficiencia de datos de las primitivas tradicionales y la riqueza perceptual del aprendizaje profundo. Los autores señalan que, si bien el método es robusto ante ruidos moderados y distractores, depende de la suposición de que los objetos ocupan regiones distintas y que el diseño de la escena permanece constante. El trabajo futuro pretende extender el marco para incorporar representaciones de escena basadas en campos de radiancia neural para una generalización más amplia a nivel de escena.