Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning

Resumen Técnico: Descubrimiento Conjunto de Símbolos de Objetos y Acciones mediante la Predicción de Efectos para la Planificación de Manipulación Robótica

Planteamiento del Problema
Los robots autónomos enfrentan un desafío fundamental en tareas de manipulación de largo horizonte: razonar sobre espacios sensoriomotores continuos y de alta dimensión es computacionalmente inmanejable. La planificación efectiva requiere abstraer perceptos y acciones continuas en representaciones discretas. Los enfoques previos presentan limitaciones: la categorización basada en la visión falla al no distinguir objetos que se ven similares pero se comportan de manera diferente, mientras que los métodos basados en la interacción suelen depender de acciones predefinidas o ignorar la estructura temporal de las trayectorias. Además, los métodos existentes de generalización de pocos disparos (few-shot) suelen depender de una similitud geométrica o visual estática, fallando en capturar la dinámica física de las interacciones (afordancias) que son críticas para el manejo de objetos nuevos. El problema central abordado es cómo descubrir autónomamente símbolos de objetos y acciones de alto nivel a partir de datos de interacción aleatorios y continuos para permitir una planificación precisa de múltiples pasos y una generalización robusta a objetos no vistos.

Metodología
Los autores proponen un marco neuro-simbólico que descubre conjuntamente símbolos de objetos y acciones a través de un proceso de aprendizaje de dos etapas optimizado mediante la predicción de efectos multimodales.

1. Arquitectura y Descubrimiento de Símbolos:

   • El sistema emplea una red codificador-decodificador con una capa de cuello de botella binaria.
   • Codificador de Objetos ($\phi_o$): Una red neuronal convolucional mapea imágenes de profundidad de objetos a símbolos binarios ($z_o$).
   • Codificador de Acciones ($\phi_a$): Una arquitectura Transformer mapea trayectorias de ángulos de articulación a símbolos binarios ($z_a$), capturando la estructura temporal.
   • Activación Binaria: Ambos codificadores utilizan una función de activación Gumbel-Sigmoid (GS) para producir vectores binarios discretos, lo que permite el paso de gradientes durante el entrenamiento mediante el truco de reparametrización.
   • Decodificador ($\psi$): Predice la trayectoria del efecto multimodal (posición del objeto, vectores de fuerza y retroalimentación de contacto) dado el objeto y los símbolos de acción concatenados.

2. Procedimiento de Entrenamiento de Dos Etapas:

   • Etapa 1: El modelo predice únicamente los efectos de fuerza y retroalimentación de contacto utilizando bits de objeto completos y un subconjunto de bits de acción. Esta etapa aprende a distinguir primitivas de alto nivel gruesas (por ejemplo, empujar frente a recoger y colocar) basadas en la retroalimentación táctil, imitando el desarrollo sensoriomotor temprano de los infantes.
   • Etapa 2: El modelo utiliza todos los bits de los símbolos para predecir la trayectoria completa del efecto, incluyendo los cambios de posición espacial. Esta etapa refina los símbolos de acción para capturar variaciones direccionales (por ejemplo, empuje a la izquierda frente a empuje a la derecha).

3. Marco de Planificación:

   • Se construye una biblioteca de efectos discretos a partir del modelo aprendido, mapeando tuplas de (símbolo de objeto, símbolo de acción, paso de tiempo) a efectos de posición predichos.
   • Búsqueda A*: La planificación se realiza mediante una búsqueda A* sobre esta biblioteca. El algoritmo utiliza ejecuciones de acciones parciales, donde los pasos de tiempo intermedios en la trayectoria predicha sirven como estados alcanzables distintos, permitiendo un control de bajo nivel preciso.
   • Ejecución: Los planes simbólicos se convierten en trayectorias ejecutables de ángulos de articulación utilizando un Controlador de Bajo Nivel Condicionado por Símbolos (Primitivas de Movimiento Neuronal Condicionales, CNMP).
   • Validación de Deriva: Se activa un mecanismo de replanificación si la posición real del objeto se desvía de la posición predicha más allá de un umbral, asegurando la integridad de la ejecución.

4. Generalización de Pocos Disparos (Few-Shot):

   • Los objetos nuevos se categorizan no por su apariencia visual, sino por su similitud de comportamiento.
   • El sistema recolecta un pequeño número de demostraciones aleatorias para un nuevo objeto, extrae los símbolos de acción y predice los efectos para los candidatos de símbolos de objeto.
   • El símbolo de objeto con el menor error de predicción medio a través de las demostraciones se asigna al nuevo objeto, permitiendo la planificación sin reentrenamiento.

Contribuciones Clave

• Descubrimiento Conjunto de Símbolos: Una red profunda de codificador-decodificador con un cuello de botella binario que descubre conjuntamente símbolos de objetos y acciones a través de un procedimiento de aprendizaje de dos etapas optimizado para las predicciones de la trayectoria de efectos multimodales (espaciales-hápticos).
• Planificación Discreta con Ejecución Parcial: Un marco de planificación que construye una biblioteca de efectos discretos y realiza una búsqueda A* utilizando puntos de trayectoria intermedios para un control preciso, combinado con controladores de bajo nivel condicionados por símbolos y replanificación basada en deriva.
• Generalización de Pocos Disparos Impulsada por Efectos: Un método para categorizar objetos nuevos basados en la similitud de comportamiento (coincidencia de efectos) en lugar de la similitud visual, permitiendo la planificación de manipulación en objetos no vistos con un mínimo de demostraciones.

Resultados Experimentales
Los experimentos se realizaron en un entorno de simulación PyBullet utilizando un manipulador UR10e y cinco tipos de objetos (Bola, Cubo, Bloque X, Y, Z). El marco fue evaluado contra un modelo base de Política de Difusión (Diffusion Policy) en dos tareas: reposicionamiento en mesa (Tarea 1) y apilamiento (Tarea 2).

• Predicción de Efectos: La arquitectura propuesta basada en Transformer de dos etapas logró errores de predicción de posición significativamente menores (1.70 cm) en comparación con el aprendizaje de una sola etapa (1.77 cm) y los modelos base totalmente conectados (1.82 cm).
• Rendimiento de la Planificación (Objetos Vistos): El método propuesto superó significativamente al modelo base de Política de Difusión en ambas tareas. En la Tarea 1, logró menores errores de distancia euclidiana en todos los tipos de objetos (por ejemplo, 4.49 cm frente a 5.09 cm para el Cubo). En la Tarea 2 (apilamiento), logró tasas de éxito significativamente más altas (por ejemplo, 69.67% frente a 18.33% para el Bloque Z), atribuido a su capacidad para aprender las affordancias de agarre y los estados intermedios.
• Generalización de Pocos Disparos (Objetos Nuevos): Al probarse en cinco objetos nuevos (Toroide, Bloque en T, Cilindro, Bloque en U, Bloque Ancho) con solo tres demostraciones cada uno, el enfoque impulsado por efectos superó significativamente a la Política de Difusión y a un modelo base de codificación visual. Notablemente, el modelo base visual clasificó erróneamente los objetos (por ejemplo, categorizando un Toroide como una Bola), mientras que el método basado en efectos identificó correctamente las similitudes de comportamiento (por ejemplo, el Toroide comportándose como un Cubo en términos de efectos de empuje), lo que condujo a una planificación superior.

Significancia y Reivindicaciones
El artículo sostiene que los agentes autónomos deben descubrir representaciones a través de la interacción para manejar escenarios nuevos de manera efectiva. La importancia de este trabajo radica en demostrar que:

1. Interacción sobre Apariencia: Categorizar objetos y acciones basándose en los efectos de interacción multimodales (fuerza, contacto, movimiento) es superior a los métodos basados en la visión para la planificación, particularmente para distinguir objetos que parecen similares pero tienen dinámicas físicas diferentes.
2. Estructura Temporal: Capturar la dinámica temporal completa de las interacciones, en lugar de solo los resultados finales, permite una planificación precisa utilizando puntos de trayectoria intermedios.
3. Generalización Eficiente: El emparejamiento de similitud de comportamiento permite una generalización robusta de pocos disparos a objetos nuevos, superando a los métodos que dependen de la similitud geométrica o visual.

Los autores reconocen limitaciones, incluyendo el enfoque en las affordancias de un solo objeto, la naturaleza reactiva de la replanificación basada en la deriva (que ocurre post-ejecución) y la eficiencia computacional de A* en comparación con los resolvedores PDDL. Sugieren que el trabajo futuro se centre en símbolos relacionales entre objetos, verificación previa a la ejecución y la generación de operadores simbólicos compatibles con PDDL.