Resumen Técnico: Manipulación Inversa mediante Planificación Simbólica y Aprendizaje de Operadores Residuales

Planteamiento del Problema

El artículo aborda el desafío de la inversión de habilidades en la manipulación robótica: la capacidad de restaurar un entorno físico a su estado previo a una ejecución hacia adelante. Los autores argumentan que simplemente revertir las trayectorias motoras es insuficiente para muchas tareas, particularmente aquellas que involucran interacciones no prehensiles (por ejemplo, empujar) donde el robot no sujeta el objeto. Si bien la planificación simbólica puede generar secuencias inversas, a menudo falla en restaurar completamente los estados físicos continuos debido a las limitaciones de los primitivos de acción y los requisitos de precisión. Por el contrario, la reversión pura de la trayectoria suele ser físicamente inaplicable. El problema central es cerrar la brecha entre los objetivos de restauración simbólica de alto nivel y el control continuo de bajo nivel para lograr habilidades inversas físicamente fundamentadas.

Metodología

El marco propuesto es un sistema híbrido que combina la planificación simbólica con el Aprendizaje por Refuerzo Residual (RL). El proceso opera en tres etapas principales:

1. Extracción de Operadores Simbólicos

El sistema analiza las demostraciones de habilidades hacia adelante para extraer automáticamente operadores simbólicos en la formalización STRIPS (Fikes y Nilsson 1971).

• Predicados Suaves: Un repertorio predefinido de predicados (por ejemplo, AT POSE, GRIPPER OPEN) se fundamenta en el grafo de escena mediante predicados geométricos suaves y diferenciables. Estos producen puntuaciones continuas $V_p(s) \in [0, 1]$ basadas en márgenes con signo $m_p(s)$.
• Definición de Operador: Se construye un operador $o = \langle Pre, Add, Del \rangle$ analizando los estados inicial y final de las demostraciones. Los predicados con puntuaciones altas al inicio forman el conjunto de precondiciones ($Pre$), mientras que los cambios en las puntuaciones determinan los efectos de adición ($Add$) y eliminación ($Del$).

2. Generación de Objetivos Inversos y Planificación Simbólica

El objetivo inverso se define no como una reversión temporal, sino como un problema de restauración. El estado objetivo $I(o)$ se construye para satisfacer las precondiciones originales, restaurar los efectos eliminados y negar los efectos añadidos:
$$I(o) = Pre \cup Del \cup \neg Add$$
Un planificador de Búsqueda en Anchura (BFS) intenta satisfacer $I(o)$ utilizando un conjunto limitado de primitivos de acción guionizados (por ejemplo, PICK, PLACE).

3. Aprendizaje de Operadores Residuales

Dado que el planificador simbólico puede satisfacer solo parcialmente el objetivo inverso, el sistema particiona los objetivos restantes:

• Conjunto de Valla ($F$): Predicados ya satisfechos por el plan simbólico ($\pi_{sym}$) que deben preservarse.
• Conjunto Residual Activo ($A$): Predicados no resueltos que constituyen el objetivo residual.

Una política de RL Residual ($\pi_{res}$) se entrena para satisfacer el conjunto activo $A$ mientras mantiene el conjunto de valla $F$.

• Función de Recompensa: La recompensa se deriva directamente de los predicados del plan simbólico.
  • Para predicados activos ($A$): Un margen normalizado con signo usando $\tanh$ para proporcionar recompensas acotadas para la restauración.
  • Para predicados de valla ($F$): Una penalización de un solo lado usando $\min(0, \cdot)$ para penalizar las violaciones sin recompensar el comportamiento de "no hacer nada".
• Ejecución: La habilidad inversa final es la concatenación de la secuencia simbólica $\pi_{sym}$ y la política residual aprendida $\pi_{res}$.

Contribuciones Clave

El artículo describe tres contribuciones primarias:

1. Formulación Híbrida: Abordar la inversión de habilidades como un problema híbrido de restauración simbólico-continua, derivando objetivos inversos de operadores simbólicos hacia adelante extraídos de demostraciones en lugar de depender de la reversión temporal.
2. Marco de Aprendizaje de Operadores Residuales: Introducir un mecanismo donde el RL se activa solo cuando la planificación simbólica no puede satisfacer completamente el objetivo inverso, manejando efectivamente la parte "residual" de la tarea.
3. Recompensas Derivadas de Predicados: Derivar señales de recompensa de RL directamente de los efectos del operador del plan simbólico, eliminando la necesidad de ingeniería de recompensas manual para cada tarea específica.

Resultados Experimentales

El marco fue evaluado en la tarea ManiSkill3 PushCube utilizando un manipulador Franka Panda. La habilidad hacia adelante consistía en empujar un cubo a una posición objetivo. La tarea inversa requería restaurar el cubo a su posición de origen original.

• Desempeño: El enfoque híbrido (Simbólico + RL) logró una tasa de éxito del 90% dentro de una tolerancia de 1 cm, con una precisión media de 1.4 mm.
• Comparaciones:
  • Solo Prefijo Simbólico: Logró solo un 10% de éxito, dejando una distancia residual media de 16.6 mm.
  • Simbólico + Acción Aleatoria: Logró un 50% de éxito con alta varianza (18.8 mm de media), lo que indica que la exploración aleatoria ocasionalmente tiene éxito por azar pero carece de fiabilidad.
  • Inversa de Trayectoria Pura: Se consideró inaplicable debido a la naturaleza no prehensile del empuje hacia adelante.
• Estudios de Ablación: Los experimentos confirmaron que el uso de una penalización $\tanh$ de un solo lado para los predicados de valla era crítico. Eliminar la penalización llevó al agente a quedarse quieto (recompensas saturadas), mientras que eliminar la función $\tanh$ por completo causó la divergencia de la función de valor y grandes derivas de recompensa.

Significado y Reivindicaciones

El artículo afirma que el control residual derivado de predicados puede transformar un inverso simbólico aproximado en una habilidad inversa físicamente fundamentada. Al tratar las habilidades inversas como operadores simbólicos distintos con sus propios objetivos de restauración, el sistema evita las limitaciones de las suposiciones de reversión temporal encontradas en trabajos previos (por ejemplo, Nair et al. 2020; Edwards et al. 2018).

Los autores posicionan este trabajo como un paso hacia la habilitación de la colaboración humano-robot y las líneas de ensamblaje-desensamblaje donde la capacidad de "deshacer" tareas es esencial. Señalan que, si bien el sistema actualmente depende de predicados diseñados a mano y primitivos de bajo nivel guionizados, los resultados sugieren que las habilidades inversas pueden resolverse eficazmente como un problema de planificación seguido de un problema de RL residual con una recompensa derivada. El artículo mantiene la modestia respecto a su alcance, reconociendo las limitaciones en el diseño de predicados y la dependencia de primitivos guionizados, y sugiere trabajos futuros para aprender estos componentes a partir de demostraciones.