Resumen Técnico: Aprendizaje por Refuerzo Condicionado a Objetivos con Información de la Física bajo Dinámicas de Contacto Híbridas

Planteamiento del Problema

El Aprendizaje por Refuerzo Condicionado a Objetivos (GCRL, por sus siglas en inglés) busca aprender políticas que generalicen a través de objetivos arbitrarios utilizando retroalimentación dispersa. Si bien el Pi-GCRL (GCRL con información de la física) ha aplicado con éxito sesgos inductivos inspirados en el control óptimo (específicamente, restricciones de Ecuaciones Diferenciales Parciales) a la navegación y al alcance de objetivos sin objetos, su aplicación a la manipulación robótica rica en contactos sigue siendo problemática.

En entornos ricos en contactos, la dinámica del sistema es híbrida, alternando entre movimiento en espacio libre, interacción mediada por contacto y transporte de objetos. Estas transiciones inducen una controlabilidad dependiente del modo: ciertas coordenadas del estado (por ejemplo, posiciones de objetos) pueden ser localmente incontrolables en modos de contacto específicos (por ejemplo, cuando no se está sujetando un objeto). Los autores argumentan que los métodos de Pi-GCRL existentes, que típicamente aplican una regularización Eikonal de estado completo, fallan en estos entornos porque las suposiciones subyacentes de la ecuación Eikonal (dinámicas isotrópicas y totalmente controlables) se ven violadas. Este desalineamiento distorsiona la función de valor, penalizando variaciones válidas a lo largo de coordenadas incontrolables y degradando el rendimiento de la política.

Metodología

El artículo propone un análisis de este modo de fallo y presenta dos formulaciones complementarias para abordarlo: Regularización Consciente del Contacto y Descomposición Jerárquica.

1. Análisis Teórico: Desajuste Eikonal

Los autores formalizan el fallo de la regularización Eikonal de estado completo en sistemas híbridos. Modelan la manipulación como un sistema híbrido donde el estado $s = (x, z)$ consiste en coordenadas controlables $x$ y coordenadas localmente incontrolables $z$ (por ejemplo, la pose del objeto cuando no se está sujetando).

• La Proposición 4.1 demuestra que si el costo óptimo de ida $d^*$ depende de las coordenadas localmente incontrolables ($\nabla_z d^* \neq 0$), la restricción Eikonal de estado completo ($\|\nabla_s d^*\| = 1$) contradice la caracterización local de Hamilton-Jacobi-Bellman (HJB).
• La restricción Eikonal asigna incorrectamente el presupuesto del gradiente a direcciones donde no es posible el movimiento instantáneo, mientras que la ecuación HJB restringe correctamente los gradientes solo a lo largo de las direcciones factibles.

2. Aprendizaje de Valor con Información de la Física Consciente del Contacto

Para resolver el desajuste, los autores proponen reemplazar la restricción de norma de gradiente de estado completo con una restricción direccional alineada con las transiciones factibles observadas.

• En lugar de penalizar la norma del gradiente completo, el método aproxima la dirección de la dinámica en tiempo continuo utilizando el vector de transición empírico $(s' - s)$.
• Esto produce un residuo de tipo HJB consciente del contacto (Ec. 4):
  $$\mathcal{L}_{CA-HJB} = \mathbb{E} \left[ \left( \nabla_s d_\theta(s, g)^\top \frac{s' - s}{\|s' - s\| + \epsilon} + 1 \right)^2 \right]$$
• Esta formulación asegura que los gradientes de valor solo se restrinjan a lo largo de las direcciones donde realmente se observa movimiento, ignorando efectivamente las coordenadas incontrolables durante modos de contacto específicos.

3. Flujo Jerárquico con Información de la Física (Pi-H-Flow)

Los autores introducen un marco jerárquico para alinear aún más la regularización con la controlabilidad:

• Política de Alto Nivel ($\pi_{hi}$): Un modelo basado en flujo genera subobjetivos $x_g$ en una representación controlable $X$ (excluyendo las coordenadas de la pose del objeto). Esto separa el razonamiento de alto nivel centrado en el objeto de la ejecución de bajo nivel.
• Política de Bajo Nivel ($\pi_{lo}$): Opera enteramente dentro de la representación controlable $X$, mapeando el estado actual y el subobjetivo hacia acciones primitivas.
• Regularización: Las restricciones con información de la física (Eikonal o HJB) se aplican únicamente en el nivel bajo dentro de $X$, donde las dinámicas son plenamente controlables y las suposiciones isotrópicas son más válidas.
• El flujo de alto nivel se entrena para generar estados controlables futuros, mientras que el aprendiz de bajo nivel utiliza el residuo HJB consciente del contacto para aprender la función de valor.

Principales Contribuciones

1. Análisis Principado: El artículo identifica y demuestra que la regularización Eikonal de estado completo está estructuralmente desalineada con las dinámicas de contacto híbridas debido a las coordenadas localmente incontrolables, lo cual es distinto de los problemas causados por dinámicas anisotrópicas.
2. Nuevas Formulaciones:
   • Un residuo consciente del contacto que restringe los gradientes de valor solo a lo largo de las direcciones de transición factibles.
   • Una descomposición jerárquica que aisla las dinámicas controlables para la regularización con información de la física, separándolas de las variables de estado centradas en el objeto.
3. Validación Empírica: Los autores validan su enfoque a través de tareas de manipulación offline condicionadas a objetivos en simulación (OGBench) y en una tarea de pick-and-place con un robot UR5e real.

Resultados Experimentales

Los métodos propuestos fueron evaluados en la suite OGBench (tareas de reordenamiento de cubos Doble, Triple y Cuádruple) y en una tarea de pick-and-place en el mundo real.

• Simulación (OGBench):

  • Fallo de las Líneas Base: Los métodos estándar con regularización Eikonal (Eik-GCIVL, Eik-QRL) fallaron en converger de manera fiable, confirmando el desalineamiento teórico.
  • Mejora de la Conciencia del Contacto: La variante HJB consciente del contacto (HJB-GCIVL) superó significativamente a los métodos Eikonal de estado completo, particularmente en escenarios complejos de múltiples objetos.
  • Beneficio Jerárquico: El marco jerárquico (Pi-H-Flow-HJB-GCIVL) alcanzó las tasas de éxito más altas y la convergencia más rápida.
  • Ablación: El uso de la representación "Articulaciones+Contactos" en el nivel bajo consistió en mejorar el rendimiento (ganancia de 10–20% en la tasa de éxito) sobre el uso del estado completo, validando el beneficio de la descomposición de estado.

• Experimentos en el Mundo Real:

  • Entrenado en un conjunto de datos offline de ~60k pasos recolectados mediante una política MPC prescrita.
  • El Pi-H-Flow-HJB-GCIVL propuesto logró las tasas de éxito más altas (75% con umbral de 10cm, 60% con 5cm, 50% con 3cm), superando tanto a las líneas base no informadas por la física como a las variantes con información de la física no jerárquicas.
  • Los resultados cualitativos mostraron que la política puede recuperarse de agarres desalineados y utilizar modos de interacción alternativos (por ejemplo, deslizar objetos).

Significancia y Reivindicaciones

El artículo afirma proporcionar un paso fundamental para extender el Pi-GCRL a la manipulación rica en contactos. Al analizar el desajuste geométrico entre las restricciones Eikonal y las dinámicas híbridas, los autores demuestran que la aplicación ingenua de sesgos con información de la física puede ser perjudicial.

La significancia radica en:

1. Corregir un Fallo Teórico: Demostrar que la continuidad de Lipschitz (impuesta por las restricciones Eikonal) es insuficiente para sistemas híbridos y que las restricciones deben respetar la controlabilidad local.
2. Marco Práctico: Ofrecer una arquitectura jerárquica escalable que combina la generación de subobjetivos basada en flujos con el aprendizaje de valor consciente del contacto.
3. Aplicabilidad en el Mundo Real: Demostrar que estos conocimientos teóricos se traducen en un mejor rendimiento en robots físicos utilizando datos offline limitados.

Los autores mantienen la modestia respecto a las limitaciones, señalando que los algoritmos actuales siguen siendo ávidos de datos y que el regularizador HJB no garantiza inherentemente la seguridad ni respeta los límites de los actuadores. Sugieren que el trabajo futuro debería integrar modelos de física más explícitos y restricciones de seguridad.