Resumen Técnico: Muestreo Restringido Combinado y Aprendizaje por Refuerzo para la Manipulación Robótica

Planteamiento del Problema

El entrenamiento de políticas de manipulación no prensil en entornos ricos en contactos sigue siendo un desafío central en la robótica. Si bien el Aprendizaje por Refuerzo (RL) ha demostrado fortaleza al manejar dinámicas ricas en contactos al suavizar implícitamente las discontinuidades subyacentes, lucha contra problemas severos de exploración. Los modos de interacción relevantes a menudo requieren alcanzar estados de contacto poco comunes antes de recibir recompensas informativas.

Un cuello de botella crítico reside en el diseño de las distribuciones de reinicio y de objetivos ($p(s_0)$ y $p(g)$). Las estrategias existentes suelen depender de heurísticas, generación de escenas aleatorias o muestreadores específicos de la tarea (por ejemplo, específicos de agarre). Estos métodos no logran proporcionar un mecanismo general para especificar las diversas configuraciones de contacto necesarias para tareas no prensiles, como el equilibrio de objetos, donde el espacio de estados está restringido por dinámicas de contacto complejas y estructuras de complementariedad.

Metodología

Los autores proponen CSRL (Muestreo Restringido Combinado y Aprendizaje por Refuerzo), un marco que integra un muestreador de estados informado por la física con RL condicionado por objetivos. El enfoque consta de tres componentes principales:

1. Muestreador de Estados Restringido

A diferencia de los simuladores de física estándar que muestrean la dinámica hacia adelante, este muestreador genera estados iniciales y finales válidos resolviendo un problema de restricciones no lineales. Modela explícitamente la estructura del contacto para asegurar una cobertura diversa de los modos de contacto.

• Formulación: El muestreador define un espacio de restricciones $S_c$ utilizando la dinámica de cuerpo rígido, restricciones de colisión y restricciones de fuerza de contacto (conos de fricción de Coulomb). Asume que los objetivos pueden mantenerse en equilibrio cuasiestático.
• Variables: Las variables de decisión incluyen modos de contacto discretos ($c_{ij} \in \{0, 1\}$) y variables de estado continuas ($s$), junto con puntos de ataque y fuerzas lineales para contactos activos.
• Estrategia de Muestreo: Se utiliza un enfoque jerárquico. Primero, se muestrea una configuración de modo de contacto (por ejemplo, seleccionando 1, 2 o 3 contactos de soporte). Luego, un método de Lagrange Aumentado resuelve un problema de optimización proximal para proyectar una muestra de caja aleatoria $\bar{s}$ sobre la variedad factible $S_c$. Este proceso se repite hasta generar un conjunto de datos $D$ de estados factibles.

2. Estrategias de Reinicio y Currículo

Para abordar el desafío de la exploración en espacios de alta dimensión donde los inicios y objetivos aleatorios son probablemente distantes, CSRL emplea dos estrategias adicionales:

• Interpolación Proyectada: En lugar de reiniciar a estados aleatorios, el sistema muestrea un inicio $a$ y un objetivo $g$ de partir del conjunto de datos restringido $D$. Calcula una interpolación convexa entre ellos en un espacio de estados embebido $\phi$, luego proyecta este punto interpolado de vuelta a la variedad restringida $S_c$ (aproximada mediante la búsqueda del vecino más cercano en $D$). Esto asegura que los estados intermedios permanezcan físicamente válidos.
• Aprendizaje de Currículo: Se programa una variable de fase $\alpha$ desde un valor cercano a 0 hasta 1. Inicialmente, la interpolación utiliza $t \sim U[0, \alpha]$, reiniciando al agente más cerca del objetivo. El tiempo de truncamiento del MDP también se escala con $\alpha$, permitiendo que el agente recolecte trayectorias cortas cerca del objetivo antes de abordar trayectorias más largas y complejas.

3. Integración con RL

El muestreador restringido proporciona la distribución $p_0$ para un MDP condicionado por objetivos. El agente de RL (usando TD7 como predeterminado, con evaluaciones de variantes de TD3 y HER) aprende una política universal $\pi: s, g \mapsto a$ para conectar cualquier estado inicial con cualquier estado final dentro de la distribución.

Contribuciones Clave

1. Nuevo Muestreador de Estados Restringido: Un método para generar distribuciones de reinicio y de objetivos para la manipulación rica en contactos que considera explícitamente la estructura de contacto, proporcionando una cobertura rica de diversos modos de contacto sin comprometerse con primitivas de interacción específicas.
2. Interpolación Proyectada y Currículo: Una estrategia para cerrar la brecha entre los estados muestreados utilizando interpolación proyectada por restricciones y un currículo que aumenta gradualmente la dificultad de la tarea, mitigando los desafíos de recompensa dispersa.
3. Validación Experimental: Demostración de que este enfoque supera al RL estándar con reinicios aleatorios y otros métodos de reinicio alternativos en cuatro dominios de dificultad creciente.

Resultados Experimentales

Los autores evaluaron CSRL en cuatro dominios:

1. Doble esfera: Una prueba básica para la manipulación universal entre estados cuasiestáticos.
2. Panda-esfera: Prueba habilidades de contacto de cuerpo completo usando un brazo Panda.
3. Esfera-cubo: Prueba el control de rotación y orientación, incluyendo el equilibrio sobre bordes/esquinas.
4. Panda-cubo: Prueba el control de un cubo con contactos de efector final y dedos.

Hallazgos Clave:

• Superioridad del Muestreo Restringido: En los dominios de doble esfera y panda-esfera, el uso de muestreo restringido tanto para inicios como para objetivos superó significativamente al muestreo aleatorio. El muestreo aleatorio funcionó particularmente mal en la tarea panda-esfera, fallando en generar estados de sostenimiento estático válidos.
• Impacto de la Interpolación y el Currículo: La adición de interpolación proyectada y aprendizaje de currículo mejoró aún más las tasas de éxito y la velocidad de convergencia en todos los domos y algoritmos de RL (incluyendo variantes de HER).
• Comparación con el Currículo Inverso: La estrategia de interpolación propuesta superó a la generación de currículo inverso (que simula hacia atrás desde los objetivos), particularmente en términos de eficiencia computacional y tasas de éxito.
• Transferencia al Mundo Real: Una política de esfera-cubo entrenada en simulación se transfirió con éxito a una configuración del mundo real utilizando una bola adherida al efector final y seguimiento de OptiTrack, demostando el potencial de transferencia de simulación a realidad de habilidades fundamentales de manipulación.

Significado y Reivindicaciones

El artículo afirma que, al complementar el muestreo de dinámica basado en física con un muestreador de estados restringido informado por la física, es posible entrenar políticas de manipulación universales, no prensiles y dinámicas en entornos ricos en contactos. El enfoque aborda eficazmente el cuello de botella de la exploración en RL al asegurar que el agente esté expuesto a diversas configuraciones de contacto físicamente válidas desde el principio.

Los autores posicionan este trabajo como un paso hacia la manipulación no prensil generalista. Señalan que, si bien el enfoque actual apunta al "entrenamiento privilegiado" (donde la política tiene acceso total al estado), sienta las bases para futuros paradigmas de maestro-estudiante. El documento reconoce las limitaciones respecto a los costos computacionales para objetos complejos debido al uso de un resolvedor de optimización no lineal (NLP) de un solo CPU, y los desafíos de la transferencia basada en sensores, sugiriendo trabajos futuros en paralelización y resolvedores dedicados.