Resumen Técnico: Aprendizaje por Refuerzo Jerárquico Basado en la Asequibilidad para la Pedipulación de Cuadrúpedos

Planteamiento del Problema

La manipulación autónoma de objetos por parte de robots cuadrúpedos sigue siendo un desafío de investigación significativo. Si bien estudios previos han utilizado con éxito el aprendizaje por refuerzo (RL) para el aprendizaje de políticas de bajo nivel (locomoción y manipulación básica), la ejecución de tareas en entornos de mundo abierto suele depender de trayectorias de alto nivel diseñadas por expertos. Específicamente, la selección autónoma tanto de una pose de la base del robot que sea factible como de un punto de interacción asequible en un objeto objetivo está poco explorada. Esta brecha es crítica porque la manipulación de objetos en terrenos irregulares introduce complejidades tales como la geometría de la superficie no modelada, la fricción desconocida y la necesidad de mantener el equilibrio sobre las extremidades restantes mientras una extremidad interactúa con el objeto. Los enfoques actuales a menudo carecen de la capacidad de identificar autónomamente poses conscientes de la asequibilidad (affordance-aware) que tengan en cuenta la alcanzabilidad del objeto, las características del terreno local y las características de la superficie sin guía humana.

Metodología

Los autores proponen un marco de aprendizaje por refuerzo (RL) jerárquico de tres niveles que integra el análisis de asequibilidad basado en visión con políticas de control desacopladas. El sistema está diseñado para navegar autónomamente hacia un objeto objetivo, identificar un punto de interacción factible y ejecutar una tarea de "pedipulación" (manipulación utilizando las patas del robot).

1. Arquitectura Jerárquica

El marco consta de tres capas distintas:

• Alto Nivel (Asequibilidad de Pose y Navegación): Un módulo basado en visión procesa los datos de la nube de puntos LiDAR para segmentar el terreno y los objetos. Calcula las pendientes locales del terreno y la geometría del objeto para generar una pose de base de objetivo asequible (posición y orientación/heading) para el robot. Esta pose asegura que el robot esté al alcance del objeto y orientado correctamente en relación con la pendiente del terreno.
• Nivel Medio (Política de Navegación): Esta política recibe la pose del objetivo y el estado del robot (velocidad, orientación) para predecir comandos de velocidad. Guía al controlador de bajo nivel de manera de bucle cerrado para alcanzar la posición de la base objetivo.
• Bajo Nivel (Políticas de Locomoción y Pedipulación):
  • Locomoción: Una política preentrenada emite posiciones de las articulaciones para ejecutar los comandos de velocidad provenientes de la capa de navegación.
  • Pedipulación: Una vez que el robot alcanza la pose objetivo, el sistema cambia a la política de pedipulación. Esta política está condicionada por puntos de paso (waypoints) de alto nivel generados mediante interpolación de splines cúbicos entre una posición de "inicio" (home), un punto de contacto identificado por visión en el objeto y un punto de desplazamiento intermedio. La política controla el efector final (específicamente la pata delantera derecha) para empujar el objeto mientras mantiene el equilibrio con las otras tres patas.

2. Planificación Basada en la Asequibilidad (Affordance-Based Planning)

La innovación central reside en el módulo de asequibilidad de la pose. En lugar de depender de trayectorias predefinidas, el sistema computa dinámicamente:

• Pose de la Base del Objetivo: Derivada del centro del objeto, la dirección de empuje deseada y la pendiente local del terreno.
• Punto de Interacción: Determinado mediante el análisis de la geometría de la superficie del objeto para encontrar el punto más cercano al efector final, maximizando la longitud de la trayectoria de contacto.
• Generación de Trayectoria: Se construye un spline cúbico para asegurar transiciones suaves con restricciones de velocidad cero en los puntos de inicio y fin, con la altura limitada por seguridad.

3. Entrenamiento e Implementación

• Entorno: Las políticas fueron entrenadas en el ecosistema Isaac Sim utilizando la plataforma cuadrúpeda Unitree Go2.
• Algoritmo: Arquitectura actor-crítico con Optimización de Política Próxima (PPO).
• Aleatorización de Dominio (Domain Randomization): El entrenamiento incluyó la aleatorización de la masa de la base, el centro de masa, las fuerzas externas y las pendientes del terreno para garantizar la robustez.
• Despliegue en el Mundo Real: El sistema se desplegó utilizando un marco ROS2 con un Filtro de Kalman Extendido de Estado de Error (ESEKF) para la estimación de estado y una máquina de estados finitos (FSM) para gestionar los modos operativos.

Principales Contribuciones

El artículo describe cuatro contribuciones primarias:

1. Generación de Comandos de Pose Basada en la Asequibilidad Visual: Un módulo que genera poses de objetivo tanto para la base del robot como para el efector final, considerando explícitamente la alcanzabilidad, la pendiente del terreno y las características de la superficie del objeto.
2. Marco de RL Jerárquico de Múltiples Niveles: Un sistema que permite la navegación y pedipulación totalmente autónomas, donde los comportamientos de alto nivel abstraen las políticas de bajo nivel como cajas negras.
3. Transferencia de Simulación a Realidad (Sim-to-Real): Una implementación exitosa que demuestra la capacidad del sistema para transferirse de la simulación a entornos exteriores no estructurados del mundo real.
4. Conjunto de Datos de Interacción con Objetos: Un conjunto de datos que contiene telemetría del robot (incluyendo la retroalimentación de fuerza del efector final), características del objeto y poses de interacción, destinado a facilitar la investigación posterior en la exploración de objetos.

Resultados Experimentales

El marco fue evaluado tanto en simulación como en entornos del mundo real que involucraban la colocación aleatoria de objetos en diversas pendientes.

• Simulación:
  • Efectividad de la Asequibilidad: Los experimentos mostraron que el uso de la pose de objetivo basada en la asequibilidad (que incorpora la pendiente del terreno) resultó en una mayor eficiencia de desplazamiento del objeto en comparación con las poses aleatorias o fijas.
  • Selección del Punto de Contacto: La selección del punto de interacción más cercano al efector final produjo la mayor eficiencia (desplazamiento por unidad de fuerza), superando las estrategias basadas en la proximidad a la base del robot o a los centros geométricos.
• Mundo Real:
  • Navegación: El robot logró un error de posición medio de 0.12 m y un error de guiñada (yaw) medio de 16.37° al alcanzar las poses de objetivo en pendientes de hasta ~9°.
  • Pedipulación: El sistema logró una tasa de éxito del 86% para la interacción con el objeto (definida por un umbral de fuerza de 25 N).
  • Rendimiento: En los ensayos exitosos, el robot logró un desplazamiento de objeto medio de 0.17 m con una fuerza de contacto pico media de 33 N, lo que resulta en una puntuación de eficiencia media de 0.51 m N⁻¹.
  • Robustez: El sistema manejó con éxito las transiciones dinámicas de navegación a manipulación sin intervención humana, basándose únicamente en comprobaciones de seguridad mediante controladores inalámbricos.

Significación y Reivindicaciones

El artículo afirma que este trabajo aborda una brecha crítica en la robótica autónoma al permitir la planificación de pedipulación centrada en el objeto en entornos de mundo abierto. A diferencia de los métodos anteriores que dependen de la guía de un experto o se centran únicamente en el control de bajo nivel, este marco permite que un robot cuadrúpedo pueda:

• Identificar autónomamente poses de base y puntos de interacción factibles basados en asequibilidades visuales.
• Ejecutar tareas de manipulación complejas (empujar objetos) sin trayectorias prediseñadas o demostraciones humanas.
• Operar eficazmente en entornos no estructurados con variaciones en la pendiente del terreno.

Los autores posicionan esta capacidad como altamente relevante para aplicaciones tales como la exploración planetaria, la recolección de muestras y las operaciones de rescate, donde la teleoperación en tiempo real es inviable debido a la latencia o el peligro. El estudio enfatiza que el sistema logra una manipulación diestra utilizando el hardware de las patas existentes, evitando la necesidad de brazos manipuladores adicionales, optimizando así la maniobrabilidad inherente de los robots cuadrúpedos. Los autores señalan modestamente que, si bien el sistema es efectivo, la acumulación de errores a través de los componentes interconectados (visión, estimación de estado, control) sigue siendo un desafío para tareas de alta precisión, y el trabajo futuro se centrará en aprovechar los datos recolectados para aprender mejores representaciones centradas en el objeto.