Learning to Act Through Contact: A Unified View of Multi-Task Robot Learning

Resumen Técnico: Aprender a Actuar a Través del Contacto

Enunciado del Problema
Los enfoques actuales de aprendizaje por refuerzo (RL) para robótica suelen depender de objetivos específicos de la tarea, lo que resulta en políticas que luchan por generalizar a escenarios no vistos sin reentrenamiento. Aunque el RL ha logrado éxitos en dominios específicos como la locomoción ágil de cuadrúpedos y la manipulación diestra, los métodos predominantes suelen tratar el contacto como un subproducto incidental de la optimización del movimiento, en lugar de como un primitivo de control fundamental. Esta abstracción limita la transferabilidad de habilidades a través de diversas interacciones físicas (por ejemplo, desde caminar hasta la manipulación de objetos) y a través de diferentes morfologías robóticas. Las representaciones de objetivo existentes, como objetivos de posición 3D o referencias de movimiento, a menudo pasan por alto la importancia crítica del tiempo y la colocación del contacto, lo que dificulta unificar la locomoción y la manipulación bajo un único marco.

Metodología
Los autores proponen un marco unificado fundamentado en una representación explícita del contacto. En lugar de diseñar políticas separadas para diferentes tareas, el enfoque define las tareas mediante secuencias de objetivos de contacto. Estos objetivos especifican:

• Posiciones de contacto objetivo ($p^{con}$)
• Tiempo/duración del contacto ($S$)
• Efectores finales activos (indicadores binarios $I^{con}$)
• Objetivos de pose del objeto (para tareas de manipulación)

El sistema opera mediante un planificador de alto nivel que genera estas secuencias de objetivos de contacto, las cuales son ejecutadas por una política de RL condicionada por objetivos. La política se entrena para rastrear estos objetivos utilizando pares de articulaciones, independientemente de la morfología específica del robot o del tipo de tarea.

Fases de Contacto y Recompensas
El marco descompone la interacción en tres fases distintas para cada efector final, permitiendo la creación y ruptura controlada del contacto:

1. Alcance (R): El efector final se mueve hacia una ubicación de contacto deseada.
2. Sujeción (H): El efector final mantiene el contacto en la ubicación alcanzada.
3. Desconexión (D): El efector final se mueve libremente sin establecer contacto.

Para entrenar la política, los autores emplean una estructura de recompensa densa que incentiva comportamientos específicos basados en la fase actual:

• Recompensa de Alcance: Fomenta minimizar la distancia a la ubicación de contacto objetivo cuando el indicador de contacto es 0.
• Recompensa de Sujeción: Incentiva mantener el contacto en la ubicación deseada cuando el indicador es 1.
• Recompensa de Desconexión: Penaliza el contacto no deseado cuando el indicador es 0.
• Recompensa de Pose: Para la manipulación, un término adicional rastrea la posición y orientación del objeto.

La política observa estados propioceptivos (posiciones/velocidades de las articulaciones), los objetivos de contacto actual y siguiente, y las duraciones de comando. Cabe destacar que el marco no depende de la detección explícita de contacto desde los pies del robot para el entrenamiento en simulación.

Contribuciones Clave

1. Marco Unificado Explícito del Contacto: Los autores proponen un marco de RL condicionado por objetivos donde las tareas se definen mediante objetivos de contacto, permitiendo que una sola política aprenda diversas patrones de locomoción y habilidades de manipulación.
2. Validación Empírica a Través de Morfologías: El marco se valida en robots morfológicamente distintos (cuadrúpedos y humanoides) realizando una amplia gama de tareas, demostrando que el razonamiento explícito del contacto facilita comportamientos robustos y dinámicos a través de diferentes encarnaciones.

Resultados Experimentales
El marco se evaluó en tres escenarios principales:

1. Locomoción de Cuadrúpedos: Una sola política ejecutó con éxito múltiples patrones de marcha (trote, paso, salto, salto con patas, gateo) y navegó terrenos desafiantes, incluidos cruces de huecos.
2. Locomoción de Humanoides: Una sola política de humanoide realizó patrones bípedos (caminar, saltar) y cuadrúpedos (gatear, paso, saltar), incluidos movimientos asistidos con las manos.
3. Manipulación Bimanual: Un robot humanoide realizó tareas complejas como reorientar objetos sobre una mesa y rastrear poses de objetos mientras los levantaba.

Hallazgos de Generalización:

• Velocidades/ Direcciones No Vistas: En comparación con políticas entrenadas en objetivos de velocidad, la política explícita del contacto generalizó significativamente mejor a movimientos laterales y direcciones de velocidad fuera de la distribución, a pesar de no recibir recompensas específicas para el movimiento lateral durante el entrenamiento.
• Multigait vs. Unigait: La política multigait demostró una menor desviación del plan de contacto (distancia de Hamming) a través de duraciones de comando variables en comparación con las políticas de unigait, sugiriendo una interpolación efectiva entre patrones de marcha.
• Formas de Objetos No Vistas: En tareas de manipulación, la política explícita del contacto generalizó mejor a formas de objetos no vistas (cilíndricas y esféricas) en comparación con una línea base que utilizaba codificación de tarea one-hot. La política explícita del contacto exhibió comportamientos emergentes, como estrategias de reintento, para rastrear poses en objetos esféricos que rodaban.
• Poses de Objetos No Vistas: La política explícita del contacto logró menores errores de rastreo y variabilidad en poses de objetos extrapoladas más allá de la distribución de entrenamiento en comparación con la línea base one-hot.

Significado y Afirmaciones
El artículo afirma que tratar el contacto como un primitivo físico central, en lugar de un subproducto de la optimización, permite una abstracción más fundamental de las tareas robóticas. Al unificar la locomoción y la manipulación a través de objetivos de contacto, el enfoque permite que una sola política generalice a través de sistemas morfológicamente distintos y escenarios no vistos. Los autores posicionan el aprendizaje de políticas explícitas del contacto como una base prometedora para la loco-manipulación escalable, argumentando que aprovecha estructuras compartidas entre tareas para mejorar la adaptabilidad sin necesidad de reentrenar desde cero para cada nueva tarea. Se propone trabajo futuro para integrar esta política de bajo nivel con planificadores de alto nivel aprendidos para tareas autónomas de largo horizonte y para explorar la robustez sim-real.