Resumen Técnico: Aprendizaje de Imitación Visomotora Tri-Manual de Políticas de Robots

Planteamiento del Problema

La teleoperación bimanual estándar asume un mapeo uno a uno entre las dos manos de un operador y los dos efectores finales de un robot. Esta suposición falla para los sistemas tri-manuales, donde un robot posee tres brazos pero un único operador humano solo puede controlar continuamente dos canales simultáneamente. Para demostrar tareas para tres brazos, los operadores deben utilizar el cambio de modo por pares, serializando movimientos independientes que, de otro modo, podrían ocurrir de forma concurrente.

Cuando se entrenan políticas de aprendizaje de imitación (por ejemplo, mediante clonación de comportamiento) con tales datos, la política suele aprender los retrasos impuestos por la interfaz en lugar de los requisitos intrínsecos de la tarea. El robot puede reproducir periodos de espera innecesarios donde un brazo permanece inactivo mientras el operador cambia el control a otro par, incluso si la geometría de la tarea permitiría una ejecución simultánea. El desafío central es separar los movimientos locales demostrados (que son válidos) del tiempo de recolección (que es subóptimo debido a las restricciones de la interfaz) para permitir un control de tres brazos sincrónico.

Metodología: TriManPolicy y DATS

Los autores proponen TriManPolicy, un sistema que permite a un único operador demostrar comportamientos tri-manuales desacoplando el contenido del movimiento del tiempo global. El flujo de trabajo del sistema consta de tres etapas principales:

1. Recolección de Demostraciones con Cambio de Modo

Los operadores controlan dos de los tres brazos (Izquierdo, Derecho u Otro) en cualquier momento dado, alternando entre pares ({LR, LO, RO}) según sea necesario. Todos los estados del robot, observaciones y comandos se registran bajo un reloj unificado, registrando el par de teleoperación activo en cada paso de tiempo.

2. Anotación de Subtareas y Construcción de Grafos

Para cada episodio registrado, un Modelo de Lenguaje-Visión (VLM) propone límites de segmentos, brazos requeridos y relaciones de predecesores. Los anotadores humanos revisan y refinan estos en un grafo de tarea $G_n = (V_n, E_n)$, donde:

• Nodos ($V_n$): Representan subtareas localizadas temporalmente con duraciones fijas, conjuntos de brazos requeridos y etiquetas semánticas opcionales.
• Aristas ($E_n$): Codifican dependencias de finalización-a-inicio (requisitos previos de la tarea) y restricciones de recursos (por ejemplo, un brazo no puede ser utilizado por dos segmentos simultáneamente).
• Distinción Clave: El grafo distingue entre ordenamientos requeridos por la tarea (que deben preservarse) y serializaciones inducidas por la interfaz (que pueden relajarse).

3. Programación de Tres Brazos Sensible a Dependencias (DATS)

La innovación central, DATS, trata el reajuste de tiempo de la demostración como un problema de programación con restricciones. Toma los segmentos sensoriomotores de duración fija y los reposiciona en una nueva línea de tiempo global para minimizar la duración total (makespan) del episodio mientras satisface:

• Restricciones de Precedencia: Si el segmento $A$ debe preceder a $B$, $A$ debe terminar antes de que $B$ comience.
• Exclusividad de Recursos: Un solo brazo no puede ejecutar dos segmentos simultáneamente.
• Objetivo: Maximizar la concurrencia de segmentos de brazos disjuntos que no tienen una ruta de dependencia, efectivamente "paralelizando" la demostración.

Proceso de Reajuste de Tiempo:
DATS calcula un programa óptimo utilizando CP-SAT (Google OR-Tools). Aplica un mapa de tiempo hacia adelante para desplazar las marcas de tiempo de todos los mensajes dentro de un segmento por un desfase constante. Esto preserva el tiempo sensoriomotor local dentro de cada segmento mientras altera la alineación global entre los brazos. Los datos reajustados resultantes entrenan una única política sincrónica que controla los tres brazos conjuntamente.

4. Aprendizaje de la Política

El sistema entrena una política de transformador de fragmentos de acción (action-chunked transformer policy). Dada una observación $o_t$, la política predice una secuencia de acciones sincronizadas para los tres brazos con un horizonte-$H$. Crucialmente, el objetivo de entrenamiento minimiza la misma función de pérdida tanto para los datos brutos como para los de DATS, pero las ventanas de supervisión conjunta difieren: DATS coloca los objetivos compatibles entre brazos dentro de la misma ventana de entrenamiento, mientras que los datos brutos a menudo emparejan el progreso en un brazo con esperas inactivas en otros.

Contribuciones Clave

1. Formulación del Problema: Extiende el aprendizaje de imitación teleoperado a configuraciones donde los canales de manipulación del robot exceden la capacidad de control simultáneo del operador, específicamente formulando el problema para tres brazos cooperativos.
2. Algoritmo DATS: Introduce un enfoque basado en programación para el reajuste de tiempo de las demostraciones. Preserva las dependencias de la tarea y las restricciones de recursos de los brazos mientras relaja las serializaciones impuestas por la interfaz, permitiendo que los movimientos de brazos independientes se solapen.
3. Evaluación del Sistema: Entrena y evalúa políticas sincrónicas de tres brazos en seis tareas desafiantes del mundo real, demostrando que los datos reajustados conducen a una ejecución más rápida sin sacrificar las tasas de éxito.

Resultados Experimentales

El sistema fue evaluado en seis tareas del mundo real (ej. TowelHang, BinTowel, BagTape) utilizando 237 demostraciones procesadas y 300 ensayos con robot real (25 ensayos por tarea por condición).

• Tasas de Éxito: Las políticas entrenadas con DATS lograron conteos de éxito iguales o superiores en comparación con las políticas de referencia (Raw/Brutas) en las seis tareas.
• Tiempo de Finalización: Las políticas DATS redujeron significáneamente el tiempo medio de finalización para los ensayos exitosos en cada tarea, con reducciones que oscilaron entre el 31.3% y el 49.9%. El tiempo macro-medio agregado cayó de 83.1s (Línea base) a 47.8s (DATS).
• Análisis Offline:
  • Duración: En algunas tareas (ej. TowelHang, BinTowel), DATS acortó la línea de tiempo del episodio al eliminar los intervalos de inactividad.
  • Cobertura de Co-Ventana: En todas las tareas, DATS aumentó significativamente la cobertura de co-ventana (la fracción de pares de segmentos de brazos elegibles que aparecen en la misma ventana de entrenamiento). Por ejemplo, en TrayWipe, la cobertura saltó de ~9.5% (Bruto) a ~71.2% (DATS) con un cambio insignificante en la duración total. Esto indica que DATS cambia con éxito qué aprende la política que hacer simultáneamente, no solo qué tan rápido lo hace.

Significado y Reivindicaciones

El artículo afirma que el tiempo de supervisión es un factor crítico en el aprendizaje de imitación tri-manual. Al tratar la etapa de cambio de modo como una propiedad del cronograma de entrenamiento en lugar de una restricción que la política desplegada debe heredar, TriManPolicy permite que un solo operador demuestre comportamientos complejos y concurrentes de tres brazos.

Los autores enfatizan que:

• El contenido sensoriomotor local de las demostraciones sigue siendo válido y útil incluso cuando su temporización global es subóptima.
• DATS reconstruye eficazmente la temporización global para alinearse con las dependencias de la tarea y los recursos disponibles, evitando que la política aprenda retrasos innecesarios.
• El enfoque no requiere de un grafo de dependencia ni de un programador durante el despliegue; la política aprendida actúa directamente sobre observaciones sincrónicas en vivo, habiendo internalizado los patrones de ejecución concurrente durante el entrenamiento.

Los resultados demuestran que separar el contenido de la demostración del tiempo de recolección permite un control tri-manual sincrónico y eficiente utilizando datos recolectados mediante teleoperación por pares estándar.