Resumen Técnico: Imitación Asimétrica Secuencial para el Aprendizaje de Políticas de Robots Acoplados

Planteamiento del Problema

La manipulación móvil colaborativa que involucra a dos robots acoplados físicamente a través de objetos compartidos (rígidos o deformables) presenta un desafío de coordinación que trasciende las habilidades locales individuales. El éxito requiere un alineamiento preciso de las fases de la tarea, la adaptación a los retrasos del compañero y la capacidad de ceder durante los conflictos de interacción.

Los enfoques existentes enfrentan cuellos de botella significativos:

• La planificación basada en modelos tiene dificultades con objetos deformables, contactos intermitentes y dinámicas no modeladas.
• El aprendizaje por refuerzo multiagente sufre de recompensas dispersas y dificultades en la transferencia de simulación a realidad.
• El aprendizaje por imitación estándar para tareas de robots duales requiere típicamente demostraciones sincronizadas conjuntas, donde dos operadores controlan ambos robots simultáneamente con un alineamiento temporal preciso. La recolección de estos datos es costosa, ya que requiere múltiples canales de teleoperación e interfaces calibradas.

La pregunta central abordada es: ¿Pueden aprenderse políticas de robots duales acoplados a partir de demostraciones de un solo teleoperador sin necesidad de datos de operadores duales sincronizados, aprendizaje por refuerzo o comunicación explícita entre robots?

Metodología: Imitación Asimétrica Secuencial (SAI)

Los autores proponen la Imitación Asimétrica Secuencial (SAI), un currículo por etapas que aprende comportamientos físicamente acoplados utilizando un solo teleoperador. El método descompone el aprendizaje de la coordinación en tres etapas asimétricas, desplazando la "distribución del compañero" vista por los robots desde un soporte complaciente hacia una interacción autónoma.

El Currículo de Tres Etapas

La secuencia de recolección de datos se define como: $D^{solo}_A \rightarrow D^{demo}_{B|A} \rightarrow D^{int}_A$.

1. Etapa 1: Arranque del Robot A (Solo con Soporte Humano)

   • Configuración: El Robot A realiza la tarea mientras un humano complaciente o un compañero pasivo sostiene el otro lado del objeto compartido.
   • Técnica: El Robot A aprende la competencia básica de la tarea (agarre, tracción, alineación) mediante clonación de comportamiento.
   • Aumentación: Para evitar el sobreajuste a la apariencia visual del compañero humano, se aplica una aumentación de enmascaramiento del compañero. La región del compañero de soporte en los fotogramas se reemplaza con perturbaciones aleatorias (jitter de color, desenfoque, ruido), obligando a la política a centrarse en el estado del objeto en lugar de la identidad del compañero.
   • Resultado: Una política inicial $\pi^{(1)}_A$ capaz de ejecutar la tarea con soporte externo, pero carente de coordinación con un robot autónomo.

2. Etapa 2: Entrenamiento del Robot B contra el Robot A Desplegado

   • Configuración: $\pi^{(1)}_A$ se congela y se despliega en el Robot A. Un solo operador teleopera el Robot B mientras interactúa con el Robot A desplegado.
   • Técnica: $\pi^{(1)}_A$ se ejecuta con variaciones limitadas (escalado de velocidad, ruido de acción, desfases temporales) para exponer al Robot B a desviaciones realistas.
   • Resultado: El Robot B aprende a compensar el tiempo, el perfil de movimiento y los errores residuales del Robot A mediante clonación de comportamiento, produciendo $\pi^{(2)}_B$. Esta etapa es asimétrica: el Robot B aprende contra el comportamiento real aprendido del Robot A, no contra un compañero humano idealizado o sincronizado.

3. Etapa 3: Ajuste Fino de Intervención Estilo DAgger

   • Configuración: Tanto $\pi^{(1)}_A$ como $\pi^{(2)}_B$ se despliegan juntos.
   • Técnica: Un solo operador realiza intervenciones dispersas en el Robot A únicamente cuando ocurren fallos de coordinación (por ejemplo, tracción prematura, fallo al ceder, desajuste de fase). Esto sigue un enfoque tipo DAgger donde el aprendiz induce estados y las correcciones se proporcionan cerca de los límites de fallo.
   • Refinamiento: El conjunto de datos de intervención $D^{int}_A$ se agrega con las demostraciones individuales originales. Las intervenciones se ponderan al alza para enseñar al Robot A comportamientos dependientes del compañero (esperar, ceder, ralentizar) preservando las habilidades de la tarea original. La enmascaración opcional de dimensiones de acción permite corregir componentes específicos (por ejemplo, el movimiento de la base) sin alterar otros.
   • Resultado: Una política refinada $\pi^{(3)}_A$ que se ha adaptado al comportamiento autónomo del Robot B.

Instanciación de la Política

SAI es un marco agnóstico al currículo. En los experimentos, se instancia con una política descentralizada de tipo ACT (Transformer de Segmentación de Acciones):

• Entradas: Observaciones RGB locales (cámara superior y de muñeca), propiocepción y acciones previas.
• Arquitectura: Las características se extraen mediante un backbone DINOv3 congelado, se fusionan con características de estado y se codifican mediante una ventana de historial GRU ($H=30$ pasos).
• Salida: Una cabeza de acción en cascada predice primero los comandos de la base ($v_x, v_y, \omega$), seguidos de los comandos del brazo condicionados por la predicción de la base. Esto asegura la consistencia entre base y brazo.
• Restricción: No se utilizan comunicaciones explícitas entre robots, estados privilegiados del compañero ni señales de coordinación centralizada.

Contribuciones Clave

1. Imitación Asimétrica Secuencial (SAI): Un currículo de un solo teleoperador para aprender políticas de robots duales físicamente acoplados sin necesidad de datos de operadores duales sincronizados, aprendizaje por refuerzo o comunicación explícita.
2. Currículo de Distribución de Compañero: Demostración de que el desplazamiento del compañero de entrenamiento desde soporte complaciente $\to$ política aprendida congelada $\to$ ejecución robot-robot de bucle cerrado induce alineación de fase y cesión dependiente del compañero.
3. Validación en el Mundo Real: Evidencia empírica de que SAI mejora el éxito de la tarea, la sincronización de fase y el comportamiento de cesión en tareas con alto contacto que involucran objetos rígidos y deformables, superando la imitación independiente y las líneas base de ablación de currículo.

Resultados Experimentales

El método fue evaluado en cuatro tareas de robots duales en el mundo real: Extensión de Cama, Extensión de Mantel, Recolección de Lavandería y Transporte de Pintura.

• Éxito de la Tarea y Coordinación: SAI superó significativamente a la Imitación Independiente (entrenar robots por separado) y a la Imitación Condicionada al Compañero (entrenar a B contra A, pero sin la intervención de la Etapa 3).
  • Ejemplo (Recolección de Lavandería): SAI logró un 70.0% de éxito frente al 50.0% de la Imitación Independiente y el 63.3% de la Imitación Condicionada al Compañero.
  • Métrica de Ceder/Esperar: SAI mostró una mejora marcada en la cesión dependiente del compañero (por ejemplo, 71.7% para Lavandería frente al 31.7% de la Imitación Independiente), lo que indica que los robots aprendieron a ralentizar o pausar cuando el compañero se retrasaba.
• Robustez ante el Retraso del Compañero: En experimentos de retraso controlado (Extensión de Mantel), la Imitación Independiente continuó tirando a pesar de que el compañero se había pausado, causando el desalineamiento del objeto. SAI logró ralentizar y esperar a que el compañero se recuperara.
• Componentes de la Política: Los estudios de ablación confirmaron que los tokens de historial temporal y las cabezas base-brazo en cascada mejoran la fiabilidad de la ejecución (reduciendo la liberación prematura y el descenso), pero los beneficios cooperativos son impulsados principalmente por el currículo de datos de SAI.
• Compatibilidad del Backbone: SAI mejoró el rendimiento en diferentes backbones de imitación (ACT y Diffusion Policy), confirmando que es una contribución de currículo de datos y no un artefacto de un decodificador específico.

Significado y Reivindicaciones

El artículo afirma que la colaboración físicamente acoplada puede aprenderse a través de la estructura del currículo de imitación en lugar de mediante demostraciones de múltiples operadores sincronizados o mecanismos de coordinación explícitos.

• Acoplamiento de Política Implícito: Los resultados sugieren que la "coordinación sensible al compañero" puede emerger de observaciones locales e interacción física compartida cuando la distribución de entrenamiento se estructura para incluir comportamientos realistas del compañero (retrasos, desajustes).
• Practicidad: Al requerir un solo teleoperador y evitar hardware de sincronización complejo o aprendizaje por refuerzo, SAI ofrece un camino más escalable para el despliegue de manipuladores móviles colaborativos.
• Limitaciones: Los autores señalan que SAI asume que los robots pueden aprender primitivas independientes útiles y que los fallos pueden corregirse mediante intervenciones de un solo agente. El conjunto de datos de intervención actual es relativamente pequeño (~30% del tamaño base), lo que sugiere que los comportamientos de recuperación no se han saturado y podrían beneficiarse de una recolección de datos más dirigida alrededor de modos de fallo poco comunes.