Resumen Técnico: Módulo de Adaptación de Torque (TAM) para la Transferencia de Movimiento Robusta en Manipulación

1. Definición del Problema

El artículo aborda el desafío de la transferencia de simulación a realidad (sim-to-real) y la robustez del movimiento en la manipulación robótica. Una política entrenada o diseñada para un modelo de robot "ideal" específico suele fallar cuando se despliega en un robot objetivo con dinámicas diferentes. Estas discrepancias surgen de:

• El gap sim-to-real (fricción no modelada, amortiguación, retrasos en los actuadores).
• Cargas útiles desconocidas (cambios en la masa añadida y en el centro de masa).
• Variaciones de instancia a instancia (tolerancias de fabricación).

En tareas ricas en contactos y dinámicas, incluso pequeñas discrepancias de movimiento interrumpen la sincronización y los modos de contacto, lo que conduce al fallo de la tarea. Las soluciones existentes enfrentan limitaciones significativas:

• Identificación de Sistemas (SysID): Requiere la recolección continua de datos y la reidentificación del modelo para cada nuevo robot o cambio de carga útil.
• Randomización de Dominio (Domain Randomization): A menudo produce políticas excesivamente conservadoras que no logran explotar todo el rango dinámico del robot.
• Adaptación del Lado de la Política (ej., RMA, UPOSI): Requiere reentrenar o destilar la política con una rama de adaptación, lo cual es costoso o imposible para políticas de código cerrado, de terceros o basadas en modelos (MPC).

2. Metodología: El Módulo de Adaptación de Torque (TAM)

Los autores proponen TAM, un módulo aprendido insertado en la interfaz de torque —entre el controlador de bajo nivel y los actuadores físicos del robot. TAM opera independientemente de la política de alto nivel, lo que le permite adaptar cualquier política existente (RL, BC o MPC) sin modificar la política en sí misma.

Arquitectura Central

TAM consta de dos componentes principales que operan a diferentes escalas temporales:

1. Codificador de Historial (5 Hz):
   • Entrada: Un historial de largo horizonte (12 segundos) de datos propioceptivos (posiciones articulares $q$, velocidades $\dot{q}$) y torques aplicados $\tau^a$.
   • Aumento de Características: El codificador incorpora una característica de residuo de física ($e_\tau$), calculada como la diferencia entre el torque aplicado y el torque que el modelo ideal requeriría para el movimiento observado. Esto proporciona una señal directa de desajuste dinámico.
   • Procesamiento: Utiliza una estrategia de tokenización de series temporales por parches con un Transformer causal para procesar eficientemente el historial de alta frecuencia (1 kHz) en un estado latente compacto $z_t$.
2. Adaptador de Torque (1 kHz):
   • Entrada: El estado latente $z_t$, una ventana local corta de estado/torque reciente, y el torque nominal $\tau^0_t$ generado por el controlador de bajo nivel.
   • Salida: Un torque de corrección residual $\Delta\tau_t$.
   • Mecanismo: Utiliza normalización de capa adaptativa condicionada por $z_t$ para permitir que los mismos pesos expresen diferentes leyes de corrección para distintas dinámicas.
   • Comando Final: El torque corregido $\tau^c_t = \text{clip}(\tau^0_t + \Delta\tau_t)$ se envía al robot.

Estrategia de Entrenamiento

• Datos Independientes de la Tarea: TAM se entrena en ejecuciones de movimiento articular aleatorias en espacio libre, no en demostraciones de tareas específicas.
• Supervisión: El objetivo de entrenamiento es el emparejamiento de torque local. Dado un estado y un torque nominal, el sistema calcula el torque "maestro" requerido para que el robot perturbado (objetivo) logre la misma aceleración que el robot ideal.
• Pipeline de Dos Etapas:
  1. Preentrenamiento Multi-Robot: El módulo se entrena en ejecuciones aleatorias de cinco modelos de robot diferentes (Panda, Piper, RBY-1, iiwa14, Flexiv Rizon4) para aprender una inicialización de corrección compartida.
  2. Ajuste Fino Específico del Robot: Si se dispone de un simulador para el robot objetivo, los pesos preentrenados se ajustan finamente sobre las ejecuciones aleatorias de ese robot. No se requieren datos del mundo real para este paso.

3. Contribuciones Clave

1. Adaptación Desacoplada: Al mover la capa de adaptación a la interfaz de torque, TAM no requiere acceso a las observaciones, recompensas o estados internos de la política. Esto permite el reúso de un único conjunto de pesos de TAM a través de diversas políticas (RL, BC, MPC) y espacios de acción (objetivos articulares, objetivos del efector final, torques directos).
2. Transferencia al Mundo Real Zero-Shot: El método permite la ejecución robusta en robots reales con cargas útiles y dinámicas desconocidas sin necesidad de reentrenar la política subyacente ni recolectar datos de calibración en el mundo real.
3. Corrección de Alta Frecuencia: Al operar a 1 kHz, TAM soporta tareas de manipulación dinámicas y ricas en contactos que requieren una respuesta rápida a cambios de contacto e inercia.
4. Generalización: El enfoque de preentrenamiento multi-robot permite que el módulo se generalice a morfologías de robots no vistos, siendo posible mejoras adicionales mediante el ajuste fino en simulación.

4. Resultados Experimentales

Los autores evaluaron TAM en un robot real Franka Emika Panda a través de tres tareas distintas y un estudio de seguimiento cruzado de robots en simulación.

Tareas del Mundo Real (Franka Panda)

• Empuje de Caja Basado en Visión (RL): TAM logró una tasa de éxito del 76.2%, superando significativamente la ejecución directa (47.6%) y la identificación de sistemas en línea (57.1%).
• Giro de Cubo por Clonación de Comportamiento (BC): TAM logró un éxito del 72.0%, casi igualando la línea base ideal de simulación (73.5%) y duplicando con creces la tasa de éxito de la SysID en línea (34.0%).
• Equilibrio de Bola sobre Placa con MPC: TAM completó 13.6 ± 2.9 objetivos en 15 segundos, superando a la SysID en línea (13.1) y a la ejecución directa (8.8), acercándose al rendimiento ideal de la simulación (15.9).
• Seguimiento con Cargas Útiles Desconocidas: En tareas de seguimiento del efector final con una carga útil oculta de 1 kg, TAM redujo el error de seguimiento (RMSE) de ~6 cm (Directo) a 1.29 cm (Estado transportado), superando a las líneas base de estimación de parámetros explícitos.

Generalización Cruzada de Robots en Simulación

• Los pesos de TAM preentrenados en cinco robots fueron probados en dos robots no vistos (Google Robot, Unitree Z1).
• El TAM preentrenado multi-robot redujo significativamente el error de seguimiento en comparación con las líneas base de Directo y SysID en línea.
• El ajuste fino en la simulación del robot objetivo redujo aún más el error, demostrando la eficacia del pipeline de entrenamiento de dos etapas.

Estudios de Ablación

• Codificador de Historial: Eliminar el codificador de largo horizonte redujo significativamente las tasas de éxito (del 84% al 42% en simulación), resaltando la importancia del contexto temporal.
• Característica de Residuo de Física: Eliminar la característica $e_\tau$ debilitó la transferencia cruzada de robots, confirmando su papel para generalizar más allá de morfologías específicas.
• Torque Directo vs. Predicción de Parámetros: La predicción directa de torque residual superó a los métodos que intentaban predecir primero parámetros físicos explícitos.

5. Significado y Reivindicaciones

El artículo afirma que TAM representa un cambio en la forma en que se maneja la transferencia sim-to-real para la manipulación. En lugar de forzar a la política a aprender robustez o requerir una identificación de sistemas continua, TAM delega la carga de la adaptación a una interfaz modular a nivel de torque.

• Modularidad: Permite la adaptación de tipo "plug-and-play" para políticas creadas de forma independiente (RL, BC, MPC) sin necesidad de reentrenamiento.
• Eficiencia: Elimina la necesidad de recolección de datos en el mundo real para la adaptación, basándose en su lugar en la randomización en simulación y el preentrenamiento multi-robot.
• Robustez: Permite la manipulación dinámica y rica en contactos en hardware real con parámetros físicos desconocidos, logrando un rendimiento cercano a las líneas base ideales de simulación donde los métodos tradicionales fallan.

Los autores reconocen las limitaciones: TAM requiere acceso a una interfaz de torque y una estructura cinemática coincidente. Asume que las dinámicas del robot objetivo pueden corregirse dentro del presupuesto de torque del actuador y no proporciona garantías formales de estabilidad a largo plazo o para tareas que requieran dinámicas fuera de la distribución de entrenamiento (ej., fuerzas de contacto extremas no vistas en el entrenamiento).