Resumen Técnico: Puente entre la Supervisión de Mano y la Teleoperada para la Manipulación Rica en Contacto mediante Expertos con Puerta de Estado

Declaración del Problema

El artículo aborda el compromiso fundamental entre escalabilidad y fidelidad en la recolección de datos robóticos para tareas de manipulación ricas en contacto.

• Datos de Mano (ej., UMI): Sistemas como la Interfaz de Manipulación Universal (UMI) permiten una recolección de datos escalable e "in situ" al desacoplar la interfaz del hardware robótico específico. Sin embargo, capturan únicamente acciones observadas (el estado físico del dispositivo sostenido a mano). En fases sensibles al contacto, estas acciones observadas a menudo se desvían de las acciones deseadas (la trayectoria de referencia enviada al controlador) debido a la rigidez finita, el filtrado y los errores de seguimiento. El seguimiento ingenuo de estas trayectorias observadas con alta rigidez genera fuerzas de contacto grandes e inseguras.
• Datos Teleoperados: Sistemas como GELLO o ALOHA proporcionan datos de alta fidelidad directamente en el robot, capturando acciones deseadas. Sin embargo, la recolección de demostraciones de tareas completas mediante teleoperación es prohibitivamente lenta y carece de la diversidad de la recolección manual.

El problema central es que, si bien los datos de mano son válidos para movimientos tolerantes a errores en espacio libre, fallan en la viabilidad dinámica durante las fases sensibles al contacto. Por el contrario, mezclar acciones observadas y deseadas de forma ingenua en una sola política degrada el rendimiento porque las señales de supervisión son incompatibles.

Metodología: BRIDGE

Los autores proponen BRIDGE (Bi-modal Routing for Imitation Data via Gated Experts), una arquitectura de política de difusión de mezcla de expertos diseñada para aprovechar las fortalezas complementarias de ambas fuentes de datos.

1. Recolección de Datos de Modo Dual (DM-UMI)

Los autores utilizan un dispositivo UMI modificado capaz de operar en modo dual:

• Modo de Mano: Recolecta un gran conjunto de datos base de acciones observadas a través de diversos entornos para aprender el andamiaje general de la tarea.
• Modo Teleoperado: Recolecta un conjunto de datos de soporte disperso de acciones deseadas, dirigido específicamente a segmentos de la tarea donde la política base falla (cuellos de botella de contacto).

2. Arquitectura

El modelo BRIDGE consta de tres etapas de entrenamiento secuenciales:

• Etapa 1: Entrenamiento de la Política Base ($\pi_b$): Se entrena una política de difusión sobre el conjunto de datos base de mano. La arquitectura utiliza un codificador de visión DINOv2 que retiene todos los tokens de parches espaciales completos (procesados mediante un bloque Perceiver IO) en lugar de solo el token CLS, para razonar mejor sobre las relaciones espaciales en tareas ricas en contacto. Esta política aprende a predecir acciones observadas.
• Etapa 2: Entrenamiento del Cabezal de Soporte ($\pi_s$): Con la política base y el codificador de visión congelados, se entrena un nuevo adaptador latente y un cabezal de difusión sobre el conjunto de datos de soporte teleoperado. Este experto aprende a predecir acciones deseadas (la trayectoria de referencia) específicamente para regímenes sensibles al contacto.
• Etapa 3: Entrenamiento del Enrutador ($G_\psi$): Un enrutador tipo MLP ligero se entrena para dirigir dinámicamente las observaciones ya sea al experto base o al de soporte. El enrutador se entrena utilizando una estrategia de etiquetado pseudo de k-Vecinos más Cercanos (k-NN) sobre representaciones latentes. Aprende a identificar cuándo el estado actual cae dentro del "manifold de soporte" (fases sensibles al contacto) y cambia al experto de acción deseada.

3. Inferencia

Durante la ejecución, el enrutador realiza un cambio brusco (hard-switch) basado en el estado actual del robot. Si el estado se identifica como perteneciente a una fase sensible al contacto, el sistema dirige al experto de soporte para ejecutar la trayectoria de acción deseada. De lo contrario, utiliza el experto de mano para el movimiento en espacio libre. Esto evita el promedio de distribuciones de acción incompatibles.

Contribuciones Clave

1. Formalización de la Validez de la Acción: El artículo demuestra que las acciones observadas son suficientes para el movimiento en espacio libre tolerante a errores, pero fallan durante las fases sensibles a la fuerza donde las acciones deseadas son necesarias para una ejecución precisa y complaciente.
2. Arquitectura BRIDGE: La introducción de una política de difusión de mezcla de expertos con puerta que aprende conjuntamente de fuentes de supervisión heterogéneas (acciones observadas vs. deseadas) mediante el enrutamiento basado en la validez local de la acción.
3. Estrategia Híbrida Eficiente: Evidencia empírica de que aumentar los datos de mano escalables con un pequeño número de demostraciones teleoperadas dirigidas mejora significamente las tasas de éxito en tareas ricas en contacto sin el costo de la teleoperación de la tarea completa.

Resultados Experimentales

El método fue evaluado en tres tareas de manipulación rica en contacto usando un brazo Franka FR3: NIST Pulley Routing, Pipe Insertion y Spring-Loaded Battery Insertion.

• Ganancias de Rendimiento: BRIDGE superó consistentemente a las líneas base de solo mano, mejorando las tasas de éxito hasta en un 36.7% en las tres tareas.
  • NIST Pulley: Mejoró del 44.0% (Mano) al 76.0% (BRIDGE), acercándose al 84.0% de la teleoperación completa.
  • Pipe Insertion: Mejoró del 13.3% (Mano) al 50.0% (BRIDGE), cerrando la brecha con el límite superior de teleoperación del 63.3%.
  • Battery Insertion: Mejoró del 10.0% (Mano) al 33.3% (BRIDGE).
• Fallo de la Mezcla Ingenua: Una línea base de "Mezcla Ingenua" (Naive Mix), que simplemente combinaba etiquetas observadas y deseadas en una sola política, tuvo un rendimiento peor que la línea base de solo mano (ej., 0% de éxito en Pulley Routing), confirmando la incompatibilidad de las señales de supervisión sin el uso de puertas (gating).
• Eficiencia de Datos: Los datos de soporte dirigidos cubrieron menos del 15% de la longitud del camino del efector final en términos de distancia espacial, pero recuperaron hasta el 79% de la brecha de rendimiento respecto al límite superior de teleoperación completa.
• Rendimiento del Enrutador: El enrutador logró un 99.0% de recall y un 69.0% de precisión en la tarea de inserción de tubería (pipe insertion), identificando eficazmente las fases de contacto sin falsos negativos.

Significancia y Reivindicaciones

El artículo afirma que BRIDGE proporciona un mecanismo práctico para especializar el comportamiento del robot a través de las fases de la tarea. Al separar los cabezales de acción observada y deseada, el enfoque permite el uso de datos de mano escalables y de bajo costo para aprender la estructura general de la tarea, reservando la teleoperación de alta fidelidad y costosa para los cuellos de botella específicos donde la dinámica de contacto requiere un control preciso.

Los autores enfatizan que este enfoque cierra la "brecha de encarnación" (embodiment gap) entre la recolección de datos de mano y la ejecución en el robot. Señalan que, si bien la teleoperación completa sigue siendo el límite superior in-domain, suele ser poco práctica debido a las cargas cognitivas y físicas. BRIDGE ofrece un punto medio, permitiendo una manipulación rica en contacto de alto rendimiento con un esfuerzo de recolección de datos significativamente reducido en comparación con la teleoperación completa, evitando al mismo tiempo la degradación del rendimiento asociada con la mezcla ingenua de datos.

El artículo se mantiene modesto respecto a sus limitaciones, reconociendo que el enfoque actual depende de la identificación empírica de los modos de fallo, que el cambio brusco (hard-switching) puede introducir discontinuidades de control, y que la escalabilidad del método a tareas de largo horizonte con múltiples regímenes de contacto requiere mayor investigación.