PhaForce: Phase-Scheduled Visual-Force Policy Learning with Slow Planning and Fast Correction for Contact-Rich Manipulation

PhaForce es una política de aprendizaje visuomotor que coordina la planificación de baja frecuencia con correcciones de alta frecuencia mediante un programa de fases basado en contacto, logrando un rendimiento superior en tareas de manipulación rica en contacto al integrar eficazmente la retroalimentación de fuerza y visión.

Lo esencial

Imagina que estás intentando encajar una llave en una cerradura muy oxidada o limpiar una mesa con un paño húmedo. Si solo miras la llave o la mesa (visión), puedes pensar que todo está bien, pero si la llave se atasca o el paño se desliza, necesitas sentir la resistencia con tus manos (fuerza) para corregirte al instante.

El problema con los robots actuales es que son como un pianista que toca muy lento: ven la partitura, piensan en el siguiente acorde y luego tocan. Pero si la tecla está pegajosa, el robot no reacciona lo suficientemente rápido porque su "cerebro" (el modelo de visión) tarda en procesar la información.

Aquí es donde entra PhaForce, el nuevo sistema que describe el artículo. Vamos a explicarlo con una analogía sencilla:

🎻 La Analogía del Director de Orquesta y el Solista

Imagina que el robot es una orquesta tocando una pieza musical compleja (la tarea de manipulación).

1. El Plan Lento (El Director de Orquesta):

   • Este es el "cerebro" principal del robot. Trabaja un poco más lento, como un director que mira la partitura y decide: "Ahora vamos a tocar la sección de cuerdas, luego la de vientos".
   • En el robot, esto es el Planificador Lento. Mira las cámaras (visión) y decide el movimiento general: "Acércate a la caja", "Empuja hacia abajo".
   • El problema: Si el director solo mira la partitura, no sabe si un instrumento se ha roto o si hay un ruido fuerte en la sala hasta que es demasiado tarde.

2. El Solista Rápido (El Violinista Virtuoso):

   • Este es el "reflejo" del robot. Trabaja muchísimo más rápido que el director. Es como un violinista que, aunque sigue la partitura del director, puede hacer micro-ajustes instantáneos si siente que la cuerda está tensa o si el público hace ruido.
   • En el robot, esto es el Corregidor Rápido. Solo usa sensores de fuerza (como si tuviera manos muy sensibles) para hacer ajustes milimétricos mientras el plan lento sigue su curso.

🚦 La Magia: El Semáforo de Fases (PhaForce)

Lo que hace único a PhaForce no es solo tener un director y un solista, sino tener un semáforo inteligente que les dice cuándo confiar en la vista y cuándo confiar en el tacto.

El sistema tiene un "árbitro" llamado CAP (Predicador de Fases) que actúa como un semáforo:

• Fase Verde (Sin contacto): El robot está en el aire, moviéndose libremente. El semáforo le dice al robot: "¡Confía solo en tus ojos! No uses los sensores de fuerza, porque el aire tiene ruido y podrías confundirte".
• Fase Amarilla (A punto de tocar): El robot se acerca a la superficie. El semáforo dice: "¡Atención! Prepárate para sentir. Usa un poco de fuerza para guiarte".
• Fase Roja (En contacto): ¡Ya está tocando la mesa o encajando la pieza! Aquí el semáforo grita: "¡Olvídate de la vista por un segundo! Escucha a tus manos. Si sientes resistencia, corrige inmediatamente".

Además, este semáforo sabe dónde corregir.

• Si estás insertando un enchufe, el semáforo sabe que solo debes corregir de lado (izquierda/derecha) para que entre en el agujero, pero no debes empujar hacia abajo con fuerza.
• Si estás limpiando una mesa, el semáforo sabe que debes mantener una presión constante hacia abajo, pero no importa tanto si te mueves un poco a los lados.

🏆 ¿Por qué es tan bueno?

En los experimentos reales, los robots normales (que solo usan visión o mezclan todo sin orden) fallaban mucho:

• Se quedaban atascados en la entrada de un enchufe.
• Limpiaban la mesa con demasiada fuerza (rayándola) o con muy poca (sin limpiar nada).
• Si movías la mesa un poco (un cambio inesperado), el robot se confundía y fallaba.

PhaForce, gracias a su "semáforo" y su equipo de "Director + Solista", logró:

1. Encajar enchufes con un 80-85% de éxito (mientras otros apenas llegaban al 50%).
2. Limpiar mesas incluso cuando la mesa estaba más alta o baja de lo esperado, ajustando la presión automáticamente.
3. No rayar nada: Sabe exactamente cuánto apretar.

En resumen

PhaForce es como darle al robot un "sentido del tacto" que sabe exactamente cuándo usarlo y cómo usarlo. No es solo "ver y actuar", es "ver para planear, sentir para corregir, y saber cuándo cambiar de estrategia".

Es la diferencia entre intentar meter una llave a ciegas y hacerlo con la mano firme, sabiendo exactamente cuándo girar y cuándo empujar suavemente. ¡Y todo esto lo hace el robot aprendiendo a hacerlo solo!

Resumen técnico

Resumen Técnico: PhaForce

1. Planteamiento del Problema

La manipulación rica en contacto (como inserciones, encajes o limpieza) requiere no solo la comprensión semántica del entorno basada en visión, sino también reacciones de bucle cerrado rápidas ante transitorios de fuerza/torque (F/T). Sin embargo, existen dos brechas críticas en las políticas visuomotoras generativas actuales:

• Desajuste de escalas temporales (Gap 1): Las políticas generativas (como las basadas en difusión) suelen operar a bajas frecuencias debido a la latencia de inferencia y al uso de "chunks" de acción. Esto impide reaccionar a transitorios de contacto de corto horizonte (ej. atascos, impactos microscópicos, deslizamiento) que ocurren a la frecuencia de control del robot.
• Falta de programación explícita de fases (Gap 2): Los métodos existentes a menudo inyectan información de fuerza de manera continua e indiscriminada. No existe un mecanismo explícito para decidir cuándo, cuánto y dónde (en qué subespacio de corrección) aplicar la fuerza. En tareas de contacto, diferentes fases (ej. búsqueda plana vs. inserción normal) requieren subespacios de corrección ortogonales o mutuamente excluyentes; aplicar correcciones en el subespacio incorrecto puede degradar el alineamiento o causar atascos.

2. Metodología: Arquitectura PhaForce

PhaForce propone una política lenta-rápida (slow-fast) coordinada por una programación de fases explícita. El sistema se divide en tres componentes principales que trabajan en conjunto:

A. Predictor de Fase Consciente del Contacto (CAP - Contact-Aware Phase Predictor)

• Función: Estima la probabilidad de contacto continua ($p_c$) y una distribución de creencia sobre la fase actual del tarea ($p_t$).
• Entrada: Observaciones visuales (RGB), historial de fuerza/torque y propiocpción.
• Salida: Un programa semántico que indica cuándo confiar en la fuerza y qué subespacios de corrección activar.
• Entrenamiento: Se entrena para la anticipación (prediciendo contacto futuro y desplazamiento de fase) en lugar de juicios instantáneos, utilizando etiquetas generadas automáticamente a partir de señales de fuerza y pose.

B. Planificador Difusivo Lento (Slow Diffusion Planner)

• Función: Genera "chunks" de acción nominal a baja frecuencia ($f_s$).
• Mecanismo de Fusión: Utiliza una fusión visual-fuerza de doble puerta (dual-gated):
  1. Puerta de Contacto ($p_c$): Controla la intensidad de la inyección de fuerza, suprimiendo señales ruidosas en espacios libres.
  2. Puerta de Fase ($p_t$): Modula qué "cabezas" de atención se enfatizan según la fase actual.
• Inyección de Residuo Ortogonal (ORI): En lugar de sobrescribir las características visuales con la información de fuerza, se inyecta como un residuo que es ortogonal al token visual. Esto preserva la semántica dominante de la visión (evitando el "desplazamiento semántico") mientras condiciona la planificación con la fuerza.

C. Corrector de Residuo Rápido (Fast Residual Corrector)

• Función: Realiza micro-ajustes de bucle cerrado a alta frecuencia ($f_c$) dentro de cada chunk de acción.
• Mecanismo de Enrutamiento: Utiliza la creencia de fase para activar subespacios correctivos específicos. Por ejemplo, en la fase de "búsqueda" se activan los ejes X, Y y Yaw, mientras que en la "inserción" se activan Z y Yaw.
• Supervisión Física: El corrector se entrena para predecir un residuo que minimice la diferencia con un "objetivo virtual" derivado de principios físicos (ej. reducir la fricción tangencial o mantener una fuerza normal deseada), sin necesidad de estimar explícitamente la pose objetivo.

3. Contribuciones Clave

1. Política Programada por Fases: Unificación de la planificación generativa consciente de la fuerza a nivel de chunk con correcciones residuales a tasa de control, coordinadas por un programa de contacto/fase explícito.
2. Señal de Programación Explícita: Introducción de un mecanismo (probabilidad de contacto + creencia de fase) que decide dinámicamente cuándo usar la fuerza, cuánto inyectar y en qué subespacio corregir, resolviendo el problema de la reactividad ciega.
3. Fusión Ortogonal y Subespacios Interpretáveis: Uso de inyección de residuo ortogonal para mantener la semántica visual y enrutamiento suave de subespacios de corrección para evitar interferencias entre fases.

4. Resultados Experimentales

El método se evaluó en un brazo robótico real (Flexiv Rizon 4s) en cinco tareas ricas en contacto:

• Tareas: Inserción de cargador, inserción USB, apertura de cajón, y limpieza (wipe) en condiciones in-distribution (ID) y out-of-distribution (OOD, con desplazamiento de altura de 3 cm).
• Métricas: Tasa de éxito (SR), calidad del contacto y efectividad de la limpieza.
• Rendimiento:
  • Tasa de Éxito Promedio: PhaForce alcanzó un 86%, superando a los mejores baselines (como RDP y Diffusion Policy) en +40 puntos porcentuales.
  • Robustez OOD: En la tarea de limpieza con desplazamiento de altura, las políticas sin corrección rápida (DP, DP+force) fallaron completamente (0% de éxito) debido a sobre-presión o pérdida de contacto. PhaForce mantuvo un 85% de éxito, demostrando su capacidad para compensar desviaciones geométricas mediante corrección rápida.
  • Calidad de Contacto: En tareas de limpieza, PhaForce redujo significativamente los tiempos de sobre-presión y bajo-presión en comparación con los baselines, logrando una limpieza más uniforme.

5. Significado e Impacto

PhaForce aborda una limitación fundamental en la robótica de manipulación: la incapacidad de los modelos generativos actuales para integrar reactividad de alta frecuencia con planificación de alto nivel de manera interpretable.

• Superación de la "Caja Negra": Al introducir una programación de fases explícita, el sistema permite entender y controlar cuándo y cómo el robot debe reaccionar a la fuerza, mejorando la seguridad y la estabilidad.
• Adaptabilidad: Demuestra que es posible lograr una adaptación robusta a entornos no vistos (OOD) sin reentrenamiento, simplemente aprovechando la retroalimentación de fuerza a través de una arquitectura de corrección rápida bien dirigida.
• Marco General: Proporciona un nuevo paradigma para la integración de sensores de fuerza en políticas de aprendizaje por imitación, sugiriendo que la separación de escalas temporales (planificación lenta vs. corrección rápida) es crucial para tareas de contacto complejo.

En conclusión, PhaForce establece un nuevo estado del arte en la manipulación rica en contacto, demostrando que la combinación de planificación semántica visual y corrección física reactiva, orquestada por una comprensión de la fase de la tarea, es esencial para el éxito en escenarios del mundo real.