From Perception to Assistance: Open-Vocabulary Shared Autonomy for Robotic Manipulation

Resumen Técnico: De la Percepción a la Asistencia: Autonomía Compartida de Vocabulario Abierto para Manipulación Robótica

Planteamiento del Problema
La teleoperación de manipuladores robóticos en entornos industriales no estructurados presenta desafíos significativos. Los operadores deben gestionar simultáneamente el control de un brazo de altos grados de libertad, mantener la perspectiva y el despeje, y evitar colisiones con estructuras circundantes, todo ello dependiendo de una percepción de profundidad limitada proveniente de interfaces basadas en cámaras. Si bien la teleoperación pura ofrece flexibilidad, impone una alta carga cognitiva y conlleva riesgos de colisión. Por el contrario, los sistemas totalmente autónomos tienen dificultades para generalizar en entornos dinámicos debido a las dependencias de objetos conocidos, extrínsecos precisos y parámetros de tarea predefinidos. Los sistemas de control compartido existentes suelen depender de una selección de objetivos con exceso de suposiciones (por ejemplo, marcadores, clases de objetos conocidas) y representaciones de colisión de baja frecuencia, lo que limita su seguridad y capacidad de respuesta en escenas industriales del mundo real.

Metodología
El artículo propone un marco de autonomía compartida para la manipulación móvil (validado en un cuadrúpedo Boston Dynamics Spot) que integra teleoperación basada en visión sin calibración, fundamentación de objetivos de vocabulario abierto y ejecución autónoma activada por el usuario. El sistema opera a través de un pipeline modular de percepción-control:

1. Interfaz de Teleoperación Basada en Visión:

   • Entrada: Una única cámara RGB-D (ZED 2i) captura el movimiento del operador sin necesidad de dispositivos vestibles o fiduciarios.
   • Procesamiento: MediaPipe extrae puntos de referencia esqueléticos para estimar dinámicamente un marco de referencia centrado en el cuerpo {B}. El movimiento de la muñeca se mapea a la posición del efector final del robot, mientras que los puntos de referencia de la mano impulsan el rol del gripper y acciones discretas (abrir/cerrar).
   • Filtrado: Un filtro de rechazo basado en umbrales y un promedio móvil exponencial (EMA) suavizan la trayectoria para mitigar artefactos de profundidad y valores atípicos.
   • Escalado: El sistema escala el movimiento del brazo del operador al espacio de trabajo del robot basándose en una estimación en línea de la longitud del brazo del operador, eliminando la necesidad de calibración manual.

2. Fundamentación de Objetivos de Vocabulario Abierto:

   • Especificación Semántica: Los operadores especifican los objetivos mediante prompts de texto libre (por ejemplo, "válvula de rueda"). Un Modelo de Lenguaje-Visión (VLM, Qwen3-VL) fundamenta este prompt en la imagen de la cámara del gripper, devolviendo un cuadro delimitador (bounding box) y puntos de agarre candidatos.
   • Seguimiento: Un modelo de segmentación de video promptable (SAM 2) rastrea el objetivo a través de las cámaras del gripper y del cuerpo.
   • Separación Dinámica: Las máscaras de segmentación separan el objeto objetivo del entorno estático dentro de un mapa volumétrico. Esto asegura que el objetivo sea excluido del mapa de obstáculos de colisión, evitando que el controlador trate el punto de agarre previsto como un obstáculo.
   • Marco de Agarre: Se establece un marco de agarre {G} anclado al mundo, que permanece fijo a menos que mediciones consecutivas confirmen el movimiento del objeto.

3. Generación de Movimiento Reactivo Consciente de Colisiones:

   • Mapeo: Un mapeador volumétrico integrado con aceleración por GPU (nvblox) fusiona la profundidad estéreo en un Campo de Distancia Signada Truncada (TSDF) y una Función de Distancia Euclidiana (ESDF) para la comprobación de colisiones en tiempo real.
   • Control: Un controlador de la Integral de Trayectoria Predictiva de Modelo (MPPI, cuRobo) se ejecuta a 50 Hz. Optimiza las trayectorias de las articulaciones minimizando el error de seguimiento cartesiano, los límites de las articulaciones, la suavidad y los costos de colisión contra el ESDF en línea.

4. Asistencia de Control Compartido:

   • Campo de Potencial: Dentro de un radio de activación de 0.4 m del objetivo fundamentado {G}, un campo de potencial atractivo sesga la referencia comandada por el operador hacia el objetivo.
   • Preservación de la Autoridad: La fuerza de corrección ($k_{att} = 0.2$) se ajusta para que el comando del operador siga siendo el término dominante, permitiéndole alejarse o anular la asistencia, mientras que el campo corrige errores finos residuales durante el acercamiento final.

5. Ejecución Autónoma Activada por el Usuario:

   • Los operadores pueden cambiar al modo autónomo mediante gestos manuales (dos dedos para activar, puño cerrado para ejecutar).
   • El sistema reutiliza el mismo generador de movimiento consciente de colisiones para dirigir el efector final directamente al marco fundamentado {G}, heredando las mismas garantías de seguridad que la teleoperación.

Contribuciones Clave

• Pipeline Integrado: Un sistema de autonomía compartida que acopla teleoperación sin calibración, fundamentación de vocabulario abierto y autonomía activada por gestos, convirtiendo consultas de lenguaje natural en marcos de agarre 3D anclados al mundo.
• Conciencia de Colisión Continua: Integración de mapeo volumétrico en el dispositivo con control por muestreo (MPC), sometiendo tanto los movimientos teleoperados como los autónomos a las mismas restricciones de colisión mientras se separa dinámicamente el objetivo del mapa de obstáculos.
• Asistencia de Campo de Potencial: Una capa de guía que corrige las referencias del operador hacia el objetivo dentro de una región de activación, manteniendo la autoridad del operador como el término de control dominante.

Resultados
El marco fue evaluado en un manipulador móvil cuadrúpedo en tareas de manipulación de válvulas industriales y de pick-and-place:

• Precisión de Seguimiento: La interfaz de teleoperación logró un Error Cuadrático Medio (RMSE) posicional de 59 mm con respecto a la verdad de terreno de captura de movimiento.
• Evitación de Colisiones: En entornos con desorden, el controlador mantuvo una distancia mínima de 18 cm de los obstáculos incluso cuando el operador comandó deliberadamente la referencia 6 cm dentro de los obstáculos.
• Éxito de la Tarea:
  • Marco Completo: Logró un éxito del 100% (5/5 ensayos) tanto en la manipulación de válvulas como en las tareas de pick-and-place.
  • Estudios de Ablación: Eliminar la evitación de colisiones provocó fallos de contacto; eliminar el campo de potencial provocó fallos de agarre debido a dificultades de alineación. Ambos módulos eran necesarios para suprimir los modos de fallo complementarios.
  • Modo Autónomo: Tuvo éxito en 4/5 ensayos por tarea, con fallos atribuidos a imprecisiones en la estimación de profundidad en el servicio de agarre, más que al pipeline de percepción o control.

Significancia y Reivindicaciones
El artículo afirma que este marco aborda la brecha entre la flexibilidad de la teleoperación y la seguridad de la autonomía en entornos industriales no estructurados. Al permitir que los operadores especifiquen objetivos mediante lenguaje natural y proporcionar asistencia continua consciente de las colisiones, el sistema reduce la carga cognitiva y los riesgos de colisión sin requerir dispositivos vestibles, fiduciarios o una calibración extensa. Los autores enfatizan que el sistema maneja con éxito interacciones ricas en contacto (por ejemplo, girar una válvula) y se generaliza a diferentes tipos de objetos (válvulas fijas frente a taladros móviles) utilizando un único pipeline de percepción. El trabajo demuestra que convertir pistas semánticas en asistencia continua y con restricciones de seguridad es factible para la manipulación en tiempo real en plataformas de marcha (legged platforms).