A Conversational Framework for Human-Robot Collaborative Manipulation with Distributed Generative AI models

Resumen Técnico: Un Marco Conversacional para la Manipulación Colaborativa Humano-Robot con Modelos de IA Generativa Distribuidos

Planteamiento del Problema
Si bien la manipulación robótica ha avanzado significamente en planificación y control, la interacción mediante lenguaje natural en entornos colaborativos del mundo real sigue siendo un desafío. Los comandos del usuario suelen ser incompletos, las descripciones de la escena son ambiguas y los objetos son visualmente similares desde la perspectiva del robot. Además, los modelos de lenguaje de gran tamaño (LLM) y los modelos de lenguaje-visión (VLM) recientes introducen riesgos de fiabilidad; específicamente, la tendencia de los LLM a "alucinar" (generar contenido plausible pero incorrecto) plantea una amenaza directa a la seguridad en la robótica, donde una mala interpretación puede desencadenar acciones físicas no deseadas. Los enfoques existentes suelen depender de políticas monolíticas de extremo a extremo o carecen de barreras de seguridad explícitas, lo que dificulta la depuración de fallos o la garantía de la supervisión del operador antes de la ejecución del movimiento.

Metodología
Los autores proponen un marco conversacional distribuido implementado como un pipeline multi-agente de ROS 2. El sistema desacopla la comprensión del lenguaje, el anclaje visual (grounding), la orquestación y la ejecución del movimiento en nodos separados, lo que permite un despliegue flexible en hardware heterogéneo (por ejemplo, dispositivos edge y estaciones de trabajo con GPU).

• Arquitectura: El pipeline consta de:
  • Panel de Control Web (Web Dashboard): Acepta comandos de lenguaje natural de forma libre y muestra superposiciones intermedias de intención y anclaje (coordenadas de píxel, profundidad y de marco del robot).
  • Nodo Coordinador: Dirige las solicitudes, combina los datos visuales con la profundidad/calibración y gestiona un bucle de confirmación orientado a la seguridad.
  • Nodo LLM (Comprensión del Lenguaje): Analiza los comandos del usuario en solicitudes de acción estructuradas (por ejemplo, tomar, colocar, entrega) y extrae parámetros. En la configuración por defecto, este se ejecuta en una NVIDIA Jetson AGX Orin con el modelo ministral-3:8b.
  • Nodo VLM (Anclaje Visual): Procesa imágenes RGB-D para localizar objetos basados en descripciones de lenguaje natural. En la configuración por defecto, este se ejecuta en una estación de trabajo RTX 6000 con Qwen2.5-VL 32B.
  • Ejecutor de Movimiento: Genera y ejecuta trayectorias del robot a través de MoveIt2.
• Mecanismo de Seguridad: El sistema impone una estricta barrera de seguridad de "humano en el bucle" (human-in-the-loop). Las salidas de lenguaje y visión se traducen en solicitudes de acción estructuradas, pero no se ejecuta ningún movimiento sin la confirmación explícita del operador a través del panel de control. El panel de control visualiza la intención interpretada y la ubicación específica del objetivo (píxel, profundidad y marco del robot) antes de que el usuario apruebe la acción.
• Pipeline de Anclaje (Grounding): El VLM devuelve objetivos en el espacio de la imagen (coordenadas de píxel). Estos se fusionan con los datos de profundidad utilizando un estimador local robusto (mediana de un vecindario de 5×5) para recuperar puntos 3D en el marco de la cámara. Estos se transforman posteriormente en el marco base del robot mediante una calibración de marcadores ArUco y desplazamientos fijos.
• Despliegue: Ambos modelos de IA se ejecutan localmente a través de Ollama para garantizar la privacidad y una latencia predecible, evitando dependencias en la nube. El sistema soporta la operación zero-shot sin necesidad de ajuste fino (fine-tuning) para categorías de objetos específicas, basándose en el conocimiento general preentrenado de los modelos.

Contribuciones Clave

1. Pipeline Multi-Agente Distribuido en ROS 2: Una arquitectura modular que separa el lenguaje, la visión, la orquestación y la ejecución del movimiento, permitiendo despliegues flexibles en una sola máquina o en múltiples dispositivos y una fácil adaptación al hardware disponible.
2. Panel de Control Web con Confirmación Explícita: Una interfaz de usuario que expone la intención intermedia y las superposiciones de anclaje, imponiendo una puerta de confirmación explícita del operador antes de que se dispare cualquier movimiento del robot.
3. Pipeline de Anclaje de Vocabulario Abierto al Marco del Robot: Un método para generar objetivos métricos en el marco del robot para primitivas de toma, colocación y entrega a partir de datos de píxel/profundidad sin requerir el ajuste fino de modelos específicos de la tarea.
4. Evaluación bajo Ambigüedad: Un benchmark experimental que evalúa la fiabilidad de extremo a extremo de las tareas y la latencia ante un aumento de la ambigüedad de la escena (objetos únicos, múltiples y superpuestos), comparando además configuraciones alternativas de LLM/VLM dentro del mismo marco modular.

Resultados
El marco fue evaluado en un robot Franka Emika FR3 con una cámara Realsense D435i. El benchmark consistió en 180 ejecuciones de tareas de toma, colocación y entrega bajo escenarios de objeto único, múltiples objetos y objetos superpuestos.

• Mejor Configuración: El despliegue distribuido por defecto (ministral-3:8b en Jetson + Qwen2.5-VL 32B en RTX 6000) logró un éxito del 100% (5/5) en todas las tareas y niveles de ambigüedad. También demostró las latencias más bajas (5.47s para LLM, 9.57s para VLM).
• Impacto del Hardware: Ejecutar el VLM en una estación de trabajo compartida con el LLM (por ejemplo, usando LLaMA 3.1 8B en la misma RTX 6000) aumentó significativamente la latencia del VLM (a 42.83s) y redujo las tasas de éxito en escenarios complejos (por ejemplo, la entrega cayó a 4/5).
• Sensibilidad del Modelo: Las configuraciones que utilizaban modelos más pequeños o menos capaces (por ejemplo, DeepSeek-R1 7B + LLaVA 7B) resultaron en un 0% de éxito, fallando en completar los ensayos. Los VLMs más grandes (por ejemplo, Llama 3.2-Vision 90B) no necesariamente mejoraron las tasas de éxito e introdujeron mayores costos de memoria y latencia.
• Restricciones de Memoria: La RAM en tiempo de ejecución estuvo dominada por el VLM (por ejemplo, ~127 GB para el modelo 32B), lo que justifica el enfoque distribuido donde el modelo de visión se ejecuta en una estación de trabajo de alta memoria mientras que el planificador de lenguaje se ejecuta en un dispositivo edge (se observaron 43 GB en la Jetson).
• Modos de Fallo: El análisis cualitativo mostró que, incluso con salidas de VLM de alta confianza, pueden ocurrir errores de anclaje (por ejemplo, seleccionar el objeto incorrecto en una escena superpuesta), validando la necesidad del paso de confirmación explícita.

Significancia y Reivindicaciones
El artículo sostiene que su contribución principal no es una nueva política de extremo a extremo, sino un marco de integración de sistemas que prioriza la seguridad, la interpretabilidad y la flexibilidad. Al separar el "qué" (lenguaje), el "dónde" (visión) y el "cómo" (control) en representaciones intermedias inspeccionables y tipadas, el sistema permite:

• Seguridad Proactiva: Prevenir acciones físicas no deseadas mediante la confirmación humana explícita de los objetivos anclados.
• Capacidad de Depuración: La capacidad de aislar fallos a módulos específicos (lenguaje vs. visión) y sustituir modelos sin rediseñar la pila de control.
• Despliegue Práctico: Una ruta viable para desplegar IA generativa en la interacción humano-robot (HRI) del mundo real, equilibrando los requisitos computacionales (edge vs. estación de trabajo) y manteniendo la privacidad mediante la inferencia local.

Los autores reconocen limitaciones, señalando que el sistema tiene dificultades con el razonamiento compositivo altamente complejo (por ejemplo, lógica condicional basada en valores de objetos) y carece de memoria conversacional para comandos de seguimiento dependientes del contexto. Sin embargo, posicionan el marco como un paso práctico hacia una manipulación basada en el lenguaje más segura e interpretable en la colaboración humano-robot.