Resumen Técnico: UNCOM – Comprensión de Comandos Consciente del Contexto en Cero Disparos para Escenarios de Superficies

Enunciado del Problema

Los robots de servicio doméstico actuales a menudo carecen de la capacidad para una interacción fluida y de propósito general con usuarios no expertos. Si bien los robots tradicionales realizan tareas individuales (por ejemplo, aspirar), la Interacción Humano-Robot (HRI) fluida requiere comprender la comunicación humana rica y multimodal que combina el habla natural y las señales gestuales. Las soluciones existentes enfrentan dos cuellos de botella principales:

1. Modelos End-to-End Monolíticos: Las arquitecturas Visión-Lenguaje-Acción (VLA) ofrecen un mapeo directo de entrada a control, pero sufren de una alta sobrecarga computacional, toma de decisiones de "caja negra" y una falta de explicabilidad.
2. Marcos Simbólicos Modulares: Aunque transparentes, estos a menudo dependen de detectores de objetos de vocabulario cerrado y grafos semánticos codificados a mano, lo que limita su capacidad para generalizar a los objetos diversos y no estructurados encontrados en entornos domésticos del mundo real.

Además, los sistemas tradicionales luchan con la ambigüedad en el lenguaje natural (por ejemplo, referencias deícticas como "esto" o "eso") y requieren datos de entrenamiento específicos de la tarea o modelos de objetos predefinidos.

Metodología

El artículo presenta UNCOM (Comprensión de Comandos), un nuevo marco híbrido diseñado para la operación en cero disparos en escenarios de superficies. UNCOM integra el habla, los gestos y el contexto de la escena para extraer instrucciones estructuradas y accionables sin depender de datos de entrenamiento específicos de la tarea o de modelos de objetos predefinidos.

Arquitectura del Sistema

El sistema emplea una tubería modular en Python, aprovechando modelos fundamentales de aprendizaje profundo para subtareas complejas y un modelo especialista único para la detección de gestos:

• Transcripción de Audio: Utiliza Whisper-large-v3-turbo para el reconocimiento automático del habla (ASR).
• Comprensión de Comandos: Utiliza Phi-4 (mini-instruct) para analizar el texto transcrito en elementos semánticos estructurados: Objeto, Acción y Objetivo. Distingue entre entidades concretas y referencias deícticas (por ejemplo, "esto", "eso").
• Detección de Gestos: Utiliza MediaPipe Hand Landmarker para detectar gestos de apuntado. El sistema define un vector de apuntado desde la base hasta la punta del dedo índice y utiliza la coordenada z para determinar la mano activa.
• Detección y Segmentación de Objetos:
  • GroundingDINO (tiny): Un detector de vocabulario abierto utilizado para identificar objetos por nombre o para resolver ambigüedades cuando múltiples objetos coinciden con una descripción.
  • Segment Anything Model (SAM): Utilizado para segmentar las regiones precisas de píxeles del objeto objetivo y la ubicación objetivo.
  • DINOv2: Utilizado para la estimación de profundidad y la detección general de objetos para ayudar en la comprensión de la escena.
• Razonamiento Espacial:
  • Para objetivos relativos (por ejemplo, "al lado de la manzana"), el sistema segmenta la mesa, aplica un diagrama de Voronoi para dividir el espacio en celdas y genera un mapa de ocupación. Selecciona la celda no ocupada que corresponde al descriptor espacial.
  • Para objetivos deícticos (solo apuntado), intenta detectar un contenedor; si no se encuentra ninguno, selecciona la celda de Voronoi vacía más cercana.

Ejecución

La salida es una representación estructurada (Objeto-Acción-Objetivo) con segmentaciones a nivel de píxel y coordenadas 3D. Estos datos se pasan a un subsistema de ejecución de tareas (demostrado utilizando MoveIt! en robots TIAGo y TIAGo++) para realizar operaciones de agarre y colocación. El sistema calcula la pose 6DoF de los objetos, recurriendo a la estimación del centroide para objetos desconocidos, aunque señala limitaciones con formas complejas.

Contribuciones Clave

1. Arquitectura Híbrida en Cero Disparos: Un marco que combina modelos fundamentales (Phi-4, GroundingDINO, DINOv2) con un modelo especialista de gestos (MediaPipe) para interpretar comandos multimodales sin ajuste fino en conjuntos de datos domésticos.
2. Interpretabilidad y Modularidad: A diferencia de los modelos VLA monolíticos, UNCOM analiza explícitamente los comandos en representaciones estructuradas, mejorando la transparencia y permitiendo la integración con marcos robóticos simbólicos.
3. Desambiguación Robusta: El sistema resuelve eficazmente la ambigüedad fusionando instrucciones verbales con gestos de apuntado y razonamiento espacial (particionamiento de Voronoi), apoyando diversos estilos de apuntado y referencias a objetos.
4. Conjunto de Datos de Referencia: Los autores lanzaron un conjunto de datos que contiene 159 videos en 22 escenarios de superficies, que cubren variaciones en referencias a objetos, distractores, desorden y tipos de objetivos (absolutos vs. relativos).

Resultados

El sistema fue evaluado en un conjunto de datos del mundo real de escenarios de interacción humano-robot:

• Tasa de Éxito: UNCOM logró una tasa de éxito del 82.39% (131 de 159 instancias) en la identificación correcta del objeto, la acción y el objetivo pretendidos por el instructor humano.
• Demostración del Robot: El sistema se implementó con éxito en robots TIAGo y TIAGo++ para tareas de agarre y colocación en seis escenarios específicos, incluido el manejo de distractores, múltiples objetos similares y referencias deícticas.
• Análisis de Errores: Los principales cuellos de botella se identificaron en los componentes subyacentes de aprendizaje profundo en lugar de la lógica procedimental:
  • MediaPipe: Altamente sensible al desenfoque de movimiento, lo que lleva a detectar manos perdidas.
  • Whisper: Errores ocasionales de transcripción, particularmente con hablantes de inglés no nativos (por ejemplo, confundir "bowl" [tazón] con "ball" [pelota]).
  • Modelos de Visión: GroundingDINO, SAM y DINOv2 demostraron un rendimiento robusto, con errores a menudo corregibles mediante pistas contextuales.

Significancia

El artículo afirma que UNCOM demuestra la eficacia de un enfoque modular y en cero disparos para la HRI, cerrando la brecha entre la flexibilidad de los modelos fundamentales y la explicabilidad de los marcos simbólicos. Al desacoplar la comprensión de comandos de la ejecución, el sistema permite la adaptabilidad a diferentes encarnaciones y entornos de robots sin reentrenamiento. Los autores enfatizan que, aunque el rendimiento actual está limitado por la robustez de los modelos de aprendizaje profundo comerciales, la arquitectura proporciona una base escalable. El trabajo futuro se centra en mejorar la robustez del modelo frente al ruido, expandir el soporte de idiomas e integrar rutinas de desambiguación para permitir que el robot converse con los usuarios para aclaraciones.