ARTOO-DARTU: Studying AR-HRC With AR Obstruction Mitigation During a Warehouse Task

Resumen Técnico: ARTOO-DARTU: Estudio de la Colaboración Humano-Robot Mediante Realidad Aumentada con Mitigación de Obstrucciones durante una Tarea de Almacén

Planteamiento del Problema
La colaboración humano-robot (HRC) en entornos de almacén depende cada vez más de la Realidad Aumentada (RA) para transmitir las intenciones del robot, sus estados internos y su conciencia espacial. Sin embargo, surge un desafío crítico cuando la analítica situada de RA —contenido virtual anclado a robots móviles— obstruye la visión del usuario de elementos del mundo real esenciales para completar la tarea, como etiquetas de inventario, objetos físicos y señales de seguridad. En entornos de almacén dinámicos donde tanto los trabajadores como los robots se mueven de forma impredecible, las técnicas estáticas de gestión de la vista de RA (por ejemplo, mover el contenido hacia el techo) son insuficientes porque rompen el acoplamiento espacial entre la analítica y el robot. Además, los métodos de detección de obstrucción existentes suelen depender de modelos 3D predefinidos o modelos de visión y lenguaje basados en la nube, lo que introduce latencia, riesgos de privacidad y no logra generalizarse a elementos del mundo real no vistos, como etiquetas de inventario específicas. Este artículo aborda la necesidad de un sistema de RA que proporcione una analítica situada rica mientras mitiga activamente las obstrucciones del mundo real sin interrumpir el alineamiento espacial del contenido ni la ejecución de la tarea del robot.

Metodología
Para abordar estos desafíos, los autores desarrollaron ARTOO-DARTU (Técnica de Realidad Aumentada de Disuasión de Obstrucciones para Ayudar al Trabajo en Equipo Robótico para los Usuarios), un sistema de RA para el Microsoft HoloLens 2, y lo evaluaron mediante un estudio de usuario controlado utilizando una tarea gamificada llamada Pocket MonstARs.

• Arquitectura del Sistema: El sistema integra un visor HoloLens 2, un TurtleBot 4 y un servidor de borde (NVIDIA RTX 3060). El visor ejecuta una aplicación Unity que muestra la analítica situada y permite el control del usuario mediante un marcador de mapa virtual. El servidor de borde alberga una capa de comunicación basada en FastAPI y realiza el cómputo pesado para la canalización de Detección y Mitigación de Obstrucciones (ODM).
• Analítica Situada: El sistema visualiza la posición del robot, su estado interno (batería, calor, Wi-Fi, mantenimiento), el progreso del comando e la trayectoria prevista. Los indicadores clave incluyen un indicador de ubicación esférico, una "b bubble de pensamiento" para mensajes de estado personificados, una pantalla de estado de comando y flechas de trayectoria.
• Detección y Mitigación de Obstrucciones (ODM): La innovación central es la canalización ODM, diseñada para operar en tiempo casi real sin dependencia de la nube.
  1. Proyección: El HoloLens captura una imagen bruta del mundo real (sin contenido virtual) y computa las proyecciones de cajas delimitadoras (bounding boxes) 2D para todos los elementos virtuales activos.
  2. Detección: La imagen y las cajas proyectadas se envían al servidor de borde, que ejecuta YOLOv5 para la detección de objetos y EasyOCR para la detección de texto.
  3. Mitigación: El sistema calcula el solapamiento entre las proyecciones de los elementos virtuales y los objetos/textos detectados en el mundo real. Si un elemento virtual se solapa con un elemento del mundo real en más de un 30%, dicho elemento se marca. La aplicación de HoloLens entonces renderiza el elemento marcado como totalmente transparente hasta que se aleja más de 20 cm del punto de obstrucción, preservando el alineamiento espacial mientras restaura la visibilidad.
• Tarea Experimental (Pocket MonstARs): Un área de tarea de 2.4 × 2.4 m que contiene 12 cajas etiquetadas y 4 cajas con objetos reconocibles por YOLO. Los usuarios actúan como trabajadores de almacén, dirigiendo al robot para "atrapar" 15 monstruos. Diez monstruos son objetivos virtuales visibles; cinco son "monstruos de caja" ocultos dentro de cajas del mundo real, lo que requiere que los usuarios identifiquen etiquetas o objetos específicos para localizar el objetivo.
• Estudio de Usuario: Un estudio factorial mixto de 2 × 3 con 34 participantes. El factor entre sujetos fue el Grupo (ODM Activo vs. ODM Inactivo). El factor intra-sujeto fue el Ensayo (Sin Analítica, Analítica Situada, Analítica Situada con Flechas). El rendimiento se midió mediante tiempos de captura y se recopiló retroalimentación subjetiva a través de encuestas (GEQ, Facilidad de Uso, Confianza).

Contribuciones Clave

1. Sistema ARTOO-DARTU: Un sistema de HRC-RA integrado que ofrece analítica situada y control robótico diseñado específicamente para robots de almacén móviles, con un 83% de los participantes prefiriéndolo sobre un grupo de control sin analítica.
2. Canalización ODM: La primera canalización de detección y mitigación de obstrucciones diseñada específicamente para la analítica situada acoplada al robot. A diferencia de trabajos previos, opera sobre elementos del mundo real no vistos previamente (etiquetas y objetos) en entornos dinámicos sin requerir infraestructura de la nube o modelos 3D predefinidos.
3. Pocket MonstARs: Una tarea experimental gamificada y controlada que abstrae la recogida de inventario de almacén. Preserva las demandas críticas de identificación de objetivos del mundo real (leer etiquetas, reconocer objetos) permitiendo al mismo tiempo una evaluación sistemática de la obstrucción y la analítica de RA.

Resultados

• Eficiencia: La presencia de analítica situada aumentó la eficiencia general de la tarea en un 46%, pero solo cuando el ODM estaba activo. Sin el ODM, la analítica no mejoró la eficiencia y, en ocasiones, dificultó el rendimiento debido a las obstrucciones.
• Subtareas del Mundo Real: Los participantes con el ODM activo fueron un 61% más rápidos en las subtareas que requerían visibilidad del mundo real (atrapar "monstruos de caja") en comparación con aquellos sin ODM. Específicamente, en el ensayo de Analítica Situada (SA), el grupo con ODM atrapó los monstruos de caja en 32.7s frente a los 57.9s del grupo sin ODM ($p=0.002$).
• Rendimiento General: Los participantes con el ODM activo fueron un 39% más rápidos en general en el ensayo SA en comparación con el grupo sin ODM.
• Retroalimentación Subjetiva: Los usuarios en el grupo con ODM reportaron una dificultad percibida significativamente menor y mayores sentimientos de competencia. El 83% de todos los participantes calificaron un ensayo con analítica de RA como su favorito. Los usuarios con el ODM inactivo citaron frecuentemente la frustración por las vistas obstruidas, un sentimiento ausente en el grupo con ODM.
• Flechas: La adición de flechas de trayectoria (SA+ARR) no mejoró significativamente el rendimiento respecto a SA por sí solo y, en algunos casos, provocó tiempos de captura más lentos debido a errores de navegación donde los usuarios colocaban el marcador del robot dentro de las cajas basándose en la colocación de las flechas.

Significancia y Reivindicaciones
El artículo sostiene que la analítica situada de RA puede mejorar significativamente la eficiencia y la experiencia del usuario en escenarios de HRC de almacén, pero solo cuando se combina con una estrategia robusta de mitigación de obstrucciones que preserve la visibilidad del mundo real. Los autores enfatizan que la gestión de obstrucciones debe tratarse como una "preocupación de primera clase" y un requisito previo para una asistencia de RA efectiva, en lugar de un refinamiento secundario. El estudio demuestra que el ODM logra equilibrar la necesidad de información rica sobre el estado del robot con el requisito de seguridad y usabilidad de mantener la visibilidad de los elementos físicos relevantes para la tarea. Los autores señalan que, aunque su estudio utilizó una abstracción gamificada, los hallazgos resaltan un compromiso fundamental en la HRC-RA: la analítica mejora la interacción solo si el sistema evita que el contenido virtual obstruya el mundo físico. Concluyen modestamente que se necesita trabajo futuro para validar estos hallazgos en entornos de almacén reales con trabajadores reales y elementos críticos para la seguridad.