MR-SLAM: Immersive Spatial Supervision for Multi-Robot Mapping via Mixed Reality

Resumen Técnico de MR-SLAM

Planteamiento del Problema
Operar una flota de robots para Localización y Mapeo Simultáneos (SLAM) en aplicaciones como la inspección de edificios o la supervisión de almacenes requiere que los operadores mantengan la conciencia espacial de las posiciones y los estados de mapeo de múltiples robots. Las interfaces de escritorio 2D convencionales obligan a los operadores a reconstruir mentalmente las relaciones espaciales 3D a partir de vistas planas, una carga cognitiva que escala deficientemente a medida que aumenta el número de robots. Aunque la Realidad Mixta (MR) ha demostrado ser prometedora para la teleoperación de un solo robot, los sistemas existentes no han abordado los desafíos específicos de supervisar múltiples robots durante el SLAM activo, particularmente en lo que respecta a la fusión de mapas y la coordinación en tiempo real.

Metodología
Los autores presentan MR-SLAM, un sistema que integra una interfaz de Realidad Mixta con un backend de SLAM multi-robot. La arquitectura consta de dos capas principales conectadas mediante un puente TCP sobre WiFi:

1. Capa de Aplicación MR (Unity/Meta Quest 3):

   • Entorno: Tres robots TurtleBot3 simulados operan dentro de un entorno Unity. El operador utiliza un casco Meta Quest 3, visualizando los robots a través de una vista de paso (passthrough) donde los robots virtuales están ocluidos espacialmente por muebles del mundo real utilizando el Kit de Utilidades de Realidad Mixta de Meta (MRUK).
   • Sensores y Control: Cada robot simula un LiDAR 2D (180 rayos, arco de 90°, 10 Hz) mediante raycasting en Unity. La teleoperación se realiza mediante el controlador del casco, emitiendo comandos Twist limitados a una velocidad lineal de 0.15 m/s y una velocidad angular de 1.5 rad/s.
   • Panel de Control: Paneles anclados espacialmente muestran telemetría en tiempo real, incluidas tasas de escaneo, dimensiones del mapa, área cubierta y latencia, actualizados a 1 Hz.

2. Backend SLAM (ROS 2):

   • Procesamiento: Tres instancias independientes de SLAM Toolbox se ejecutan en una laptop con Ubuntu 22.04, cada una suscribiéndose a un tema de escaneo con espacio de nombres específico de un robot.
   • Fusión de Mapas: Un nodo multirobot_map_merge fusiona las cuadrículas de ocupación individuales en un único mapa fusionado. El sistema utiliza poses iniciales conocidas y un marco de mapa compartido para evitar el costo computacional del emparejamiento espectral de poses desconocidas.
   • Comunicación: El sistema utiliza ros_tcp_connector para la comunicación bidireccional. Se abordaron restricciones críticas de integración, incluida una partición específica del árbol TF (Unity publica odom→base_footprint; SLAM publica map→odom) para evitar conflictos de transformaciones, y un desplazamiento de reloj de 5.0 segundos para compensar la deriva entre el tiempo de simulación y el tiempo real.

Contribuciones Clave
El artículo identifica tres contribuciones principales:

1. Interfaz MR de Paso: Una aplicación Meta Quest 3 que renderiza tres robots simulados con LiDAR por raycasting, oclusión espacial y teleoperación mediante joystick.
2. Pipeline de SLAM Multi-robot: Un sistema que ejecuta instancias independientes de SLAM Toolbox con fusión de mapas en tiempo real mediante multirobot_map_merge.
3. Panel de Control Espacial: Un diseño que presenta paneles anclados en el espacio mundial que muestran métricas de cobertura, superposición, tasa de escaneo y latencia directamente dentro del entorno físico del operador.

Resultados Experimentales
El sistema se evaluó en un laboratorio de 6×8 m durante cinco sesiones de 9 minutos con un único operador teleoperando los robots secuencialmente. Una sesión adicional proporcionó datos ilustrativos para las distribuciones de tiempo. Las métricas clave incluyen:

• Tasa de Escaneo: Entregó escaneos a 8.83 ± 0.16 Hz (media), con un mínimo de 8.36 Hz durante el cambio de robots, manteniéndose dentro del 10% de los 10 Hz comandados.
• Cobertura: Mapeó un promedio de 17.9 ± 0.8 m² de ocupación fusionada en las cinco sesiones. En una sesión adicional, la cobertura alcanzó 26.7 m² (aproximadamente el 65% de una cuadrícula de 41 m²).
• Consistencia: Logró una 94.7 ± 0.5% de consistencia de ocupación entre instancias cruzadas en pares de robots, lo que indica que las instancias independientes de SLAM produjeron cuadrículas coherentes en regiones compartidas.
• Latencia: La sesión adicional registró una jitter de TF mediana de 6.3 ms (P95: 16.3 ms), muy por debajo de los umbrales conocidos por causar divergencia en el SLAM.

Importancia y Afirmaciones
Los autores posicionan a MR-SLAM como una implementación de referencia para combinar la supervisión de realidad mixta de paso con SLAM multi-robot en hardware de consumo. El sistema demuestra que un operador puede supervisar eficazmente una pequeña flota de robots desde una ubicación fija dentro de un espacio de trabajo físico, manteniendo la conciencia situacional sin retirar el casco.

El artículo afirma modestamente que el sistema es adecuado para la supervisión de flotas en el mismo lugar (por ejemplo, inspeccionar un ala de un edificio o monitorear pasillos de almacén), pero no afirma su idoneidad para operaciones remotas más allá de la línea de visión. Los autores reconocen que la implementación actual depende de LiDAR simulado y poses iniciales conocidas; se requiere trabajo futuro para abordar el ruido de sensores físicos, la fusión de poses desconocidas y estudios de carga cognitiva para múltiples operadores (planificados mediante NASA-TLX). El pipeline de extremo a extremo, incluida la partición específica de TF y la sincronización de relojes consciente de la Calidad de Servicio (QoS), se ofrece como un marco reutilizable para integraciones de SLAM entre Unity y ROS 2.