MR-SLAM: Immersive Spatial Supervision for Multi-Robot Mapping via Mixed Reality

Riepilogo Tecnico di MR-SLAM

Enunciazione del Problema
La gestione di una flotta di robot per la Localizzazione e Mappatura Simultanea (SLAM) in applicazioni come l'ispezione di edifici o il monitoraggio di magazzini richiede agli operatori di mantenere la consapevolezza spaziale delle posizioni e degli stati di mappatura di più robot. Le interfacce desktop 2D convenzionali costringono gli operatori a ricostruire mentalmente le relazioni spaziali 3D da visualizzazioni piatte, un carico cognitivo che scala male all'aumentare del numero di robot. Sebbene la Realtà Mista (MR) abbia mostrato promesse per la teleoperazione di singoli robot, i sistemi esistenti non hanno affrontato le sfide specifiche della supervisione di più robot durante la SLAM attiva, in particolare per quanto riguarda la fusione delle mappe e il coordinamento in tempo reale.

Metodologia
Gli autori presentano MR-SLAM, un sistema che integra un'interfaccia di Realtà Mista con un backend SLAM multi-robot. L'architettura è composta da due livelli principali collegati tramite un ponte TCP su WiFi:

1. Livello Applicativo MR (Unity/Meta Quest 3):

   • Ambiente: Tre robot TurtleBot3 simulati operano all'interno di un ambiente Unity. L'operatore indossa un visore Meta Quest 3, visualizzando i robot attraverso una vista in pass-through in cui i robot virtuali sono occlusi spazialmente da mobili reali utilizzando il Mixed Reality Utility Kit (MRUK) di Meta.
   • Sensori e Controllo: Ogni robot simula un LiDAR 2D (180 raggi, arco di 90°, 10 Hz) tramite raycasting in Unity. La teleoperazione viene eseguita tramite il controller del visore, emettendo comandi Twist limitati a una velocità lineare di 0,15 m/s e una velocità angolare di 1,5 rad/s.
   • Cruscotto: Pannelli ancorati spazialmente visualizzano telemetria in tempo reale, inclusi tassi di scansione, dimensioni della mappa, area coperta e latenza, aggiornati a 1 Hz.

2. Backend SLAM (ROS 2):

   • Elaborazione: Tre istanze indipendenti di SLAM Toolbox vengono eseguite su un laptop Ubuntu 22.04, ciascuna sottoscrivendo un argomento di scansione con namespace specifico da un robot particolare.
   • Fusione delle Mappe: Un nodo multirobot_map_merge fonde le griglie di occupazione individuali in un'unica mappa fusa. Il sistema utilizza pose iniziali note e un frame di mappa condiviso per evitare il costo computazionale della corrispondenza spettrale con pose sconosciute.
   • Comunicazione: Il sistema utilizza ros_tcp_connector per la comunicazione bidirezionale. Sono state affrontate specifiche restrizioni di integrazione, inclusa una partizione specifica dell'albero TF (Unity pubblica odom→base_footprint; SLAM pubblica map→odom) per prevenire conflitti di trasformazione, e un offset di clock di 5,0 secondi per compensare la deriva tra il tempo di simulazione e il tempo reale.

Contributi Chiave
Il documento identifica tre contributi principali:

1. Interfaccia MR in Pass-through: Un'applicazione Meta Quest 3 che rende tre robot simulati con LiDAR raycasted, occlusione spaziale e teleoperazione tramite joystick.
2. Pipeline SLAM Multi-Robot: Un sistema che esegue istanze indipendenti di SLAM Toolbox con fusione delle mappe in tempo reale tramite multirobot_map_merge.
3. Cruscotto Spaziale: Un design che presenta pannelli ancorati nello spazio mondiale che visualizzano metriche di copertura, sovrapposizione, tasso di scansione e latenza direttamente nell'ambiente fisico dell'operatore.

Risultati Sperimentali
Il sistema è stato valutato in un laboratorio di 6×8 m durante cinque sessioni di 9 minuti con un singolo operatore che teleoperava i robot in sequenza. Una sessione aggiuntiva ha fornito dati illustrativi per le distribuzioni temporali. Le metriche chiave includono:

• Tasso di Scansione: Scansioni erogate a 8,83 ± 0,16 Hz (media), con un minimo di 8,36 Hz durante il cambio robot, rimanendo entro il 10% dei 10 Hz comandati.
• Copertura: Mappatura di una media di 17,9 ± 0,8 m² di occupazione fusa nelle cinque sessioni. In una sessione aggiuntiva, la copertura ha raggiunto 26,7 m² (circa il 65% di una griglia di 41 m²).
• Coerenza: Raggiunta una coerenza di occupazione tra istanze del 94,7 ± 0,5% tra coppie di robot, indicando che le istanze SLAM indipendenti hanno prodotto griglie coerenti nelle regioni condivise.
• Latenza: La sessione aggiuntiva ha registrato una mediana di jitter TF di 6,3 ms (P95: 16,3 ms), ben al di sotto delle soglie note per causare divergenza della SLAM.

Significato e Affermazioni
Gli autori posizionano MR-SLAM come un'implementazione di riferimento per combinare la supervisione in realtà mista in pass-through con la SLAM multi-robot su hardware consumer. Il sistema dimostra che un operatore può supervisionare efficacemente una piccola flotta di robot da una posizione fissa all'interno di uno spazio di lavoro fisico, mantenendo la consapevolezza situazionale senza rimuovere il visore.

Il documento afferma con modestia che il sistema è adatto per la supervisione di flotte co-localizzate (ad esempio, ispezionare un'ala di un edificio o monitorare i corridoi di un magazzino) ma non afferma l'idoneità per operazioni remote oltre la linea di vista. Gli autori riconoscono che l'attuale implementazione si basa su LiDAR simulato e pose iniziali note; è necessario un lavoro futuro per affrontare il rumore dei sensori fisici, la fusione con pose sconosciute e studi sul carico cognitivo multi-operatore (pianificati tramite NASA-TLX). La pipeline end-to-end, inclusa la specifica partizione TF e la sincronizzazione del clock consapevole della QoS, è offerta come framework riutilizzabile per integrazioni SLAM Unity–ROS 2.