💻 computer science

A Multi-Operator Mixed-Reality Interface for Multi-Robot Control and Coordination: Co-Located and Private Workspace Collaboration

Questo articolo presenta un'interfaccia di realtà mista per il controllo multi-operatore e multi-robot che supporta sia modalità di spazio di lavoro condiviso che private in contesti co-locati, dimostrando attraverso uno studio sugli utenti che, sebbene entrambe le modalità consentano un'esecuzione efficace della missione, lo spazio di lavoro condiviso co-locato migliora significativamente la collaborazione percepita, la comprensione comune e la chiarezza del passaggio di consegne.

Autori originali: Omotoye Shamsudeen Adekoya, Antonio Sgorbissa, Carmine Tommaso Recchiuto

Pubblicato 2026-06-08

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Omotoye Shamsudeen Adekoya, Antonio Sgorbissa, Carmine Tommaso Recchiuto

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover pilotare una squadra di tre piccoli robot telecomandati attraverso un edificio complesso per trovare tesori nascosti. Ora, immagina di avere un compagno che ti aiuta. La sfida non è solo controllare i robot; è capire come lavorare insieme senza calpestarsi i piedi o dare ordini contrastanti ai robot.

Questo articolo descrive una nuova "stanza di controllo" costruita all'interno di un visore di Realtà Mista (MR). Immaginala non come uno schermo piatto di un computer, ma come un diorama 3D in miniatura e fluttuante del mondo reale dove si muovono i robot. Puoi allungare la mano, afferrare un piccolo robot e dirgli dove andare.

I ricercatori volevano rispondere a una grande domanda: importa se tu e il tuo partner siete nella stessa stanza a guardare la stessa mappa fluttuante, o se siete in stanze diverse a guardare le vostre mappe separate?

Ecco come hanno testato la cosa e cosa hanno scoperto, usando analogie semplici:

I due modi di giocare

Il sistema offriva due diversi "modi" per i due operatori:

La modalità "Tavolo Condiviso" (Co-located):
Immagina che tu e il tuo partner siate nella stessa stanza. Indossate entrambi i visori e vedete la stessa identica mappa in miniatura che fluttua nell'aria tra di voi. Potete indicare lo stesso punto, guardare lo stesso robot e vedere i gesti delle mani l'uno dell'altro. È come se due persone fossero chinata su una singola mappa fisica su un tavolo.
La modalità "Scrivania Privata" (Private-workspace):
Immagina che tu e il tuo partner siate in stanze diverse. Entrambi avete i vostri visori e ognuno di voi vede la propria mappa fluttuante. State lavorando alla stessa missione, ma non potete vedere dove sta guardando il vostro partner o cosa sta indicando. Dovete indovinare cosa sta facendo basandovi sui movimenti del robot.

Le regole del gioco (Prevenzione dei conflitti)

Un problema principale nel controllo di team di robot è il "traffico intenso". Se dici a un robot di andare a sinistra e il tuo partner dice di andare a destra nello stesso momento, il robot si confonde.

Per risolvere questo problema, il sistema utilizza un sistema di "Lease" (concessione), simile al gioco del "bastone della parola" o della "patata bollente":

Quando vuoi controllare un robot specifico, lo "prendi in concessione" (lease).
Il sistema trasforma quel robot in Verde per te (tu lo possiedi) e in Rosso per il tuo partner (lui non può toccarlo).
Puoi dare ordini solo al robot che stai tenendo in mano. Questo evita che i robot ricevano comandi contrastanti, indipendentemente dalla modalità in cui ti trovi.

L'esperimento

I ricercatori hanno inserito 36 persone (18 coppie) in una simulazione. Dovevano trovare dei tag digitali nascosti in due ambienti virtuali differenti: un ospedale e un ufficio.

Obiettivo: Trovare quanti più tag possibile in 10 minuti.
Compito: Dovevano alternarsi tra l'osservare l'intero team e il prendere il controllo diretto di singoli robot per navigare in angoli stretti.

I risultati: Cosa ha funzionato meglio?

Ecco la parte sorprendente: Entrambe le modalità hanno funzionato ugualmente bene per il lavoro effettivo.

Il Tabellone dei punteggi: Le coppie hanno trovato all'incirca lo stesso numero di tag sia se erano nella stessa stanza, sia se erano in stanze diverse. La modalità "Scrivania Privata" era abbastanza affidabile da non rendere necessario trovarsi nella stessa stanza per portare a termine il lavoro.
La Sensazione: Tuttavia, l'esperienza è stata molto diversa. Le coppie nella modalità "Tavolo Condiviso" si sono sentite molto più connesse. Hanno riferito che:
- Capivano meglio le intenzioni l'uno dell'altro.
- Sentivano di essere veramente "nello stesso spazio".
- Trovavano molto più facile passare il controllo di un robot al proprio partner.
- Avevano meno stress mentale nel cercare di indovinare cosa stesse facendo il partner.

La conclusione

Pensa a questo: se devi solo consegnare un pacco, puoi farlo da solo o con un amico al telefono (Modalità Privata). Ma se stai cercando di costruire insieme un mobile complesso, è molto più facile e meno frustrante se siete nella stessa stanza guardando le stesse istruzioni (Modalità Condivisa).

L'articolo conclude che, sebbene sia possibile controllare i robot efficacementamente da stanze separate, trovarsi fisicamente nella stessa stanza e condividere la stessa visuale virtuale rende il lavoro di squadra più fluido, chiaro e naturale. Non fa muovere i robot più velocemente, ma fa lavorare meglio gli esseri umani insieme.

Sintesi Tecnica: Un'interfaccia di Realtà Mista Multi-Operatore per il Controllo e la Coordinazione di Multi-Robot

Definizione del Problema

Scalare i sistemi multi-robot dalla supervisione di un singolo operatore alla collaborazione a livello di team presenta sfide significative. Le convenzionali stazioni di controllo a terra (GCS) 2D richiedono agli operatori di integrare mentalmente flussi di dati disparati (mappe, feed video, stati dei robot), un carico cognitivo che degrada la consapevolezza situazionale e aumenta il carico di lavoro all'aumentare della complessità della missione. Sebbene le interfacce di Realtà Mista (MR) abbiano dimostrato potenziale nel ridurre questo carico per singoli operatori fornendo viste spazialmente incarnate, l'estensione di tali sistemi per supportare la collaborazione tra più operatori introduce nuove complessità. Nello specifico, una collaborazione efficace richiede meccanismi per la consapevolezza reciproca, la divisione del lavoro e, crucialmente, la prevenzione di comandi conflittuali quando più umani tentano di controllare lo stesso team di robot. Inoltre, rimane da chiarire se il co-localizzare fisicamente gli operatori in uno spazio di lavoro MR condiviso offra vantaggi tangibili rispetto a una modalità di spazio di lavoro privato, in cui gli operatori condividono i dati della missione ma li visualizzano attraverso interfacce locali posizionate indipendentemente.

Metodologia

Gli autori hanno esteso la loro precedente interfaccia HORUS (Holistic Operational Reality for Unified Systems) per supportare il controllo multi-operatore. L'architettura del sistema e il design sperimentale sono dettagliati di seguito:

Architettura del Sistema

Il sistema proposto utilizza un'architettura a tre livelli:

Livello SDK: Pubblica i metadati dei robot, le mappe e le capacità di task.
Bridge ROS 2: Gestisce la comunicazione di comandi, stati e mappe tra la simulazione/robot e l'interfaccia.
Runtime Unity MR: Istanzia lo spazio di lavoro, le visualizzazioni e la logica di coordinazione.

Caratteristiche tecniche chiave includono:

Costruzione Guidata dalla Registrazione: La scena è costruita dinamicamente dai payload dell'SDK piuttosto che assumere un set fisso di robot.
Doppia Modalità Collaborativa:
- Spazio di Lavoro Condiviso Co-localizzato: Gli operatori condividono una posizione fisica comune e un unico spazio di lavoro virtuale ancorato spazialmente.
- Spazio di Lavoro Privato: Gli operatori condividono lo stesso stato della missione ma interagiscono tramite spazi di lavoro locali posizionati indipendentemente.
Prevenzione dei Conflitti (Lease per Robot): Per prevenire interventi conflittuali, il sistema impiega un meccanismo di arbitraggio basato su "lease" (concessioni). Un robot viene "concesso in leasing" a un operatore quando questi apre il pannello di controllo, redige un task o avvia la teleoperazione. Lo stato del lease (libero, detenuto localmente, detenuto remotamente) è codificato visivamente (bianco, verde, rosso) e applicato funzionalmente, bloccando azioni conflittuali sullo stesso robot.
Sincronizzazione: La sincronizzazione dello stato collaborativo a bassa frequenza (snapshot dello spazio di lavoro, confini di registrazione) avviene tramite Unity Netcode for GameObjects (NGO), mentre i dati robotici pesanti rimangono nel livello di trasporto ROS.

Design Sperimentale

Uno studio su soggetti umani è stato condotto con 36 partecipanti (18 coppie) che controllavano un team di tre robot mobili simulati Nova Carter in due ambienti (un ufficio e un ospedale).

Condizioni: Ogni coppia ha eseguito i test sia nella modalità Co-localizzata che in quella Privata utilizzando un design crossover controbilanciato.
Task: I partecipanti avevano 10 minuti per prova per localizzare 10 AprilTag (punti di interesse) nascosti utilizzando una combinazione di pianificazione supervisionata (assegnazione waypoint) e teleoperazione.
Vincoli: Nella modalità privata, i partecipanti si trovavano in stanze separate senza comunicazione verbale; nella modalità co-localizzata, si trovavano nella stessa stanza con comunicazione naturale faccia a faccia consentita.
Metriche: Prestazioni oggettive (tag trovati), Scala di Usabilità del Sistema (SUS), NASA-TLX (carico di lavoro) e un questionario personalizzato di 8 item su Collaborazione e Spazio di Lavoro Condiviso.

Contributi Chiave

Architettura MR Multi-Operatore: Un sistema che supporta la collaborazione in spazi di lavoro sia co-localizzati che privati tramite la sincronizzazione dello stato condiviso e i lease di controllo per robot.
Design dell'Interazione Centrato sullo Spazio di Lavoro: Un'interfaccia dotata di meccanismi espliciti per il tasking condiviso, segnali di consapevolezza (stati di lease) e prevenzione dei conflitti.
Arbitraggio del Controllo Dinamico: Un approccio basato su lease che consente il lavoro parallelo su robot diversi pur evitando il controllo simultaneo dello stesso robot.
ized.
Valutazione Empirica: Uno studio controllato che isola l'effetto della co-localizzazione fisica, confrontandolo con un'alternativa di spazio di lavoro privato in uno scenario multi-robot realistico.

Risultati

Lo studio ha prodotto i seguenti risultati:

Prestazioni del Task: Non c'è stata nessuna differenza significativa nelle prestazioni oggettive del task tra le due modalità. Le coppie hanno trovato in media 3,94 tag nella modalità co-localizzata e 4,22 nella modalità privata ( $p = .633$ ). Ciò indica che la modalità di spazio di lavoro privato è sufficiente per un'esecuzione efficace della missione anche senza comunicazione verbale diretta.
Usabilità e Carico di Lavoro: L'usabilità percepita (SUS) e il carico di lavoro complessivo (NASA-TLX) sono stati statisticamente comparabili in entrambe le condizioni.
Collaborazione e Consapevolezza: Lo spazio di lavoro condiviso co-localizzato ha superato significativamente la modalità privata nelle metriche soggettive di collaborazione ( $p < .001$ $p < .001$ ). I partecipanti hanno riportato:
- Maggiore consapevolezza delle azioni dei compagni.
- Migliore comprensione comune dello stato del task.
- Maggiore facilità nel coordinare le azioni ed eseguire il passaggio del controllo (handoff).
- Una più forte sensazione di condividere uno spazio fisico.
Preferenza: Una netta maggioranza di partecipanti (21/29) ha preferito la modalità co-localizzata per l'operatività congiunta, citando una maggiore chiarezza nei passaggi di controllo e una migliore consapevolezza della missione.
Effetti dell'Esperienza: L'esperienza pregressa nella teleoperazione è stata un forte predittore del successo del task, specialmente nella modalità co-localizzata. Tuttavia, l'interfaccia è stata facilmente apprendibile per i novizi con un breve tutorial (circa 15 minuti), e il tempo di addestramento era più correlato alla competenza generale di controllo che all'esposizione pregressa alla VR.

Significato e Rivendicazioni

L'articolo sostiene che il co-localizzare fisicamente lo spazio di lavoro MR migliora il modo in cui gli operatori coordinano, anche quando gli strumenti di controllo sottostanti rimangono invariati. Il valore primario della modalità co-localizzata non è un aumento della produttività bruta del task (che è stata comparabile in entrambe le modalità), ma piuttosto un miglioramento della fluidità collaborativa, della comprensione condivisa e della chiarezza dei passaggi di controllo.

Gli autori concludono che, sebbene le modalità di spazio di lavoro privato siano valide per la collaborazione distribuita, i riferimenti spaziali condivisi sono un principio di design critico per i team locali strettamente coordinati. I risultati suggeriscono che i futuri sistemi MR multi-operatore dovrebbero supportare entrambe le modalità: spazi di lavoro condivisi co-localizzati per una collaborazione locale ad alta fedeltà e spazi di lavoro privati per la partecipazione distribuita. Lo studio valida il fatto che i meccanismi di arbitraggio espliciti (lease) sono necessari per abilitare un parallelismo sicuro, ma l'allineamento fisico dello spazio di lavoro riduce significativamente il carico cognitivo richiesto per mantenere la consapevolezza reciproca.