A 3DGS-Driven Dynamic Viewpoint and Vibrotactile Framework for Subsea Teleoperation Validated via fNIRS

Immagina di cercare di guidare un'auto attraverso un labirinto fatto di enormi tubi nebbiosi, ma di poter vedere solo un piccolo e tremolante quadrato della strada direttamente davanti al tuo paraurti. Ora, immagina che ogni volta che giri il volante, l'auto non si muova per un intero secondo. Questo è lo scenario da incubo per gli operatori di robot subacquei, noti come ROV (Remotely Operated Vehicles). Queste macchine sono i subacquei delle profondità, inviati per ispezionare navi affondate, piattaforme petrolifere e tunnel allagati dove gli esseri umani non possono andare. Ma controllarli è incredibilmente difficile. L'acqua è spesso torbida, gli spazi sono stretti e il segnale dalla superficie impiega molto tempo per viaggiare. Questo crea un "collo di bottiglia percettivo": il cervello umano deve indovinare dove si trova il robot e cosa c'è intorno a lui, portando a esaurimento mentale ed errori. Gli scienziati hanno a lungo cercato di risolvere il problema fornendo agli operatori telecamere migliori o tute vibranti, ma non sono stati sicuri di quale metodo effettivamente impedisca al cervello umano di andare in crash sotto la pressione.

Questo articolo approfondisce esattamente questo problema, testando un nuovo modo per aiutare gli esseri umani a controllare questi robot subacquei. I ricercatori hanno costruito un sistema che combina due trucchi: un "occhio magico" che trova automaticamente l'angolo migliore per vedere il robot e un "gilet vibrante" che emette vibrazioni quando il robot si avvicina troppo a una parete. Hanno testato questa configurazione in un labirinto subacqueo simulato con 30 volontari, introducendo ritardi nel segnale di controllo che variavano da zero secondi fino a un intero secondo. Non si sono limitati a osservare quanto bene si muovessero i robot; hanno anche allacciato i volontari a un elmetto speciale che misurava il flusso sanguigno nei loro cervelli per vedere quanto duramente stessero lavorando le loro menti.

I risultati sono stati sorprendenti. Quando il segnale era veloce, il gilet vibrante era eccellente nel mantenere il robot su una traiettoria rettilinea, come una leggera spinta da parte di un amico. Ma quando il segnale era lento (0,5 - 1,0 secondi), il sistema dell' "occhio magico" ha vinto a mani basse. Questo sistema utilizzava una tecnologia all'avanguardia chiamata 3D Gaussian Splatting per costruire un modello 3D in tempo reale del mondo subacqueo e poi muoveva automaticamente una telecamera virtuale per mostrare all'operatore una vista chiara in terza persona, anche se il robot si nascondeva dietro un tubo. Lo studio ha scoperto che questa vista proattiva ha impedito al cervello dell'operatore di "staccare la spina". Infatti, quando il ritardo era elevato, gli operatori che usavano la visuale della telecamera standard mostravano segni di disimpegno cognitivo: i loro cervelli avevano essenzialmente rinunciato a tenere traccia dello spazio. Il nuovo sistema, invece, manteneva i loro cervelli attivi e in controllo, permettendo loro di navigare in sicurezza anche quando il segnale era in ritardo.

Il Problee: Guidare alla Cieca in un Tubo Nebbioso

Controllare un robot sott'acqua è come cercare di infilare un ago con i guantoni da boxe e guardando attraverso una cannuccia. L'operatore siede su una nave o su un molo, guardando uno schermo che mostra ciò che vede la telecamera del robot. Ma quella telecamera è bloccata sul naso del robot. Se il robot si trova in un tunnel stretto, l'operatore non può vedere le pareti finché non è proprio accanto a loro. Per peggiorare le cose, le onde sonore viaggiano lentamente attraverso l'acqua, quindi c'è spesso un ritardo tra quando l'operatore preme un pulsante e quando il robot si muove effettivamente. Se il ritardo è di 1,0 secondo, l'operatore sta essenzialmente guidando un'auto dove il volante e i freni sono scollegati di un intero secondo.

In queste situazioni, il cervello umano deve fare molto lavoro pesante. Deve immaginare la forma 3D del tunnel, indovinare dove si trova il robot e prevedere dove sarà tra un secondo. Questo è chiamato "rotazione mentale", ed è estenuante. Quando il ritardo diventa troppo lungo, il cervello può essere sopraffatto. I ricercatori sospettavano che se avessero potuto scaricare parte di questo lavoro mentale su un computer, l'operatore avrebbe potuto rimanere calmo e concentrato più a lungo.

La Soluzione: Una Telecamera Magica e un Gilet Vibrante

Il team ha creato un nuovo sistema per aiutare l'operatore, costruito su un framework che collega un sistema di controllo del robot (ROS) con un motore di gioco (Unity). Hanno diviso il lavoro in due parti: una per pianificare in anticipo e una per reagire rapidamente.

1. La Telecamera Magica (DAVS):
Inveve di mostrare solo la visuale della telecamera frontale del robot, il sistema costruisce una mappa 3D dal vivo del mondo subacqueo utilizzando una tecnologia chiamata 3D Gaussian Splatting. Immaginatelo come una nuvola di milioni di minuscoli, colorati e luminosi punti che rappresentano le pareti, i tubi e il robot stesso. Poiché il computer possiede questa mappa 3D, può generare istantaneamente una nuova visuale da qualsiasi angolazione. Il sistema utilizza un "Sistema di Visuale Adattivo Dinamico" (DAVS) per calcolare costantemente il posto migliore in cui posizionare una telecamera virtuale. Cerca un punto in cui il robot sia visibile e il percorso davanti sia libero, poi renderizza quella visuale per l'operatore. È come avere un drone che vola automaticamente attorno al robot per mostrarti l'angolo migliore, ma accade istantaneamente sul tuo schermo.

2. Il Gilet Vibrante (Haptics):
Mentre la telecamera magica ti aiuta a pianificare il percorso, la seconda parte ti aiuta a reagire. L'operatore indossa un gilet con piccoli motori (vibratori) sul torso. Se il robot si avvicina troppo a una parete sulla sinistra, il lato sinistro del gilet vibra. Se è vicino a destra, il lato destro vibra. Questo dà all'operatore un "sesto senso" per il pericolo immediato senza dover distogliere lo sguardo dallo schermo.

L'Esperimento: Testare il Cervello e il Robot

Per vedere se questo nuovo sistema funzionasse davvero, i ricercatori hanno allestito un esperimento controllato. Hanno invitato 30 persone a giocare a un videogioco in cui dovevano pilotare un BlueROV2 simulato attraverso una complessa struttura industriale allagata, piena di tubi e passaggi stretti.

Hanno testato tre modi diversi per controllare il robot:

1. Egocentrico (Il Baseline): Solo la visuale standard della telecamera dal naso del robot.
2. Tattile (Il Reattivo): La visuale standard più il gilet vibrante.
3. Esocentrico (Il Proattivo): La visuale della telecamera 3D magica (DAVS) senza il gilet vibrante.

Hanno anche introdotto quattro diversi livelli di "lag" o ritardo nel segnale di controllo: 0,0 secondi (istantaneo), 0,2 secondi, 0,5 secondi e un intero secondo (1,0).

Mentre i partecipanti giocavano, indossavano un cappello speciale che utilizzava la luce per misurare il flusso sanguigno nella corteccia prefrontale — la parte del cervello responsabile della pianificazione, del processo decisionale e della memoria di lavoro. Ciò ha permesso ai ricercatori di vedere esattamente quanto fosse impegnato il cervello, piuttosto che limitarsi a chiedere ai partecipanti quanto si sentissero stanchi.

Le Conclusioni: Quando il Cervello si Arrende

I risultati hanno rivelato un modello chiaro a seconda della velocità del segnale.

Quando il segnale era veloce (0,0 a 0,2 secondi):
Il gilet vibrante era il vincitore. Poiché il robot si muoveva quasi istantaneamente, gli operatori potevano usare le vibrazioni per fare piccoli e precisi aggiustamenti. Mantenevano la traiettoria perfetta meglio con gli altri metodi. La telecamera magica non offriva grandi vantaggi qui perché la visuale standard era già sufficiente.

Quando il segnale era lento (0,5 a 1,0 secondi):
La telecamera magica prendeva il sopravvento. Con un ritardo di 0,5 secondi, la visuale standard iniziava a fallire. Gli operatori commettevano più errori e si scontravano più spesso. Ma il risultato più interessante è arrivato dalle scansioni cerebrali. Quando utilizzavano la visuale standard con un ritardo di 0,5 secondi, il flusso sanguigno nella corteccia prefrontale diminuiva. I ricercatori chiamano questo "disimpegno cognitivo". Significa che il ritardo era così confusionario che i cervelli degli operatori smettevano di cercare di costruire una mappa mentale dello spazio; essenzialmente si arrendevano, portando a prestazioni scarse.

Al contrario, gli operatori che usavano la telecamera 3D magica mantenevano i loro cervelli pienamente attivi. La visuale chiara in terza persona li aiutava a mantenere la loro mappa mentale dell'ambiente, anche con il ritardo. I loro cervelli mostravano un'alta attività nei centri di pianificazione, e navigavano il labirinto molto più velocemente e in modo più sicuro rispetto agli altri. Al ritardo estremo di 1,0 secondo, la telecamera magica era l'unico sistema che permetteva agli operatori di completare il compito significativamente più velocemente e con meno collisioni rispetto agli altri due metodi.

Cosa Significa Questo

Lo studio suggerisce che per i robot subacquei, il tipo di aiuto di cui hai bisogno cambia a seconda di quanto è veloce la connessione. Se la connessione è istantanea, le semplici vibrazioni sono ottime per mantenere il robot sulla traccia. Ma se la connessione è lenta e con ritardo, hai bisogno di un sistema che ti dia un'immagine globale chiara del mondo.

La scoperta più importante è che una buona interfaccia non rende solo il robot più facile da muovere; impedisce al cervello dell'operatore umano di spegnersi. Usando la telecamera magica 3D per gestire il lavoro difficile di capire "dove sono?" e "cosa c'è intorno a me?", il sistema libera il cervello dell'operatore per concentrarsi sul compito effettivo. Questo potrebbe cambiare le regole del gioco per l'ispezione delle infrastrutture subacquee, dove i ritardi sono comuni e gli errori possono essere costosi. Sebbene il sistema sia stato testato in una simulazione e non ancora nell'oceano reale, i risultati mostrano una strada promettente per rendere i robot subacquei più facili e sicuri da controllare per gli esseri umani.