A Distributed Stereo Visual Feedback Framework for VR- based Telesurgical Robotic Teleoperation: Design and Latency Characterization
Questo articolo presenta e caratterizza un framework di feedback visivo stereoscopico distribuito per la teleoperazione telesurgica basata su VR, rivelando che, sebbene il ritardo di trasmissione di rete sia minimo, la maggior parte della latenza totale del sistema (circa 78 ms) deriva dalle fasi di elaborazione delle immagini e di rendering del display.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di giocare a un videogioco dove controlli un braccio robotico in una stanza dall'altra parte del mondo. Muovi la mano, il robot si muove, ma puoi vedere ciò che vede il robot solo attraverso uno schermo. Se l'immagine sullo schermo è anche solo un tantino in ritardo, il tuo cervello si confonde. È come cercare di prendere una palla indossando occhiali che mostrano la palla dove si trovava un secondo fa, non dove si trova ora. Questo è il grande problema della "teleoperazione", che è solo un modo elegante per dire il controllo di un robot da lontano.
Per far sì che questo funzioni bene, specialmente per compiti delicati come la chirurgia, servono due cose: un'immagine 3D nitida (per poter giudicare la profondità, come quanto sia lontana un ago) e la velocità (perché l'immagine si aggiorni istantaneamente). Gli scienziati chiamano questo "feedback visivo stereoscopico" e "bassa latenza". Se il ritardo è troppo lungo, l'operatore si sente goffo, il robot potrebbe scontrarsi o, in un contesto medico, potrebbe verificarsi un errore. La grande domanda che i ricercatori si pongono è: "Dove va il tempo?" È la connessione internet che rallenta le cose, o è il computer che impiega troppo tempo a elaborare l'immagine?
Questo articolo si addentra in questo mistero costruendo una speciale "macchina del tempo" per la visione robotica. I ricercatori hanno creato un sistema in cui un robot da un lato della stanza invia un feed video 3D a una persona che indossa un visore di Realtà Virtuale (VR) dall'altro lato. Non si sono limitati a misurare il tempo totale; lo hanno suddiviso in tre distinti tratti, come cronometrare una corsa a staffetta per vedere quale corridore è il più lento. Hanno scoperto che, mentre la connessione internet era incredibilmente veloce — come un treno ad alta velocità — l'elaborazione del video da parte del computer e la visualizzazione del visore VR erano i veri colli di bottiglia, agendo più come un lumaca lenta.
Gli Occhi 3D del Robot e il Visore VR
I ricercatori hanno allestito un sistema che funge da occhi remoti. Sul lato del "follower" (dove si trova il robot), c'è una speciale telecamera stereoscopica che scatta due foto contemporaneamente, proprio come fanno gli occhi umani, per creare un effetto 3D. Queste immagini vengono inviate attraverso una rete al lato "master", dove un operatore umano è in attesa. L'umano indossa un visore VR Meta Quest 3, che è come una finestra tecnologica avanzata che gli permette di sentirsi come se si trovasse proprio accanto al robot.
Il viaggio del video inizia dalla telecamera, viaggia attraverso un computer intermedio (che funge da ufficio postale che smista la posta), arriva al computer principale, viene elaborato da un motore di gioco chiamato Unity e infine appare all'interno del visore VR. Il team voleva sapere esattamente quanto tempo durasse ogni fase di questo viaggio.
La Corsa a Staffetta del Tempo
Per capire dove si nascondeva il tempo, il team ha diviso il viaggio del video in tre fasi, come una corsa a staffetta con tre corridori:
- Il Corridore della Rete: Questo è il tempo che il video impiega per viaggiare attraverso i cavi.
- Il Corridore Unity: Questo è il tempo che il computer impiega per decomporre il video e prepararlo per il visore VR.
- Il Corridore VR: Questo è il tempo che il visore impiega per mostrare effettivamente l'immagine ai tuoi occhi.
Hanno misurato prima il Corridore della Rete. Hanno inviato 10.000 fotogrammi di video e hanno scoperto che era velocissimo. Il tempo medio era di soli 5,59 ± 1,04 ms. È incredibilmente rapido! Hanno anche testato se il computer intermedio "ufficio postale" rallentasse le cose, e ha aggiunto meno di 1 millisecondo. Questo ha dimostato che la connessione internet in sé non era il problema; era la parte più veloce dell'intero sistema.
Tuttavia, quando hanno guardato il Corridore Unity, la corsa è rallentata significativamente. Il computer impiegava in media 40,06 ± 10,12 ms solo per elaborare il video e prepararlo. Questo era il pezzo più grande del ritardo. Il Corridore VR finale (il visore) impiegava altri 32,30 ± 0,09 ms per visualizzare l'immagine.
Quando si sommano tutti e tre i corridori, il tempo totale dal momento in cui la telecamera vede qualcosa al momento in cui l'essere umano la vede nel visore VR era di 77,95 ± 10,17 ms.
La Grande Sorpresa: Non è Internet!
La scoperta più importante di questo articolo è un vero colpo di scena. Molte persone assumono che, se vuoi un robot più veloce, ti basti una connessione internet più veloce. Ma questo studio ha dimostrato che, anche con una rete super veloce (la parte dei 5,59 ms), il ritardo totale era comunque di quasi 78 millisecondi. Perché? Perché l'elaborazione del video da parte del computer e la visualizzazione del visore stavano occupando la maggior parte del tempo.
È come avere una Ferrari (internet) bloccata in un ingorgo causato da un casello lento (l'elaborazione del computer) e un conducente lento (il rendering del visore). Non importa quanto sia veloce l'auto, il viaggio richiede molto tempo a causa delle soste. I ricercatori hanno scoperto che la rete era responsabile solo di una minima frazione del ritardo. Il vero "ingorgo" stava accadendo all'interno del software e dell'hardware del display.
Funziona Davvero?
Per vedere se questo sistema fosse effettivamente utile, i ricercatori hanno chiesto a quattro persone di giocare a un gioco. Il gioco era un compito di "pick-and-place" (prendi e posiziona): usare il robot per spostare piccoli blocchi da un punto a un altro. Ci hanno provato usando la vista 3D VR e senza di essa (usando un normale schermo 2D).
I risultati sono promettenti. Quando i partecipanti usavano il sistema VR, completavano il compito più velocemente (una media di 373,7 secondi con il VR rispetto a 527,2 secondi senza). Inoltre, muovevano il robot con percorsi più brevi e diretti e lasciavano cadere meno blocchi. Ogni singolo partecipante ha dichiarato che la versione VR offriva loro un migliore senso della profondità e sembrava più conveniente.
Tuttiché, gli autori avvertono che questo è stato solo un test "preliminare" con sole quattro persone. Suggerisce che il sistema funzioni bene, ma non è una prova definitiva che funzionerà per tutti in ogni situazione. Devono testarlo con più persone e in condizioni più difficili prima di dichiararlo una soluzione perfetta.
La Conclusione
Questo articolo costruisce una solida base per la futura chirurgia robotica e il lavoro remoto. Dimostra che è possibile inviare video 3D di alta qualità a un visore VR con pochissimo ritardo da parte di internet. Ma invia anche un messaggio chiaro agli ingegneri: se volete rendere questi sistemi più veloci, non comprateate solo un cavo internet più veloce. Dovete correggere il software che elabora il video e l'hardware che lo visualizza. Internet è pronto; ora devono mettersi in pari i computer e i visori.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.