A Distributed Stereo Visual Feedback Framework for VR- based Telesurgical Robotic Teleoperation: Design and Latency Characterization
Dit artikel presenteert en karakteriseert een gedistribueerd stereoscopisch visueel feedbackframework voor VR-gebaseerde telesurgetische teleoperatie, waarbij wordt onthuld dat hoewel de netwerktransmissievertraging minimaal is, het grootste deel van de totale systeemlatentie (ongeveer 78 ms) voortkomt uit de beeldverwerkings- en weergavefases.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een videogame probeert te spelen waarbij je een robotarm bestuurt in een kamer aan de andere kant van de wereld. Je beweegt je hand en de robot beweegt mee, maar je kunt alleen zien wat de robot ziet via een scherm. Als het beeld op het scherm zelfs maar een klein beetje achterloopt, raakt je brein in de war. Het is alsof je probeert een bal te vangen terwijl je een bril draagt die laat zien waar de bal een seconde geleden was, en niet waar hij nu is. Dit is het grote probleem bij "teleoperatie", wat gewoon een deftig woord is voor het op afstand besturen van een robot.
Om dit goed te laten werken, vooral bij delicate taken zoals chirurgie, heb je twee dingen nodig: een helder, 3D-beeld (zodat je diepte kunt inschatten, zoals hoe ver een naald verwijderd is) en snelheid (zodat het beeld direct wordt bijgewerkt). Wetenschappers noemen dit "stereo visuele feedback" en "lage latentie". Als de vertraging te lang is, voelt de operator onhandig, kan de robot botsen, of kan er in een medische setting een fout worden gemaakt. De grote vraag die onderzoekers stellen is: "Waar blijft de tijd?" Is het de internetverbinding die de boel vertraagt, of doet de computer er te lang over om het beeld te verwerken?
Dit artikel duikt in dit mysterie door een speciale "tijdmachine" voor robotvisie te bouwen. De onderzoekers hebben een systeem gecreëerd waarbij een robot aan de ene kant van de kamer een 3D-videofeed naar een persoon stuurt die een Virtual Reality (VR)-headset draagt aan de andere kant. Ze hebben niet alleen de totale tijd gemeten; ze hebben de reis opgedeeld in drie afzonderlijke etappes, zoals het timen van een estafette om te zien welke loper de traagste is. Ze ontdekten dat terwijl de internetverbinding ongelooflijk snel was — als een hogesnelheidstrein — de computerverwerking van de video en de VR-headset die het beeld toont, de echte knelpunten waren, die meer als een langzame slak fungeerden.
De 3D-ogen van de robot en de VR-headset
De onderzoekers hebben een systeem opgezet dat werkt als een afgelegen paar ogen. Aan de "volgende" kant (waar de robot staat), bevindt zich een speciale stereocamera die tegelijkertijd twee foto's maakt, net zoals menselijke ogen doen, om een 3D-effect te creëren. Deze beelden worden via een netwerk verzonden naar de "meester"-kant, waar een menselijke operator wacht. De mens draagt een Meta Quest 3 VR-headset, wat een high-tech venster is dat de gebruiker het gevoel geeft alsof hij vlak naast de robot staat.
De reis van de video begint bij de camera, reist door een tussenliggende computer (die fungeert als een postkantoor dat de post sorteert), komt aan bij de hoofdcomputer, wordt verwerkt door een game-engine genaamd Unity, en verschijnt uiteindelijk in de VR-headset. Het team wilde precies weten hoe lang elke stap van deze reis duurde.
De estafette van de tijd
Om te achterhalen waar de tijd verborgen was, heeft het team de reis van de video opgesplitst in drie fasen, zoals een estafette met drie lopers:
- De Netwerk-loper: Dit is de tijd die het kost om de video over de draden te sturen.
- De Unity-loper: Dit is de tijd die de computer nodig heeft om de video uit te pakken en klaar te zetten voor de VR-headset.
- De VR-loper: Dit is de tijd die de headset nodig heeft om het beeld daadwerkelijk aan je ogen te tonen.
Ze hebben eerst de Netwerk-loper gemeten. Ze stuurden 10.000 videoframes en ontdekten dat dit razendsnel was. De gemiddelde tijd was slechts 5,59 ± 1,04 ms. Dat is ongelooflijk snel! Ze testten zelfs of de tussenliggende "postkantoor"-computer de boel vertraagde, en die voegde minder dan 1 milliseconde toe. Dit bewees dat de internetverbinding zelf niet het probleem was; het was het snelste deel van het hele systeem.
Echter, toen ze naar de Unity-loper keken, vertraagde de race aanzienlijk. De computer had gemiddeld 40,06 ± 10,12 ms nodig om de video alleen al te verwerken en klaar te maken. Dit was de grootste brok van de vertraging. De laatste VR-loper (de headset) had nog eens 32,30 ± 0,09 ms nodig om het beeld weer te geven.
Wanneer je alle drie de lopers bij elkaar optelt, was de totale tijd van het moment dat de camera iets ziet tot het moment dat de mens het in de VR-headset ziet, 77,95 ± 10,17 ms.
De grote verrassing: Het is niet het internet!
De belangrijkste ontdekking in dit artikel is een beetje een plotwending. Veel mensen gaan ervan uit dat als je een snellere robot wilt, je alleen maar een snellere internetverbinding nodig hebt. Maar deze studie liet zien dat zelfs met een super-snel netwerk (het deel van 5,59 ms), de totale vertraging nog steeds bijna 78 milliseconden was. Waarom? Omdat de computerverwerking van de video en het tonen van het beeld door de headset het meeste van de tijd in beslag namen.
Het is alsof je een Ferrari (het internet) hebt die vaststaat in een file veroorzaakt door een trage tolpoortje (de computerverwerking) en een trage bestuurder (het renderen door de headset). Hoe snel de auto ook is, de rit duurt lang vanwege de stops. De onderzoekers ontdekten dat het netwerk slechts verantwoordelijk was voor een minuscuul fractie van de vertraging. De echte "file" vond plaats binnen de software en de displayhardware.
Werkt het eigenlijk?
Om te zien of dit systeem daadwerkelijk nuttig was, lieten de onderzoekers vier mensen een spelletje spelen. Het spel was een "pick-and-place" taak: het gebruiken van de robot om kleine blokjes van de ene plek naar de andere te verplaatsen. Ze probeerden dit zowel met de VR 3D-weergave als zonder (met een normaal 2D-scherm).
De resultaten waren veelbelovend. Wanneer de deelnemers het VR-systeem gebruikten, voltooiden ze de taak sneller (gemiddeld 373,7 seconden met VR versus 527,2 seconden zonder). Ze bewogen de robot ook in kortere, directere paden en lieten minder blokjes vallen. Elke deelnemer gaf aan dat de VR-versie hen een beter gevoel van diepte gaf en gemakkelijker aanvoelde.
De auteurs zijn echter voorzichtig en zeggen dat dit slechts een "voorlopige" test was met slechts vier mensen. Het suggereert dat het systeem goed werkt, maar het is geen definitief bewijs dat het voor iedereen in elke situatie zal werken. Ze moeten het met meer mensen en onder moeilijkere omstandigheden testen voordat ze het als een perfecte oplossing kunnen verklaren.
De kernboodschap
Dit artikel legt een solide fundament voor toekomstige robotchirurgie en remote werk. Het bewijst dat je hoogwaardige 3D-video naar een VR-headset kunt sturen met zeer weinig vertraging vanuit het internet. Maar het zendt ook een duidelijke boodschap naar ingenieurs: als je deze systemen sneller wilt maken, koop dan niet alleen een snellere internetkabel. Je moet de software die de video verwerkt en de hardware die het beeld weergeeft verbeteren. Het internet is er klaar voor; nu moeten de computers en headsets dat ook worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.