A Distributed Stereo Visual Feedback Framework for VR- based Telesurgical Robotic Teleoperation: Design and Latency Characterization
Diese Arbeit präsentiert und charakterisiert ein verteiltes stereoskopisches visuelles Feedback-Framework für die VR-basierte telesurgische Teleoperation und zeigt auf, dass die Netzwerkübertragungslatenz minimal ist, während der Großteil der gesamten Systemlatenz (ca. 78 ms) aus den Bildverarbeitungs- und Display-Rendering-Stufen resultiert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen ein Videospiel zu spielen, bei dem Sie einen Roboterarm steuern, der sich in einem Raum am anderen Ende der Welt befindet. Sie bewegen Ihre Hand, und der Roboter bewegt sich, aber Sie können nur sehen, was der Roboter sieht, und zwar durch einen Bildschirm. Wenn das Bild auf dem Bildschirm auch nur ein winziges bisschen zu spät kommt, wird Ihr Gehirn verwirrt. Es ist, als würde man versuchen, einen Ball zu fangen, während man eine Brille trägt, die zeigt, wo der Ball vor einer Sekunde war, nicht wo er jetzt ist. Das ist das große Problem in der „Teleoperation“, was nur ein schickes Wort dafür ist, einen Roboter aus der Ferne zu steuern.
Um dies gut zum Laufen zu bringen, besonders bei empfindlichen Aufgaben wie Operationen, benötigt man zwei Dinge: ein klares, 3D-Bild (damit man die Tiefe einschätzen kann, also wie weit entfernt eine Nadel ist) und Geschwindigkeit (damit das Bild sofort aktualisiert wird). Wissenschaftler nennen das „stereoskopisches visuelles Feedback“ und „niedrige Latenz“. Wenn die Verzögerung zu groß ist, fühlt sich der Bediener unbeholfen, der Roboter könnte zusammenstoßen oder es könnte in einem medizinischen Umfeld zu einem Fehler kommen. Die große Frage, die Forscher stellen, lautet: „Wo bleibt die Zeit?“ Liegt es an der Internetverbindung, die alles verlangsamt, oder braucht der Computer zu lange, um das Bild zu verarbeiten?
Diese Arbeit taucht in dieses Rätsel ein, indem sie eine spezielle „Zeitmaschine“ für die Roboter-Vision baut. Die Forscher entwickelten ein System, bei dem ein Roboter auf der einen Seite des Raumes einen 3D-Video-Feed an eine Person sendet, die auf der anderen Seite ein Virtual-Reality-Headset (VR) trägt. Sie haben nicht nur die Gesamtzeit gemessen; sie haben die Reise in drei verschiedene Etappen unterteilt, so wie man eine Staffel läuft, um zu sehen, welcher Läufer der langsamste ist. Sie fanden heraus, dass die Internetverbindung unglaublich schnell war – wie ein Hochgeschwindigkeitszug – aber die Computerverarbeitung des Videos und das VR-Headset, das es anzeigt, die eigentlichen Engpässe waren, die eher wie eine langsam kriechende Schnecke agierten.
Die 3D-Augen des Roboters und das VR-Headset
Die Forscher richteten ein System ein, das wie ein Paar ferngesteuerter Augen fungiert. Auf der „Follower“-Seite (wo sich der Roboter befindet) gibt es eine spezielle Stereo-Kamera, die zwei Bilder gleichzeitig aufnimmt, genau wie menschliche Augen, um einen 3D-Effekt zu erzeugen. Diese Bilder werden über ein Netzwerk an die „Master“-Seite gesendet, wo ein menschlicher Operator wartet. Der Mensch trägt ein Meta Quest 3 VR-Headset, das wie ein hochtechnologisches Fenster ist, das ihm das Gefühl gibt, direkt neben dem Roboter zu stehen.
Die Reise des Videos beginnt bei der Kamera, reist durch einen mittleren Computer (der wie ein Postamt fungiert, das die Post sortiert), kommt am Hauptcomputer an, wird von der Game-Engine namens Unity verarbeitet und erscheint schließlich im VR-Headset. Das Team wollte genau wissen, wie lange jeder Schritt dieser Reise dauerte.
Das Zeit-Staffellauf
Um herauszufinden, wo die Zeit sich versteckte, unterteilte das Team die Reise des Videos in drei Phasen, wie ein Staffellauf mit drei Läufern:
- Der Netzwerk-Läufer: Dies ist die Zeit, die das Video benötigt, um über die Leitungen zu reisen.
- Der Unity-Läufer: Dies ist die Zeit, die der Computer benötigt, um das Video zu entpacken und für das VR-Headset vorzubereiten.
- Der VR-Läufer: Dies ist die Zeit, die das Headset benötigt, um das Bild tatsächlich Ihren Augen zu zeigen.
Sie massen zuerst den Netzwerk-Läufer. Sie schickten 10.000 Videoframes und fanden heraus, dass er blitzschnell war. Die durchschnittliche Zeit betrug nur 5,59 ± 1,04 ms. Das ist unglaublich schnell! Sie testeten sogar, ob der mittlere „Postamt“-Computer die Dinge verlangsamte, und dieser fügte weniger als 1 Millisekunde hinzu. Dies bewies, dass die Internetverbindung selbst nicht das Problem war; sie war der schnellste Teil des gesamten Systems.
Als sie jedoch den Unity-Läufer betrachteten, verlangsamte sich das Rennen erheblich. Der Computer benötigte durchschnittlich 40,06 ± 10,12 ms, nur um das Video zu verarbeiten und es für das VR-Headset vorzubereiten. Dies war der größte Teil der Verzögerung. Der abschließende VR-Läufer (das Headset) benötigte weitere 32,30 ± 0,09 ms, um das Bild anzuzeigen.
Wenn man alle drei Läufer zusammenzählt, betrug die Gesamtzeit von dem Moment, in dem die Kamera etwas sieht, bis zu dem Moment, in dem der Mensch es im VR-Headset sieht, 77,95 ± 10,17 ms.
Die große Überraschung: Es ist nicht das Internet!
Die wichtigste Entdeckung in dieser Arbeit ist ein kleiner Plot-Twist. Viele Menschen nehmen an, dass man nur eine schnellere Internetverbindung braucht, wenn man einen schnelleren Roboter möchte. Aber diese Studie zeigte, dass das Gesamtsystem selbst mit einem superschnellen Netzwerk (dem 5,59 ms-Teil) immer noch fast 78 Millisekunden Verzögerung hatte. Warum? Weil die Computerverarbeitung des Videos und das Anzeigen durch das Headset den Großteil der Zeit beanspruchten.
Es ist, als hätte man einen Ferrari (das Internet), der in einem Stau steht, der durch eine langsame Mautstelle (die Computerverarbeitung) und einen langsamen Fahrer (das Rendern des Headsets) verursacht wird. Egal wie schnell das Auto ist, die Fahrt dauert lange, weil es die Stopps gibt. Die Forscher fanden heraus, dass das Netzwerk nur einen winzigen Bruchteil der Verzögerung verantwortlich war. Der wahre „Stau“ ereignete sich innerhalb der Software und der Display-Hardware.
Funktioniert es tatsächlich?
Um zu sehen, ob dieses System tatsächlich nützlich war, baten die Forscher vier Personen, ein Spiel zu spielen. Das Spiel war eine „Pick-and-Place“-Aufgabe: mit dem Roboter kleine Blöcke von einem Ort zum anderen zu bewegen. Sie versuchten dies mit der VR-3D-Ansicht und ohne sie (unter Verwendung eines normalen 2D-Bildschirms).
Die Ergebnisse waren vielversprechend. Wenn die Teilnehmer das VR-System verwendeten, beendeten sie die Aufgabe schneller (im Durchschnitt 373,7 Sekunden mit VR gegenüber 527,2 Sekunden ohne VR). Sie bewegten den Roboter auch auf kürzeren, direkteren Pfaden und ließen weniger Blöcke fallen. Jeder einzelne Teilnehmer sagte, dass die VR-Version ihnen ein besseres Tiefengefühl vermittelte und sich komfortabler anfühlte.
Die Autoren sind jedoch vorsichtig zu sagen, dass dies nur ein „vorläufiger“ Test mit nur vier Personen war. Es deutet darauf hin, dass das System gut funktioniert, ist aber kein endgültiger Beweis dafür, dass es für jeden in jeder Situation funktionieren wird. Sie müssen es mit mehr Menschen und unter schwierigeren Bedingungen testen, bevor sie es als perfekte Lösung deklarieren können.
Das Fazit
Diese Arbeit legt ein solides Fundament für die zukünftige Roboterchirurgie und Fernarbeit. Sie beweist, dass man ein hochwertiges 3D-Video mit sehr geringer Verzögerung durch das Internet an ein VR-Headset senden kann. Aber sie sendet auch eine klare Botschaft an Ingenieure: Wenn Sie diese Systeme schneller machen wollen, kaufen Sie nicht einfach ein schnelleres Internetkabel. Sie müssen die Software verbessern, die das Video verarbeitet, und die Hardware, die es anzeigt. Das Internet ist bereit; jetzt müssen die Computer und Headsets nachziehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.