Reconstructed Reality: Enabling Teleportation-Based Locomotion in Immersive Telepresence

Stellen Sie sich vor, Sie versuchen, durch einen Raum zu gehen, während Sie einen schweren Helm tragen, der Ihnen ein Live-Videosignal aus einem anderen Raum zeigt, wobei das Video jedoch um fast zwei Sekunden verzögert ist. Jedes Mal, wenn Sie den Kopf drehen oder einen Schritt machen, hinkt das Bild Ihrer tatsächlichen Bewegung hinterher. Diese Diskrepanz zwischen dem, was Ihre Augen sehen, und dem, was Ihr Innenohr für das Gleichgewicht fühlt, ist eine primäre Ursache für die Reisekrankheit in der virtuellen Realität. Jahrelang war dieser sensorische Konflikt eine große Barriere für den Einsatz von Robotern bei Fernaufgaben, wie etwa der Überprüfung eines älteren Verwandten oder der Inspektion einer entfernten Anlage. Wenn Bediener diese Roboter mit Standard-Joysticks steuern, lässt die Verzögerung die Navigation träge und desorientierend wirken, was oft Übelkeit verursacht, die sie zum Abbruch zwingt. Forscher suchen seit langem nach einem Weg, Menschen das Gefühl der Präsenz an einem entfernten Ort zu ermöglichen, ohne die körperliche Belastung durch diese Verzögerung.

Ein Forschungsteam der Universität Oulu hat eine Methode entwickelt, um dieses Problem zu lösen, indem es verändert, wie Menschen sich durch diese entfernten Räume bewegen. Anstatt zu versuchen, einen Roboter kontinuierlich wie ein Auto zu steuern, ermöglicht ihr System dem Benutzer, innerhalb einer digitalen Karte des entfernten Raums augenblicklich an einen neuen Ort zu „teleportieren“. Während der Benutzer sich in diesem digitalen Raum bewegt, fährt der eigentliche Roboter auf eigene Faust zu diesem Punkt. Da der Benutzer nicht dabei zusieht, wie der Roboter mit der Verzögerung kämpft, verspürt er nicht die Übelkeit, die normalerweise durch diesen Lag entsteht. Die Forscher testeten diese Idee in zwei Phasen: zuerst mit einer vorgefertigten digitalen Karte und dann mit einem System, das die Karte in Echtzeit erstellt, während sich der Roboter bewegt. Ihre Ergebnisse zeigen, dass diese Teleportationsmethode die Übelkeit signifikant reduziert und den Menschen hilft, Aufgaben schneller zu erledigen, selbst wenn die Videoverbindung langsam ist.

Der Kern des Problems liegt darin, wie das menschliche Gehirn Bewegungen verarbeitet. Wenn eine Person ein Headset trägt und ein Video eines sich bewegenden Roboters sieht, sagen ihre Augen ihrem Gehirn, dass sie reisen. Ihr Innenohr jedoch, das das Gleichgewicht steuert, registriert, dass sie stillsitzen. Dieser Widerspruch erzeugt einen Konflikt, den das Gehirn als Anzeichen einer Vergiftung interpretiert, was Symptome von Übelkeit und Schwindel auslöst. Dieses Problem ist besonders schwerwiegend, wenn 360-Grad-Kameras verwendet werden, um Videostreams von einem entfernten Roboter zu übertragen, da das hochwertige Video mehr Daten zum Senden benötigt, was die Verzögerung erhöht. In den beschriebenen Experimenten wurde die Verzögerung zwischen der Aktion des Roboters und dem Zeitpunkt, an dem der Benutzer sie auf seinem Bildschirm sah, mit etwa 1,8 Sekunden gemessen. Bei dieser Geschwindigkeit ist der Versuch, einen Roboter mit einem Joystick zu steuern, frustrierend und körperlich anstrengend, was oft zu einer schlechten Leistung führt, da der Bediener versuchen muss zu erraten, wo sich der Roboter befinden wird, wenn das Video schließlich aufgeholt hat.

Um dies zu adressieren, führten die Forscher ein System namens VEIPE ein, was für Virtual Environment Interface to a Physical Environment steht. In diesem Setup steuert der Benutzer den Roboter nicht direkt. Stattdessen blickt der Benutzer in eine 3D-Rekonstruktion des entfernten Raums innerhalb seines Headsets. Dieser digitale Raum wird so gebaut, dass er dem realen Raum entspricht. Wenn der Benutzer sich bewegen möchte, zeigt er auf einen Punkt auf dem Boden im digitalen Raum und klickt. Der Benutzer erscheint augenblicklich an diesem Punkt in der virtuellen Welt, und der Roboter beginnt, von selbst dorthin zu fahren. Während der Zeit, die der Roboter für die Strecke benötigt, sieht der Benutzer den Roboter im digitalen Raum agieren, aber da der Körper des Benutzers selbst nicht in Bewegung ist, wird der sensorische Konflikt minimiert. Sobald der Roboter angekommen ist, wechselt die Ansicht zurück zum Live-Video-Feed, damit der Benutzer die reale Welt klar sehen kann.

Die Forscher testeten dieses Konzept zunächst mithilfe einer digitalen Karte, die vor Beginn des Experiments erstellt worden war. Sie ließen Teilnehmer einen Roboter durch einen Raum navigieren, um bestimmte Objekte zu finden, wie etwa zu prüfen, ob eine Pillendose vorhanden oder ob ein Mülleimer voll sei. Die Hälfte der Teilnehmer nutzte die traditionelle Joystick-Methode, während die andere Hälfte das Teleportationssystem verwendete. Die Ergebnisse waren eindeutig: Diejenigen, die die Teleportationsmethode nutzten, berichteten über signifikant weniger Übelkeit. Auf einer Standardskala zur Messung der Reisekrankheit erzielte die Joystick-Gruppe deutlich höhere Werte, was auf starke Beschwerden hindeutete, während die Teleportationsgruppe Werte nahe Null erreichte. Darüber hinaus absolvierten die Teilnehmer der Teleportationsgruppe mehr Navigationsaufgaben in der gleichen Zeit. Sie berichteten auch von geringerer mentaler Erschöpfung. Die Teilnehmer bevorzugten die Teleportationsmethode überwältigend und gaben an, dass sie diese wählen würden, falls sie erneut einen Roboter steuern müssten.

Um sicherzustellen, dass diese Ergebnisse nicht nur ein Zufall einer vorgefertigten Karte waren, führten die Forscher eine zweite, anspruchsvollere Studie durch. Dieses Mal verwendeten sie einen Roboter, der mit einer speziellen Kamera ausgestattet war, die den Raum scannen und die 3D-Karte erstellen konnte, während er sich bewegte. Dies bedeutete, dass die digitale Umgebung in Echtzeit erstellt wurde, anstatt eine perfekte Kopie im Voraus zu sein. Die Aufgabe war komplexer und erforderte, dass der Roboter längere Strecken in einem größeren Raum zurücklegte, um Beobachtungsprüfungen durchzuführen, was eine reale Anwendung wie die eines Assistenten in der Altenpflege simulierte. Die Verzögerung im Videostream war in diesem Aufbau aufgrund der höheren Videoqualität und des für die Echtzeit-Kartierung erforderlichen Prozesses etwas höher und wurde mit 1,8 Sekunden gemessen.

Selbst mit der zusätzlichen Komplexität einer live erstellten Karte erwies sich die Teleportationsmethode als überlegen. Teilnehmer, die das Echtzeit-System nutzten, erlebten signifikant weniger Reisekrankheit als die Joystick-Nutzer, obwohl die Übelkeitswerte insgesamt etwas höher waren als in der ersten Studie, was wahrscheinlich auf die längere Dauer der Aufgabe zurückzuführen ist. Die Teleportationsgruppe schloss auch mehr Aufgaben erfolgreich ab. Die Forscher fanden heraus, dass die Zeit, die der Roboter zum Fahren benötigte, die Fähigkeit des Benutzers, seine Route zu planen, nicht einschränkte, da der Benutzer den gesamten Pfad in der digitalen Karte sehen und sofort zum Ziel springen konnte. Dies eliminierte die Frustration, durch einen verzögerten Video-Feed steuern zu müssen. Die subjektive Arbeitsbelastung, also wie hart die Nutzer das Gefühl hatten zu arbeiten, war für die Teleportationsgruppe ebenfalls signifikant niedriger.

Dennoch offenbarte die Studie eine überraschende Nuance hinsichtlich der Benutzerpräferenz. Obwohl die Teleportationsmethode objektiv besser für die Gesundheit und die Leistung war, wählten die Teilnehmer sie nicht einstimmig als ihre bevorzugte Methode. In der zweiten Studie bevorzugten nur etwa zwei Drittel der Teilnehmer die Teleportationsmethode, während der Rest weiterhin den traditionellen Joystick wählte. Die Forscher stellten fest, dass einige Nutzer ein stärkeres Gefühl der Kontrolle hatten, wenn sie den Roboter selbst steuern konnten, selbst wenn dies sie krank machte. Ein Teilnehmer äußerte, er fühle sich bei der Nutzung des Teleportationssystems „entkoppelt“ (disembodied) und bevorzuge die direkte Verbindung des Joysticks. Dies deutet darauf hin, dass das System zwar das physische Problem der Reisekrankheit löst, das psychologische Bedürfnis nach direkter Kontrolle jedoch ein Faktor bleibt, den Designer berücksichtigen müssen.

Die Forscher untersuchten auch die Benutzerfreundlichkeit des Systems. Die Teleportationsmethode erhielt eine etwas höhere Bewertung auf einer Skala zur Benutzerfreundlichkeit, aber die Werte waren nicht überwältigend hoch. Einige Teilnehmer empfanden es als frustrierend, wenn der Roboter einen Punkt, den sie in der digitalen Karte ausgewählt hatten, nicht erreichen konnte, beispielsweise wenn sie zu nah an eine Wand oder ein Objekt teleportierten. Dies deutet darauf hin, dass das System intelligenter darüber entscheiden muss, welche Punkte erreichbar sind, etwa indem es einen klaren Pfad anzeigt oder die Teleportation auf sichere Bereiche beschränkt. Trotz dieser geringfügigen Usability-Probleme bestätigen die Daten, dass die Methode funktioniert. Die Forscher kamen zu dem Schluss, dass die Nutzung einer 3D-rekonstruierten Umgebung zur Steuerung eines Roboters per Teleportation eine praktikable und effektive Methode ist, um die Einschränkungen durch hochlatenzbasierte Verbindungen zu überwinden.

Diese Arbeit zeigt, dass die Zukunft der Fernrobotik nicht zwangsläufig von schnellerem Internet oder besseren Kameras abhängt, um die Verzögerung zu verringern. Stattdessen könnte sie davon abhängen, wie Menschen mit der Maschine interagieren. Indem man dem Benutzer erlaubt, die verzögerten Wege zu überspringen und augenblicklich am Ziel zu erscheinen, eliminiert das System den sensorischen Konflikt, der Übelkeit verursacht. Die Studie liefert starke Beweise dafür, dass dieser Ansatz es Menschen ermöglicht, entfernte Umgebungen effektiver und komfortabler zu navigieren, selbst wenn die Verbindung langsam ist. Während die Technologie noch nicht perfekt ist und manche Nutzer immer noch das Gefühl der direkten Kontrolle bevorzugen, bietet das Ergebnis einen klaren Weg nach vorn, um Telepräsenz-Systeme für die breite Öffentlichkeit nutzbar zu machen. Die Fähigkeit, einen geliebten Menschen zu besuchen oder einen entfernten Ort zu inspizieren, ohne sich unwohl zu fühlen, könnte die Art und Weise, wie wir mit der Welt jenseits unserer unmittelbaren Reichweite interagieren, transformieren.