Reconstructed Reality: Enabling Teleportation-Based Locomotion in Immersive Telepresence

Stel je voor dat je door een kamer loopt terwijl je een zware helm draagt die een live videofeed van een andere kamer laat zien, maar de video heeft een vertraging van bijna twee seconden. Elke keer als je je hoofd draait of een stap zet, loopt het beeld dat je ziet achter op je werkelijke beweging. Deze mismatch tussen wat je ogen zien en wat je binnenoor voelt voor je evenwicht is een primaire oorzaak van bewegingsziekte in virtual reality. Jarenlang was dit sensorische conflict een grote barrière voor het gebruik van robots voor taken op afstand, zoals het controleren van een oudere relatieve of het inspecteren van een verre faciliteit. Wanneer operators standaard joysticks gebruiken om deze robots te besturen, zorgt de vertraging ervoor dat navigatie traag en desoriënterend aanvoelt, wat vaak misselijkheid veroorzaakt die hen dwingt te stoppen. Onderzoekers zoeken al lang naar een manier om mensen een gevoel van aanwezigheid te geven op een afgelegen locatie zonder de fysieke tol van die vertraging.

Een team onderzoekers aan de Universiteit van Oulu heeft een methode ontwikkeld om dit probleem op te lossen door te veranderen hoe mensen zich door deze afgelegen ruimtes bewegen. In plaats van te proberen een robot continu te besturen zoals een auto, laat hun systeem de gebruiker instantan aan een nieuwe locatie te "teleporteren" binnen een digitale kaart van de afgelegen kamer. Terwijl de gebruiker zich in deze digitale ruimte beweegt, reist de eigenlijke robot zelfstandig naar die plek. Omdat de gebruiker niet toekijkt hoe de robot worstelt met de vertraging, ervaren zij niet de bewegingsziekte die normaal gesproken met de vertraging gepaard gaat. De onderzoekers testten dit idee in twee fasen, eerst met een vooraf gemaakte digitale kaart en daarna met een systeem dat de kaart in realtime opbouwt terwijl de robot beweegt. Hun bevindingen tonen aan dat deze teleporteringsmethode de ziekte aanzienlijk vermindert en mensen helpt taken sneller te voltooien, zelfs wanneer de videoverbinding traag is.

De kern van het probleem ligt in hoe het menselijk brein beweging verwerkt. Wanneer een persoon een headset draagt en een video ziet van een bewegende robot, vertellen hun ogen aan hun brein dat ze aan het reizen zijn. Echter, hun binnenoor, dat de balans controleert, merkt dat ze stilzitten. Dit tegenstrijdigheid creëert een conflict dat het brein interpreteert als een teken van vergiftiging, wat symptomen van misselijkheid en duizeligheid uitlokt. Dit probleem is bijzonder ernstig bij het gebruik van 360-graden camera's om video te streamen van een afgelegen robot, omdat de hoogwaardige video meer data vereist om te verzenden, wat de vertraging vergroot. In de beschreven experimenten werd de vertraging tussen de actie van de robot en het moment waarop de gebruiker dit op hun scherm zag, gemeten op ongeveer 1,8 seconden. Bij deze snelheid is het besturen van een robot met een joystick frustrerend en fysiek belastend, wat vaak leidt tot slechte prestaties omdat de operator moet raden waar de robot zal zijn wanneer de video eindelijk is ingehaald.

Om dit aan te pakken, introduceerden de onderzoekers een systeem genaamd VEIPE, wat staat voor Virtual Environment Interface to a Physical Environment. In deze opstelling bestuurt de gebruiker de robot niet rechtstreeks. In plaats daarvan kijken ze naar een 3D-reconstructie van de afgelegen kamer in hun headset. Deze digitale kamer is gebouwd om overeen te komen met de echte kamer. Wanneer de gebruiker wil bewegen, wijzen ze naar een plek op de vloer in de digitale kamer en klikken ze. De gebruiker verschijnt onmiddellijk op die plek in de virtuele wereld, en de robot begint daar op eigen kracht naartoe te rijden. Tijdens de tijd die de robot nodig heeft om de afstand af te leggen, ziet de gebruiker de robot in de digitale ruimte bewegen, maar omdat het lichaam van de gebruiker zelf niet beweegt, wordt het sensorische conflict geminimaliseerd. Zodra de robot arriveert, schakelt het beeld terug naar de live videofeed zodat de gebruiker de echte wereld duidelijk kan zien.

De onderzoekers testten dit concept eerst met behulp van een digitale kaart die vóór het experiment was gemaakt. Ze vroegen participanten om een robot door een kamer te navigeren om specifieke objecten te vinden, zoals controleren of een pillenpotje aanwezig was of of een vuilnisbak vol was. De helft van de participanten gebruep de traditionele joystickmethode, terwijl de andere helft de teleporteringsmethode gebruikte. De resultaten waren duidelijk: zij die de teleporteringsmethode gebruikten, rapporteerden aanzienlijk minder misselijkheid. Op een standaard schaal die wordt gebruikt om bewegingsziekte te meten, scoorde de joystickgroep veel hoger, wat duidde op ernstige ongemakken, terwijl de teleporteringsgroep bijna nul scoorde. Bovendien voltooiden de teleporteringsgroep meer navigatietaken in dezelfde hoeveelheid tijd. Ze rapporteerden ook minder mentale uitputting. De participanten gaven een overweldigende voorkeur aan de teleporteringsmethode, waarbij de meesten aangaven dat ze deze zouden kiezen als ze opnieuw een robot moesten besturen.

Om er zeker van te zijn dat deze resultaten niet slechts een toevalstreffer waren door een vooraf gemaakte kaart, voerde het team een tweede, uitdagendere studie uit. Ditmaal gebruikten ze een robot uitgerust met een speciale camera die de kamer kon scannen en de 3D-kaart kon opbouwen terwijl hij bewoog. Dit betekende dat de digitale omgeving in realtime werd gecreëerd, in plaats van een perfecte kopie die vooraf was gemaakt. De taak was complexer en vereiste dat de robot langere afstanden aflegde in een grotere ruimte om observationele controles uit te voeren, wat een real-world scenario simuleerde zoals een assistent in de ouderenzorg. De vertraging in de videostroom was in deze opstelling iets hoger, gemeten op 1,8 seconden, vanwege de hogere kwaliteit van de video en de benodigde verwerking voor de realtime kaart.

Zelfs met de toegevoegde complexiteit van een live, opbouwende kaart bleek de teleporteringsmethode superieur. Participanten die de realtime methode gebruikten, ervoeren aanzienlijk minder bewegingsziekte dan die met de joystick, hoewel de algemene ziektescores iets hoger waren dan in de eerste studie, waarschijnlijk door de langere duur van de taak. De teleporteringsgroep voltooide ook meer taken succesvol. De onderzoekers ontdekten dat de tijd die de robot nodig had om te reizen de bekwaamheid van de gebruiker om een route te plannen niet belemmerde, omdat de gebruiker de hele route in de digitale kaart kon zien en direct naar de bestemming kon springen. Dit elimineerde de frustratie van het proberen te sturen door een haperende videofeed. De subjectieve werklast, oftewel hoe hard de gebruikers vonden dat ze werkten, was ook aanzienlijk lager voor de teleporteringsgroep.

De studie onthulde echter één verrassende nuance met betrekking tot de voorkeur van de gebruiker. Hoewel de teleporteringsmethode objectief beter was voor de gezondheid en prestaties, kozen de participanten niet unaniem voor deze methode als hun favoriet. In de tweede studie gaf slechts ongeveer twee derde van de participanten de voorkeur aan de teleporteringsmethode, terwijl de rest nog steeds voor de traditionele joystick koos. De onderzoekers merkten op dat sommige gebruikers een sterker gevoel van controle ervoeren wanneer ze de robot zelf konden besturen, zelfs als dat hen ziek maakte. Eén participant gaf aan zich "ontlichamend" te voelen bij het gebruik van het teleporteringssysteem, en gaf de voorkeur aan de directe verbinding van de joystick. Dit suggereert dat hoewel de technologie het fysieke probleem van bewegingsziekte oplost, de psychologische behoefte aan directe controle een factor blijft die ontwerpers moeten overwegen.

De onderzoekers keken ook naar de gebruiksvriendelijkheid van het systeem. De teleporteringsmethode kreeg een iets hogere score op een bruikbaarheidsschaal, maar de scores waren niet overweldigend hoog. Sommige participanten vonden het frustrerend wanneer de robot een plek niet kon bereiken die ze in de digitale kaart hadden geselecteerd, zoals wanneer ze te dicht bij een muur of een object teleporteerden. Dit geeft aan dat het systeem slimmer moet zijn over welke plekken bereikbaar zijn, bijvoorbeeld door een duidelijk pad te tonen of te beperken tot veilige gebieden. Ondanks deze kleine gebruiksproblemen bevestigen de gegevens dat de methode werkt. De onderzoekers concludeerden dat het gebruik van een 3D-gereconstrueerde omgeving om een robot te teleporteren een levensvatbare en effectieve manier is om de beperkingen van verbindingen met hoge latentie te overwinnen.

Dit werk demonstreert dat de toekomst van remote robotica niet noodzakelijkerwijs afhangt van sneller internet of betere camera's om vertraging te verminderen. In plaats daarvan kan het afhangen van het veranderen van hoe mensen met de machine interageren. Door de gebruiker toe te staan de haperende reis over te slaan en onmiddellijk op de bestemming te verschijnen, verwijdert het systeem het sensorische conflict dat ziekte veroorzaakt. De studie levert sterk bewijs dat deze aanpak mensen in staat stelt om afgelegen omgevingen effectiever en comfortabeler te navigeren, zelfs wanneer de verbinding traag is. Hoewel de technologie nog niet perfect is, en sommige gebruikers nog steeds de voorkeur geven aan het gevoel van directe controle, biedt het resultaat een duidelijk pad vooruit om telepresence-systemen toegankelijk te maken voor het grote publiek. Het vermogen om een geliefde te controleren of een afgelegen locatie te inspecteren zonder je onwel te voelen, zou de manier waarop we met de wereld buiten onze directe reikwijdte omgaan, kunnen transformeren.