Technische Samenvatting: Gebruikersevaluatie van Telepresence via een Virtual Environment Enhanced VR Framework met Real-World Beperkingen

Probleemstelling

De integratie van Virtual Reality (VR) en robotica voor telepresence en teleoperatie biedt aanzienlijk potentieel voor toepassingen variërend van gevaarlijke exploratie tot zoek- en reddingsacties. Bestaande oplossingen leunen echter vaak op dure, ontoegankelijke hardware (bijv. hoogwaardige 360-graden camera's, geavanceerde haptische apparaten) of kampen met kritieke bruikbaarheidsproblemen. Specifiek kan de directe mapping van camerabeelden naar een Head-Mounted Display (HMD) simulatorziekte induceren door latentie, mismatch in framerate of vertraging. Bovelijk falen traditionele besturingsschema's die gebruikmaken van toetsenborden, muizen of joysticks vaak in het bieden van natuurlijke lokomotie, wat leidt tot desoriëntatie van de gebruiker en verminderde immersie. Gebruikers missen de vestibulaire en proprioceptieve cues die gepaard gaan met het fysiek draaien om achterom te kijken, welke essentieel zijn voor een sterk gevoel van ruimtelijke aanwezigheid. Daarnaast verergotten beperkte gezichtsvelden (FOV) in traditionele opstellingen de desoriëntatie. De uitdaging is om een telepresence-oplossing te ontwikkelen die gebruikmaakt van standaard, betaalbare industriële hardware, terwijl een nauwkeurige, immersieve besturing behouden blijft en simulatorziekte wordt geminimaliseerd.

Methodologie

Deze studie stelde een teleoperatie-framework voor dat een robot, een virtuele omgeving (VE) en VR-apparatuur integreert om de echte wereld na te bootsen terwijl hardwarebeperkingen worden verzacht.

• Hardwareconfiguratie: Het systeem maakte gebruik van een ROSBot 2R robot gekoppeld aan een virtuele machine die ROS 2 (Ubuntu-Humble) draait. De robot was uitgerust met een ingebouwde camera (werkend op een lage resolutie van 320x240 en 15 FPS vanwege driverbeperkingen) en een LIDAR-scanner. De gebruikersinterface bestond uit een standaard HMD en VR-controllers.
• Softwarearchitectuur: Het systeem werd ontwikkeld met Unity 3D en Visual Studio, waarbij de ROS TCP Endpoint werd geïntegreerd voor communicatie. Een virtuele omgeving werd in realtime gegenereerd op basis van de LIDAR-data van de robot om de afgelegen locatie te representeren.
• Kernmechanisme: Om latentie- en immersieproblemen aan te pakken, maakte het systeem gebruik van een intermediaire digitale omgeving. In plaats van de videofeed van de robot direct naar de HMD te projecteren (wat de gebruiker zou blootstellen aan hardware-lag), bekeek de gebruiker een virtuele controlekamer.
  • Visuele Latentie-cues: Een "zwevend scherm" binnen de VE toonde de camerabeelden van de robot. Dit scherm roteerde om overeen te komen met de werkelijke oriëntatie van de robot in de echte wereld. Door de oriëntatie van dit zwevende scherm te observeren ten opzichte van het eigen gezichtspunt van de gebruiker, konden gebruikers de controlelatentie visueel waarnemen zonder dat dit de verversingssnelheid van de omliggende digitale omgeving beïnvloedde.
  • Natuurlijke Lokomotie: Het systeem bracht de fysieke hoofdbeweging van de gebruiker in de VE in kaart met de rotatie van de robot in de echte wereld. Als een gebruiker 180 graden draaide in de VE, draaide de robot op afstand ook 180 graden.
  • Omgevingshulpmiddelen: De VE bevatte 3D-objecten die barrières en obstakels representeerden, afgeleid van de LIDAR-scan, wat zorgde voor ruimtelijke context en navigatiehulp.
• Gebruikersstudie: Een validatiestudie werd uitgevoerd met 15 vrijwilligers (14 geldige resultaten na één technisch defect). Deelnemers navigeerden door een fysieke doolhof met vier verborgen items binnen een tijdslimiet van drie minuten met behulp van het systeem.
• Gegevensverzameling: Na de test vulden deelnemers een enquête in, inclusclusief Likert-schaalvragen over immersie, natuurlijkheid van besturing, responsiviteit en de nuttigheid van de virtuele omgeving. Een numerieke vraag beoordeelde het gevoel van aanwezigheid, en een ja/nee-vraag met vrije tekstvelden peilde de interesse in toekomstige verbeteringen.

Belangrijkste Bijdragen

1. Latentie-gemitigeerd Telepresence Framework: Het artikel introduceert een methode om de visuele ervaring van de gebruiker te ontkoppelen van de hardware-latentie van de robot. Door een virtuele controlekamer met een zwevend scherm te gebruiken om de werkelijke staat van de robot te visualiseren, stelt het systeem de gebruiker in staat de lag te ervaren zonder de simulatorziekte die gepaard gaat met directe, trage videofeeds op een HMD.
2. Natuurlijk Besturingsschema: De studie demonstreert een besturingsmechanisme waarbij fysieke hoofdraotatie in VR direct vertaalt naar robotrotatie, waardoor de natuurlijke vestibulaire en proprioceptieve cues worden hersteld die vaak verloren gaan bij besturing via toetsenbord/muis.
3. Haalbaarheid van Low-Cost Hardware: Het onderzoek valideert dat een immersieve telepresence-ervaring kan worden bereikt met "minder dan ideale" hardware (lage resolutie, lage FPS camera's en standaard consumenten-VR) door te compenseren via softwaregestuurde omgevingscues en latentie-visualisatie.
4. Empirische Validatie: De studie biedt kwantitatieve en kwalitatieve gegevens uit een gebruikerssessie waarbij doolhofnavigatie centraal stond, waarbij de feedback van gebruikers werd gecategoriseerd in vijf afzonderlijke gebieden: immersie, acceptatie van de virtuele omgeving, navigatiehulp, hardwarebeperkingen en de wens van de gebruiker voor verdere ontwikkeling.

Resultaten

De gebruikersstudie leverde de volgende bevindingen op over vijf categorieën:

• Gebruikersimmersie: Het systeem slaagde erin een gevoel van aanwezigheid te creëren. De gemiddelde acceptatiegraad voor het gevoel "fysiek aanwezig te zijn" was 78,6%, waarbij 28,6% van de gebruikers rapporteerde zich fysiek aanwezig te voelen. Wat betreft de algehele ervaring als immersief, was de gemiddelde acceptatie 87,5%.
• Acceptatie van de Virtuele Omgeving: Gebruikers accepteerden de virtuele omgeving over het algemeen, met een gemiddelde acceptatie van 82,1%. De meeste gebruikers gaven aan de omgeving "absoluut" of "waarschijnlijk" te waarderen.
• Navigatiehulp: Feedback over de vraag of de virtuele omgeving de navigatie hielp, was gemengd maar positief, met een gemiddelde acceptatie van 73,2%. Hoewel 42,9% van de gebruikers vond dat het "absoluut" hielp, waren anderen minder zeker.
• Hardwarebeperkingen & Prestaties:
  • Besturing: Gebruikers beoordeelden de natuurlijkheid van de besturing positief (gemiddelde 66,1%), waarbij 57,1% deze als "geweldig" beoordeelde.
  • Responsiviteit: De perceptie van responsiviteit was gemengd (gemiddelde 51,8%), waarbij 28,6% de system "niet erg responsief" vond, wat de onderliggende hardwarebeperkingen weerspiegelt.
  • Botsingen: 78,6% van de gebruikers ervoer ten minste één botsing, met een gemiddelde van 1,78 botsingen per gebruiker.
  • Verdwalen: 71,4% van de gebruikers raakte niet verdwaald tijdens de test, wat suggereert dat het systeem voldoende oriëntatie-cues bood ondanks de hardwarebeperkingen.
  • Taakvoltooiing: Het gemiddelde aantal gevonden items was 1,93 van de vier, wat aangeeft dat hoewel het systeem navigeerbaar was, de hardware met lage specificaties en de korte tijdslimiet uitdagingen vormden.
• Gebruikerssentiment: 85,7% van de gebruikers uitte een wens voor toekomstige verbeteringen om operaties op verre, afgelegen locaties mogelijk te maken. Een word cloud-analyse van de vrije tekstreacties benadrukte positieve termen ("goed", "perfect", "cool") naast specifieke verzoeken voor cameraverbeteringen en zorgen over latentie ("laggy", "issue").

Betekenis en Claims

Het artikel claimt dat het primaire doel is bereikt: het creëren van een VR-systeem dat telepresence mogelijk maakt met hardware die voor de gemiddelde gebruiker breed beschikbaar is. De studie concludeert dat:

• Haalbaarheid van Low-Cost Oplossingen: Het is mogelijk om een immersieve teleoperatie-ervaring te creëren met hardware die minder ideaal is, mits het systeemontwerp zorgvuldig rekening houdt met deze beperkingen via visuele cues en latentie-visualisatie.
• Reductie van Simulatorziekte: De intermediaire digitale omgeving heeft het risico op simulatorziekte succesvol verminderd door de gebruiker te isoleren van de ruwe latentie van de videofeed van de robot.
• Gebruikersbetrokkenheid: Ondanks de hardwarebeperkingen rapporteerden gebruikers een hoge mate van immersie en acceptatie van de virtuele omgeving.
• Toekomstig Potentieel: De studie valideert het concept van het gebruik van VR om HRI (Human-Robot Interaction) te verbeteren, en suggereert dat verdere verfijningen (zoals verbeterde connectiviteit en aanvullende visuele cues) de prestaties verder kunnen verbeteren en de bruikbaarheid van dergelijke systemen kunnen uitbreiden.

De auteurs hanteren een bescheiden toon, waarbij zij erkennen dat hoewel het systeem succesvol was, de gemengde resultaten over responsiviteit en botsingen de voortdurende afwegingen benadrukken bij het gebruik van hardware met lagere specificaties. Het werk dient als een bewijs van concept dat standaard industriële hardware, wanneer gecombineerd met een verbeterd VR-framework, een levensvatbaar pad naar toegankelijke telepresence kan bieden.