Reconstructed Reality: Enabling Teleportation-Based Locomotion in Immersive Telepresence

Imaginez que vous essayez de marcher dans une pièce en portant un casque lourd qui vous montre un flux vidéo en direct d'une autre pièce, mais la vidéo est retardée de près de deux secondes. Chaque fois que vous tournez la tête ou que vous faites un pas, l'image accuse un retard par rapport à votre mouvement réel. Ce décalage entre ce que vos yeux voient et ce que votre oreille interne ressent pour l'équilibre est une cause primaire de mal des transports en réalité virtuelle. Pendant des années, ce conflit sensoriel a été un obstacle majeur à l'utilisation de robots pour des tâches à distance, comme surveiller un proche âgé ou inspecter une installation lointaine. Lorsque les opérateurs utilisent des joysticks standards pour déplacer ces robots, le délai rend la navigation lente et désorientante, provoquant souvent des nausées qui les forcent à s'arrêter. Les chercheurs cherchent depuis longtemps un moyen de permettre aux gens de se sentir présents dans un lieu distant sans le coût physique de ce décalage.

Une équipe de chercheurs de l'Université d'Oulu a développé une méthode pour résoudre ce problème en changeant la façon dont les gens se déplacent dans ces espaces distants. Au lieu d'essayer de diriger un robot de manière continue comme une voiture, leur système permet à l'utilisateur de se « téléporter » instantanément vers un nouvel emplacement au sein d'une carte numérique de la pièce distante. Pendant que l'utilisateur se déplace dans cet espace numérique, le robot réel se rend à cet endroit de son propre chef. Comme l'utilisateur ne regarde pas le robot lutter contre le délai, il ne ressent pas le mal des transports qui accompagne habituellement ce décalage. Les chercheurs ont testé cette idée en deux étapes, d'abord avec une carte numérique pré-établie, puis avec un système qui construit la carte en temps réel à mesure que le robot se déplace. Leurs conclusions montrent que cette méthode de téléportation réduit considérablement la sensation de malaise et aide les gens à accomplir des tâches plus rapidement, même lorsque la connexion vidéo est lente.

Le cœur du problème réside dans la façon dont le cerveau humain traite le mouvement. Lorsqu'une personne porte un casque et voit une vidéo d'un robot en mouvement, ses yeux disent à son cerveau qu'elle est en train de voyager. Cependant, son oreille interne, qui contrôle l'équilibre, détecte qu'elle est assise immobile. Cette contradiction crée un conflit que le cerveau interprète comme un signe d'empoisonnement, déclenchant des symptômes de nausée et de vertige. Ce problème est particulièrement sévère lors de l'utilisation de caméras à 360 degrés pour diffuser la vidéo d'un robot distant, car la vidéo de haute qualité nécessite plus de données à envoyer, ce qui augmente le délai. Dans les expériences décrites, le délai entre l'action du robot et la perception par l'utilisateur sur son écran a été mesuré à environ 1,8 seconde. À cette vitesse, essayer de diriger un robot avec un joystick est frustrant et physiquement éprouvant, menant souvent à de mauvaises performances car l'opérateur lutte pour deviner où se trouvera le robot lorsque la vidéo finira par rattraper le mouvement.

Pour remédier à cela, les chercheurs ont introduit un système appelé VEIPE, qui signifie Virtual Environment Interface to a Physical Environment (Interface d'Environnement Virtuel vers un Environnement Physique). Dans cette configuration, l'utilisateur ne dirige pas directement le robot. Au lieu de cela, il regarde une reconstruction 3D de la pièce distante à l'intérieur de son casque. Cette pièce numérique est construite pour correspondre à la réelle. Lorsque l'utilisateur veut se déplacer, il pointe un endroit sur le sol dans la pièce numérique et clique. L'utilisateur apparaît instantanément à cet endroit dans le monde virtuel, et le robot commence à rouler vers ce point de lui-même. Pendant le temps nécessaire au robot pour parcourir la distance, l'utilisateur voit le robot se déplacer dans l'espace numérique, mais comme le corps de l'utilisateur ne bouge pas, le conflit sensoriel est minimisé. Une fois que le robot est arrivé, la vue bascule sur le flux vidéo en direct afin que l'utilisateur puisse voir le monde réel clairement.

Les chercheurs ont d'abord testé ce concept en utilisant une carte numérique qui avait été créée avant l'expérience. Ils ont demandé aux participants de faire naviguer un robot dans une pièce pour trouver des objets spécifiques, comme vérifier la présence d'un flacon de pilules ou si une poubelle était pleine. La moitié des participants utilisait la méthode traditionnelle du joystick, tandis que l'autre moitié utilisait le système de téléportation. Les résultats étaient clairs : ceux utilisant la méthode de téléportation ont signalé nettement moins de nausées. Sur une échelle standard utilisée pour mesurer le mal des transports, le groupe joystick a obtenu des scores beaucoup plus élevés, indiquant un inconfort sévère, tandis que le groupe téléportation affichait un score proche de zéro. De plus, le groupe téléportation a accompli plus de tâches de navigation dans le même laps de temps. Ils ont également déclaré être moins épuisés mentalement. Les participants préféraient massivement la méthode de téléportation, la plupart affirmant qu'ils la choisiraient s'ils devaient à nouveau contrôler un robot.

Pour s'assurer que ces résultats n'étaient pas simplement dus à une carte pré-établie, l'équipe a mené une seconde étude, plus complexe. Cette fois, ils ont utilisé un robot équipé d'une caméra spéciale capable de scanner la pièce et de construire la carte 3D pendant qu'il se déplaçait. Cela signifiait que l'environnement numérique était créé en temps réel, plutôt que d'être une copie parfaite faite à l'avance. La tâche était plus complexe, exigeant que le robot parcoure de plus longues distances dans un espace plus vaste pour effectuer des vérifications d'observation, simulant un scénario réel comme celui d'un assistant de soins pour personnes âgées. Le délai dans le flux vidéo était légèrement plus élevé dans cette configuration, mesuré à 1,8 seconde, en raison de la qualité supérieure de la vidéo et du traitement requis pour la carte en temps réel.

Même avec la complexité ajoutée d'une carte vivante en cours de construction, la méthode de téléportation s'est avérée supérieure. Les participants utilisant le système en temps réel ont ressenti nettement moins de mal des transports que ceux utilisant le joystick, bien que les scores de malaise général soient légèrement plus élevés que dans la première étude, probablement en raison de la durée plus longue de la tâche. Le groupe de téléportation a également accompli plus de tâches avec succès. Les chercheurs ont constaté que le temps nécessaire au robot pour voyager n'entravait pas la capacité de l'utilisateur à planifier son itinéraire, car l'utilisateur pouvait voir l'intégralité du chemin dans la carte numérique et sauter immédiatement à la destination. Cela éliminait la frustration de tenter de diriger à travers un flux vidéo lent. La charge de travail subjective, c'est-à-dire l'effort ressenti par les utilisateurs, était également nettement plus faible pour le groupe de téléportation.

Cependant, l'étude a révélé une nuance surprenante concernant la préférence des utilisateurs. Bien que la méthode de téléportation soit objectivement meilleure pour la santé et la performance, les participants ne l'ont pas unanimement choisie comme leur méthode préférée. Dans la seconde étude, environ deux tiers des participants préféraient la méthode de télémentation, tandis que les autres choisissaient encore le joystick traditionnel. Les chercheurs ont noté que certains utilisateurs ressentaient un sentiment de contrôle plus fort lorsqu'ils pouvaient diriger le robot eux-mêmes, même si cela les rendait malades. Un participant a mentionné se sentir « désincarné » lors de l'utilisation du système de téléportation, préférant la connexion directe du joystick. Cela suggère que, si la technologie résout le problème physique du mal des transports, le désir psychologique de contrôle direct reste un facteur que les concepteurs doivent prendre en compte.

Les chercheurs ont également examiné la facilité d'utilisation du système. La méthode de téléportation a reçu un score légèrement plus élevé sur une échelle d'utilisabilité, mais les scores n'étaient pas extrêmement élevés. Certains participants ont trouvé frustrant que le robot ne puisse pas atteindre un point qu'ils avaient sélectionné dans la carte numérique, par exemple lorsqu'ils se téléportaient trop près d'un mur ou d'un objet. Cela indique que le système doit être plus intelligent quant aux zones accessibles, peut-être en montant un chemin clair ou en restreignant la téléportation à des zones sûres. Malgré ces problèmes mineurs d'utilisabilité, les données confirment que la méthode fonctionne. Les chercheurs ont conclu que l'utilisation d'un environnement reconstruit en 3D pour téléporter un robot est un moyen viable et efficace de surmonter les limitations des connexions à haute latence.

Ce travail démontre que l'avenir de la robotique à distance ne dépend pas nécessairement d'un internet plus rapide ou de meilleures caméras pour réduire le délai. Au contraire, il peut dépendre du changement de la façon dont les humains interagissent avec la machine. En permettant à l'utilisateur de sauter le trajet laborieux pour apparaître instantanément à la destination, le système supprime le conflit sensoriel qui cause la maladie. L'étude prouve que cette approche permet aux gens de naviguer dans des environnements distants plus efficacement et plus confortablement, même lorsque la connexion est lente. Bien que la technologie ne soit pas encore parfaite, et que certains utilisateurs préfèrent encore le sentiment de contrôle direct, les résultats offrent une voie claire pour rendre les systèmes de téléprésence utilisables par le grand public. La capacité de vérifier sur un proche ou d'inspecter un site distant sans se sentir malade pourrait transformer la façon dont nous interagons avec le monde au-delà de notre portée immédiate.