A 3DGS-Driven Dynamic Viewpoint and Vibrotactile Framework for Subsea Teleoperation Validated via fNIRS

Imaginez que vous essayez de conduire une voiture dans un labyrinthe fait de tuyaux géants et brumeux, mais que vous ne pouvez voir qu'un minuscule carré tremblant de la route directement devant votre pare-chocs. Maintenant, imaginez que chaque fois que vous tournez le volant, la voiture ne bouge pas pendant une seconde entière. C'est le scénario cauchemardesque pour les opérateurs de robots sous-marins, connus sous le nom de ROV (véhicules télécommandés). Ces machines sont les plongeurs des profondeurs, envoyées pour inspecter des épaves, des plateformes pétrolières et des tunnels inondés où les humains ne peuvent pas aller. Mais les contrôler est incroyablement difficile. L'eau est souvent trouble, les espaces sont étroits et le signal provenant de la surface met du temps à voyager. Cela crée un « goulot d'étranglement perceptuel » : le cerveau humain doit deviner où se trouve le robot et ce qui l'entoure, ce qui entraîne une fatigue mentale et des erreurs. Les scientifiques ont longtemps essayé de résoudre ce problème en dotant les opérateurs de meilleures caméras ou de combinaisons vibrantes, mais ils n'étaient pas certains de quelle méthode permettait réellement d'empêcher le cerveau humain de s'effondrer sous la pression.

Ce document plonge précisément dans ce problème, testant une nouvelle façon d'aider les humains à contrôler ces robots sous-marins. Les chercheurs ont construit un système qui combine deux astuces : un « œil magique » qui trouve automatiquement le meilleur angle pour voir le robot, et un « gilet vibrant » qui bourdonne lorsque le robot s'approche trop près d'un mur. Ils ont testé cette configuration dans un labyrube sous-marin simulé avec 30 volontaires, en introduisant des délais dans le signal de contrôle allant de zéro seconde jusqu'à une seconde complète. Ils ne se sont pas contentés d'observer la performance des robots ; ils ont également équipé les volontaires d'un casque spécial mesurant le flux sanguin dans leur cerveau pour voir à quel point leur esprit travaillait.

Les résultats ont été surprenants. Lorsque le signal était rapide, le gilet vibrant était excellent pour maintenir le robot sur une trajectoire droite, comme une légère poussée d'un ami. Mais quand le signal était lent (0,5 à 1,0 seconde), le système de l'« œil magique » l'a emporté haut la main. Ce système utilise une technologie de pointe appelée « 3D Gaussian Splatting » pour construire un modèle 3D en temps réel du monde sous-marin et fait ensuite bouger automatiquement une caméra virtuelle pour offrir à l'opérateur une vue claire, à la troisième personne, du robot, même si celui-ci est caché derrière un tuyau. L'étude a révélé que cette vue proactive empêchait le cerveau de l'opérateur de « décrocher ». En fait, lorsque le délai était élevé, les opérateurs utilisant la vue caméra standard présentaient des signes de désengagement cognitif — leurs cerveaux abandonnaient essentiellement toute tentative de suivre l'espace. Le nouveau système, cependant, maintenait leur cerveau activement engagé et aux commandes, leur permettant de naviguer en toute sécurité même lorsque le signal accusait un retard.

Le Problème : Conduire à l'aveugle dans un tuyau brumeux

Contrôler un robot sous l'eau, c'est comme essayer d'enfiler une aiguille en portant des gants de boxe et en regardant à travers une paille. L'opérateur est assis sur un navire ou un quai, regardant un écran qui montre ce que la caméra du robot voit. Mais cette caméra est fixée sur le nez du robot. Si le robot est dans un tunnel étroit, l'opérateur ne peut pas voir les murs avant d'être juste à côté d'eux. Pour aggraver les choses, les ondes sonores voyagent lentement dans l'eau, il y a donc souvent un délai entre le moment où l'opérateur appuie sur un bouton et le moment où le robot bouge réellement. Si le délai est de 1,0 seconde, l'opérateur conduit essentiellement une voiture où le volant et les freins sont déconnectés par une seconde entière.

Dans ces situations, le cerveau humain doit fournir un effort considérable. Il doit imaginer la forme 3D du tunnel, deviner où se trouve le robot et prédire où il sera dans une seconde. C'est ce qu'on appelle la « rotation mentale », et c'est épuisant. Lorsque le délai devient trop long, le cerveau peut être submergé. Les chercheurs soupçonnaient que s'ils pouvaient déléguer une partie de ce travail mental à un ordinateur, l'opérateur pourrait rester calme et concentré plus longtemps.

La Solution : Une Caméra Magique et un Gilet qui Bourdonne

L'équipe a créé un nouveau système pour aider l'opérateur, basé sur un cadre qui connecte un système de contrôle de robot (ROS) à un moteur de jeu (Unity). Ils ont divisé le travail en deux parties : une pour la planification et une pour la réaction rapide.

1. La Caméra Magique (DAVS) :
Au lieu de simplement montrer la vue de la caméra frontale du robot, le système construit une carte 3D vivante du monde sous-marin en utilisant une technologie appelée 3D Gaussian Splatting. Imaginez cela comme un nuage de millions de petits points colorés et brillants représentant les murs, les tuyaux et le robot lui-même. Parce que l'ordinateur possède cette carte 3D, il peut instantanément générer une nouvelle vue sous n'importe quel angle. Le système utilise un « Système de Point de Vue Adaptatif Dynamique » (DAVS) pour calculer constamment le meilleur emplacement pour une caméra virtuelle. Il cherche un endroit où le robot est visible et où le chemin devant lui est dégagé, puis il génère cette vue pour l'opérateur. C'est comme avoir un drone qui vole automatiquement autour du robot pour vous montrer le meilleur angle, mais cela se produit instantanément sur votre écran.

2. Le Gilet qui Bourdonne (Haptique) :
Alors que la caméra magique vous aide à planifier votre itinéraire, la seconde partie vous aide à réagir. L'opérateur porte un gilet doté de petits moteurs (vibrateurs) sur le torse. Si le robot s'approche trop près d'un mur sur la gauche, le côté gauche du gilet vibre. S'il est proche à droite, le côté droit vibre. Cela donne à l'opérateur un « sixième sens » pour le danger immédiat sans qu'il ait besoin de détourner les yeux de l'écran.

L'Expérience : Tester le Cerveau et le Robot

Pour voir si ce nouveau système fonctionnait réellement, les chercheurs ont mis en place une expérience contrôlée. Ils ont invité 30 personnes à jouer à un jeu vidéo où elles devaient piloter un BlueROV2 simulé à travers une installation industrielle inondée complexe, remplie de tuyaux et d'interstices étroits.

Ils ont testé trois manières différentes de contrôler le robot :

1. Egocentrique (La base) : Juste la vue caméra standard depuis le nez du robot.
2. Haptique (Réactif) : La vue standard plus le gilet vibrant.
3. Exocentrique (Proactif) : La vue caméra 3D magique (DAVS) sans le gilet vibrant.

Ils ont également introduit quatre niveaux différents de « lag » ou de délai dans le signal de contrôle : 0,0 seconde (instantané), 0,2 seconde, 0,5 seconde et une seconde complète (1,0 seconde).

Pendant que les participants jouaient, ils portaient une casquette spéciale qui utilisait la lumière pour mesurer le flux sanguin dans leur cortex préfrontal — la partie du cerveau responsable de la planification, de la prise de décision et de la mémoire de travail. Cela a permis aux chercheurs de voir exactement comment le cerveau travaillait, plutôt que de simplement demander aux participants à quel point ils se sentaient fatigués.

Les Résultats : Quand le Cerveau Abandonne

Les résultats ont révélé un schéma clair selon la rapidité du signal.

Lorsque le signal était rapide (0,0 à 0,2 seconde) :
Le gilet vibrant était le vainqueur. Comme le robot bougeait presque instantanément, les opérateurs pouvaient utiliser les vibrations pour effectuer des ajustements minuscules et précis. Ils restaient sur la trajectoire parfaite mieux qu'avec les autres méthodes. La caméra magique n'offrait pas beaucoup d'avantage ici car la vue standard était déjà suffisante.

Lorsque le signal était lent (0,5 à 1,0 seconde) :
La caméra magique a pris le dessus. À un délai de 0,5 seconde, la vue standard commençait à échouer. Les opérateurs faisaient plus d'erreurs et percutaient plus souvent. Mais la découverte la plus intéressante est venue des scanners cérébraux. Lors de l'utilisation de la vue standard avec un délai de 0,5 seconde, le flux sanguin dans le cortex préfrontal a chuté. Les chercheurs appellent cela le « désengagement cognitif ». Cela signifie que le délai était si déroutant que les cerveaux des opérateurs ont cessé de construire une carte mentale de l'espace ; ils ont essentiellement abandonné, entraînant de mauvaises performances.

En revanche, les opérateurs utilisant la caméra 3D magique gardaient leur cerveau pleinement actif. La vue claire à la troisième personne les aidait à maintenir leur carte mentale de l'environnement, même avec le délai. Leurs cerveaux montraient une activité élevée dans les centres de planification, et ils naviguaient dans le labyrinthe beaucoup plus rapidement et en toute sécurité que les autres. Au délai extrême de 1,0 seconde, la caméra magique était le seul système permettant aux opérateurs de terminer la tâche de manière nettement plus rapide et avec moins de collisions que les deux autres méthodes.

Ce que cela signifie

L'étude suggère que pour les robots sous-marins, le type d'aide dont vous avez besoin change en fonction de la rapidité de la connexion. Si la connexion est instantanée, de simples vibrations sont excellentes pour maintenir le robot sur sa trajectoire. Mais si la connexion est lente et présente des latences, vous avez besoin d'un système qui vous donne une image globale et claire du monde.

La découverte la plus importante est qu'une bonne interface ne se contente pas de faire mieux bouger le robot ; elle empêche le cerveau de l'opérateur de s'éteindre. En utilisant la caméra magique 3D pour gérer la partie difficile consistant à comprendre « où suis-je ? » et « qu'y a-t-il autour de moi ? », le système libère le cerveau de l'opérateur pour qu'il puisse se concentrer sur la tâche réelle. Cela pourrait changer la donne pour l'inspection des infrastructures sous-marines, où les délais sont courants et les erreurs peuvent coûter cher. Bien que le système ait été testé dans une simulation et non encore dans l'océan réel, les résultats montrent une voie prometteuse pour rendre les robots sous-marins plus faciles et plus sûrs à contrôler pour les humains.