World Mouse: Exploring Interactions with a Cross-Reality Cursor

Ce papier présente « World Mouse », un curseur de réalité croisée qui réinterprète la souris 2D pour les scènes 3D en combinant l'interaction précise sur les surfaces physiques et la navigation fluide dans l'espace vide, afin de faciliter l'interaction entre les environnements réels et virtuels.

L'essentiel

Imaginez que vous êtes assis à votre bureau, mais au lieu de regarder un simple écran plat, vous portez des lunettes de réalité augmentée. Devant vos yeux, le monde réel (votre bureau, votre tasse de café) se mélange à des objets virtuels (des écrans flottants, des modèles 3D).

Le problème ? Comment interagir avec ce mélange ? Toucher l'écran est fatiguant si l'objet est loin, et pointer du doigt dans le vide devient vite douloureux pour le bras. C'est là qu'intervient le World Mouse (la "Souris du Monde").

Voici une explication simple de ce projet, avec quelques images pour mieux comprendre :

1. Le Concept : Votre vieille souris, mais magique

Pensez à votre souris d'ordinateur classique. Elle est excellente pour bouger un curseur sur un écran plat. Mais dans un monde en 3D, si vous bougez la souris vers la droite, le curseur devrait-il aller vers la droite de l'écran, ou vers la droite de la table devant vous ?

Le World Mouse résout ce casse-tête en transformant votre souris en une baguette magique intelligente. Elle ne se contente plus de bouger sur un écran 2D ; elle projette un rayon invisible qui comprend la profondeur.

2. Comment ça marche ? Deux règles de la physique magique

Le système utilise deux "astuces" principales pour que le curseur se comporte naturellement :

• L'astuce du "Surfiste" (Navigation sur les objets) :
  Imaginez que votre curseur est un surfeur. Dès qu'il touche la surface d'un objet (réel ou virtuel), comme une chaise ou un écran virtuel, il "colle" à la surface. Si vous bougez la souris, le curseur glisse le long de la courbe de l'objet, même si celui-ci est rond ou irrégulier. Il suit la forme du monde, comme un train sur ses rails.

• L'astuce du "Pont Invisible" (Navigation entre les objets) :
  Que se passe-t-il quand il n'y a rien entre deux objets ? Dans la réalité, il y a de l'air. Dans le World Mouse, le système crée un pont invisible (un filet magique) qui relie les objets proches. Quand vous bougez la souris dans le vide, le curseur glisse sur ce pont invisible, vous permettant de passer d'un objet à l'autre sans jamais tomber dans le vide ou perdre le contrôle.

3. À quoi ça sert dans la vraie vie ?

Les chercheurs ont créé plusieurs exemples pour montrer à quoi cela ressemble :

• Le "Presse-papier Spatial" : Vous pouvez sélectionner un objet virtuel, le "copier", et aller le "coller" sur votre vrai mur. C'est comme si vous pouviez prendre une photo de votre salon et y ajouter un tableau virtuel qui reste accroché au mur, même quand vous bougez.
• Le Menu Magique : Si vous faites un clic droit sur une lampe virtuelle, un menu rond apparaît autour de votre curseur (comme un éventail) pour changer la couleur de la lumière, sans avoir à chercher un menu flottant compliqué.
• Contrôler la maison : Vous pouvez pointer votre souris vers une vraie prise électrique (que le système reconnaît) et cliquer dessus pour éteindre la lumière de la pièce, comme si vous touchiez un interrupteur virtuel.
• Collaboration : Même si vous êtes sur un ordinateur classique et votre ami sur des lunettes VR, vous pouvez tous les deux voir et bouger le même curseur dans le même espace 3D. C'est comme jouer à un jeu vidéo multijoueur, mais pour travailler ensemble.

4. Pourquoi c'est important ?

Pendant longtemps, on pensait que pour le futur (la réalité virtuelle), il fallait abandonner la souris pour utiliser uniquement nos mains ou nos yeux. Mais cela fatigue et manque de précision.

Le World Mouse nous dit : "Attendez, la souris est toujours la reine de la précision !". En l'adaptant pour qu'elle comprenne la 3D, on garde le confort et la précision que nous connaissons tous, tout en ajoutant la capacité de manipuler le monde réel et virtuel en même temps.

En résumé : Le World Mouse, c'est comme donner des ailes à votre souris d'ordinateur pour qu'elle puisse voler, se poser sur les meubles, traverser les murs virtuels et vous aider à construire un monde où le numérique et le réel ne font plus qu'un, sans vous fatiguer le bras.

Résumé technique

Voici un résumé technique détaillé de l'article "World Mouse: Exploring Interactions with a Cross-Reality Cursor", structuré selon les axes demandés.

1. Problématique

L'interaction dans les systèmes de Réalité Étendue (XR) repose souvent sur des entrées directes (gestes dans l'air, rayons laser via les contrôleurs ou le regard). Ces méthodes présentent des limites majeures :

• Fatigue physique : Les gestes en l'air (mid-air gestures) et les interactions bimanuelles entraînent une fatigue musculaire, surtout lors de sessions de travail longues.
• Manque de précision : Le regard (gaze) manque souvent de la finesse nécessaire pour des tâches détaillées (modélisation 3D, annotation de données).
• Rupture d'expérience : Il existe une discontinuité entre les environnements virtuels purs et les mondes réels mélangés (blended reality). Les utilisateurs doivent souvent basculer entre des métaphores d'interaction différentes pour naviguer entre des objets physiques et virtuels.

L'article pose la question suivante : comment réintroduire la précision et la familiarité de la souris 2D traditionnelle dans des environnements 3D complexes et hybrides (réel + virtuel) sans sacrifier l'ergonomie ?

2. Méthodologie

Les auteurs proposent World Mouse, un curseur inter-réalité qui réinterprète les mouvements 2D de la souris pour interagir avec des scènes 3D mixtes. Le système repose sur deux mécanismes fondamentaux et une reconstruction géométrique du monde :

A. Reconstruction du Monde et Graphe de Scène

Le système utilise la segmentation sémantique et la reconstruction de maillage (mesh reconstruction) du monde réel (via des API comme Meta Scene ou Android XR).

• Il crée un graphe de scène unifié qui traite les objets physiques et virtuels comme des surfaces interactives continues.
• Un "maillage invisible" est généré à partir des enveloppes convexes (convex hulls) des objets détectés, servant de surface de navigation stable sans nécessiter de recalcul coûteux pour chaque changement de point de vue.

B. Deux Mécanismes de Navigation

1. Navigation "Within-Object" (À l'intérieur d'un objet) :

   • Lorsque le curseur intersecte un objet, il suit la surface de celui-ci.
   • Le système ajuste dynamiquement la profondeur du curseur pour correspondre à la profondeur de la surface de l'objet au point de contact.
   • L'orientation du curseur s'aligne sur les normales de surface locales, fournissant un retour haptique visuel sur la topographie de l'objet.

2. Navigation "Between-Objects" (Entre les objets) :

   • Pour traverser l'espace vide entre des objets disjoints, le système n'utilise pas un rayon fixe.
   • Il utilise une interpolation basée sur la géométrie adjacente pour créer un "pont" dynamique. Le curseur glisse le long d'un chemin interpolé entre les objets voisins, assurant une transition fluide et stable à travers les espaces vides.

C. Transition 2D vers 3D

Le système gère le passage fluide entre des interfaces 2D (fenêtres, navigateurs) et l'espace 3D environnant. Le curseur conserve sa logique de mouvement tout en adaptant sa profondeur et son ancrage lorsqu'il sort d'une fenêtre 2D pour interagir avec un objet physique ou virtuel en 3D.

3. Contributions Clés

• World Mouse : Un nouveau paradigme d'interaction qui étend la souris de bureau aux environnements XR mixtes, permettant une interaction précise sur des objets réels et virtuels.
• Modèle de Graphe de Scène Hybride : Une approche technique unifiant la géométrie réelle et virtuelle pour permettre une navigation continue, contrairement aux approches précédentes limitées à des modaliés séparées (VR pure ou AR pure).
• Prototypes Fonctionnels : Développement de plusieurs cas d'usage démontrant la viabilité du concept :
  • Presse-papier spatial : Copier/coller d'objets entre le monde réel (scanné) et le virtuel.
  • Menus contextuels radiaux : Activation par clic droit autour du curseur 3D.
  • Édition 3D précise : Utilisation de gizmos 3D pour manipuler des objets, éditer des splines et ancrer des vertices sur des maillages réels.
  • Contrôle IoT : Interaction avec des objets physiques via des proxies interactifs (ex: éteindre une lumière réelle en cliquant sur son proxy virtuel).
• Intégration Multi-appareils : Démonstration que la souris peut être contrôlée via des écrans tactiles (smartphones, montres) agissant comme trackpads, offrant une précision supérieure aux contrôleurs dédiés.

4. Résultats et Démonstrations

Bien que l'article se concentre sur la conception et les prototypes plutôt que sur une étude utilisateur à grande échelle (typique d'une première publication de concept), les résultats sont présentés sous forme de démonstrations fonctionnelles :

• Fluidité : Les utilisateurs peuvent naviguer sans effort entre des objets de tailles et de profondeurs variées, imitant la simplicité d'une souris de bureau.
• Précision : La méthode permet des tâches fines (sélection de vertices, annotation de tableaux blancs réels) qui sont difficiles avec les gestes en l'air.
• Réduction de la fatigue : En évitant les bras tendus et les gestes complexes, le système permet des sessions de travail prolongées.
• Interopérabilité : Le système fonctionne de manière transparente avec des objets réels (murs, meubles) et virtuels, et permet la collaboration multi-utilisateurs où des utilisateurs sur des écrans 2D classiques peuvent interagir avec la scène 3D partagée.

5. Signification et Impact

• Réhabilitation de la souris : L'article remet en question le récit dominant selon lequel la souris est obsolète dans le XR. Il démontre que les entrées indirectes offrent une précision et une familiarité cruciales pour les tâches de travail intensif.
• Continuité Inter-réalité : Le World Mouse propose une stratégie de conception basée sur la continuité, permettant aux utilisateurs de passer fluidement entre les couches numériques et physiques sans rupture cognitive.
• Outil pour l'IA Spatiale : À l'ère de l'IA générative et des agents spatiaux, le curseur offre un mécanisme de référence déictique précis ("grounding"). Il permet à l'utilisateur de spécifier exactement sur quel objet physique ou virtuel l'IA doit agir, évitant l'ambiguïté du regard ou la fatigue des gestes.
• Avenir du Spatial Computing : Ce travail suggère que l'avenir de l'interaction ne réside pas uniquement dans l'abandon des métaphores existantes, mais dans leur adaptation intelligente pour coexister avec de nouvelles modalités, créant un écosystème d'entrée diversifié et adapté aux besoins spécifiques (précision vs créativité libre).

En résumé, World Mouse comble le fossé entre l'efficacité de la souris 2D et la richesse des environnements 3D mixtes, offrant une solution robuste pour des interactions précises, peu fatigantes et sémantiquement conscientes dans l'ère du calcul spatial.