Int3DNet: Scene-Motion Cross Attention Network for 3D Intention Prediction in Mixed Reality

1. Problématique

Dans les systèmes de Réalité Mixte (MR), la prédiction des intentions de l'utilisateur est cruciale pour permettre des interactions proactives et réduire la latence. Cependant, les approches existantes présentent plusieurs limites :

• Dépendance aux objets : De nombreuses méthodes prédisent l'intention en identifiant des objets spécifiques, ce qui nécessite une segmentation et un suivi préalable des objets, générant une latence et une surcharge computationnelle inacceptables sur les casques de réalité mixte (HMD).
• Limites des capteurs : Contrairement aux robots ou aux systèmes exocentriques, les HMD ne disposent que de caméras égocentriques. La reconstruction du mouvement complet du corps à partir de ces données est souvent bruitée et peu fiable.
• Complexité de l'environnement : Les méthodes basées uniquement sur le regard (gaze) ou le mouvement échouent souvent dans des environnements encombrés où le regard peut être obstrué ou ne pas correspondre à l'objet cible réel.
• Besoin de robustesse : Il existe un manque de solutions capables de prédire des zones d'intention dans des scènes 3D réelles, complexes et dynamiques, sans dépendre d'une perception explicite au niveau de l'objet.

L'objectif est donc de prédire directement une zone d'intention 3D dans la scène géométrique brute, en utilisant uniquement les données de mouvement disponibles sur un HMD standard (trajectoires tête-main et orientation de la tête).

2. Méthodologie : Int3DNet

Les auteurs proposent Int3DNet, un réseau neuronal qui fusionne les indices de mouvement épars avec la géométrie de la scène via un mécanisme d'attention croisée (Cross-Attention).

A. Entrées et Prétraitement

Le réseau prend en entrée :

1. Nuage de points de la scène ($S$) : Représentation géométrique brute de l'environnement (obtenue par capteurs de profondeur).
2. Mouvement épars : Trajectoires 3D de la tête et des deux mains ($j_t$) et leurs vitesses linéaires ($v_t$) sur une fenêtre temporelle passée.
3. Orientation de la tête ($h_t$) : Utilisée comme proxy pour le regard (gaze), car elle est plus fiable et toujours disponible sur les HMD.

B. Architecture du Réseau

L'architecture se compose de trois modules principaux (voir Fig. 2) :

1. Encodage de la Scène : Le nuage de points est encodé via PointNet++ pour extraire des caractéristiques spatiales hiérarchiques tout en restant invariant à l'ordre des points.
2. Encodage du Mouvement :
   • Les séquences de positions et vitesses subissent une Transformée en Cosinus Discrète (DCT) pour réduire la redondance temporelle et mettre en évidence les fréquences dominantes.
   • Les caractéristiques de mouvement et d'orientation sont encodées par un réseau de convolution graphique spatio-temporel (ST-GCN).
3. Fusion par Attention Croisée (Cross-Attention) :
   • C'est le cœur de la méthode. Les caractéristiques de la scène ($F_{scene}$) servent de Query (Q).
   • Les caractéristiques de mouvement encodées ($F_{pose}$) servent de Key (K) et Value (V).
   • Ce mécanisme permet à chaque point de la scène de "s'interroger" sur les indices de mouvement pour déterminer la probabilité d'interaction. L'hypothèse est que les poids d'attention attribués aux points de la scène reflètent l'attention humaine.
4. Sortie : Un module MLP projette les caractéristiques fusionnées pour produire une carte thermique 3D (heatmap) indiquant la probabilité d'interaction pour chaque point du nuage de points.

C. Fonction de Perte (Loss Function)

Pour gérer le déséquilibre de classe (peu de points d'intérêt par rapport au fond) et la cohérence spatiale, une perte composite est utilisée :

• Binary Cross-Entropy pondérée (BCE) : Pour compenser le déséquilibre entre les points positifs et négatifs.
• Focal Loss : Pour se concentrer sur les exemples difficiles.
• Dice Loss : Pour améliorer la cohérence au niveau des régions et maximiser le chevauchement avec la vérité terrain.

3. Contributions Clés

1. Nouvelle Architecture pour la MR : Int3DNet est la première méthode conçue spécifiquement pour la MR, intégrant la géométrie de la scène et des indices de mouvement épars (tête-main) sans nécessiter de suivi corporel complet ni de segmentation d'objets.
2. Robustesse aux Scènes Complexes : Contrairement aux travaux précédents limités à des environnements simples (ex: tables), la méthode est validée sur des scènes encombrées et variées, démontrant sa capacité à gérer l'occlusion et le désordre.
3. Application Pratique (VQA) : Démonstration d'un pipeline de Visual Question Answering (VQA) basé sur l'intention. La zone d'intention prédite est utilisée pour rogner l'image avant de l'envoyer à un modèle VLM (Vision-Language Model), réduisant drastiquement les tokens visuels et améliorant la précision du raisonnement.

4. Résultats Expérimentaux

Les évaluations ont été menées sur deux jeux de données publics : MoGaze (scènes simples, type table) et CIRCLE (scènes complexes, encombrées).

• Performance Quantitative :
  • Int3DNet surpasse systématiquement les baselines (modèles basés uniquement sur l'orientation de la tête, sur la scène seule, ou sur la prédiction de mouvement futur) sur toutes les métriques (SIM, AUC, mIoU, Dice).
  • Sur le jeu de données CIRCLE, la méthode maintient une haute précision jusqu'à 1500 ms avant l'interaction.
  • Sur MoGaze, elle surpasse les autres méthodes jusqu'à 1200 ms. La baisse de performance au-delà s'explique par la nature continue des séquences dans ce dataset (ambiguïté de la cible plus tôt dans le temps).
• Études d'Ablation :
  • Le mécanisme d'attention croisée est crucial : son remplacement par un simple MLP entraîne une chute significative des performances.
  • La directionnalité de l'attention (Scène comme Query) est essentielle pour éviter d'attribuer des poids élevés à des régions distractrices dans les scènes encombrées.
  • L'utilisation combinée des trois fonctions de perte (BCE + Focal + Dice) offre le meilleur compromis entre précision de détection et chevauchement spatial.
• Latence : Le temps d'inférence est d'environ 113 ms sur une GPU RTX 3090, permettant une prédiction proactive dans des scénarios MR réels.

5. Signification et Impact

• Efficacité du Calcul : En évitant la segmentation d'objets et en utilisant des données de mouvement éparses, la méthode est adaptée aux contraintes matérielles des HMD.
• Proactivité : La capacité à prédire l'intention 500 à 1500 ms à l'avance permet aux systèmes MR de préparer les réponses (ex: chargement de données, affichage d'informations) avant même que l'utilisateur n'ait terminé son action, éliminant ainsi la latence perçue.
• Généralisation : La méthode fonctionne bien sur des scènes non vues lors de l'entraînement (démontré sur le dataset ADT pour la tâche VQA), prouvant sa capacité à généraliser à de nouveaux environnements réels.
• Futur : Bien que limitée actuellement aux interactions de type "saisir-déposer", cette approche ouvre la voie à des systèmes MR plus intuitifs et réactifs, capables de gérer des interactions corps-entier et des scénarios sociaux complexes.

En résumé, Int3DNet représente une avancée majeure pour l'interaction homme-machine en réalité mixte, en passant d'une logique de reconnaissance d'objets à une compréhension directe de l'intention spatiale à travers la fusion géométrie-mouvement.