Glass Chirolytics: Reciprocal Compositing and Shared Gestural Control for Face-to-Face Collaborative Visualization at a Distance

Ce papier présente « Glass Chirolytics », une approche de compositing réciproque permettant à des utilisateurs distants de manipuler simultanément des visualisations de données superposées à leur flux vidéo via des gestes bimanuels, améliorant ainsi la présence et la conscience mutuelle des intentions analytiques par rapport aux méthodes traditionnelles de partage d'écran.

L'essentiel

🪞 Glass Chirolytics : La "Table de Verre" Magique pour Travailler à Distance

Imaginez que vous êtes assis en face de votre collègue, mais qu'il y a une épaisse vitre entre vous. C'est ce qu'on appelle une réunion en visioconférence classique : vous voyez son visage, mais si vous voulez montrer quelque chose sur un graphique ou une carte, vous devez partager votre écran. Résultat ? Il regarde son écran, vous regardez le vôtre, et vous avez l'impression d'être séparés par un mur invisible. Vous ne voyez plus ses mains, ses gestes, ni ses yeux qui cherchent un détail. C'est comme essayer de dessiner ensemble sur un tableau blanc, mais en étant chacun dans une pièce différente.

Les auteurs de cet article, Dion Barja et Matthew Brehmer, ont eu une idée brillante pour briser ce mur. Ils ont créé Glass Chirolytics.

🚀 Le Concept : Une Fenêtre de Verre Partagée

Au lieu de partager un écran plat, imaginez que la vidéo de votre partenaire est projetée directement sur une fenêtre de verre transparente qui se trouve entre vous.

• L'effet miroir : Si vous regardez cette fenêtre, vous voyez votre collègue. Mais si vous posez un graphique de voyage ou une carte du monde sur ce verre, vous le voyez par-dessus son visage.
• La magie : Le plus incroyable, c'est que vous pouvez tous les deux toucher ce verre en même temps. Vous pouvez pointer du doigt, sélectionner des villes, ou déplacer des éléments avec vos mains dans les airs, et votre collègue voit exactement ce que vous faites, comme si vous étiez assis côte à côte autour d'une table magique.

C'est comme si vous aviez une table de verre magique au milieu de la pièce. Vous pouvez tous les deux écrire dessus, dessiner des lignes, ou déplacer des objets, tout en regardant directement les yeux de l'autre personne.

✋ La "Danse des Mains" (Les Gestes)

Pour utiliser cette fenêtre magique, pas besoin de souris ni de clavier. On utilise nos mains, comme si on jouait à un jeu vidéo sans manette. Les chercheurs ont inventé un nouveau langage de gestes :

1. Le Doigt Pointeur (Le "Pointer") : Vous pointez un doigt vers une ville sur la carte. C'est comme dire "Regarde ça !" de manière instantanée.
2. Le Pincement (Le "Sélectionneur") : Vous pincez l'index et le pouce pour "attraper" un élément et le déplacer, comme si vous teniez un objet physique.
3. La Main Ouverte (Le "Sélecteur de Groupe") : Vous ouvrez grand la main pour sélectionner plusieurs choses à la fois (par exemple, tous les aéroports en Europe). C'est comme balayer du regard avec la main.
4. Le Poing (Le "Zoom") : Vous fermez les deux poings et les écartez pour zoomer, ou les rapprochez pour dézoomer. C'est comme pincer l'écran d'un téléphone, mais avec les deux mains dans les airs !

🌍 À quoi ça sert ? (Des Exemples Concrets)

Les chercheurs ont testé cette idée avec plusieurs scénarios :

• Planifier des vacances : Deux amis veulent partir en voyage. L'un pointe Madrid avec la main gauche, l'autre Stockholm avec la main droite. Ils voient immédiatement les vols possibles. Ils peuvent tous les deux sélectionner plusieurs villes en même temps pour comparer les prix, sans se marcher sur les pieds.
• Aider un élève : Un professeur montre un schéma complexe à un élève. Il peut pointer une partie du dessin avec son doigt, et l'élève voit exactement où le professeur regarde. Le professeur peut aussi déplacer des pièces du schéma pour expliquer un concept, et l'élève peut essayer de le faire lui-même.
• Entretien d'embauche : Un recruteur demande à un candidat de dessiner une architecture de système sur la vitre. Le candidat peut déplacer des blocs avec ses mains, et le recruteur peut pointer des détails pour poser des questions.

🧪 Ce que l'expérience a révélé

Les chercheurs ont fait tester ce système à 16 personnes (8 paires) en les comparant à une réunion classique avec une souris partagée.

• Le résultat gagnant : Avec Glass Chirolytics, les gens se sentaient beaucoup plus présents. Ils avaient l'impression d'être vraiment ensemble.
• Moins de "Je fais, tu regardes" : Dans une réunion classique, souvent une personne prend la souris et l'autre regarde. Avec la vitre magique, les deux peuvent agir en même temps, comme deux pianistes jouant sur le même clavier.
• Comprendre l'intention : C'est le plus gros avantage. Avec une souris, on ne voit que le curseur bouger. Avec les mains, on voit l'intention avant l'action. Si votre collègue tend la main vers Paris, vous savez qu'il va choisir Paris avant même qu'il ne clique. C'est comme lire dans ses pensées !
• Un peu plus fatiguant : Il faut bouger les bras, ce qui demande un peu plus d'effort physique que de bouger une souris, mais les participants ont trouvé ça amusant et naturel.

💡 En résumé

Glass Chirolytics, c'est comme remplacer la vitre froide d'une visioconférence par une table de verre interactive et vivante. Cela permet de retrouver le langage corporel, les gestes et la spontanéité d'une vraie conversation en face à face, même quand on est à des kilomètres l'un de l'autre. C'est un pas de géant pour rendre le travail à distance plus humain, plus fluide et plus collaboratif.

C'est l'avenir de la réunion : ne plus regarder un écran, mais regarder à travers l'écran, main dans la main. 🤝✨

Résumé technique

Voici un résumé technique détaillé de l'article de recherche "Glass Chirolytics: Reciprocal Compositing and Shared Gestural Control for Face-to-Face Collaborative Visualization at a Distance", présenté en français.

1. Problématique

Les applications de visioconférence actuelles (Zoom, Teams, etc.) reposent souvent sur le partage d'écran, ce qui crée une dynamique de communication à sens unique (présentateur vers auditoire). Cette approche présente plusieurs limites pour la collaboration analytique :

• Perte des signaux non verbaux : Les gestes de pointage (déictiques), le contact visuel et les expressions faciales sont souvent ignorés ou masqués par les vignettes vidéo en périphérie.
• Manque d'interactivité partagée : Seul le présentateur peut interagir avec les visualisations, tandis que les autres participants sont passifs.
• Inadéquation pour l'analyse collaborative : Les scénarios d'analyse de données complexes (décision conjointe, tutorat, entretiens techniques) nécessitent une interaction bidirectionnelle et une compréhension mutuelle des intentions analytiques, ce que le modèle "What-You-See-Is-What-I-See" (WYSIWIS) strict et unidirectionnel ne permet pas.

L'objectif est de créer un environnement de visioconférence enrichi qui restaure la présence physique et permet à deux collaborateurs distants d'interagir simultanément avec des visualisations de données complexes via des gestes.

2. Méthodologie et Conception : Glass Chirolytics

Les auteurs proposent Glass Chirolytics, une approche de visioconférence augmentée qui superpose des artefacts de visualisation et des widgets d'interface sur la vidéo miroir du partenaire de conversation, créant l'illusion d'une "vitre" de verre entre les deux participants.

A. Trois Décisions de Conception Clés

1. Perspective commune et conversation face à face (D1) : Au lieu d'afficher la vidéo de soi-même (vue "self-view"), le système superpose les visualisations sur la vidéo miroir du partenaire. Cela permet aux deux utilisateurs de voir les mêmes éléments visuels tout en maintenant un contact visuel direct avec leur interlocuteur. La vidéo du partenaire est en niveaux de gris pour mettre en valeur les visualisations.
2. Analyse collaborative de données complexes (D2) : Le système est conçu pour gérer des abstractions de données structurelles (graphes nœuds-liens, cartes d'origine-destination) plutôt que de simples graphiques statistiques statiques.
3. Synchronisation gestuelle (D3) : L'interaction est synchronisée via un vocabulaire gestuel bimanuel (deux mains) conçu spécifiquement pour l'analyse de données, permettant à chaque participant de manipuler les éléments partagés simultanément.

B. Vocabulaire Gestuel

Le système utilise des caméras web grand public et la bibliothèque MediaPipe pour la détection des points clés des mains. Le vocabulaire inclut :

• Point (Pointing) : Sélection éphémère d'un élément (pour attirer l'attention).
• Point-and-tap (Pointe-touche) : Sélection persistante d'un élément (nouveau geste, analogue à un clic).
• Spread (Étalement) : Sélection grossière de plusieurs éléments (détection de la paume ouverte). Peut être éphémère ou persistante si maintenue > 1 seconde.
• Pinch-and-move (Pince-bouge) : Déplacement ou reconfiguration d'éléments individuels.
• Grab-and-move (Saisir-bouger) : Défilement (panning) de l'espace de coordonnées (poing fermé).
• Separate-or-join (Séparer-joindre) : Zoom avant/arrière (deux poings séparés ou rapprochés).

Le système gère la logique de sélection combinée (ex: deux mains de deux personnes différentes sélectionnant des éléments pour révéler des liens entre eux).

C. Implémentation Technique

• Synchronisation : Utilisation de Yjs (type de données répliqué sans conflit - CRDT) pour synchroniser l'état des visualisations entre les deux clients.
• Communication : WebRTC pour la transmission vidéo et l'état partagé en temps réel.
• Reconnaissance : Modèle de classification de gestes personnalisé entraîné sur un sous-ensemble de HaGRID et des données propres, utilisant MediaPipe.
• Interface : Développée en React avec D3.js pour les visualisations SVG.

3. Contributions Principales

1. Nouvelle Approche de Collaboration : Introduction de "Glass Chirolytics", combinant la composition vidéo réciproque et le contrôle gestuel partagé pour l'analyse de données en face-à-face à distance.
2. Vocabulaire Gestuel pour l'Analyse : Définition d'un ensemble de gestes bimanuels adaptés aux tâches d'analyse (navigation, sélection persistante, connexion d'éléments), incluant deux gestes novateurs (Point-and-tap et Spread).
3. Prototypes d'Applications : Développement de sept interfaces couvrant quatre scénarios :
   • Prise de décision (planification de voyage).
   • Analyse exploratoire (votations politiques, migrations).
   • Tutorat (topologies de graphes, matrices de dispersion).
   • Entretiens techniques (conception de systèmes, diagrammes de Sankey).
4. Évaluation Empirique : Une étude comparative avec 16 participants (8 paires).

4. Résultats de l'Évaluation

L'étude a comparé Glass Chirolytics à une application de base utilisant le partage d'écran classique avec contrôle partagé de la souris (curseur).

• Présence et Conscience Mutuelle (TPI) : Les participants ont rapporté un sentiment de présence significativement plus élevé avec Glass Chirolytics. Ils ont mieux senti la présence de leur partenaire, le contact visuel et la compréhension des intentions analytiques (via la position des mains et le regard).
• Charge de Travail (NASA-TLX) :
  • Demande temporelle : Significativement plus faible avec Glass Chirolytics. La collaboration était plus fluide, avec moins de conflits de curseur et de négociation verbale pour le tour de rôle.
  • Demande physique : Significativement plus élevée (due à l'utilisation des bras et des mains dans l'air).
  • Charge mentale et frustration : Pas de différence significative.
• Observations Qualitatives :
  • Collaboration fluide : Glass Chirolytics a permis une interaction simultanée et parallèle, réduisant les stratégies territoriales (éviter les conflits de curseur).
  • Intention analytique : Les gestes permettent de voir ce que le partenaire va faire avant qu'il ne le fasse (foresight), contrairement au curseur qui ne montre que la position actuelle.
  • Apprentissage : Bien que l'apprentissage initial des gestes prenne quelques minutes, les utilisateurs ont trouvé l'interface intuitive et "amusante".
  • Limites : Certains utilisateurs ont ressenti une fatigue physique et une difficulté à maintenir leurs mains dans le champ de la caméra sans déclencher d'actions involontaires.

5. Signification et Implications

• Restauration de la Communication Non Verbale : Glass Chirolytics comble le fossé entre les réunions en personne et les réunions à distance en réintroduisant les mains et les gestes dans le cadre de la conversation, activant potentiellement le système de neurones miroirs humains.
• Au-delà du "One-to-Many" : Le système déplace le paradigme de la présentation unidirectionnelle vers une analyse de données véritablement collaborative et bidirectionnelle.
• Design Futur : L'étude suggère que pour les outils de collaboration à distance, il est crucial de fournir une visibilité des intentions (via les gestes) plutôt que de simples indicateurs de position (curseur).
• Limites et Perspectives : La solution est actuellement limitée à deux participants et peut être fatigante physiquement. Des recherches futures pourraient explorer l'intégration de la voix pour les commandes, l'adaptation aux groupes plus larges, ou l'utilisation de caméras multiples pour réduire la fatigue.

En conclusion, Glass Chirolytics démontre que l'augmentation vidéo réciproque couplée à un contrôle gestuel partagé améliore significativement la qualité de la collaboration analytique à distance, en favorisant l'immersion, la compréhension mutuelle des intentions et l'efficacité de la prise de décision.