A Platform-Agnostic Multimodal Digital Human Modelling Framework: Neurophysiological Sensing in Game-Based Interaction

Cet article présente un cadre de modélisation numérique d'humain (DHM) indépendant de la plateforme qui intègre le casque OpenBCI Galea pour le capteur multimodal et l'environnement SuperTux pour l'interaction, afin de fournir une infrastructure reproductible et éthique pour la recherche future en interaction homme-machine et en accessibilité.

L'essentiel

Imaginez que vous construisez une maison très intelligente, capable de comprendre comment les gens vivent à l'intérieur. Mais au lieu de construire une seule maison pour un seul type de famille, les auteurs de cet article ont créé un plan de construction universel qui peut s'adapter à n'importe quel terrain, n'importe quel style de maison et n'importe quel futur habitant.

Voici l'explication de leur travail, traduite en langage simple avec quelques images pour mieux comprendre :

1. Le Problème : Des maisons trop spécialisées

Actuellement, la plupart des systèmes qui étudient les humains (appelés "Modélisation Numérique de l'Humain") sont comme des maisons sur mesure construites dans un seul jardin.

• Si vous voulez changer de terrain (changer de plateforme informatique), vous devez tout démolir et reconstruire.
• Si vous voulez étudier une personne avec des besoins différents (par exemple, quelqu'un qui a des difficultés à bouger), le système est souvent trop rigide et ne peut pas s'adapter sans être entièrement réinventé.
• De plus, ces systèmes essaient souvent de deviner ce que vous ressentez (triste, heureux, stressé) dès qu'ils vous regardent, ce qui pose des problèmes éthiques.

2. La Solution : Une "Boîte à Outils" Universelle

Les auteurs (Daniel et son équipe) ont créé un framework (une structure de base) agnostique.

• L'analogie du Lego : Imaginez que vous avez une boîte de Lego. Peu importe si vous voulez construire un château, une voiture ou un vaisseau spatial, les briques de base sont les mêmes. Ce framework est cette boîte de Lego. Il sépare clairement trois choses :
  1. Les capteurs (les yeux et les oreilles du système).
  2. L'interaction (ce que la personne fait, comme jouer à un jeu).
  3. L'intelligence artificielle (la partie qui essaie de comprendre pourquoi la personne fait cela).

En gardant ces trois parties séparées, on peut changer l'une sans casser les autres.

3. Les Capteurs : Le "Casque de Super-Héros"

Pour voir ce qui se passe dans le corps, ils utilisent un casque spécial appelé OpenBCI Galea.

• L'image : C'est comme un casque de super-héros qui peut lire plusieurs choses en même temps : l'activité électrique du cerveau (EEG), les mouvements des muscles (EMG), les mouvements des yeux (EOG), le rythme cardiaque et même les mouvements de la tête.
• Au lieu de dire "Ah, il est stressé !", le système se contente de dire : "Voici les données brutes : le cœur bat à 80, les yeux ont cligné 3 fois." C'est comme un enregistreur de voix qui note tout ce qui se dit, sans juger le contenu.

4. L'Interaction : Jouer à SuperTux

Pour tester leur système, ils ont utilisé un jeu vidéo simple et gratuit appelé SuperTux (un peu comme Mario, mais avec un pingouin).

• Pourquoi un jeu ? Parce que c'est un terrain de jeu contrôlé. On sait exactement quand le pingouin saute, quand il tombe ou quand il ramasse une pièce.
• L'approche neutre : Le système enregistre les actions du joueur (saut, mouvement) et les aligne parfaitement avec les données du casque. Il ne dit pas "Le joueur est mauvais", il dit "Le joueur a sauté à 10h02:05". C'est une chronique neutre des événements.

5. Pourquoi c'est important pour l'inclusion ?

C'est ici que la magie opère pour l'accessibilité.

• Imaginez que vous voulez étudier comment une personne en fauteuil roulant interagit avec un jeu. Avec les vieux systèmes, il faudrait tout reconstruire. Avec ce nouveau système, vous changez simplement la "manette" (l'interaction) pour qu'elle soit adaptée, mais le reste (les capteurs, l'enregistrement) reste exactement le même.
• C'est comme si vous aviez une porte d'entrée standard, mais que vous pouviez installer n'importe quel type de poignée (pour une main, un coude, ou un regard) sans avoir à changer la structure de la maison.

6. La Règle d'Or : Éthique et Confidentialité

Les auteurs insistent sur un point crucial : Ils ne lisent pas dans les pensées.

• Ils ont construit un "sas de sécurité". Les données sont collectées, mais personne ne les interprète pour dire "Cette personne est triste" ou "Elle est intelligente".
• C'est comme un photographe qui prend des photos d'un événement pour l'archiver, sans jamais dire ce que les gens pensent en regardant les photos. Cela permet de faire de la recherche future (avec l'accord des éthiciens) sans violer la vie privée des gens dès le départ.

En résumé

Ce papier ne dit pas "Voici comment on lit les émotions". Il dit : "Voici comment on construit un laboratoire flexible, éthique et universel où l'on pourra un jour étudier les émotions, les handicaps et les interactions, sans avoir à tout reconstruire à chaque fois."

C'est une fondation solide pour construire un futur où la technologie s'adapte à l'humain, et non l'inverse.

Résumé technique

Voici un résumé technique détaillé de l'article « A Platform-Agnostic Multimodal Digital Human Modelling Framework: Neurophysiological Sensing in Game-Based Interaction », présenté en français.

1. Problématique

Le domaine de la Modélisation Numérique de l'Humain (DHM - Digital Human Modelling) et de l'interaction multimodale fait face à plusieurs défis majeurs :

• Couplage étroit : De nombreuses approches existantes sont fortement dépendantes de plateformes spécifiques, de tâches précises ou de pipelines d'interprétation uniques. Cela limite la reproductibilité, la portabilité et la réutilisation éthique des données.
• Problèmes d'accessibilité : La rigidité des systèmes actuels rend difficile l'adaptation des tâches de capture et de modélisation aux besoins moteurs, sensoriels ou cognitifs variés des utilisateurs sans réingénierie complète du système.
• Questions éthiques : L'utilisation de signaux neurophysiologiques (EEG, EMG, etc.) soulève des inquiétudes concernant la sur-interprétation. Souvent, la distinction entre l'acquisition de données (observables descriptifs) et l'inférence (états cognitifs ou émotionnels) est floue, ce qui peut mener à des conclusions prématurées ou non étayées.

L'objectif de cet article est de proposer une infrastructure capable de séparer clairement l'acquisition des données, la modélisation de l'interaction et la préparation à l'inférence, afin de soutenir une recherche inclusive et éthiquement encadrée.

2. Méthodologie et Architecture

Les auteurs proposent un cadre de travail (framework) agnostique vis-à-vis de la plateforme, structuré en couches architecturales distinctes pour assurer la modularité et la réutilisabilité.

A. Architecture du Framework

Le système repose sur trois couches principales :

1. Couche de capteurs multimodaux : Intégration d'une source de données unifiée.
2. Couche d'abstraction : Responsable de l'alignement temporel et de la structuration des données.
3. Couche de modélisation de l'interaction : Représentation des tâches via des primitives structurées et des marqueurs d'événements, indépendamment du matériel ou du logiciel sous-jacent.

B. Intégration des Capteurs (Hardware)

Le framework utilise le casque OpenBCI Galea comme couche de détection unifiée. Ce dispositif capture simultanément plusieurs flux de données physiologiques et inertielles :

• EEG (Électroencéphalogramme) : 10 canaux actifs secs.
• EMG (Électromyogramme) : 4 à 6 canaux (visage).
• EOG (Électro-oculogramme) : 2 canaux.
• PPG (Photopléthysmogramme) : Capteur de pouls (clip d'oreille).
• IMU (Unité de mesure inertielle) : Accéléromètre, gyroscope et magnétomètre.
• Fréquence d'échantillonnage : 250 Hz pour la plupart des signaux physiologiques.

C. Environnement d'Interaction

Pour l'interaction, les auteurs ont choisi le jeu vidéo open-source SuperTux.

• Justification : Mécaniques déterministes, structure d'événements discrets et faible complexité sensorielle.
• Modélisation : Les actions de jeu sont abstraites en « primitives d'interaction » (séquences de mouvement, événements de timing, marqueurs de progression, erreurs). Ces primitives sont étiquetées avec des horodatages (timestamps) pour permettre un alignement précis avec les flux physiologiques.

D. Validation Technique

Contrairement aux études classiques, aucune évaluation sur des sujets humains n'a été réalisée. La validation technique a été effectuée exclusivement par l'auto-instrumentation des auteurs pour vérifier :

• L'intégrité des données.
• La continuité des flux de données.
• La synchronisation temporelle entre les capteurs et les événements de jeu.
• Aucune inférence comportementale, émotionnelle ou d'accessibilité n'a été faite.

3. Contributions Clés

1. Séparation des préoccupations (Separation of Concerns) : Découplage strict entre l'acquisition des signaux, la modélisation de l'interaction et la préparation à l'inférence. Cela permet d'appliquer des méthodes d'IA ultérieurement, uniquement après approbation éthique.
2. Agnosticisme de la plateforme : Le framework permet de remplacer ou d'étendre le matériel de capture, l'environnement d'interaction ou les algorithmes d'analyse sans modifier l'architecture de base.
3. Conception orientée accessibilité : L'infrastructure permet d'adapter les tâches (réduction des exigences motrices, simplification sensorielle) au niveau de la couche d'interaction sans toucher aux mécanismes de capture ou de synchronisation.
4. Approche éthique par défaut : En traitant les signaux physiologiques comme des « observables descriptifs » plutôt que comme des indicateurs diagnostiques, le framework évite les inférences prématurées sur les états internes de l'utilisateur.

4. Résultats

Puisque l'étude se concentre sur l'infrastructure et non sur l'évaluation comportementale :

• Vérification technique : Les auteurs ont confirmé que le système fonctionne correctement, avec une capture de données end-to-end réussie et une synchronisation temporelle précise entre les flux du Galea et les événements du jeu SuperTux.
• Intégrité des flux : La continuité des données et la capacité à gérer plusieurs flux parallèles ont été validées.
• Absence de résultats empiriques : Aucun résultat concernant l'efficacité du système, les performances des utilisateurs ou les états émotionnels n'est rapporté, car cela ferait l'objet de futures études approuvées par un comité d'éthique.

5. Signification et Impact

Ce travail est significatif car il propose une infrastructure de recherche réutilisable pour la communauté DHM et HCI (Interaction Humain-Ordinateur).

• Pour la recherche inclusive : Il offre un moyen standardisé de mener des études sur l'accessibilité sans être bloqué par des protocoles expérimentaux rigides ou des outils propriétaires.
• Pour l'éthique de l'IA : Il établit une frontière claire entre la collecte de données sensibles et leur interprétation, répondant aux préoccupations croissantes concernant l'utilisation des données biométriques.
• Évolutivité : L'architecture modulaire permet une mise à l'échelle vers des études longitudinales ou l'intégration de nouveaux capteurs sans refonte majeure.

En résumé, cet article ne propose pas un nouvel algorithme d'IA ou un nouveau modèle de comportement, mais plutôt un socle architectural robuste et éthique qui permet à la recherche future sur la modélisation numérique de l'humain d'être plus inclusive, reproductible et respectueuse des limites éthiques.