🧬 biology

Short-Term Affective Change in Immersive Installations: A Multimodal Analysis of EEG and PANAS

Cette étude a révélé que l'affect auto-déclaré à l'état initial (PANAS) constituait un prédicteur plus stable et cohérent des changements affectifs à court terme dans les installations immersives que les indicateurs dérivés de l'EEG, suggérant que les auto-évaluations validées demeurent une référence pratique lorsque les données physiologiques sont limitées ou difficiles à interpréter.

Auteurs originaux : Yizhen Wang, Xiaowei Chen

Publié 2026-08-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yizhen Wang, Xiaowei Chen

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Les émotions humaines ne sont pas des instantanés statiques ; ce sont des courants fluides qui se déplacent et s'intensifient au fil de notre journée. Dans le domaine des sciences affectives, les chercheurs cherchent depuis longtemps à comprendre comment ces états internes changent, particulièrement lors d'expériences immersives comme la réalité virtuelle ou les installations artistiques interactives. Bien que nous puissions facilement demander à quelqu'un comment il se sent à l'instant présent, prédire comment une expérience spécifique modifiera son humeur du début à la fin est un puzzle bien plus complexe. Les scientifiques se sont tournés vers l'activité cérébrale, mesurée par des électrodes placées sur le cuir chevelu, dans l'espoir de trouver une signature biologique révélant ces changements émotionnels avant même qu'une personne n'en soit consciente. La question centrale qui motive cette ligne de recherche est de savoir si ces signaux électriques provenant du cerveau peuvent nous en dire plus sur le voyage émotionnel d'une personne que la personne elle-même ne peut nous en dire sur elle-même.

Une équipe de chercheurs s'est donné pour mission de tester cette idée en examinant un groupe de trente personnes ayant participé à une installation artistique multisensorielle immersive. Cet environnement a été conçu pour être engageant et interactif, permettant aux participants de se déplacer et d'interagir librement, un peu comme dans un cadre du monde réel plutôt que dans un laboratoire stérile. Avant d'entrer dans l'installation, chaque personne a rempli un questionnaire standard demandant d'évaluer ses sentiments actuels, par exemple si elle se sentait excitée, contrariée ou attentive. Ils ont également eu leur activité cérébrale enregistrée à l'aide d'un bonnet de capteurs. Après la session, ils ont rempli le même questionnaire une seconde fois. Les chercheurs ont ensuite calculé la différence entre les scores « avant » et « après » pour voir exactement à quel point l'humeur positive ou négative de chaque personne avait changé. Ils ont également analysé les données cérébrales collectées avant la session pour voir si ces motifs neuraux initiaux pouvaient prédire l'ampleur du changement émotionnel qui allait se produire.

Les chercheurs ont abordé ce problème en construisant des modèles informatiques pour prédire les changements d'humeur. Ils ont testé trois types différents d'informations pour voir lequel fonctionnait le mieux. Le premier type reposait uniquement sur les sentiments auto-rapportés du questionnaire. Le deuxième type utilisait uniquement les données d'activité cérébrale, en examinant spécifiquement la force des différentes ondes cérébrales et l'équilibre de l'activité entre les côtés gauche et droit du cerveau. Le troisième type combinait les réponses au questionnaire et les données cérébrales. Ils ont utilisé une méthode d'apprentissage automatique, qui est un type de programme informatique capable d'apprendre à identifier des modèles dans les données, pour voir s'il pouvait prédire avec précision de combien l'humeur d'une personne changerait en fonction de son point de départ.

Les résultats ont offert une réponse claire et quelque peu surprenante. Les modèles qui reposaient uniquement sur les données cérébrales ont montré la performance la moins stable ; ils étaient incapables de prédire de manière fiable si l'humeur d'une personne allait s'améliorer ou se dégrader. En fait, pour certains algorithmes, les modèles utilisant uniquement les signaux cérébraux ont produit des valeurs R² négatives sur l'ensemble de test, indiquant qu'ils étaient moins performants qu'une simple prédiction de base. Lorsque les chercheurs ont combiné les données cérébrales avec les réponses au questionnaire, les résultats ne se sont pas améliorés de manière significative par rapport à l'utilisation du seul questionnaire. Les prédictions les plus cohérentes et les plus précises provenaient des modèles utilisant uniquement les sentiments auto-rapportés. Plus précisément, le niveau initial de détresse ou d'agitation d'une personne était un indicateur fort de la mesure dans laquelle son humeur négative allait diminuer après l'expérience. Si quelqu'un commençait la session en se sentant très agité ou contrarié, l'installation était plus susceptible de l'aider à se sentir plus calme par la suite. Prédire une augmentation des sentiments positifs s'est avéré beaucoup plus difficile pour toutes les méthodes, mais les auto-rapports sont restés le guide le plus fiable.

Cette découverte suggère que, dans des environnements complexes du monde réel, la propre description par une personne de son état émotionnel est actuellement un outil plus utile pour comprendre sa trajectoire émotionnelle que le résumé de ses ondes cérébrales. Les données cérébrales ont montré de modestes associations bivariées avec les changements d'humeur, particulièrement concernant l'équilibre de l'activité dans les parties frontales du cerveau, mais ces signaux étaient trop faibles et bruyants pour être utiles seuls. Les chercheurs ont noté que la nature immersive de l'installation, qui permettait le mouvement et le déplacement de l'attention, a probablement introduit beaucoup de bruit de fond dans les enregistrements cérébraux, rendant plus difficile l'isolement des signaux spécifiques liés à l'émotion.

L'étude conclut que, bien que la mesure de l'activité cérébrale soit un outil puissant, elle ne constitue pas encore un remplacement de l'interrogation des personnes sur ce qu'elles ressentent, surtout lorsqu'il s'agit de suivre des changements émotionnels à court terme dans des contextes dynamiques. Les sentiments auto-rapportés ont fourni une base stable et cohérente que les données cérébrales n'ont pas pu égaler. Cela ne signifie pas que les données cérébrales sont inutiles, mais plutôt qu'elles capturent des aspects différents de l'expérience émotionnelle qui ne s'alignent pas toujours parfaitement sur ce qu'une personne peut rapporter consciemment. Pour l'instant, lorsqu'on tente de comprendre comment une expérience immersive modifie l'humeur d'une personne, la voie la plus directe et la plus fiable consiste à écouter la personne elle-même.

Résumé Technique : Changement Affectif à Court Terme dans les Installations Immersives

Énoncé du Problème
L'étude traite du défi de la caractérisation du changement affectif à court terme au sein d'expériences multisensorielles immersives. Alors que l'informatique affective se concentre souvent sur la reconnaissance d'états émotionnels statiques, il existe une lacune dans la compréhension de la manière dont l'affect transite au cours d'une session d'engagement. Une tension méthodologique spécifique existe entre les mesures d'auto-évaluation (comme l'échelle PANAS, Positive and Negative Affect Schedule) et les indicateurs physiologiques (spécifiquement l'électroencéphalographie, ou EEG). Bien que l'EEG offre un accès aux dynamiques neurales, son utilité pour prédire le changement (la transition pré-à-post) dans des contextes immersifs et écologiquement variables reste incertaine par rapport aux rapports de base subjectifs. De plus, il n'est pas certain si les changements affectifs positifs et négatifs suivent des trajectoires prédictives similaires ou si l'un est plus traitable que l'autre.

Méthodologie
La recherche a réalisé une analyse secondaire d'un ensemble de données multimodales publiques impliquant 30 participants (un sous-ensemble d'un groupe original de 50) qui ont interagi avec une installation de thérapie par l'art immersive intégrant l'EEG, la VR et l'AIGC.

Sources de Données : Scores PANAS pré- et post-session et enregistrements EEG bruts (Emotiv Flex, 128 Hz, disposition 10–10).
Variables de Résultat : Deux cibles continues ont été définies comme des scores de différence :
- $\Delta$ Positif = Positif $_{post}$ − Positif $_{pre}$
- $\Delta$ Négatif = Négatif $_{post}$ − Négatif $_{pre}$
Ensembles de Prédicteurs : Trois configurations de caractéristiques ont été construites en utilisant les données de base (pré-session) :
1. PANAS-seul : Scores de base Positif et Négatif.
2. EEG-seul : Caractéristiques spectrales de base incluant la puissance globale et frontale (theta, alpha, beta), l'asymétrie alpha frontale (F4–F3), les ratios de bandes (theta/beta, alpha/beta) et les mesures de puissance relative.
3. Hybride : Une combinaison de caractéristiques PANAS et EEG.
Stratégie de Modélisation : L'étude a employé une régression supervisée utilisant des algorithmes de régression linéaire, d'arbre de décision et de forêt aléatoire (Random Forest, RF). La performance a été évaluée via une division entraînement/test de 70:30 et une validation croisée à 5 plis en utilisant l'erreur quadratique moyenne (MSE), l'erreur absolue moyenne (MAE) et le coefficient de détermination ( $R^2$ ). La forêt aléatoire a été sélectionnée comme modèle exploratoire principal pour permettre l'analyse de l'importance des caractéristiques.

Résultats Clés

Performance Prédictive : Les modèles PANAS-seul ont démontré la performance la plus stable et la plus élevée pour les deux résultats. Pour $\Delta$ Négatif, le modèle de régression linéaire PANAS-seul a obtenu le $R^2$ le plus élevé sur l'ensemble de test (0,462), suivi du l'arbre de décision PANAS-seul (0,358) et de la forêt aléatoire (0,335). En revanche, les modèles EEG-seul ont systématiquement produit des valeurs de $R^2$ négatives sur l'ensemble de test (ex : -0,469 pour la RF sur $\Delta$ Négatif), indiquant qu'ils ont moins bien performé qu'un simple prédicteur de la moyenne. Les modèles Hybrides n'ont pas systématiquement surpassé les modèles PANAS-seul ; dans certains cas, l'ajout de caractéristiques EEG a dégradé la performance.
Asymétrie de l'Affect : Prédire les changements de l'affect négatif ( $\Delta$ Négatif) a été nettement plus fructueux que de prédire les changements de l'affect positif ( $\Delta$ Positif). Pour $\Delta$ Positif, tous les modèles (y compris PANAS-seul) ont produit des $R^2$ négatifs sur l'ensemble de test, suggérant que le changement affectif positif à court terme est moins prévisible dans cet ensemble de données.
Importance des Caractéristiques : Dans les modèles de forêt aléatoire, l'affect négatif auto-déclaré de base était le prédicteur dominant pour $\Delta$ Négatif, se classant premier par une marge claire. Pour $\Delta$ Positif, l'importance était plus distribuée. Bien que les caractéristiques EEG (spécifiquement l'asymétrie alpha frontale, le ratio theta/beta et le ratio alpha/beta) aient apporté des informations supplémentaires, elles n'ont pas autant piloté les modèles que les auto-évaluations.
Corrélations : L'analyse bivariée a montré des associations modérées entre les caractéristiques EEG et le changement affectif (ex : ratio theta/beta avec $\Delta$ Positif, alpha globale avec $\Delta$ Négatif), tandis que les items PANAS de base (ex : « Jittery », « Upset ») présentaient des corrélations plus fortes avec les changements ultérieurs de l'affect négatif.

Contributions Clés

Efficacité Comparative : L'étude fournit une preuve empirique que, dans le contexte d'une transition affective à court terme au sein d'une installation immersive, l'auto-évaluation de l'affect de base est un prédicteur plus cohérent et robuste que les résumés spectraux de l'EEG au repos.
Faisabilité Multimodale : Elle démontre la faisabilité de la modélisation affective multimodale dans des contextes écologiquement valides tout en soulignant que la combinaison de modalités n'améliore pas automatiquement la précision prédictive si les données physiologiques sont bruitées ou grossières.
Interprétabilité dans les Petits Échantillons : Le travail valide l'utilisation de l'apprentissage automatique interprétable (Forêt Aléatoire) pour de petits ensembles de données écologiquement variables. Il montre que même lorsque le pouvoir prédictif est limité, ces modèles peuvent clarifier les contributions relatives des différentes modalités de données sans les risques de surapprentissage associés aux architectures complexes de deep learning.
Différenciation des Dimensions Affectives : Les résultats suggèrent une asymétrie de la tractabilité, où les réductions de l'affect négatif sont plus aisément caractérisables par les mesures de base que les augmentations de l'affect positif.

Signification et Revendications
Les auteurs affirment que ces résultats soutiennent une vision complémentaire plutôt que compétitive de l'auto-évaluation et de l'EEG. Dans les contextes immersifs ou appliqués où les données physiologiques peuvent être limitées par les artefacts de mouvement, la variabilité environnementale ou les résumés spectraux grossiers, les mesures d'auto-évaluation validées (comme le PANAS) offrent une référence de base pratique et fiable pour la modélisation du changement affectif.

L'article souligne que la faible performance des caractéristiques EEG ne doit pas être interprétée comme le fait que l'EEG soit intrinsèquement non informatif pour la recherche affective. Elle reflète plutôt les limites de l'information neurale spécifique disponible (puissance spectrale au repos) dans un contexte naturaliste. L'étude conclut que bien que la modélisation multimodale soit réalisable, les chercheurs devraient donner la priorité aux auto-évaluations à faible charge et interprétables lorsque les données physiologiques sont difficiles à interpréter ou lorsque l'objectif est de caractériser les transitions affectives à court terme dans des conditions écologiquement variables.

Articles similaires