Résumé technique : EmoMind – Décodage de légendes affectives à partir de l'IRMf cérébrale humaine

Énoncé du problème

Les systèmes actuels de décodage cerveau-texte ont réalisé des progrès significatifs dans la récupération du contenu sémantique à partir de signaux IRMf, comme la reconstruction de scènes visuelles ou de la parole. Cependant, ces systèmes rejettent largement la dimension affective de la perception. Les approches existantes génèrent soit des descriptions neutres dépourvues d'émotion, soit conditionnent les modèles de langage à grande échelle (LLM) sur des étiquettes émotionnelles grossières et catégorielles (par exemple, « heureux », « triste »). Ces étiquettes catégorielles échouent à capturer la nature riche, continue et hautement variable des expériences émotionnelles individuelles, en réduisant la variabilité inter-sujet à des compartiments discrets. De plus, si les LLM peuvent générer du texte émotionnel lorsqu'ils sont sollicités avec des étiquettes, ils ne peuvent pas lire directement l'état affectif continu et spécifique à un sujet à partir de l'activité neuronale.

Méthodologie : Le pipeline EmoMind

EmoMind est le premier pipeline de bout en bout conçu pour décoder des légendes affectives directement à partir de signaux IRMf en utilisant un vecteur émotionnel continu et de haute dimension comme signal de contrôle. L'architecture fonctionne en deux étapes principales :

1. Décodage cérébral à double flux (Étape 1)

Étant donné un vecteur de réponse de voxel IRMf $v$ provenant d'un sujet regardant un extrait vidéo, le système décode deux représentations complémentaires en utilisant des modèles linéaires par sujet :

• Récupération sémantique ($x$) : Une description neutre de la scène est récupérée à partir d'un corpus d'entraînement pré-indexé. Cela est réalisé en mappant les signaux IRMf vers une pile de caractéristiques multi-couches d'un modèle DeBERTa-large préentraîné (24 couches) et en effectuant une recherche de plus proche voisin par cosinus. Cela remplace la génération itérative token par token par une récupération en un seul passage, réduisant considérablement les coûts d'inférence.
• Décodage émotionnel continu ($e$) : Un modèle de régression ridge spécifique au sujet mappe les voxels IRMf vers un vecteur émotionnel de 34 dimensions Cowen & Keltner (C&K). Contrairement aux étiquettes catégorielles, ce vecteur représente des états émotionnels fins (par exemple, Joie, Peur, Émerveillement, Nostalgie) sous forme de probabilités continues dérivées des évaluations humaines des stimuli.

2. Réécriveur d'axes-tokens (Étape 2)

Un modèle de langage encodeur-décodeur entraîné (BART-base) agit comme un réécriveur qui transforme la légende neutre $x$ en une légende stylisée émotionnellement $\hat{y}$, conditionnée par le vecteur émotionnel décodé $e$.

• Architecture : Le modèle intègre 34 « tokens d'axe » appris (un pour chaque catégorie émotionnelle C&K). Le vecteur émotionnel décodé par le cerveau $e$ met à l'échelle ces tokens d'axe élément par élément, qui sont ensuite concaténés à l'état caché de l'encodeur. Cela permet au décodeur d'interpréter les axes émotionnels comme des tokens de contexte virtuels supplémentaires sans perturber la représentation sémantique préentraînée de la légende d'entrée.
• Objectif d'entraînement : Le modèle est entraîné avec un objectif à commutation Bernoulli. Avec une probabilité $\rho$, il effectue une tâche de reconstruction (entrée $x$ avec un vecteur émotionnel à zéro), et avec une probabilité $1-\rho$, il effectue une tâche ciblée sur l'émotion (entrée $x$ avec le vecteur émotionnel $e$ visant une légende émotionnelle spécifique). Cette branche nulle explicite préservant l'identité apprend au modèle quand préserver le contenu sémantique et quand permettre un contrôle affectif.
• Inférence (Guidage sans classifieur) : Pour contrôler le compromis entre la fidélité sémantique et l'expression affective, le système applique un guidage sans classifieur (CFG). La sortie finale de l'encodeur est une extrapolation linéaire : $H_{cfg} = H_{null} + (1+w)(H_{cond} - H_{null})$, où $w$ est le poids de guidage. Des valeurs de $w$ plus élevées amplifient l'expression affective au détriment d'une certaine fidélité du contenu.

Contributions clés

1. Premier pipeline conditionné par le cerveau continu : EmoMind introduit le premier système qui conditionne la génération de texte sur un vecteur émotionnel continu et décodé, dérivé directement de l'IRMf, plutôt que de s'appuyer sur des étiquettes catégorielles discrètes.
2. Cadre de validation à trois axes : Les auteurs proposent un cadre d'évaluation rigoureux couvrant :
   • Spécificité du sujet : Mesurer si différents sujets regardant la même scène produisent des légendes distinctes proportionnelles à leurs différences neuronales.
   • Géométrie structurelle (RSA) : Évaluer si la structure relationnelle entre les extraits dans l'espace émotionnel décodé par le cerveau est préservée dans les légendes générées.
   • Contrôle causal (SWAP) : Tester si le réécriveur suit un objectif émotionnel décalé (provenant d'un autre extrait) plutôt que de revenir à l'affect inhérent de la scène d'entrée.
3. Test de robustesse Cerveau-Synthétique : Le cadre inclut un test de « substitution TRIBE v2 », remplaçant l'IRMf mesurée par une activité synthétique prédite à partir de caractéristiques vidéo pour diagnostiquer les écarts de représentation dans les encodeurs vidéo-cerveau actuels.

Résultats expérimentaux

Le système a été évalué sur deux ensembles de données IRMf indépendants (MindCaptioning et Horikawa 2020) par rapport à une base forte : GPT-4 sollicité avec les 5 étiquettes émotionnelles catégorielles de vérité terrain les plus élevées.

• Spécificité du sujet : EmoMind a nettement surpassé la base GPT-4. La diversité des légendes entre les sujets était 3,4 fois plus élevée sur la similarité des vecteurs émotionnels (cosinus CK34) et 11,6 fois plus élevée sur la diversité lexicale. Crucial, cette diversité était organisée par la similarité neuronale ; les sujets ayant des réponses cérébrales similaires produisaient des légendes plus similaires, une structure absente dans la base sollicitée par étiquettes.
• Géométrie structurelle : La corrélation de Spearman entre la matrice de dissimilarité représentative (RDM) décodée par le cerveau et la RDM des légendes était de +0,635 pour EmoMind, contre +0,435 pour GPT-4. Cela indique que le décodage cérébral continu préserve mieux la géométrie relationnelle des expériences émotionnelles que les étiquettes catégorielles.
• Contrôle causal : Dans le test SWAP, EmoMind a atteint un taux de « fuite propre » de 2,8 % (statistiquement indiscernable du hasard), ce qui signifie qu'il a suivi avec succès la cible décalée sans revenir à l'affect de l'extrait original. GPT-4 a laissé fuir l'affect de l'extrait original à 8,3 %, démontrant que les signaux cérébraux continus fournissent un signal de contrôle plus propre que les étiquettes catégorielles.
• Analyse Cerveau-Synthétique : Lorsque l'IRMf a été remplacée par une activité synthétique (TRIBE v2), le contrôle causal est resté robuste (fuite 5,2 %), mais la géométrie structurelle s'est effondrée (RSA passant de +0,635 à +0,166). Cela suggère que si les encodeurs vidéo-IRMf actuels peuvent capturer l'affect spécifique à l'extrait, ils échouent à préserver la structure relationnelle entre les extraits.

Importance et revendications

L'article revendique que l'affect décodé par le cerveau continu est un signal de contrôle viable pour la génération de légendes affectives individualisées, offrant des capacités que les étiquettes catégorielles ne peuvent pas atteindre.

• Variabilité individuelle : Les résultats établissent que les différences individuelles dans l'expérience émotionnelle sont encodées dans des motifs neuronaux distribués et de haute dimension qui sont perdus lorsqu'ils sont agrégés en étiquettes au niveau de la population. EmoMind capture avec succès cette « variabilité inter-sujet », ce qui est crucial pour les applications translationnelles en santé mentale où les moyennes de population manquent souvent des signaux cliniquement significatifs.
• Au-delà des métriques de surface : Bien que GPT-4 surpasse EmoMind sur les métriques standard de chevauchement de surface (BLEU, ROUGE) car il a accès au texte et aux étiquettes de vérité terrain, EmoMind domine sur les métriques nécessitant une structure affective spécifique à la personne.
• Insight neuroscientifique : La dissociation entre l'utilisabilité causale (préservée dans les cerveaux synthétiques) et l'utilisabilité structurelle (perdue dans les cerveaux synthétiques) suggère que les encodeurs vidéo-IRMf actuels manquent des signaux interoceptifs ou spécifiques au sujet nécessaires pour reconstruire pleinement la géométrie relationnelle de l'affect.

Les auteurs concluent qu'EmoMind ouvre de nouvelles directions pour étudier l'organisation cérébrale affective individuelle et fournit un substrat pour générer du texte qui reflète non seulement ce que la personne a vu, mais comment elle s'est sentie à ce sujet, d'une manière spécifique à sa signature neuronale unique.