AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models

1. Énoncé du problème : Le problème de la contamination par les mots-clés

La recherche actuelle sur l'interprétabilité mécaniste de l'émotion dans les grands modèles de langage (LLM) repose fortement sur des stimuli contenant explicitement un vocabulaire chargé d'émotions (par exemple, « Je suis furieux », « elle était dévastée »). Cela crée un biais fondamental :

• L'ambiguïté : Lorsque la représentation interne d'un modèle (détectée via un sondage linéaire, un patching d'activation ou des vecteurs de direction) corréle avec une étiquette d'émotion, il est impossible de savoir si le modèle a appris le concept sémantique de l'émotion ou s'il a simplement détecté le token lexical (le mot lui-même).
• Conséquences : Cette ambiguïté invalide les affirmations ultérieures concernant les circuits émotionnels, l'ingénierie des caractéristiques et les interventions comportementales. Si un vecteur de direction pour le « désespoir » fonctionne, on ignore s'il opère sur le concept de désespoir ou sur le voisinage lexical du mot « désespéré ».
• Lacune dans la littérature : Bien que les corpus existants (par exemple, crowd-enVENT, GoEmotions) et des études récentes reconnaissent ce problème, aucune ressource existante ne permet aux chercheurs de tester directement l'hypothèse d'« indépendance des mots-clés » car ils manquent de stimuli où l'émotion est présente mais où les mots spécifiques désignant l'émotion sont absents.

2. Méthodologie : Construction du jeu de données AIPsy-Affect

Les auteurs introduisent AIPsy-Affect, une batterie de stimuli cliniques de 480 éléments conçue pour éliminer les biais liés aux mots-clés grâce à une conception rigoureuse de paires appariées.

Principes de conception fondamentaux

• Émotions cibles : Basées sur la roue de Plutchik, couvrant huit émotions primaires : rage, terreur, chagrin, dégoût, émerveillement, admiration, extase, vigilance.
• Domaines psychologiques : Les émotions sont instanciées à travers six domaines distincts (par exemple, trahison financière, violation professionnelle, échec médical) pour garantir que les représentations sont spécifiques à l'émotion et non au domaine.
• Contrainte sans mots-clés : Les vignettes sont construites pour évoquer des émotions spécifiques uniquement par des indices situationnels et comportementaux. Les mots explicites désignant l'émotion (par exemple, « furieux ») et les synonymes proches sont strictement interdits.
• Structure de paires appariées : Chaque vignette clinique possède un témoin neutre apparié 1:1. La version neutre préserve les personnages, le cadre, les objets, la structure des phrases et le nombre de mots, mais supprime les enjeux émotionnels (par exemple, remplacer une trahison par une transaction routinière).
  • Signification : Toute représentation interne distinguant un élément clinique de son témoin neutre apparié ne peut pas reposer sur des caractéristiques de surface ou la présence de mots-clés ; elle doit nécessairement suivre le construit émotionnel.

Découpages du jeu de données

Le jeu de données est divisé en quatre découpes spécifiques pour soutenir différents besoins analytiques :

1. Clinique (192 éléments) : Vignettes sans mots-clés à intensité maximale (8 émotions × 6 domaines × 4 vignettes).
2. Neutre (192 éléments) : Témoins appariés pour le découpage clinique.
3. Modéré (48 éléments) : Vignettes à intensité modérée pour les domaines 1 à 3, permettant une analyse dose-réponse (comparaison entre intensité maximale et modérée).
4. Complexe_Neutre (48 éléments) : Récits vivants sans émotion (par exemple, processus industriels) appariés pour la densité descriptive. Cela sert de contrôle de validité discriminante pour s'assurer que les sondages détectent l'affect et non simplement la richesse narrative.

3. Validation : La batterie de défense NLP à trois méthodes

Pour vérifier que le jeu de données élimine avec succès les fuites de mots-clés, les auteurs ont appliqué une échelle d'outils NLP aux stimuli :

1. Sentiment en sac de mots (VADER) :
   • Résultat : VADER a détecté une différence entre les découpes clinique et neutre, mais le signal était piloté par le vocabulaire situationnel (par exemple, « retrait », « mort », « blocage ») plutôt que par des mots désignant l'émotion.
   • Découverte clé : Les médianes par émotion étaient souvent anti-corrélées avec la valence cible (par exemple, les vignettes de « rage » obtenaient des scores positifs), prouvant que VADER ne suivait pas les mots-clés de l'émotion cible.
2. Lexique d'émotions en sac de mots (NRC) :
   • Résultat : Le découpage clinique sans mots-clés présentait un taux de détection plus faible pour les mots des catégories d'émotions que le découpage neutre.
   • Découverte clé : NRC n'a pas pu discriminer les huit émotions cibles à l'aide du texte sans mots-clés, confirmant l'absence de fuite de catégories d'émotions.
3. Classificateur Transformer contextuel (GoEmotions DistilRoBERTa) :
   • Résultat : Le classificateur a détecté avec succès que les éléments cliniques étaient plus « émotionnels » que les neutres ($p < 10^{-15}$), montrant que l'affect est présent sémantiquement.
   • Découverte clé : Cependant, le classificateur n'a pas réussi à identifier la catégorie spécifique d'émotion (Précision Top-1 : 5,2 % contre 82,5 % sur les contrôles riches en mots-clés).
   • Conclusion : Le jeu de données encode avec succès « qu'une émotion existe » sans encoder « quelle est cette émotion » via des mots-clés.

4. Contributions clés

• Ressource méthodologique : Un jeu de données de 480 éléments, sous licence ouverte (MIT), qui multiplie par quatre le travail précédent des auteurs (96 éléments), fournissant la puissance statistique nécessaire pour les analyses de géométrie représentationnelle (par exemple, tests de permutation).
• Garantie méthodologique forte : La conception de paires appariées garantit que toute représentation interne distinguant les éléments cliniques des éléments neutres est par construction indépendante de la présence de mots-clés d'émotion.
• Innovations structurelles :
  • Gradient d'intensité : Permet des études dose-réponse (pic vs modéré).
  • Validité discriminante : Le découpage complexe_neutre isole la détection de l'affect de la détection de la complexité narrative.
  • Extension des domaines : Le passage de 3 à 6 domaines permet aux chercheurs de dissocier les caractéristiques spécifiques à l'émotion de celles spécifiques au domaine.
• Science ouverte : Le jeu de données est publié sur Hugging Face avec des métadonnées complètes, des pipelines de validation et une citation canonique.

5. Résultats et signification

• Succès de la validation : La batterie de défense NLP confirme que le jeu de données ne contient aucune fuite de mots-clés d'émotion. Les modèles contextuels peuvent détecter la présence de l'affect mais ne peuvent pas le catégoriser sans mots-clés, prouvant que les stimuli reposent sur des sémantiques situationnelles.
• Permettre de nouvelles recherches : Ce jeu de données fait passer le domaine de la question « Les représentations émotionnelles existent-elles ? » (réponse apportée par les études antérieures riches en mots-clés) à « Quelles sont ces représentations ? ».
  • Il permet des tests rigoureux des circuits émotionnels sans le biais du routage lexical.
  • Il soutient les expériences d'ablation causale et de vecteurs de direction où les interventions peuvent être attribuées avec confiance à des concepts émotionnels plutôt qu'à des déclencheurs de mots.
  • Il permet une analyse dose-réponse pour déterminer si les représentations émotionnelles évoluent avec l'intensité.

6. Limites

• Langue : Uniquement en anglais ; les études interlinguistiques nécessitent de nouvelles familles de stimuli.
• Taxonomie : Restreinte aux 8 émotions de Plutchik ; ne couvre pas les 6 d'Ekman ni les modèles dimensionnels (valence-éveil).
• Auteur : Toutes les vignettes ont été rédigées par un seul psychologue clinicien (bien que cela soit atténué par une validation multi-méthodes et une publication ouverte).
• Biais spécifiques : Le « dégoût » et les émotions positives comportent un risque légèrement plus élevé d'association lexicale résiduelle (par exemple, schémas de langage déshumanisant) et nécessitent une analyse de sensibilité dans les études ultérieures.
• Perspective : Toutes les vignettes sont à la troisième personne ; les voies de traitement à la première personne ne sont pas testées.

Conclusion

AIPsy-Affect fournit au domaine de l'interprétabilité mécaniste une batterie de stimuli « propre » nécessaire. En éliminant chirurgicalement les mots-clés d'émotion tout en préservant les situations émotionnelles, il permet aux chercheurs de déterminer de manière définitive si les LLM possèdent des représentations internes du sens émotionnel ou s'ils fonctionnent simplement comme des détecteurs de mots-clés sophistiqués. Il s'agit d'une étape fondamentale pour comprendre la véritable nature du calcul affectif dans les transformeurs.