💻 computer science

Application of integrated gradients explainability to sociopsychological semantic markers

Cet article applique la méthode des gradients intégrés pour améliorer l'explicabilité des classifieurs d'apprentissage profond appliqués aux marqueurs sémantiques sociopsychologiques, démontrant spécifiquement son efficacité pour identifier les mots saillants pour la classification de l'agentivité et adaptant l'approche pour des scénarios avec des données étiquetées limitées grâce à une procédure d'entraînement par surapprentissage spécialisée.

Auteurs originaux : Ali Aghababaei, Jan Nikadon, Magdalena Formanowicz, Maria Laura Bettinsoli, Carmen Cervone, Caterina Suitner, Tomaso Erseghe

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Aghababaei, Jan Nikadon, Magdalena Formanowicz, Maria Laura Bettinsoli, Carmen Cervone, Caterina Suitner, Tomaso Erseghe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent et super rapide capable de lire des milliers de phrases et de vous dire instantanément quelle est leur « ambiance » (leur vibe). Peut-être sait-il si un texte est en colère, joyeux ou s'il cherche à pousser les gens à agir (ce que l'article appelle l'« agence » ou agency).

Le problème ? Ce robot est une « boîte noire ». Il vous donne une réponse, mais il ne vous dit pas pourquoi. C'est comme un chef qui dirait : « Cette soupe est excellente », mais qui refuserait de vous dire quel ingrédient l'a rendue si bonne. Était-ce le sel ? L'ail ? Une épice secrète ?

Cet article traite de l'ouverture de cette boîte noire. Les auteurs ont voulu découvrir exactement quels mots dans une phrase sont responsables de la décision du robot. Ils appellent cela l'« explicabilité ».

Voici comment ils ont procédé, décomposé en concepts simples :

1. L'outil de détective : Les Gradients Intégrés (Integrated Gradients)

Les auteurs ont testé plusieurs « outils de détective » pour voir lequel pouvait le mieux pointer les mots importants. Ils se sont arrêtés sur un outil appelé Gradients Intégrés (IG).

Considérez l'IG comme un objectif de zoom au ralenti.

Imaginez que vous avez une phrase.
L'outil commence par une phrase vide, une phrase de base (le « baseline »).
Il réintroduit lentement les vrais mots, un par un, en observant comment l'« opinion » du robot change à chaque petite étape.
En faisant la moyenne de tous ces minuscules changements, il peut calculer exactement la contribution de chaque mot spécifique au résultat final.

Ils ont testé cela contre d'autres outils et ont trouvé que l'IG offrait le meilleur équilibre : il était assez précis pour être fiable, mais assez rapide pour être pratique.

2. Le premier test : L'« Agence » (Le héros de l'action)

Les auteurs ont d'abord utilisé cet outil sur un concept spécifique appelé l'Agence. En psychologie, l'agence concerne la capacité à planifier, agir et atteindre des objectifs. C'est la différence entre dire « Je vais changer le monde » (haute agence) et « Les choses m'arrivent simplement » (basse agence).

Ils ont utilisé un robot pré-entraîné appelé BERTAgent (qui est déjà doué pour repérer l'agence) et ont appliqué leur lentille IG sur celui-ci.

Le Résultat : Ils ont constaté que l'outil fonctionne très bien. Quand le robot dit qu'un texte a une « haute agence », l'outil IG met correctement en évidence les mots d'action (comme « combattre », « diriger », « accomplir ») et ignore les mots de remplissage.
L'astuce du « Surapprentissage » (Overfitting) : Habituellement, en apprentissage automatique, on essaie d'empêcher un modèle de faire du « surapprentissage » (mémoriser trop parfaitement les données d'entraînement). Mais ici, les auteurs ont fait l'inverse ! Ils ont encouragé le modèle à mémoriser parfaitement les données. Pourquoi ? Parce que si le modèle est sûr à 100 % d'une catégorie de mots spécifique, l'outil IG peut identifier précisément quels mots rendent cette catégorie unique. C'est comme entraîner un chien à reconnaître une balle spécifique si parfaitement que vous pouvez voir exactement quelle partie de la balle il regarde.

3. La preuve en conditions réelles : L'expérience du « Surlignage »

Pour prouver que leur outil n'était pas qu'une simple astuce mathématique, ils ont mené une expérience humaine.

Ils ont donné aux gens une liste de problèmes sociaux (comme le changement climatique ou le vote) et leur ont demandé d'écrire de courts textes sur les raisons pour lesquelles les autres devraient agir.
Ensuite, ils ont demandé aux rédacteurs (et à d'autres lecteurs) de surligner les parties spécifiques du texte qui étaient les plus motivantes.
La Comparaison : Ils ont appliqué leur outil IG sur les mêmes textes.
Le Constat : Les mots que l'outil IG a identifiés comme étant à « haute agence » correspondaient parfaitement aux mots que les humains avaient surlignés. Cela a prouvé que la « logique » du robot s'aligne sur l'intuition humaine : quand nous voulons motiver les gens, nous utilisons naturellement des mots que le robot identifie comme étant « agentiques ».

4. Le second test : Construire des dictionnaires à partir de zéro

L'article montre également comment utiliser cet outil quand vous n'avez pas un robot parfait sous la main.

Imaginez que vous vouliez étudier un sujet complexe comme l'« objectification sexuelle » (traiter les gens comme des objets), mais que vous n'avez pas de dictionnaire de mots qui la définissent.
Les auteurs ont pris un petit ensemble d'histoires sur le harcèlement, les ont étiquetées par des experts, puis ont entraîné un modèle pour qu'il les mémorise (encore une fois, en utilisant l'astuce du « surapprentissage »).
Ils ont ensuite utilisé l'IG pour extraire les mots principaux pour chaque catégorie.
Le Résultat : L'outil a réussi à extraire les bons mots. Pour la « honte », il a trouvé des mots comme « mortifier » et « insécure ». Pour l'« objectification », il a trouvé des mots liés aux parties du corps et aux vêtements.
Pourquoi c'est important : Cela montre que vous pouvez utiliser cette méthode pour construire de nouveaux dictionnaires pour des concepts sociaux complexes où aucune liste de mots parfaite n'existe encore. C'est comme utiliser le robot pour rétro-concevoir la définition d'un sentiment.

Résumé

En résumé, cet article nous apprend comment arrêter de traiter l'IA comme une mystérieuse boîte noire. En utilisant une lentille mathématique spécifique (les Gradients Intégrés), ils ont montré que :

Nous pouvons voir exactement quels mots dictent la décision d'une IA.
La logique de l'IA correspond à la psychologie humaine (elle souligne les mêmes mots que les humains).
Nous pouvons utiliser cela pour construire de nouvelles listes de mots pour des concepts sociaux complexes, même en partant de très peu de données.

Cela transforme l'IA, passant d'un « devin » qui donne simplement des réponses en un « tuteur » qui explique son raisonnement.

Résumé technique : Application de l'explicabilité par Gradients Intégrés aux marqueurs sémantiques sociopsychologiques

Énoncé du problème
Bien que les modèles d'apprentissage profond, particulièrement les modèles de langage de grande taille (LLM) basés sur l'architecture Transformer (par exemple, BERT, RoBERTa), aient atteint des performances de pointe pour la classification de données textuelles pour le sentiment et les marqueurs sociopsychologiques, ils fonctionnent comme des « boîtes noires ». Les approches actuelles fournissent généralement des résultats de classification au niveau de la phrase ou du document, occultant les mots spécifiques qui pilotent ces prédictions. Ce manque de granularité limite l'interprétabilité requise par les chercheurs pour comprendre les mécanismes linguistiques sous-jacents aux construits sociopsychologiques. De plus, bien que des méthodes d'attribution existent, leur adéquation pour l'analyse au niveau du mot de marqueurs nuancés comme l'« agence » (orientation vers un but et accomplissement) n'a pas été systématiquement évaluée, particulièrement concernant l'arbitrage entre complexité computationnelle et fiabilité de l'attribution. En outre, un défi commun dans la recherche sociopsychologique est la rareté des ensembles de données étiquetés de grande taille pour des construits spécifiques, nécessitant des méthodes capables d'extraire des motifs sémantiques significatifs à partir de données limitées.

Méthodologie
Le papier propose un cadre d'explicabilité au niveau du mot utilisant les Gradients Intégrés (IG) appliqués aux marqueurs sociopsychologiques. La méthodologie est divisée en trois phases principales :

Sélection et optimisation de la méthode d'attribution :
- Les auteurs ont évalué plusieurs méthodes d'attribution de pointe, incluant l'IG standard, l'IG séquentiel, l'IG discrétisé, DeepLIFT et GradientSHAP.
- La performance a été évaluée à l'aide de métriques de fidélité : la Compréhensivité (de combien la sortie du modèle chute lorsque les mots les mieux classés sont supprimés) et la Suffisance (dans quelle mesure la sortie du modèle est préservée lorsque seuls les mots les mieux classés sont conservés), ainsi que l'Erreur d'approximation.
- Les expériences ont été menées sur quatre ensembles de données diversifiés (#covid19, IMDB, slurs, snippets) en utilisant le modèle pré-entraîné BERTAgent (basé sur RoBERTa) comme classificateur cible pour l'« agence ».
- Les paramètres clés de l'IG ont été optimisés : le nombre d'étapes d'intégration ( $N$ ) et l'entrée de référence ( $x_0$ ). L'étude a testé des références incluant le zéro, le masque, le padding et les plongements moyens (mean embeddings).
Validation et rendu :
- La sortie brute de l'IG a été traitée pour résoudre les problèmes de tokenisation (par exemple, la division en sous-mots) et de cohérence sémantique (par exemple, la gestion des négations et le regroupement des dépendances syntaxiques) en utilisant SpaCy.
- La fiabilité de l'approche IG optimisée a été validée par trois psychologues experts qui ont évalué la sortie pour les « succès » (identification correcte des mots agentiques) et les « fausses alertes » (hallucinations) sur un ensemble de données de « l'étalon-or » (golden standard).
Application aux petits ensembles de données (Stratégie de surapprentissage) :
- Pour répondre aux scénarios de données étiquetées limitées, les auteurs proposent une procédure d'entraînement novatrice où le modèle est délibérément encouragé à faire du surapprentissage (overfitting) jusqu'à ce qu'il atteigne 100 % de précision d'entraînement.
- La logique est que, dans un scénario de petit ensemble de données, le surapprentissage force le modèle à capturer les signatures statistiques spécifiques et distinctes de chaque classe. L'IG est ensuite appliqué à ce modèle en surapprentissage pour identifier les mots saillants qui différencient les classes, générant ainsi efficacement un dictionnaire sémantique pour le marqueur cible.

Principales contributions

Identification de l'IG comme la méthode optimale : À travers une comparaison rigoureuse, le papier identifie les Gradients Intégrés comme l'approche la plus efficace, offrant un meilleur équilibre entre performance (fidélité) et complexité computationnelle par rapport à l'IG séquentiel, DeepLIFT et GradientSHAP.
Optimisation des paramètres : L'étude établit qu'une référence zéro (zero baseline) et 300 étapes d'intégration ( $N=300$ ) fournissent les attributions les plus fiables pour les modèles basés sur RoBERTa, minimisant l'erreur d'approximation tout en maintenant une haute comprehensivité et suffisance.
Validation de la détection de l'agence au niveau du mot : Le papier démontre que l'IG peut identifier de manière fiable les mots contribuant aux scores d'« agence », la validation montrant un haut degré d'accord entre les mises en évidence de l'algorithme et les jugements humains experts, particulièrement pour les textes présentant des niveaux d'agence élevés et des longueurs plus courtes.
Construction de dictionnaires à partir de labels (Small-Data Dictionary Construction) : Le papier introduit une méthode pour utiliser le surapprentissage conjointement avec l'IG afin d'extraire des mots-clés spécifiques aux classes à partir de petits ensembles de données étiquetés. Cela permet la construction ou l'expansion de dictionnaires pour des construits complexes (ex: objectification, honte, peur) là où de grands modèles pré-entraînés ou des dictionnaires n'existent pas encore.

Résultats

Comparaison des méthodes : L'IG avec une référence zéro et $N=300$ a systématiquement surpassé ou égalé les autres méthodes en termes de comprehensivité et de suffisance sur tous les ensembles de données. L'IG séquentiel n'offrait que des améliorations marginales pour les textes très courts, mais imposait un coût de calcul 10 fois supérieur. DeepLIFT et GradientSHAP ont montré les moins bonnes performances.
Validation : La validation par des experts a confirmé que l'IG identifie correctement le contenu agentique dans la majorité des cas. La fiabilité de l'algorithme est positivement corrélée à l'ampleur du score d'agence et négativement à la longueur du texte. Les fausses alertes (hallucinations) se sont produites dans environ 20 % des échantillons, un taux que les auteurs attribuent à la complexité inhérente de la tâche et au désaccord naturel entre les codeurs experts.
Application 1 (Mises en évidence de texte) : Appliqué à un ensemble de textes écrits pour mobiliser l'action collective, l'IG a révélé que les sections mises en évidence par les experts contenaient une concentration significativement plus élevée de mots agentiques (capturant >40 % du contenu agentique maximal possible) par rapport aux sélections aléatoires. Cela lie empiriquement le concept d'agence au langage de mobilisation efficace.
Application 2 (Dictionnaires à partir de labels) : Appliquée à l'ensemble de données « slurs » (insultes), l'approche surapprentissage+IG a réussi à identifier des mots-clés sémantiquement cohérents pour diverses étiquettes. Par exemple, elle a distingué les marqueurs de genre (ex: « homme », « garçon » vs « femme », « sœur »), les types de relations (ex: « patron » vs « mari ») et les états émotionnels (ex: « mortifier », « insécurité » pour une honte élevée ; « fellation », « jupe » pour une objectification élevée). Les résultats concordent avec les théories sociopsychologiques concernant l'objectification et les réponses émotionnelles à l'agression.

Signification
Le papier affirme que son approche fournit un outil robuste d'IA explicable (XAI) pour la recherche sociopsychologique. En passant d'une attribution au niveau de la phrase à une attribution au niveau du mot, il offre aux chercheurs un mécanisme « lisible » pour comprendre comment des caractéristiques linguistiques spécifiques pilotent les résultats de classification. La signification réside dans deux domaines :

Aperçu théorique : Il valide le lien entre le langage agentique et les intentions d'action collective, fournissant une preuve empirique pour les théories sociopsychologiques concernant la mobilisation.
Utilité pratique pour les domaines à données rares : La méthode proposée pour les petits ensembles de données offre une voie pour construire ou affiner des dictionnaires pour des construits complexes et théoriquement immatures (tels que l'objectification ou la polarisation) sans nécessiter de corpus étiquetés massifs. Cela permet l'identification de contenus sémantiques saillants qui caractérisent des classes spécifiques, facilitant la création d'outils de traitement automatique du langage naturel (NLP) plus ciblés et théoriquement fondés.

1. L'outil de détective : Les Gradients Intégrés (Integrated Gradients)

2. Le premier test : L'« Agence » (Le héros de l'action)

3. La preuve en conditions réelles : L'expérience du « Surlignage »

4. Le second test : Construire des dictionnaires à partir de zéro

Résumé

Articles similaires