💬 NLP

Learning to Explain: Supervised Token Attribution from Transformer Attention Patterns

Cet article présente ExpNet, un réseau de neurones léger qui apprend automatiquement à mapper les motifs d'attention des transformers vers des scores d'importance au niveau du jeton, offrant une alternative plus adaptative et plus efficace sur le plan computationnel aux méthodes existantes d'agrégation d'attention basées sur des règles et aux méthodes d'explication agnostiques au modèle.

Auteurs originaux : George Mihaila

Publié 2026-01-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : George Mihaila

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un robot super intelligent (un modèle « Transformer ») qui lit du texte et prend des décisions, comme dire si une critique de film est positive ou si une phrase est grammaticalement correcte. Le problème, c'est que ce robot est une boîte noire. Il vous donne une réponse, mais vous n'avez aucune idée de pourquoi il a choisi cette réponse. Dans des situations à enjeux élevés (comme la santé ou le droit), nous ne pouvons pas simplement faire confiance à une boîte noire ; nous avons besoin de connaître son raisonnement.

Ce document présente un nouvel outil appelé ExpNet (Explanation Network) pour résoudre ce mystère. Voici comment il fonctionne, expliqué simplement :

Le Problème : Le « monologue intérieur » du robot

À l'intérieur du robot, il existe un mécanisme appelé Auto-Attention (Self-Attention). Vous pouvez y voir comme le « regard » interne du robot. Quand le robot lit une phrase, il regarde différents mots et décide sur lequel il doit porter le plus d'attention.

L'ancienne méthode : Auparavant, les scientifiques essayaient de deviner quels mots étaient importants en utilisant des règles fixes (comme « regarder toujours les mots sur lesquels le robot a fixé son regard le plus longtemps »). C'est comme essayer de deviner le plat préféré d'une personne simplement en la regardant fixer un menu pendant longtemps. Parfois cela fonctionne, mais souvent les règles sont trop rigides et passent à côté des nuances.
L'autre méthode : D'autres méthodes traitent le robot comme une boîte mystérieuse, en le stimulant avec différentes entrées pour voir comment il réagit. C'est lent, coûteux, et cela crée souvent des phrases absurdes que le robot ne comprend pas.

La Solution : ExpNet (Le « Traducteur »)

Les auteurs ont construit ExpNet, qui est comme un traducteur ou un entraîneur capable de lire le « regard » du robot (les motifs d'attention) et de le traduire en une explication claire.

Au lieu d'utiliser des règles fixes, ExpNet apprend des humains.

Entraînement : Les chercheurs ont montré à ExpNet des exemples où des humains avaient déjà mis en évidence les mots importants (les « rationales »).
Apprentissage : ExpNet a observé le « regard » interne du robot lors de ces exemples et a compris : « Ah, quand le robot regarde le mot 'terrible' de cette manière spécifique, les humains considèrent que ce mot est la raison clé de la critique négative. »
Le Résultat : ExpNet devient un réseau neuronal léger et rapide qui peut regarder les motifs d'attention du robot et dire : « Voici les mots qui comptent », avec une grande précision.

Comment cela fonctionne (L'analogie)

Imaginez que le robot soit un détective résolvant une affaire.

L'attention du robot : Le détective possède une loupe. Il la déplace sur différents indices (mots).
Les anciennes méthodes : Elles supposaient simplement que n'importe quel indice sur lequel le détective tenait sa loupe le plus longtemps était le plus important.
ExpNet : ExpNet est un détective stagiaire qui a observé le maître détective résoudre de nombreuses affaires où un expert humain avait désigné le véritable élément déclencheur. Le stagiaire a appris à reconnaître le schéma du regard du maître. Désormais, quand le maître examine une nouvelle affaire, le stagiaire peut instantanément pointer les indices, même si le maître n'a pas été entraîné sur ce type spécifique d'affaire.

Le Grand Test : Peut-il apprendre des règles générales ?

Les auteurs ont testé ExpNet dans un scénario très difficile : la Généralisation Transversale de Tâches (Cross-Task Generalization).

Ils ont entraîné ExpNet sur deux types de problèmes différents (par exemple, la détection de discours de haine et l'analyse de critiques de films).
Ensuite, ils l'ont testé sur un problème complètement différent (par exemple, vérifier la grammaire) qu'il n'avait jamais vu auparavant.

Le Résultat : ExpNet n'a pas seulement mémorisé les réponses ; il a appris le langage de l'importance. Il a obtenu de meilleurs résultats que 13 autres méthodes existantes, même sur la nouvelle tâche inédite. Il a prouvé que le « regard » du robot contient des indices universels sur ce que les humains considèrent comme important, et qu'ExpNet est le meilleur pour les décoder.

Pourquoi est-ce meilleur ?

C'est Rapide : Contrairement à d'autres méthodes qui doivent stimuler et tester le robot des milliers de fois, ExpNet se contente de jeter un coup d'œil rapide aux données internes du robot et donne une réponse instantanément.
C'est Précis : Il a égalé le raisonnement humain mieux que toute autre méthode testée.
C'est Flexible : Il fonctionne sur différents types de textes (sentiment, grammaire, discours de haine) sans avoir besoin d'être réentraîné pour chaque nouveau sujet.

Le Bémol (Limites)

Il a besoin d'un professeur : Pour apprendre, ExpNet a besoin d'exemples où des humains ont déjà mis en évidence les mots importants. Si vous avez une tâche totalement nouvelle sans exemples humains, vous ne pouvez pas l'entraîner (bien que l'article montre qu'il peut quand même deviner correctement s'il a été entraîné sur d'autres tâches).
Il voit des mots, pas des expressions : Il explique les choses mot par mot. Il pourrait manquer la nuance d'une expression comme « pas mal » (qui signifie bien) parce qu'il regarde « pas » et « mal » séparément.
Il reflète le biais humain : Comme il apprend des annotations humaines, si les humains qui l'ont entraîné étaient biaisés, ExpNet apprendra aussi ces biais. Il reflète le raisonnement humain, et non nécessairement la vérité absolue.

Résumé

L'article soutient qu'au lieu de deviner comment les modèles d'IA pensent en utilisant des règles rigides ou des expériences lentes, nous devrions enseigner à un petit assistant intelligent (ExpNet) à lire les motifs d'attention internes du modèle. En apprenant à partir d'exemples humains, cet assistant peut expliquer rapidement et précisément pourquoi l'IA a pris une décision, rendant ces outils puissants plus dignes de confiance et transparents.

Résumé technique : Apprendre à expliquer (ExpNet)

Problématique

Le déploiement de modèles basés sur les transformeurs dans des domaines à enjeux élevés (santé, juridique, finance) est entravé par leur opacité, ce qui compromet la confiance et la responsabilité. Bien que les mécanismes d'auto-attention des transformeurs offrent une source potentielle d'interprétabilité, les méthodes existantes pour extraire des explications souffrent de limitations significatives :

Méthodes agnostiques au modèle (ex. LIME, SHAP) : Elles traitent le modèle comme une boîte noire, ignorant son raisonnement interne. Elles engendrent des coûts de calcul élevés et, en NLP, génèrent souvent des entrées sémantiquement invalides via des perturbations (masquage/remplacement de mots), créant des exemples hors distribution qui faussent l'interprétation causale.
Méthodes basées sur l'attention : Bien qu'elles utilisent des signaux internes, elles reposent sur des stratégies d'agrégation définies manuellement et des règles heuristiques fixes (ex. l'application d'une moyenne sur les poids d'attention à travers les têtes ou les couches). Ces règles prédéterminées peuvent ne pas capturer les combinaisons optimales de caractéristiques d'attention nécessaires pour s'aligner avec le raisonnement humain à travers différentes tâches.

Le problème central abordé est l'absence d'une méthode capable d'apprendre automatiquement à mapper les motifs d'attention des transformeurs vers l'importance des jetons (tokens) jugée par l'humain, sans dépendre de règles rigides et artisanales ou de perturbations coûteuses de type boîte noire.

Méthodologie

Le papier introduit ExpNet (Explanation Network), un réseau de neurones léger conçu pour apprendre une correspondance explicite entre les motifs d'attention du transformeur et les scores d'importance au niveau du jeton.

1. Modèle de base et extraction de caractéristiques

Modèle de base : L'approche utilise un modèle BERT-base gelé comme extracteur de caractéristiques. Le modèle n'est pas modifié ; seuls ses motifs d'attention sont utilisés.
Conception des caractéristiques : ExpNet extrait les caractéristiques de la dernière couche d'auto-attention (Couche 12) de BERT, qui contient 12 têtes d'attention. Pour chaque jeton $j$ $j$ , il capture deux perspectives distinctes et non symétriques de l'attention par rapport au jeton [CLS] :
- Attention Tâche-vers-Jeton ( $A_{[CLS],j}$ ) : Mesure la force avec laquelle l'agrégateur ([CLS]) porte attention au jeton $j$ .
- Attention Jeton-vers-Tâche ( $A_{j,[CLS]}$ ) : Mesure à quel point le jeton $j$ porte attention à la représentation de la tâche.
Vecteur d'entrée : Ces caractéristiques sont concaténées pour former un vecteur de 24 dimensions ( $2 \times 12$ têtes) pour chaque jeton, préservant les contributions individuelles de chaque tête dans les deux directions plutôt que de les moyenner.

2. Architecture du réseau

ExpNet est un réseau de neurones à propagation avant (feed-forward) simple composé de :

Couche d'entrée : 24 dimensions.
Couche cachée : 16 unités avec une activation ReLU.
Couche de sortie : Une unité sigmoïde produisant une probabilité $\hat{y}_j \in [0, 1]$ représentant la probabilité que le jeton $j$ soit important.

3. Procédure d'entraînement

Supervision : Le réseau est entraîné comme un classificateur binaire au niveau du jeton en utilisant des rationales annotées par l'humain. Les étiquettes sont projetées des annotations de mots vers les sous-jetons (subtokens) (si un sous-jeton d'un mot est marqué comme important, tous les sous-jetons reçoivent une étiquette positive).
Filtrage des données : L'entraînement est effectué exclusivement sur des instances où le classificateur BERT sous-jacent a fait une prédiction correcte. Cela garantit que l'explicateur apprend les motifs d'attention associés à un raisonnement réussi, évitant ainsi le bruit provenant des schémas d'erreur.
Fonction de perte : Pour traiter le déséquilibre des classes (la plupart des jetons sont non importants), la Perte de Focalisation (Focal Loss) est utilisée à la place de l'entropie croisée. Elle réduit le poids des exemples faciles et concentre l'apprentissage sur les jetons difficiles à classifier.
Inférence : Un seuil de 0,5 est appliqué pour générer des prédictions binaires. Un mécanisme de repli garantit qu'au moins un jeton est marqué comme important par exemple pour éviter les explications vides.

4. Conception expérimentale

L'évaluation utilise un protocole de généralisation inter-tâches. ExpNet est entraîné sur les données de rationalité combinées de deux tâches NLP et évalué sur une troisième tâche non utilisée lors de l'entraînement. Les tâches utilisées sont :

HateXExplain : Détection de discours de haine (Rationales humaines).
SST-2 : Analyse de sentiment (Rationales LLM + Humaines).
CoLA : Acceptabilité grammaticale (Rationales LLM + Humaines).

Cette configuration teste si ExpNet apprend des motifs d'explication généralisables plutôt que des heuristiques spécifiques à une tâche.

Contributions clés

Cadre novateur : Une approche d'apprentissage supervisé qui découvre automatiquement les combinaisons optimales de caractéristiques d'attention, remplaçant les règles d'agrégation fixes par une correspondance apprenable à partir des motifs d'attention.
Généralisation inter-tâches : Démonstration que les explications basées sur l'attention peuvent se généraliser à travers différents domaines du NLP (sentiment, grammaire, discours de haine) lorsqu'elles sont entraînées sur une combinaison de tâches.
Validation architecturale : Études d'ablation exhaustives justifiant l'utilisation de caractéristiques d'attention bidirectionnelles (tâche-vers-jeton et jeton-vers-tâche) et la conception spécifique du réseau.
Performance empirique : Évaluation étendue montrant des performances de l'état de l'art par rapport à un large éventail de méthodes de référence, incluant les méthodes agnostiques au modèle (LIME, SHAP), les méthodes basées sur le gradient (Integrated Gradients, Grad-CAM) et les techniques basées sur l'attention (Rollout, GAE, AttCAT).

Résultats

ExpNet a été évalué contre 13 méthodes de référence sur trois ensembles de données en utilisant le F1-score au niveau du jeton et l'AUROC.

Performance du F1-score : ExpNet a obtenu les F1-scores les plus élevés sur les trois tâches dans le cadre inter-tâches :
- SST-2 : 0,398 (contre 0,350 pour la meilleure référence GAE/MGAE).
- CoLA : 0,468 (contre 0,356 pour la meilleure référence Grad-CAM), une amélioration relative de 31 %.
- HateXplain : 0,473 (contre 0,396 pour la meilleure référence Grad-CAM), une amélioration relative de 19 %.
Performance de l'AUROC : ExpNet a obtenu des valeurs d'AUROC compétitives (systématiquement supérieures à 0,7), bien qu'il n'ait pas toujours dominé cette métrique. Les auteurs notent une distinction : ExpNet excelle dans la sélection du bon ensemble de jetons importants (haute précision de classification binaire), tandis que certaines méthodes basées sur le gradient peuvent préserver plus efficacement la qualité du classement relatif de tous les jetons.
Efficacité : ExpNet est efficace sur le plan computationnel, ne nécessitant qu'une seule passe directe d'un MLP léger sur les caractéristiques d'attention pré-calculées, évitant ainsi les coûts d'échantillonnage et de perturbation des méthodes agnostiques au modèle.

Signification et affirmations

Le papier affirme qu'ExpNet démontre que l'attention des transformeurs peut être systématiquement raffinée en explications alignées sur l'humain grâce à l'apprentissage supervisé. Sa signification réside dans :

Alignement supérieur : Il surpasse systématiquement les méthodes de référence établies pour s'aligner sur les rationales humaines, suggérant que les correspondances apprises sont supérieures aux heuristiques artisanales pour l'extraction d'explications.
Généralisabilité : La capacité de s'entraîner sur deux tâches et d'expliquer avec succès une troisième indique que le modèle capture des motifs fondamentaux de la manière dont les caractéristiques importantes pour l'humain se manifestent dans l'attention du transformeur, indépendamment des objectifs de classification spécifiques.
Praticité : En maintenant l'efficacité computationnelle tout en améliant la qualité de l'explication, ExpNet offre une voie viable pour le déploiement de modèles interprétables dans des applications en temps réel à enjeux élevés.

Les auteurs reconnaissent des limites, notamment la dépendance aux rationales annotées par l'humain pour l'entraînement (bien que les résultats inter-jeux de données suggèrent un potentiel d'application zero-shot à des tâches non annotées), le focus sur les modèles de type encodeur uniquement, et la granularité au niveau du jeton qui peut manquer la sémantique au niveau de la phrase. Ils positionnent ces points non pas comme des défauts fondamentaux, mais comme des domaines d'extension future vers les modèles de type décodeur uniquement et une couverture de domaine plus large.