Towards Explainability of SLMs by investigating Token Level Activation

Résumé Technique : Vers l'Explicabilité des SLM par l'Investigation de l'Activation au Niveau des Tokens

Énoncé du Problème
Malgré l'impact révolutionnaire des modèles basés sur Transformer, tels que BERT, sur la Compréhension du Langage Naturel (NLU), leurs mécanismes internes restent largement opaques. Les méthodes traditionnelles d'interprétabilité reposant sur les poids d'attention échouent souvent à fournir de véritables explications sémantiques, mettant fréquemment en évidence des tokens structurellement importants mais sémantiquement faibles (par exemple, la ponctuation, les mots fonctionnels) plutôt que du contenu significatif. De plus, les approches d'interprétabilité existantes manquent souvent d'agnosticisme vis-à-vis du modèle, nécessitent des calculs de gradient coûteux ou échouent à isoler des dynamiques de traitement intermédiaires spécifiques, en particulier au sein des couches intermédiaires (6–9) où l'on pense que les informations syntaxiques et sémantiques se consolident. Il existe un besoin critique d'une méthode légère et efficace pour quantifier et classer l'importance représentative des tokens individuels en fonction des forces d'activation internes plutôt que des corrélations d'attention.

Méthodologie
Les auteurs proposent un cadre novateur et agnostique vis-à-vis du modèle, dénommé Réseau de Flux d'Activation (AFN), qui se concentre exclusivement sur la Couche 8 du modèle bert-base-uncased. La méthodologie procède par les étapes suivantes :

1. Quantification de la Force d'Activation au Niveau des Tokens :
   Au lieu d'analyser les têtes d'attention, le cadre extrait les vecteurs d'état caché ($h_i$) pour chaque token à la Couche 8. La force représentative ($S_i$) d'un token est définie comme la Norme L2 (norme euclidienne) de son vecteur d'état caché de 768 dimensions :
   $$S_i = \|h_i\|_2$$
   Cette valeur scalaire sert de mesure directe de l'amplitude d'activation et de la priorité représentative du token.

2. Formulation de Seaux d'Activation Basés sur un Seuil :
   Pour distinguer les activations sémantiques dominantes du bruit de fond structurel, les auteurs définissent une frontière d'activation empirique ($\tau$) en utilisant le quartile supérieur (75e percentile) de la distribution d'activation pour une phrase donnée :
   $$\tau = Q_{0.75}(S)$$
   Les tokens sont partitionnés en deux groupes :

   • Activation ÉLEVÉE : $S_i > \tau$ (Tokens sémantiquement saillants).
   • Activation FAIBLE : $S_i \leq \tau$ (Tokens de soutien structurel).
     Le cadre calcule un ratio de contribution ($R_H$) pour déterminer si les tokens à activation ÉLEVÉE dominent les déplacements représentatifs.

3. Analyse Comparative des Déplacements d'Activation :
   Pour sonder la sensibilité au contexte et aux instructions de tâche, les auteurs introduisent le Déplacement d'Activation au Niveau des Tokens ($\Delta_i$), calculé comme la Norme L2 de la différence entre les vecteurs d'état caché des tokens correspondants dans deux phrases similaires ou sous différentes conditions d'invite :
   $$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$$
   Cette métrique quantifie le déplacement géométrique dans l'espace vectoriel causé par des perturbations contextuelles (par exemple, changer "jour" en "marche") ou des invites orientées vers un objectif (par exemple, "Résumer" vs "Traduire").

Contributions Clés

• La Couche 8 comme Zone de Consolidation Sémantique : L'étude identifie la Couche 8 comme un point de transition critique où l'information structurelle cède la place à la consolidation sémantique, équilibrant le traitement syntaxique et sémantique.
• Amplitude d'Activation plutôt que l'Attention : Le travail démontre que les normes d'état caché (L2) fournissent un signal plus fiable pour l'importance sémantique que les poids d'attention, qui induisent souvent en erreur en se concentrant sur la ponctuation.
• Interprétabilité Légère : Le cadre AFN offre une alternative efficace sur le plan computationnel et non intrusive aux méthodes d'attribution basées sur le gradient, ne nécessitant qu'un seul passage avant pour extraire les états cachés.
• Quantification des Déplacements Sémantiques : L'introduction de la métrique de Déplacement d'Activation permet de quantifier comment des changements de mots spécifiques ou des instructions de tâche modifient la trajectoire de représentation interne du modèle.

Résultats
L'analyse expérimentale sur un corpus de 732 phrases porteuses de sentiment et des études de cas spécifiques ont produit les observations suivantes :

• Dominance Sémantique : Les mots porteurs de contenu (par exemple, "premier", "ministre", "Canada", "beau") ont systématiquement présenté les forces d'activation les plus élevées dans la Couche 8, se classant nettement plus haut que les tokens structurels comme les articles ou la ponctuation.
• Comparaison des Couches : Les comparaisons entre la Couche 8 et la Couche 9 ont confirmé que la Couche 8 est plus sensible aux tokens riches en contenu, tandis que la Couche 9 montre une activation relativement plus faible pour ces mêmes tokens, suggérant un changement de focalisation du contenu sémantique vers la structure syntaxique dans les couches plus profondes.
• Mise en Seaux d'Activation : Le seuil du quartile supérieur a séparé avec succès les tokens, les tokens à activation ÉLEVÉE (mots de contenu) occupant systématiquement les premiers rangs. Dans les expériences de perturbation, les tokens à activation ÉLEVÉE ont contribué à environ 76 % du déplacement d'activation sémantique total tout en ne représentant que ~25 % du nombre de tokens.
• Effet de Roulis Contextuel : Les tokens structurels inchangés (par exemple, "à", "le") ont montré des déplacements d'activation significatifs lorsque le contexte changeait (par exemple, "jour au parc" vs "marche à la plage"), indiquant que la Couche 8 réencode dynamiquement l'ensemble de la phrase pour maintenir la cohérence sémantique.
• Sensibilité aux Invites : Des déplacements d'activation ont été observés dans le token [CLS] et d'autres tokens lorsque l'entrée était préfixée par différentes instructions de tâche ("Résumer" vs "Traduire"), démontrant que les invites de haut niveau orientent l'espace représentatif intermédiaire.

Signification et Revendications
L'article prétend transformer BERT d'une "boîte noire" en une "boîte de verre" plus transparente en révélant que les amplitudes d'activation se concentrent autour des tokens informatifs sémantiquement. Les auteurs affirment que leur cadre fournit une alternative efficace sur le plan computationnel et interprétable à l'analyse centrée sur l'attention. En isolant la Couche 8 et en utilisant les normes L2, la recherche offre un moyen direct d'identifier quels tokens portent la force représentative maximale lors du traitement sémantique. Le travail suggère que la compréhension de ces flux d'activation peut aider les chercheurs à mieux comprendre comment BERT équilibre les informations structurelles et sémantiques et comment les instructions de tâche influencent la trajectoire interne du modèle, sans avoir besoin de calculs de gradient complexes ou de classificateurs de sondage spécifiques au modèle.