VISTA: Visualization of Token Attribution via Efficient Analysis

Résumé Technique : VISTA

1. Problématique et Contexte

L'essor des Grands Modèles de Langage (LLM) a transformé le traitement du langage naturel, mais leur fonctionnement interne reste souvent opaque (« boîte noire »). Comprendre comment ces modèles attribuent de l'importance aux différents tokens d'un prompt est crucial pour la transparence, le débogage, l'audit et la détection de biais.

Les techniques existantes de visualisation de l'attention présentent plusieurs limites majeures :

• Dépendance architecturale : Elles sont souvent conçues spécifiquement pour les architectures Transformer.
• Coût computationnel élevé : De nombreuses méthodes reposent sur la rétropropagation (backpropagation), ce qui double l'utilisation de la mémoire GPU et augmente considérablement les coûts de calcul.
• Manque de généralité : Il existe un besoin criant d'une approche légère, indépendante du modèle (model-agnostic) et ne nécessitant pas l'accès aux gradients internes.

2. Méthodologie : Le Cadre Analytique à Trois Matrices

Les auteurs proposent VISTA, une technique de visualisation d'importance des tokens basée sur la perturbation et l'analyse géométrique dans un espace vectoriel. La méthode ne nécessite pas l'accès aux poids internes du modèle, mais utilise des représentations vectorielles (GloVe) pour évaluer l'impact sémantique de chaque token.

Le processus repose sur l'ablation systématique de chaque token d'un prompt et la mesure de l'impact de cette suppression à travers trois matrices complémentaires :

A. Matrice de Déviation Angulaire (Angular Deviation Matrix)

• Concept : Mesure le changement de direction sémantique du vecteur global du prompt lorsqu'un token est retiré.
• Calcul : Utilisation de la similarité cosinus entre l'embedding original du prompt ($E_{prompt}$) et l'embedding perturbé ($E_{perturbed}$).
• Interprétation : Un score élevé indique que le token est crucial pour définir le sujet ou l'intention principale du prompt (ex: noms propres, verbes d'action). Les mots-outils (articles, prépositions) ont un score faible.

B. Matrice de Déviation de Magnitude (Magnitude Deviation Matrix)

• Concept : Quantifie la contribution d'un token à l'intensité ou au « poids » sémantique global du prompt.
• Calcul : Mesure la différence relative entre la norme L2 (longueur euclidienne) du vecteur original et celle du vecteur perturbé.
• Interprétation : Un score élevé signale un token qui amplifie le signal sémantique (ex: adjectifs intensifs) ou qui, par contraste, affine le sens (ex: négations).

C. Matrice d'Importance Dimensionnelle (Dimensional Importance Matrix)

• Concept : Analyse l'influence du token au niveau de chaque dimension individuelle de l'espace d'embedding (50 dimensions dans l'implémentation).
• Calcul : Pèse la contribution du token sur chaque axe latent, en accordant une importance particulière aux tokens qui comblent des lacunes sémantiques ou apportent un contraste (ex: un token qui inverse le signe sur une dimension de sentiment).
• Interprétation : Capture les nuances subtiles et les rôles contextuels que les deux premières matrices pourraient manquer (ex: le mot « non » qui change la polarité sans changer radicalement la direction globale).

Score Composite et Intégration
Pour obtenir une mesure unique d'importance, les auteurs combinent les trois scores via une multiplication :
$$Score_{Importance} = Score_{Angulaire} \times Score_{Magnétude} \times Score_{Dimensionnel}$$
Cette approche multiplicative assure qu'un token ne peut être considéré comme « important » que s'il contribue significativement sur les trois dimensions.

Amélioration par GAM (Generalized Additive Models)
Pour capturer des relations non linéaires et l'effet de la position du token dans le prompt, le cadre est enrichi par un modèle GAM. Ce modèle apprend des fonctions lisses sur les caractéristiques (déviation angulaire, magnitude, score dimensionnel, position) pour prédire le percentile d'importance, offrant une meilleure précision tout en restant interprétable.

3. Résultats et Évaluation

• Efficacité Computationnelle : La complexité temporelle est linéaire $O(n \times d)$, où $n$ est le nombre de tokens et $d$ la dimension de l'embedding. La complexité spatiale est constante par rapport à la longueur du prompt. Cela permet une analyse en temps réel sans surcharge GPU.
• Interprétabilité : Les expériences montrent que le système identifie correctement les mots-clés (ex: « AI », « processes », « language ») comme ayant une importance élevée, tandis que les mots fonctionnels (« the », « a ») obtiennent des scores négligeables.
• Robustesse : La méthode est applicable à n'importe quel modèle génératif, car elle ne dépend pas de l'architecture interne du modèle cible, mais uniquement de la représentation vectorielle des tokens.
• Extension vers l'Analyse de Résumé : Les auteurs démontrent l'utilité de cette méthode pour l'évaluation de la qualité des résumés automatiques, en identifiant les concepts manquants ou les écarts sémantiques entre le texte source et le résumé généré, surpassant les métriques basées sur le chevauchement lexical (ROUGE).

4. Contributions Clés

1. Approche Model-Agnostique : Une méthode d'analyse d'importance des tokens qui ne nécessite ni accès aux gradients, ni aux mécanismes d'attention internes des modèles.
2. Cadre Analytique Multidimensionnel : Introduction d'une approche à trois matrices (Direction, Intensité, Nuance) offrant une vue plus complète de la contribution sémantique qu'une simple mesure de perturbation.
3. Efficacité et Légereté : Une solution conçue pour être intégrée dans des pipelines de production sans coût de calcul supplémentaire significatif.
4. Outils Open Source : Mise à disposition d'une implémentation complète et reproductible via le « Infosys Responsible AI Toolkit ».

5. Signification et Impact

L'article VISTA représente une avancée significative vers la transparence des IA génératives. En fournissant un moyen mathématiquement rigoureux et interprétable de visualiser comment les modèles perçoivent et priorisent l'information, il répond aux besoins critiques de :

• L'audit et la conformité : Permettant aux organisations de vérifier que les décisions de l'IA sont basées sur les bons éléments.
• L'ingénierie de prompts : Aidant les praticiens à optimiser leurs entrées pour obtenir des résultats plus précis.
• La recherche : Offrant un outil pour démystifier le comportement des LLM sans les contraintes techniques des méthodes d'attention traditionnelles.

En conclusion, VISTA propose une alternative viable, efficace et interprétable aux méthodes d'explicabilité actuelles, facilitant l'adoption responsable des systèmes d'IA dans des domaines sensibles comme la santé, la finance et le droit.