Applied Explainability for Large Language Models: A Comparative Study

Cette étude comparative appliquée évalue les techniques d'explicabilité Integrated Gradients, Attention Rollout et SHAP sur un modèle DistilBERT pour la classification de sentiments, démontrant que les méthodes basées sur les gradients offrent des explications plus stables et intuitives que les approches basées sur l'attention, tout en mettant en lumière les compromis pratiques entre fiabilité, coût computationnel et flexibilité.

L'essentiel

🕵️‍♂️ Le Mystère de la Boîte Noire : Comment comprendre ce que pensent les IA ?

Imaginez que vous avez un chef cuisinier robot (c'est ce qu'on appelle un "Grand Modèle de Langage" ou LLM) qui est capable de goûter n'importe quel plat et de dire instantanément s'il est "délicieux" ou "dégoûtant". Il est incroyablement doué, mais il y a un problème : il ne vous dit jamais pourquoi il a pris cette décision. Il vous donne juste la réponse. C'est ce qu'on appelle une "boîte noire".

Ce papier de recherche pose une question simple : Comment ouvrir cette boîte noire pour voir ce qui se passe à l'intérieur, sans casser le robot ?

Les chercheurs ont testé trois "loupes" différentes pour essayer de comprendre la logique du robot. Voici comment ils ont procédé et ce qu'ils ont découvert.

---

🔍 Les Trois Loupes (Les Méthodes)

Pour comprendre comment le robot décide, les chercheurs ont utilisé trois outils différents, comme trois types de détectives :

1. Le Détective "Gradients" (Integrated Gradients) :

   • L'analogie : Imaginez un détective qui regarde comment une légère poussée sur chaque ingrédient change le goût final. Si vous enlevez un peu de sel, le plat devient-il moins bon ? Ce détective mesure l'impact précis de chaque mot.
   • Ce qu'il fait : Il calcule mathématiquement l'importance de chaque mot dans la phrase.

2. Le Détective "Attention" (Attention Rollout) :

   • L'analogie : Imaginez un détective qui regarde simplement où le robot regarde quand il lit. Si le robot fixe intensément un mot, ce détective pense que ce mot est important. C'est comme suivre le regard d'une personne.
   • Ce qu'il fait : Il utilise les mécanismes internes du robot (l'attention) pour voir quels mots sont connectés.

3. Le Détective "Boîte Noire" (SHAP) :

   • L'analogie : Imaginez un détective qui joue au "Et si ?". Il enlève un mot, puis un autre, puis un troisième, pour voir si la réponse change. C'est comme tester un plat en enlevant un ingrédient à la fois pour voir ce qui compte vraiment.
   • Ce qu'il fait : Il modifie l'entrée pour voir comment la sortie réagit, sans avoir besoin de connaître les recettes internes du robot.

---

🧪 L'Expérience : Le Test du Film

Pour tester ces détectives, les chercheurs ont pris un robot (un modèle appelé DistilBERT) entraîné à juger des critiques de films (positives ou négatives). Ils lui ont donné des phrases comme "Ce film est absolument magnifique" ou "C'était un désastre total".

Ensuite, ils ont demandé aux trois détectives : "Quels mots ont fait dire au robot que c'était positif ou négatif ?"

Voici ce qu'ils ont découvert :

1. Le Détective "Gradients" (Integrated Gradients) 🏆 Le Gagnant

• Résultat : C'est le plus fiable. Quand le robot disait "Magnifique", ce détective pointait directement le mot "Magnifique".
• Pourquoi c'est bien : Il est stable. Si vous lui posez la même question deux fois, il donne la même réponse. Il correspond à notre intuition humaine : on sait que "magnifique" est un mot positif.
• Verdict : C'est l'outil idéal pour les ingénieurs qui veulent savoir pourquoi un modèle a pris une décision.

2. Le Détective "Attention" (Attention Rollout) ⚡ Le Rapide mais Distract

• Résultat : Il est très rapide à calculer, mais il se trompe souvent sur ce qui est important. Parfois, il pointait des mots comme "le", "de" ou des virgules, au lieu de pointer "magnifique".
• Pourquoi c'est problématique : Le robot "regarde" beaucoup de mots pour comprendre la structure de la phrase, mais ce n'est pas parce qu'il regarde un mot qu'il l'utilise pour prendre sa décision. C'est comme si un professeur regardait votre stylo pendant l'examen, mais que ce n'était pas le stylo qui vous permettait de réussir.
• Verdict : Utile pour aller vite, mais dangereux si on le prend au pied de la lettre.

3. Le Détective "Boîte Noire" (SHAP) 🐢 Le Précis mais Lent

• Résultat : Il donne de bonnes réponses, mais il est très lent et parfois instable. Selon la façon dont on lui pose la question, il peut changer d'avis sur les mots importants.
• Pourquoi c'est problématique : C'est comme essayer de goûter un plat en changeant l'assiette, la température et la lumière à chaque fois. C'est trop d'efforts pour un résultat qui varie un peu.
• Verdict : Trop lourd et trop compliqué pour une utilisation quotidienne sur de grands textes.

---

💡 La Leçon Principale : Ne faites pas confiance aux apparences

Ce papier nous apprend une chose cruciale : Ce n'est pas parce qu'un outil est populaire ou rapide qu'il est le plus honnête.

• L'Attention (regarder où le robot regarde) est comme une fausse piste : le robot peut regarder un mot sans vraiment l'utiliser pour décider.
• Les Gradients (mesurer l'impact) sont comme une enquête scientifique : ils nous disent vraiment ce qui a influencé le résultat.

🚀 Conclusion pour le Grand Public

Si vous êtes un ingénieur ou un développeur qui utilise ces intelligences artificielles :

1. N'utilisez pas l'outil le plus rapide (Attention) pour justifier une décision importante, car il peut vous mentir.
2. Préférez les outils qui mesurent l'impact (comme Integrated Gradients), même s'ils demandent un peu plus de travail.
3. Rappelez-vous que l'explication n'est pas la vérité absolue. C'est un outil de diagnostic, comme une radiographie : elle vous aide à voir ce qui ne va pas, mais elle ne remplace pas le médecin.

En résumé, pour comprendre les IA, il faut arrêter de simplement regarder où elles regardent, et commencer à mesurer ce qu'elles ressentent !

Résumé technique

1. Problématique

Bien que les Grands Modèles de Langage (LLM) et les architectures basées sur les transformateurs (comme BERT et ses variantes) excellent dans diverses tâches de traitement du langage naturel (NLP), ils fonctionnent comme des « boîtes noires ». Leur processus décisionnel interne est complexe et difficile à interpréter.

Cette opacité pose des défis majeurs pour le déploiement dans des applications réelles où la confiance, le débogage et la responsabilité sont cruciaux. Bien que de nombreuses méthodes d'explicabilité (XAI) aient été proposées théoriquement, leur comportement pratique dans les systèmes NLP basés sur des transformateurs n'est pas toujours bien compris. Il existe un fossé entre les propositions théoriques et leur utilité réelle, notamment en termes de stabilité, de fidélité et d'interprétabilité humaine.

2. Méthodologie

L'étude ne propose pas de nouvelle méthode, mais effectue une comparaison appliquée et reproductible de trois techniques d'explicabilité existantes sur un modèle fine-tuné pour une tâche spécifique.

• Modèle : DistilBERT (une version allégée et efficace de BERT).
• Tâche : Classification de sentiments binaire (positif/négatif).
• Jeu de données : SST-2 (Stanford Sentiment Treebank), composé de phrases courtes annotées.
• Méthodes comparées :
  1. Integrated Gradients (IG) : Une méthode basée sur les gradients qui attribue l'importance des tokens en mesurant la sensibilité de la prédiction par rapport à une entrée de base (baseline).
  2. Attention Rollout : Une méthode basée sur l'attention qui agrège les poids d'attention à travers les couches du transformateur pour visualiser les interactions entre les tokens.
  3. SHAP (SHapley Additive exPlanations) : Une méthode agnostique au modèle basée sur la théorie des jeux (valeurs de Shapley), traitant le modèle comme une boîte noire en modifiant les entrées.
• Critères d'évaluation : L'évaluation est qualitative et repose sur trois axes :
  • Fidélité (Faithfulness) : Correspondance entre les tokens mis en évidence et les caractéristiques influençant réellement la prédiction.
  • Stabilité : Cohérence des explications sur des entrées similaires ou identiques.
  • Interprétabilité humaine : Alignement avec l'intuition humaine et facilité de compréhension pour les praticiens.

3. Contributions Clés

• Comparaison structurée : Une évaluation systématique des approches basées sur l'attention, les gradients et l'attribution de caractéristiques dans un cadre expérimental contrôlé.
• Évaluation empirique : Analyse du comportement réel de ces méthodes sur un modèle transformateur fine-tuné, au-delà des considérations purement théoriques.
• Insights pratiques : Identification des compromis (trade-offs) concrets pour les ingénieurs ML, aidant à choisir l'outil d'explicabilité approprié selon les contraintes (coût computationnel, fiabilité, besoin de débogage).

4. Résultats et Analyse

L'analyse comparative a mis en évidence des différences significatives dans le comportement des trois méthodes :

• Integrated Gradients (IG) :

  • Performance : C'est la méthode la plus fiable. Elle produit des explications stables et intuitives.
  • Observation : Elle met correctement en évidence les tokens porteurs de sentiment (adjectifs, négations, intensificateurs) et correspond bien à l'intuition humaine.
  • Limites : Nécessite l'accès aux gradients et un choix de baseline, avec un coût computationnel modéré.

• Attention Rollout :

  • Performance : Très efficace en termes de temps de calcul, mais peu fidèle.
  • Observation : Elle tend à se concentrer sur des tokens structurels ou syntaxiques (comme le token [CLS], la ponctuation, les mots vides) plutôt que sur les mots clés pour le sentiment.
  • Conclusion : Utile pour la visualisation rapide, mais peu fiable comme méthode d'explication unique pour le débogage.

• SHAP :

  • Performance : Flexible et agnostique, mais coûteuse et instable dans ce contexte.
  • Observation : Elle présente une variabilité élevée d'une exécution à l'autre et est sensible aux changements de formatage des entrées ou des données de fond. Son application sur des séquences de texte longues est computationnellement lourde.
  • Conclusion : Plus adaptée à une analyse qualitative ciblée qu'à un déploiement routinier à grande échelle.

Synthèse des compromis : IG offre le meilleur équilibre entre fidélité et stabilité. L'attention est rapide mais peu fiable. SHAP est flexible mais trop coûteuse et instable pour les modèles transformateurs de texte dans ce contexte.

5. Signification et Implications

Cette étude souligne plusieurs points cruciaux pour la communauté du ML appliqué :

1. L'explicabilité comme outil de diagnostic : Les explications ne doivent pas être considérées comme des comptes rendus définitifs du raisonnement du modèle, mais comme des aides au diagnostic pour vérifier la logique du modèle et détecter les biais.
2. Choix de l'outil : Pour les systèmes NLP basés sur des transformateurs en production, les méthodes basées sur les gradients (comme Integrated Gradients) sont préférables pour leur stabilité et leur alignement avec l'intuition humaine.
3. Prudence face aux méthodes d'attention : Les visualisations d'attention ne doivent pas être interprétées comme des preuves de causalité, car elles ne correspondent pas toujours aux caractéristiques déterminantes de la prédiction.
4. Limites actuelles : L'étude est limitée au modèle DistilBERT et à des phrases courtes (SST-2). Les comportements pourraient varier sur des modèles plus grands (LLM massifs) ou des tâches plus complexes (documents longs, multilingue).

En conclusion, l'article plaide pour une évaluation rigoureuse des méthodes d'explicabilité dans des scénarios réalistes, en privilégiant la fiabilité pratique et la stabilité plutôt que la simple nouveauté théorique.