💬 NLP

Probabilistic Attribution For Large Language Models

Ce papier présente un cadre d'attribution probabiliste agnostique au modèle qui exploite la règle de Bayes sur les probabilités de tokens des LLM pour quantifier l'importance et l'entropie des tokens, améliorant ainsi l'interprétabilité et révélant des insights sur la stabilité et le comportement du modèle à travers divers prompts.

Auteurs originaux : Shilpika Shilpika, Carlo Graziani, Bethany Lusch, Venkatram Vishwanath, Michael E. Papka

Publié 2026-05-22

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shilpika Shilpika, Carlo Graziani, Bethany Lusch, Venkatram Vishwanath, Michael E. Papka

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) non pas comme un cerveau magique qui « pense » comme un humain, mais comme une machine à sous ultra-avancée ou un lanceur de dés géant à grande vitesse.

À chaque fois que le modèle écrit un mot (ou un « token »), il ne se contente pas de deviner. Il calcule les probabilités de chaque mot suivant possible dans l'ensemble de son dictionnaire, en se basant sur tout ce qu'il a écrit jusqu'à présent. Il choisit le mot suivant en fonction de ces probabilités.

Ce document, « Attribution probabiliste pour les grands modèles de langage », introduit une nouvelle façon de jeter un coup d'œil à l'intérieur de cette machine à sous pour comprendre pourquoi il a choisi les mots qu'il a choisis. Les auteurs appellent cet nouvel outil le Score d'Attribution (SA).

Voici une décomposition de leurs idées à l'aide d'analogies simples :

1. L'idée centrale : Rembobiner la bande

Habituellement, lorsque nous posons une question à une IA, elle donne une réponse. Nous pouvons nous demander : « Quelle partie de ma question l'a amenée à dire cela ? »

Les auteurs traitent le processus d'écriture de l'IA comme un processus stochastique (un terme mathématique sophistiqué désignant un processus aléatoire qui évolue dans le temps, comme les modèles météorologiques ou les marchés boursiers). Ils ont réalisé que, puisque l'IA ne fait que calculer des probabilités, nous pouvons utiliser les mathématiques pour « rembobiner » la bande.

L'analogie :
Imaginez que vous écoutez une chanson et que vous voulez savoir quelle note spécifique de la mélodie a amené le chanteur à atteindre une note aiguë à la fin.

L'ancienne méthode : Vous devinez quelle note était importante.
La méthode des auteurs : Ils prennent la chanson, retirent une note à la fois et demandent au chanteur : « Si je ne jouais pas cette note spécifique, quelle serait la probabilité que vous atteigniez toujours cette note aiguë ? »
- Si le retrait de la note rend la note aiguë impossible, cette note était cruciale (Score élevé).
- Si le retrait de la note ne change rien, cette note n'était que du bruit de fond (Score faible).

2. Le tour de magie : Le jeu du « Et si »

La partie délicate est que l'IA ne sait écrire que vers l'avant. Elle ne peut pas naturellement dire : « Et si je sautais ce mot ? »

Les auteurs ont utilisé un tour de magie mathématique (la règle de Bayes) pour forcer l'IA à jouer à ce jeu du « Et si ». Ils disent essentiellement à l'IA : « Voici votre prompt et votre réponse. Maintenant, faites comme si le mot « pomme » dans votre prompt était en réalité n'importe quel autre mot du dictionnaire. Comment cela change-t-il les probabilités de votre réponse ? »

En faisant ces calculs mathématiques, ils calculent un score pour chaque mot individuel du prompt. Ce score vous indique dans quelle mesure ce mot spécifique a « poussé » l'IA vers sa réponse finale.

3. Mesurer la « confusion » (Entropie)

Le document examine également l'Entropie, qui est une mesure de l'incertitude ou de la confusion.

L'analogie :
Imaginez que vous essayez de deviner le mot suivant dans une phrase.

Faible entropie (faible confusion) : La phrase est « Le ciel est... ». L'IA est sûre à 99 % que le mot suivant est « bleu ». Elle n'est pas confuse.
Forte entropie (forte confusion) : La phrase est « Le... truc... a fait... ». L'IA n'a aucune idée de ce qui vient ensuite. Il est tout aussi probable que ce soit « chat », « chien », « courir » ou « sauter ».

Les auteurs ont constaté que :

Si un mot a un score d'attribution élevé (il est très important) mais que l'IA est toujours très confuse (entropie élevée) quant à ce qu'elle pourrait le remplacer, quelque chose d'étrange se produit. Cela pourrait signifier que le modèle est instable ou n'a pas bien appris les données.
Si un mot a un score faible (il n'importe pas beaucoup) et que l'IA est très confiante (faible entropie) quant à ce qui le remplace, ce mot est probablement juste un « remplissage » ou du bruit.

4. Ce qu'ils ont découvert

Les auteurs ont testé cette méthode sur 8 modèles d'IA différents en utilisant 7 prompts différents. Voici ce qu'ils ont trouvé :

Modèles anciens vs modèles récents : Les modèles plus anciens (comme GPT-2) semblaient plus « confus » (entropie plus élevée), même lorsque les mots ne semblaient pas avoir beaucoup d'importance. Les modèles plus récents (comme Llama) étaient plus stables et confiants. Cela suggère que les modèles plus récents ont mieux « convergé » vers leurs données d'entraînement : ils savent de quoi ils parlent de manière plus cohérente.
Trouver les « mauvais » mots : Ils ont trouvé des cas spécifiques où l'IA était confuse. Par exemple, dans un prompt, l'IA préférait le mot « dans » au mot de l'utilisateur « quand » pour que la phrase coule mieux. Le score a révélé ce décalage, montrant que l'IA était « plus heureuse » avec une question légèrement différente.
Sensibilité aux tokens : Certains mots sont comme la « clé de voûte » d'un arc ; si vous les retirez, toute la réponse s'effondre. Le score identifie ces mots clés. D'autres mots sont comme le mortier ; vous pouvez les échanger, et la réponse reste la même.

5. Pourquoi cela compte (selon le document)

Les auteurs affirment que cette méthode est agnostique au modèle.

Analogie : Considérez différents modèles d'IA comme différentes marques de voitures (Ford, Toyota, Tesla). La plupart des outils pour expliquer leur fonctionnement ne fonctionnent que sur une seule marque. Cet nouvel outil est comme un scanner de diagnostic universel qui fonctionne sur n'importe quelle voiture, indépendamment de la construction de son moteur.

Ils affirment également qu'il est sans paramètres.

Analogie : De nombreux outils vous obligent à tourner des boutons et des cadrans (paramètres) pour obtenir un résultat. Si vous tournez le bouton dans le mauvais sens, le résultat est inexploitable. Cet outil ne nécessite aucun bouton ; il utilise simplement les mathématiques que l'IA fait déjà. Cela rend les résultats plus objectifs et plus faciles à faire confiance.

Résumé

Le document présente une « radiographie » mathématique pour la génération de texte par l'IA. Au lieu de deviner pourquoi une IA a dit quelque chose, ils utilisent les mathématiques des probabilités pour calculer exactement dans quelle mesure chaque mot de votre question a contribué à la réponse. Ils utilisent cela pour repérer quels modèles sont stables, lesquels sont confus, et quels mots sont les véritables moteurs du comportement de l'IA.

Note importante : Le document se concentre strictement sur la compréhension des mathématiques et de la stabilité des modèles. Il ne prétend pas corriger les hallucinations de l'IA, diagnostiquer des conditions médicales ou résoudre des affaires juridiques, bien qu'il suggère que la compréhension de ces probabilités aide les utilisateurs à se concentrer sur les parties « incertaines ou instables » de la génération d'une IA.

Résumé technique : Attribution probabiliste pour les modèles de langage de grande taille

Énoncé du problème
La nature générative des modèles de langage de grande taille (LLM) repose sur le calcul de probabilités conditionnelles pour échantillonner des jetons de réponse à partir du contexte précédent. Bien que ces modèles soient de plus en plus déployés dans des domaines à haut risque, leur nature de « boîte noire » complique l'évaluation de la validité des sorties, de l'incertitude et de l'influence spécifique des jetons d'entrée sur les réponses générées. Les méthodes existantes d'IA explicable (XAI) tombent souvent dans deux catégories : les approches spécifiques au modèle (par exemple, les cartes de saillance basées sur le gradient) qui nécessitent un accès à l'architecture interne, et les approches agnostiques au modèle (par exemple, SHAP, LIME) qui reposent sur la perturbation entrée-sortie mais peuvent manquer de stabilité ou de fidélité causale. Il existe un besoin d'une méthode qui interprète le comportement des LLM à travers le prisme des principes fondamentaux statistiques, indépendamment de la structure computationnelle sous-jacente, afin de mieux comprendre la sensibilité des jetons, la stabilité du modèle et la convergence de l'entraînement.

Méthodologie
Les auteurs situent l'inférence des LLM dans le cadre de la théorie mathématique des processus stochastiques. Dans ce cadre, un LLM est considéré comme définissant une distribution de probabilité sur des séquences de jetons, où la mesure de probabilité est construite à partir des données d'entraînement du modèle. Le cœur de la méthodologie est le Score d'Attribution (SA), une métrique agnostique au modèle conçue pour quantifier l'importance d'un jeton spécifique dans une invite donnée une réponse générée.

Le SA est dérivé en inversant les log-probabilités du jeton suivant en utilisant la règle de Bayes. Plus précisément, pour une invite $p$ et une réponse $r$ , le score d'attribution $A_\mu$ pour le $\mu$ -ième jeton de l'invite est défini comme le rapport logarithmique de deux probabilités :

La probabilité de la réponse $r$ étant donné l'invite complète $p$ .
La probabilité de la réponse $r$ étant donné l'invite avec le $\mu$ -ième jeton marginalisé (c'est-à-dire $p$ où $p_\mu$ est autorisé à prendre n'importe quelle valeur dans le vocabulaire).

Mathématiquement, $A_\mu = \log \frac{Pr(R=r | P=p)}{Pr(R=r | P - P_\mu = p - p_\mu)}$ .

Puisque les LLM ne sortent pas directement des probabilités pour des séquences non contiguës ou marginalisées, les auteurs dérivent une méthode pour reconstruire le dénominateur en utilisant uniquement les probabilités conditionnelles standard émises par le modèle (Équations 4–9). Cela implique de sommer sur tous les jetons de vocabulaire possibles pour la position marginalisée, pondérés par la probabilité du contexte restant.

En complément du SA, les auteurs introduisent des mesures d'Entropie Contextuelle :

Entropie Contextuelle uniquement Invite ( $S^{(P)}$ ) : L'entropie de la distribution des jetons à une position spécifique conditionnée uniquement par les jetons d'invite restants.
Entropie Contextuelle Invite+Réponse ( $S^{(P+R)}$ ) : L'entropie conditionnée à la fois par l'invite restante et la réponse générée.
Divergence KL : La divergence entre les distributions de jetons sous les deux contextes, utilisée pour détecter des anomalies où la réponse modifie significativement l'incertitude du modèle concernant un jeton d'invite.

De plus, l'Entropie de Remplacement est calculée en mesurant la distribution de fréquence des correspondances exactes de réponse lorsque les jetons d'invite sont remplacés par les 90 % de jetons candidats les plus probables, fournissant une mesure empirique de la stabilité de la réponse.

Contributions clés
L'article expose quatre contributions principales :

Attribution Agnostique au Modèle : Le SA est applicable aux tâches de génération de texte sur n'importe quel LLM sans nécessiter l'accès aux poids internes ou aux gradients, reposant uniquement sur les log-probabilités émises.
Conception Sans Paramètres : La méthode ne nécessite aucun hyperparamètre (contrairement à LIME ou ReAgent), améliorant la reproductibilité et l'objectivité.
Métriques de Stabilité et de Convergence : Les mesures d'entropie contextuelle et de remplacement servent d'indicateurs de stabilité du modèle et du degré auquel un modèle a convergé vers la distribution de ses données d'entraînement.
Sensibilité Intégrée : Parce que la méthode est ancrée dans des principes fondamentaux statistiques, le score d'attribution évalue intrinsèquement la justesse des résultats explicables dans le cadre de sa méthodologie centrale.

Résultats expérimentaux
Les auteurs ont évalué 8 LLM (allant de 137 M à 1,7 milliard de paramètres, incluant des variantes de GPT-2, GPT-Neo, Llama et Qwen) sur 7 invites impliquant diverses tâches (par exemple, compréhension de lecture, récupération de faits et requêtes trompeuses).

Sensibilité des Jetons : Des valeurs de SA élevées correspondaient à des jetons critiques pour la réponse spécifique, tandis que des valeurs de SA négatives indiquaient des jetons que le modèle aurait préféré remplacer étant donné le contexte de la réponse.
Convergence du Modèle : L'analyse de l'entropie contextuelle a révélé que les modèles plus anciens (GPT-2, GPT-Neo) présentaient une entropie plus élevée pour des valeurs de SA proches de zéro par rapport aux modèles modernes ajustés par instruction (par exemple, Llama 3.1). Les auteurs interprètent une entropie élevée pour des SA proches de zéro comme des « jetons de bruit » — des jetons qui contribuent peu à la probabilité de la réponse tout en restant non contraints par le contexte — suggérant une convergence d'entraînement plus faible dans les modèles anciens.
Détection d'Anomalies : Le cadre a identifié avec succès des anomalies spécifiques, telles que des jetons où le modèle préférait une reformulation de l'invite (par exemple, préférer « dans » à « ? » dans une question spécifique) ou où le contexte de la réponse élargissait de manière inattendue la distribution des jetons (augmentant l'entropie).
Évaluation par rapport aux Baselines XAI : Le SA a été comparé à Input X Gradient, Gradient Shapley, LIME, Occlusion et ReAgent en utilisant des métriques telles que l'infidélité, la suppression/NAOPC, la compréhension et la suffisance. Le SA a performé de manière compétitive, correspondant souvent ou dépassant les performances d'autres méthodes, notant particulièrement sa robustesse à travers différents modèles sans ajustement spécifique à l'architecture.
Coût Computations : La méthode est intensivement computationnelle, nécessitant des heures de GPU proportionnelles à la taille du vocabulaire en raison de la sommation sur tous les jetons de remplacement possibles. Cependant, les auteurs notent un potentiel d'optimisation en restreignant les sommes aux jetons de probabilité la plus élevée.

Signification et revendications
L'article revendique que, en présentant les LLM comme des processus stochastiques, il fournit un cadre rigoureux et agnostique au modèle pour l'interprétabilité qui évite les hypothèses sur la « représentation des connaissances » interne. La signification réside dans la capacité à :

Quantifier l'influence causale des jetons d'invite sur les réponses sans accéder aux internals du modèle.
Diagnostiquer la qualité de l'entraînement du modèle (convergence) par l'analyse d'entropie, en identifiant les « jetons de bruit » qui indiquent un mauvais entraînement.
Guider les utilisateurs vers des parties incertaines ou instables d'une génération, améliorant ainsi l'interprétabilité.
Servir de base sans paramètres pour le réglage des hyperparamètres dans d'autres méthodes XAI plus rapides.

Les auteurs concluent que, bien que l'approche entraîne des coûts computationnels plus élevés, elle offre une compréhension plus profonde et statistiquement fondée du comportement des LLM, permettant d'identifier les déficiences d'entraînement et de concevoir des invites pour produire des réponses plus cohérentes.