💻 computer science

LLM Explainability with Counterfactual Chains and Causal Graphs

Cet article propose une méthode en quatre phases qui utilise des graphes causaux et l'augmentation contrefactuelle inspirée de MCMC pour modéliser l'inférence des LLM en interne, générant ainsi des explications transparentes au niveau conceptuel sur la manière dont les modèles perçoivent et organisent l'information pour produire des prédictions.

Auteurs originaux : Nirit Nussbaum-Hoffer, Nitay Calderon, Liat Ein-Dor, Roi Reichart

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nirit Nussbaum-Hoffer, Nitay Calderon, Liat Ein-Dor, Roi Reichart

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une boîte noire très intelligente mais mystérieuse (un grand modèle de langage ou LLM). Vous lui soumettez une histoire, et elle vous donne une réponse. Mais vous n'avez aucune idée de pourquoi elle a choisi cette réponse. C'est comme demander à un chef : « Pourquoi cette soupe est-elle salée ? » et qu'il réponde simplement : « Parce qu'elle l'est », sans vous dire s'il a ajouté du sel, s'il a utilisé un bouillon salé ou s'il a juste oublié de la goûter.

Cet article propose un moyen d'ouvrir cette boîte noire, non pas en examinant les millions de minuscules engrenages à l'intérieur (qui sont trop complexes pour être compris par l'humain), mais en cartographiant le processus de pensée du chef à l'aide d'un simple organigramme.

Voici comment ils ont procédé, expliqué avec des analogies de la vie quotidienne :

1. L'objectif : Cartographier la « Carte de la Pensée »

Au lieu d'essayer de comprendre les millions de petits nombres à l'intérieur de l'ordinateur, les auteurs veulent trouver les idées majeures (concepts) que le modèle utilise.

L'analogie : Imaginez que le modèle est un détective résolvant un crime. Les « concepts » sont les indices (ex : « chaussures boueuses », « fenêtre brisée », « clé manquante »). L'article veut dessiner une carte montrant comment le détective relie ces indices pour résoudre l'affaire.
La carte : Ils créent un Graphe Causal. Il s'agit d'un diagramme où des flèches montrent la cause et l'effet. Par exemple : Chaussures boueuses $\rightarrow$ Le suspect était dehors $\rightarrow$ Verdict de culpabilité. Cette carte explique comment le modèle organise l'information pour prendre une décision.

2. Le problème : La « Bibliothèque Creuse »

Pour dessiner une carte précise, vous devez voir le détective examiner chaque combinaison possible d'indices. Mais dans le monde réel, vous n'avez que quelques dossiers d'affaires. Vous avez peut-être 100 histoires, mais elles ont toutes en commun des « chaussures boueuses ». Vous ne voyez jamais une affaire avec des « chaussures boueuses » mais sans « fenêtre brisée ».

Le problème : Si vous n'examinez que les quelques histoires dont vous disposez, votre carte sera incomplète et instable. Vous pourriez penser que les « chaussures boueuses » mènent toujours à la « Culpabilité », alors qu'en réalité, cela dépend d'autres indices que vous n'avez pas encore vus.

3. La solution : La machine du « Et si ? » (MCMC)

C'est la plus grande innovation de l'article. Puisqu'ils ne peuvent pas attendre que de vraies affaires se produisent, ils utilisent l'IA elle-même pour imaginer de nouveaux cas.

L'analogie : Pensez à une machine du « Et si ? ». Vous dites à l'IA : « Prends cette histoire sur une journée pluvieuse, mais et si il ne pleuvait pas ? Garde tout le reste identique. »
Le processus :
1. L'IA prend une histoire réelle.
2. Elle demande : « Et si je changeais le concept de 'Douceur' de 'mou' à 'ferme' ? »
3. Elle réécrit l'histoire pour correspondre à ce changement (ex : « Aujourd'hui, j'ai mangé une papaye ferme » au lieu de « molle »).
4. Elle vérifie : « Ai-je réussi à changer le concept de 'Douceur' sans modifier accidentellement la 'Couleur' ou l' 'Odeur' ? »
5. Si oui, elle garde cette nouvelle histoire. Si non, elle réessaie.
Le résultat : Ils créent des milliers de ces histoires de type « Et si ? ». Cela comble les lacunes de leur bibliothèque, offrant une vue complète de la façon dont le modèle réagit à chaque combinaison possible d'indices.

4. La découverte : Dessiner la carte finale

Une fois qu'ils disposent de cette immense bibliothèque d'histoires réelles et de scénarios « Et si ? », ils utilisent un outil mathématique spécial (appelé $\sigma$ -CG) pour dessiner la carte finale.

Le résultat : La carte montre exactement quels concepts le modèle prend en compte et comment ils sont connectés.
- Exemple : Dans une tâche de diagnostic médical, la carte pourrait montrer que la « Fièvre » et la « Fatigue » pointent toutes deux vers la « Grippe », mais que la « Fièvre » seule ne suffit pas.
- Surprise : Ils ont découvert que différents modèles d'IA (comme Gemini vs Qwen) utilisent des cartes différentes. L'un peut s'appuyer fortement sur le « Ton », tandis qu'un autre repose sur les « Détails Spécifiques », même s'ils donnent la même réponse.

5. Est-ce que cela a fonctionné ? (La preuve)

Comme il n'existe pas de « bonne » carte de référence (car nous ne pouvons pas lire l'esprit de l'IA), ils ont testé les cartes de deux manières :

Pouvoir prédictif : Si vous donnez les indices « parents » de la carte à une calculatrice simple, peut-elle prédire la réponse de l'IA mieux qu'un choix aléatoire ? Oui, les cartes ont très bien fonctionné.
Stabilité : S'ils faisaient tourner la machine du « Et si ? » quelques fois de plus, la carte changeait-elle ? Non, la carte est restée la même, prouvant qu'elle était solide et non le fruit du hasard.

Résumé

L'article introduit une méthode pour rendre l'IA explicable en :

Demandant à l'IA quelles sont les « idées majeures » qu'elle utilise.
Utilisant l'IA pour imaginer des milliers de scénarios « Et si ? » afin de combler les lacunes.
Dessinant une carte de cause à effet de ces idées.

Cela donne aux humains une vue de haut niveau et claire de la façon dont l'IA réfléchit, plutôt que de simplement voir la réponse finale. C'est comme obtenir la fiche recette du chef au lieu de simplement goûter la soupe.

Résumé technique : Explicabilité des LLM par chaînes contrefactuelles et graphes causaux

Problématique

Les modèles de langage de grande taille (LLM) présentent de vastes capacités, pourtant leurs mécanismes d'inférence restent opaques. Les facteurs de décision sont inobservables et les explications générées manquent souvent de fidélité, ce qui pose des risques dans des domaines à enjeux élevés comme la médecine ou le droit. Bien que les méthodes d'interprétabilité existantes (ex. : analyse de l'attention, attribution de caractéristiques) offrent des aperçus corrélationnels, elles ne parviennent pas à fournir les preuves causales requises pour des explications fidèles. De plus, l'interprétabilité mécaniste se concentre sur des composants de bas niveau (neurones, circuits) qui sont souvent en décalage avec les concepts de haut niveau dont les parties prenantes ont besoin pour comprendre.

Les approches causales actuelles dans les LLM modélisent généralement des structures du monde réel (ex. : comment le changement du genre d'un auteur affecte une prédiction) ou supposent un graphe causal fixe (concepts $\to$ texte $\to$ prédiction). Il existe une lacune critique dans les méthodes capables de récupérer le graphe causal d'inférence du LLM lui-même : une structure qui cartographie la manière dont un modèle spécifique organise les concepts interprétables par l'humain pour réduire un texte d'entrée en une prédiction (texte $\to$ concepts $\to$ prédiction). Un goulot d'étranglement majeur dans cette récupération est la couverture des données ; une découverte causale fiable nécessite un échantillonnage dense de combinaisons de concepts, ce qui est souvent impossible ou contraire à l'éthique dans des contextes réels.

Méthodologie

Les auteurs proposent un pipeline automatisé piloté par le modèle en quatre phases pour construire des graphes causaux au niveau des concepts pour des tâches de classification. La méthode utilise le LLM cible lui-même pour extraire les concepts, représenter les données et générer les contrefactuels nécessaires à une découverte causale robuste.

1. Prédiction de l'étiquette

Les étiquettes de vérité terrain dans le jeu de données sont remplacées par les propres prédictions ( $\hat{y}$ ) du LLM cible. Cela garantit que le graphe résultant reflète le raisonnement interne du modèle plutôt que la vérité terrain du jeu de données.

2. Découverte et annotation de concepts discriminants

Le cadre identifie de manière itérative un ensemble de concepts interprétables par l'humain ( $C$ ) qui différencient les classes prédites.

Extraction : Le LLM propose des concepts candidats basés sur des lots de textes et des étiquettes prédites.
Filtrage : Les concepts ne sont conservés que s'ils sont à la fois pertinents (présents dans le texte) et discriminants (alignés avec un sous-ensemble strict de classes, et non avec toutes ou aucune).
Annotation : Chaque texte d'entrée est mappé vers un vecteur de concepts $\phi(x)$ , où chaque concept $c_i$ se voit assigner une valeur catégorielle représentant le sous-ensemble de classes que le modèle perçoit comme étant soutenu par ce concept.

3. Expansion de données inspirée par MCMC

Pour remédier à la parcimonie des données observationnelles dans l'espace latent des concepts, les auteurs introduisent une procédure d'augmentation contrefactuelle inspirée de la méthode de Monte Carlo par chaîne de Markov (MCMC).

Processus : En partant d'un texte original, l'algorithme propose de manière itérative des perturbations textuelles pour déplacer l'alignement de concepts spécifiques vers ou loin de classes cibles.
Critère d'acceptation : Un contrefactuel proposé n'est accepté que s'il atteint le décalage conceptuel escompté (alignement cible) et minimise les changements involontaires sur les concepts non ciblés (effets secondaires minimaux).
Raffinement : Les propositions échouées subissent un raffinement récursif, où le LLM est sollicité pour corriger des violations spécifiques.
Résultat : Cela génère un ensemble de données plus dense ( $D_{mcmc}$ ) qui couvre diverses combinaisons d'états conceptuels, permettant une découverte causale stable.

4. Découverte causale via $\sigma$ -CG

Le jeu de données annoté et étendu est injecté dans l'algorithme $\sigma$ -CG, une méthode de découverte causale capable de gérer des variables discrètes et des structures potentiellement cycliques. Le graphe dirigé $G$ résultant capture le flux causal du texte d'entrée, à travers les concepts perçus par le LLM, jusqu'à la prédiction finale, avec des contraintes garantissant que le texte est une racine et la prédiction un puits.

Contributions clés

Paradigme causal pour l'explicabilité globale : L'article introduit un cadre qui cartographie le raisonnement des LLM en graphes causaux sur des concepts interprétables par l'humain, dépassant les explications locales centrées sur l'entrée pour proposer un compte rendu global du mécanisme d'inférence.
Augmentation de données inspirée par MCMC : Un algorithme novateur qui génère des contrefactuels pour peupler densément l'espace latent des concepts, surmontant le problème de la parcimonie des données inhérent à la découverte causale pour les modèles boîtes noires.
Protocole d'évaluation : Un protocole rigoureux pour évaluer la stabilité structurelle et la fidélité prédictive en l'absence de graphes de raisonnement de vérité terrain, démontrant que les parents causaux découverts sont de meilleurs prédicteurs des nœuds que d'autres sous-ensembles de concepts.

Résultats

Le cadre a été évalué sur trois LLM (Gemini-2-Flash, Qwen3-14B, gpt-OSS-20B) à travers trois tâches : Diagnostic de maladie (synthétique), Analyse de sentiment (IMDB) et LLM-as-a-Judge (Reddit).

Fidélité prédictive : Dans tous les contextes, les ensembles de parents du graphe causal ont surpassé les sous-ensembles de concepts aléatoires pour prédire à la fois l'étiquette finale et les états conceptuels intermédiaires. Dans la plupart des cas, les parents basés sur le graphe figuraient parmi les trois meilleurs prédicteurs, confirmant que les structures découvertes capturent des dépendances significatives.
Raisonnement spécifique au modèle : Sur les tâches synthétiques, différents modèles ont convergé vers des concepts explicatifs similaires (récupérant les variables de vérité terrain). Cependant, sur les données naturalistes, les modèles ont développé des heuristiques latentes et des topologies causales distinctes, soulignant que la sélection d'un modèle nécessite de comprendre non seulement sa performance, mais aussi l'alignement de son raisonnement.
Convergence et stabilité : L'expansion MCMC a démontré une convergence distributionnelle, la divergence de Kullback-Leibler (KL) se stabilisant à mesure que les chaînes approchaient la borne inférieure théorique de chevauchement parfait. La stabilité structurelle a été confirmée par la distance de Hamming entre les topologies de graphes successives, laquelle est tombée à zéro.
Impact de l'augmentation : L'expansion contrefactuelle a considérablement amélioré la précision prédictive par rapport aux données originales seules, prouvant la nécessité de l'étape d'augmentation pour une découverte causale robuste.

Signification et affirmations

L'article positionne ce travail comme une étape fondamentale vers une « explicabilité au niveau des concepts » pour les LLM. En modélisant le processus d'inférence comme un graphe causal sur des concepts interprétables par l'humain, les auteurs soutiennent que cette représentation offre une forme d'interprétabilité plus accessible et actionnable pour les développeurs et les experts métier.

Les auteurs affirment avec modestie que ce travail constitue une base pour une nouvelle génération de méthodes d'explicabilité orientées processus. Ils soulignent que leur approche répond au défi spécifique de la parcimonie des données dans les espaces latents grâce à leur expansion inspirée par MCMC, permettant la récupération de structures causales globales qui étaient auparavant inaccessibles. Le travail ne prétend pas résoudre tous les problèmes d'interprétabilité, mais établit un pipeline viable pour découvrir comment les modèles organisent les concepts pour prendre des décisions, distinguant ainsi les modèles qui peuvent avoir des performances similaires mais raisonnent différemment.