💬 NLP

Automated Attribution Graph Interpretation via Probe Prompting

Ce document introduit le « probe prompting », un pipeline transparent basé sur des règles qui regroupe les caractéristiques des graphes d'attribution en supernœuds alignés sur des concepts à l'aide de signatures d'activation par inter-prompts (Cross-Prompt Activation Signatures), validant avec succès leur comportement de pilotage causal à travers divers domaines factuels avec un coût computationnel minimal.

Auteurs originaux : Giuseppe Birardi, Gonçalo Paulo

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giuseppe Birardi, Gonçalo Paulo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme une ville immense et bouillonnante de vie, avec des millions de travailleurs (neurones) se transmettant des notes pour répondre à une question. Nous savons exactement comment les notes sont transmises (les mathématiques), mais la ville est si vaste et les notes si complexes qu'il est impossible pour un humain de regarder la carte et de dire : « Ah, ce groupe spécifique de travailleurs est responsable du fait que la capitale du Texas est Austin. »

Ce document présente une nouvelle façon de cartographier cette ville, appelée Probe Prompting (le Sondage par Incitation). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le problème : Une ville trop grande pour être lue

Auparavant, les chercheurs essayaient de comprendre le modèle en examinant des « graphes d'attribution ». Imaginez que ce sont des plans montrant quels travailleurs ont influencé la réponse finale.

Le problème : Même pour une question simple comme « Quelle est la capitale du Texas ? », le plan comporte des milliers de lignes et de nœuds. C'est comme essayer de lire un roman en regardant chaque lettre individuellement. Il faut des heures pour tracer un seul chemin, et faire cela pour des milliers de questions est impossible.
L'ancienne méthode : Certains chercheurs essayaient de demander à une IA de nommer ces travailleurs (« Celui-ci concerne le 'Texas' »). Mais souvent, l'IA ne faisait que deviner en fonction de ce que le travailleur fait habituellement, et non de ce qu'il a réellement fait dans ce moment précis.

2. La solution : Le détective « Sonde »

Les auteurs ont créé un système transparent, basé sur des règles, appelé Probe Prompting. Au lieu de deviner, ils traitent le modèle comme un suspect dans un jeu de détective.

La configuration : Ils prennent une question spécifique (ex : « La capitale du Texas est... ») et génèrent un petit ensemble de questions « sondes » qui sont presque identiques mais qui modifient les détails (ex : « La capitale de la Floride est... », « La capitale de New York est... »).
Le test : Ils observent comment des travailleurs spécifiques (caractéristiques) réagissent à ces sondes.
- Analogie : Imaginez que vous avez un agent de sécurité dans un bâtiment. Pour voir ce qu'il fait, vous ne vous contentez pas de le regarder une fois. Vous lui demandez : « Que faites-vous quand une personne nommée 'John' entre ? » Puis : « Et pour 'Mary' ? » Puis : « Et pour 'Bob' ? »
- Si l'agent ne réagit que lorsque « John » entre, c'est un Détecteur de John.
- S'il réagit à n'importe quel nom, c'est un Détecteur de Noms.
- S'il réagit quand on dit « est » ou « le », c'est un Aide de Grammaire.

3. Grouper les travailleurs : Les « Supernœuds »

Sur la base de ces réactions, le système regroupe des milliers de travailleurs individuels en Supernœuds.

La magie : Au lieu de regarder 5 000 travailleurs individuels, le système dit : « D'accord, ces 50 travailleurs agissent tous comme des 'Détecteurs de Texas', alors appelons-les une grande équipe : Équipe Texas ».
Le résultat : La carte de la ville, massive et confuse, est maintenant compressée en un diagramme simple et lisible avec seulement quelques équipes nommées (ex : Équipe Texas, Équipe Austin, Équipe « Capitale »).

4. La preuve : L'expérience de l'échange (« Swap »)

Comment savoir si ces étiquettes sont réelles et non une simple chance ? Les auteurs effectuent un Échange Causal (Causal Swap).

L'expérience : Ils prennent une question sur Dallas (où la réponse devrait être Austin) et tentent de forcer le modèle à répondre Minnesota (où la réponse est St. Paul).
La méthode : Ils « baissent le volume » des travailleurs étiquetés Équipe Dallas et « augmentent le volume » des travailleurs étiquetés Équipe Minnesota.
Le résultat :
- Lorsque les auteurs ont utilisé leurs étiquettes de Probe Prompting, le modèle a réussi à changer sa réponse de Dallas à Minnesota environ 73 % du temps.
- Lorsqu'ils ont utilisé un Contrôle Aléatoire (choisir des travailleurs au hasard pour l'échange, sans tenir compte des étiquettes), le modèle n'a presque jamais changé sa réponse correctement.
- Lorsqu'ils ont utilisé un Contrôle d'Influence (choisir les travailleurs les plus « bruyants » sans tenir compte de ce qu'ils font), le modèle a également échoué à changer la réponse correctement.

5. Principales conclusions en langage clair

Cela fonctionne : Le système a réussi à identifier quels travailleurs contrôlent réellement des faits spécifiques. En les regroupant, ils ont rendu le « cerveau » du modèle lisible.
Moins, c'est mieux : Parfois, essayer de contrôler chaque partie de la phrase (le nom de la ville, le nom de l'état et la capitale) finit par confondre le modèle. Cela fonctionne mieux si l'on ne modifie que les parties spécifiques liées à la réponse (l'état et la capitale).
C'est transparent : Contrairement à certaines méthodes d'IA qui sont des « boîtes noires », ce système utilise des règles claires et compréhensibles par l'humain. Si un chercheur veut vérifier le travail, il peut voir exactement pourquoi un travailleur a été regroupé avec une équipe spécifique.

Résumé

Le document présente un outil qui transforme une carte chaotique et illisible du cerveau d'un modèle de langage en un diagramme propre et étiqueté. Il y parvient en testant la réaction des parties du modèle à des questions légèrement différentes, en regroupant les parties similaires, et en prouvant que ces groupes contrôlent réellement le comportement du modèle en réussissant à échanger des réponses lors d'une expérience contrôlée.

Ce que le document ne prétend PAS :

Il ne prétend pas que cela fonctionne pour toutes les tâches d'IA (comme écrire du code ou avoir une conversation) ; il a été testé spécifiquement sur des questions factuelles (comme les capitales, les auteurs de livres et les fondateurs d'entreprises).
Il ne prétend pas réparer le modèle ou le rendre plus intelligent ; il aide seulement les humains à comprendre comment il fonctionne.
Il ne prétend pas fonctionner sur toutes les langues ou toutes les tailles de modèles pour le moment ; les tests ont été effectués sur un modèle anglais spécifique (Gemma-2-2B).

Résumé Technique : Interprétation Automatique des Graphes d'Attribution via le Probe Prompting

Problématique
Bien que les voies de calculation allant de l'entrée à la sortie dans les grands modèles de langage (LLM) soient théoriquement connues, la densité extrême de ces calculs les rend opaques à l'interprétation humaine. Les méthodes existantes d'interprétabilité mécaniste, telles que les auto-encodeurs creux (Sparse Autoencoders - SAE) et les transcodeurs inter-couches (Cross-Layer Transcoders - CLT), parviennent à décomposer les activations denses du modèle en caractéristiques éparses. Cependant, les graphes d'attribution qui en résultent restent trop vastes pour une analyse manuelle ; un seul prompt factuel court peut générer des graphes comportant de 600 à 5 000 nœuds. Les techniques d'interprétation automatisées actuelles, qui reposent souvent sur la notation par LLM des activations du corpus, ne parviennent pas à fournir de validation causale ou d'aperçus sur les interactions au niveau des circuits. Il existe un besoin critique de méthodes de regroupement automatisées, liées au comportement, capables de passer d'études de cas individuelles à de vastes catalogues de circuits sans nécessiter de traçage manuel.

Méthodologie : Le Probe Prompting
Le document présente le probe prompting, un pipeline transparent et fondé sur des règles, conçu pour convertir des graphes d'attribution complexes en un ensemble compact de « supernœuds » alignés sur des concepts. La méthodologie se déroule en quatre étapes distinctes :

Génération du graphe d'attribution : En utilisant Neuronpedia et des dictionnaires CLT, le système génère des graphes d'attribution pour des prompts semences (ex: « La capitale de l'état contenant Dallas est »).
Génération de probes de sondage (Probe Prompts) : Pour chaque semence, un LLM génère un petit ensemble de prompts de sondage ciblant des concepts. Ces probes maintiennent la structure syntaxique de la semence (prépositions, position de la réponse) mais font varier les entités de contenu.
Signatures d'activation inter-prompts (CPAS) : Le système mesure les activations des caractéristiques à travers l'ensemble des sondages. Au lieu de s'appuyer sur un pic unique de prompt (qui est ambigu), il agrège des métriques telles que la cohérence des pics, la parcimonie et la similitude cosinus par rapport à la semence. Cette agrégation forme une CPAS pour chaque caractéristique.
Formation de supernœuds par règles : Un arbre de décision déterministe associe les métriques CPAS à l'un des quatre rôles fonctionnels :
- Sémantique-Dictionnaire (SEM-DICT) : Caractéristiques culminant systématiquement sur un seul jeton sémantique (ex: « Texas »).
- Sémantique-Concept (SEM-CONC) : Caractéristiques culminant sur une famille de jetons apparentés (ex: noms d'artistes).
- Relation (REL) : Caractéristiques présentant des schémas d'activation diffus codant des relations plutôt que des entités.
- Say-X (SAY-X) : Caractéristiques culminant sur des jetons fonctionnels (ex: « est », « le ») dans des positions prévisibles par rapport à une cible sémantique, favorisant ainsi la production de la sortie.
  Les caractéristiques partageant le même rôle et le même nom sont fusionnées en un supernœud.

Protocole de Validation Causale
Pour valider l'utilité de ces supernœuds, les auteurs emploient un protocole d'intervention causale impliquant des expériences d'échange d'entités. Pour une paire source-cible (ex: Dallas $\to$ Austin), le système ablate les caractéristiques associées à la source et amplifie celles associées à la cible. Le succès est mesuré par la capacité du modèle à rediriger sa prédiction vers l'entité cible.

De plus, le papier introduit deux bases de comparaison rigoureuses pour garantir que les résultats ne sont pas des artefacts du nombre de caractéristiques ou de l'influence du graphe :

Contrôle Aléatoire Apparié (Matched-Random Control) : Un ensemble aléatoire de caractéristiques possédant le même nombre et la même distribution de couches que l'ensemble étiqueté, tirées en dehors des supernœuds alignés sur les concepts.
Contrôle Top-K par Influence (Influence-Matched Top-K Control) : Une base de comparaison qui sélectionne les $K$ meilleures caractéristiques par influence de graphe afin de correspondre au budget d'influence cumulée de l'intervention étiquetée.

Résultats Clés
La méthode a été évaluée sur quatre domaines factuels (capitales des États américains, personnages de livres, fondateurs d'entreprises, artistes de peinture) en utilisant le modèle Gemma-2-2B avec un dictionnaire CLT public, totalisant 44 596 exécutions d'intervention.

Supériorité sur les bases de comparaison : Les supernœuds étiquetés ont significativement surpassé les deux contrôles aléatoire et par influence. Dans le domaine des USA, l'approche étiquetée a atteint un Hit% de 72,8 % (redirection réussie) contre 0,7 % pour le contrôle aléatoire apparié et 4,2 % pour le contrôle Top-K par influence.
Efficacité vs Annotation Humaine : Dans une étude de cas comparant le pipeline automatisé à un graphe curaté par l'humain pour le prompt Dallas/Austin, la méthode automatisée a obtenu des taux de succès comparables (40/49 sources vs 38/49 pour l'humain), mais a nécessité un ensemble de caractéristiques plus large (96,5 caractéristiques contre 4 par appel). Cependant, la méthode automatisée a identifié avec succès des chemins de redirection que la curation humaine avait manqués pour certains États sources, démontrant une non-redondance.
Additivité de Champ : L'étude a révélé que « moins, c'est plus ». Les interventions se concentrant sur les champs intermédiaires et de réponse (ex: l'état et la capitale) étaient nettement plus efficaces que l'inclusion du champ d'entrée (la ville), qui encode souvent ce que le modèle lit plutôt que ce qu'il doit produire.
Force de Pilotage (Steering Strength) : L'amplificateur optimal ( $M$ ) s'est avéré bimodal (avec des pics autour de $M \approx 2,4$ et $M \approx 6,9$ ), remettant en question le défaut standard de $M=20$ utilisé pour le pilotage d'une seule caractéristique.

Signification et Revendications
Le papier affirme que le probe prompting démontre que l'interprétabilité au niveau des circuits peut être partiellement automatisée via un pipeline transparent basé sur des règles. Ses principales contributions sont :

Automatisation du Groupement de Circuits : Il fournit une méthode évolutive pour regrouper des milliers de caractéristiques en supernœuds alignés sur des concepts sans intervention manuelle.
Cadre de Validation Causale : Il établit un harnais robuste et indépendant de la méthode pour évaluer la qualité du groupement via des contrôles aléatoires et par influence appariés, répondant à la critique selon laquelle des scores d'interprétabilité peuvent être obtenus par des modèles initialisés aléatoirement.
Utilité Opérationnelle : Les étiquettes résultantes ne sont pas seulement descriptives ; elles sont opérationnellement utiles pour effectuer des échanges d'entités, servant de test rapide pour vérifier si les caractéristiques sont correctement regroupées par leur comportement réel dans le graphe de calcul.

Les auteurs notent modestement que leurs revendications couvrent actuellement les niveaux 1 et 2 de l'abstraction causale (identification des caractéristiques et de leurs rôles fonctionnels) mais ne prétendent pas encore au niveau 3 (identification mécaniste complète des variables latentes). Ils reconnaissent des limites, notamment la restriction actuelle à la mémorisation factuelle à deux sauts, le gel de l'attention lors de la génération du graphe (bien que non lors de l'intervention), et la dépendance aux vocabulaires de jetons fonctionnels en anglais. Ce travail est présenté comme un harnais réutilisable pour calibrer les futures méthodes de groupement par rapport aux interventions causales.