CIRCUS: Circuit Consensus under Uncertainty via Stability Ensembles

Each language version is independently generated for its own context, not a direct translation.

🎪 CIRCUS : Le Cirque de la Confiance dans l'Intelligence Artificielle

Imaginez que vous essayez de comprendre comment fonctionne un magicien (une intelligence artificielle) qui devine la fin d'une phrase. Vous voulez savoir exactement quels mouvements de main et quels mots il utilise pour réussir son tour.

Le problème, c'est que les chercheurs actuels sont comme des spectateurs qui regardent le magicien à travers des lunettes de couleurs différentes.

Si vous mettez des lunettes rouges (un réglage de seuil), vous voyez un ensemble de mouvements.
Si vous mettez des lunettes bleues (un autre réglage), vous voyez un tout autre ensemble de mouvements.

Chaque spectateur dit : "C'est ça, c'est la vérité !" Mais en réalité, ils ne voient qu'une partie de la vérité, et souvent, ils se contredisent. C'est ce qu'on appelle l'incertitude.

CIRCUS (Circuit Consensus under Uncertainty via Stability Ensembles) est une nouvelle méthode pour résoudre ce problème. Au lieu de choisir une seule paire de lunettes, CIRCUS demande à tous les spectateurs de regarder le même tour, puis de se mettre d'accord sur ce qui est vraiment important.

🧩 Comment ça marche ? (L'analogie du "Vote")

Voici les trois étapes clés de la méthode CIRCUS, expliquées simplement :

1. Le Grand Vote (L'Ensemble)

Au lieu de faire une seule analyse, CIRCUS lance le même test plusieurs fois avec de petits changements (comme changer légèrement la luminosité ou le contraste).

Imaginez que vous demandez à 25 amis de dessiner la carte d'un trésor caché dans une forêt.
Chaque ami utilise une règle différente pour décider quels sentiers sont importants.
Certains sentiers apparaissent sur toutes les cartes. D'autres n'apparaissent que sur une ou deux.

2. Le Score de Stabilité (La Réputation)

CIRCUS attribue un "score de réputation" à chaque sentier (ou connexion dans le cerveau de l'IA).

Si un sentier apparaît sur toutes les cartes de vos amis, son score est de 100 %. C'est un sentier solide, incontestable.
Si un sentier n'apparaît que sur la carte d'un seul ami, son score est faible. C'est peut-être une erreur de dessin ou un détail qui dépend de la météo du jour.

3. Le Consensus Strict (Le Cœur du Circuit)

C'est la partie la plus brillante. CIRCUS ne garde que les sentiers qui ont un score de 100 % (ceux que tout le monde a dessinés).

Le résultat ? Au lieu d'avoir une carte géante et confuse de 25 000 sentiers, vous obtenez un petit chemin clair de seulement 600 sentiers.
C'est comme si vous aviez éliminé tout le bruit et les erreurs pour ne garder que l'essentiel.

💡 Pourquoi est-ce génial ? (Les Analogies)

📉 La Réduction de Taille (Le "Filtre à Café")

Dans les méthodes anciennes, si vous vouliez être sûr de ne rien rater, vous preniez tout ce que les différents spectateurs avaient vu. C'était comme essayer de boire un café avec tout le marc dedans : c'est énorme, lourd et difficile à comprendre.
CIRCUS agit comme un filtre à café ultra-performant. Il garde le liquide (l'information importante) et jette le marc (les détails qui changent selon les réglages).

Chiffre clé : Le circuit final est 40 fois plus petit que la méthode précédente, tout en gardant la même puissance explicative !

🛡️ La Résistance aux "Lunettes" (Robustesse)

Si vous changez légèrement vos lunettes (vos paramètres), le circuit CIRCUS reste le même. C'est comme un bâtiment construit sur des fondations en béton : peu importe si le vent souffle un peu plus fort ou un peu moins, le bâtiment ne bouge pas.
Les anciennes méthodes, elles, s'effondraient ou changeaient de forme dès qu'on changeait un petit bouton de réglage.

🧪 La Preuve par l'Expérience (Le Test de Vérité)

Pour vérifier que ce petit chemin "consensus" est vraiment la vérité, les chercheurs ont fait un test de réalité (appelé activation patching).

L'analogie : Imaginez que vous avez identifié les muscles exacts que le magicien utilise pour son tour. Vous demandez à un ami de bloquer ces muscles précis.
Résultat : Le magicien échoue ! Cela prouve que les muscles (les connexions) que CIRCUS a identifiés sont vraiment ceux qui font le travail. C'est une preuve scientifique solide, pas juste une supposition.

🗂️ La Classification des "Voies"

CIRCUS ne jette pas tout ce qui n'est pas parfait. Il classe les connexions en trois catégories, comme un tri postal :

Le Cœur (Core) : Les connexions que tout le monde est d'accord. C'est le noyau dur, inébranlable. C'est ce qu'on utilise pour expliquer le fonctionnement de base.
Les Alternatives (Contingent) : Des chemins qui sont importants mais qui ne sont pas vus par tout le monde. Ce sont des "plans B" possibles. Utiles à connaître, mais moins sûrs.
Le Bruit (Noise) : Les connexions qui apparaissent au hasard ou seulement dans un cas très spécifique. On les ignore car elles ne sont pas fiables.

🏁 En Résumé

CIRCUS, c'est comme passer d'une discussion de café bruyante où tout le monde crie sa version de la vérité, à un vote démocratique rigoureux.

Avantage 1 : On obtient une explication plus petite et plus claire (40x plus petite !).
Avantage 2 : On sait exactement quelles parties de l'explication sont fiables et lesquelles sont incertaines.
Avantage 3 : On ne perd pas de temps à réentraîner l'IA, on utilise simplement les données qu'on a déjà, mais mieux organisées.

En bref, CIRCUS nous aide à faire confiance à l'intelligence artificielle en nous montrant non seulement ce qu'elle fait, mais aussi ce dont nous sommes sûrs qu'elle le fait.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique : L'incertitude dans la découverte de circuits mécaniques

La découverte de circuits mécaniques (sous-graphes clairsemés d'un modèle de langage qui soutiennent causalement un comportement) est une tâche centrale en interprétabilité mécaniste. Cependant, les pipelines actuels souffrent d'une sensibilité critique aux choix arbitraires de l'analyste, notamment :

Les seuils d'élagage (pruning thresholds) utilisés pour filtrer les arêtes du graphe d'attribution.
Le choix du dictionnaire de caractéristiques (par exemple, quel checkpoint de transcodeur utiliser).

Ces choix produisent souvent des explications "ponctuelles" (one-shot) fragiles, sans notion principielle d'incertitude. Deux analystes utilisant des paramètres légèrement différents peuvent obtenir des circuits radicalement différents, rendant difficile la distinction entre une structure stable (significative) et un artefact de la configuration.

Question de recherche : Comment exploiter cette variabilité pour identifier quelles structures de circuits sont stables et robustes, et lesquelles sont des artefacts ?

2. Méthodologie : CIRCUS (Ensembles de Stabilité)

CIRCUS reformule la découverte de circuits comme un problème de quantification de l'incertitude. Au lieu de produire un seul graphe, la méthode génère un ensemble de graphes d'attribution en variant les configurations d'analyse, puis agrège ces vues pour extraire un consensus.

A. Pipeline de "Config-Bagging"

La méthode ne nécessite aucun réentraînement du modèle. Elle fonctionne ainsi :

Exécution unique : Une seule exécution de calcul d'attribution (attribution run) est effectuée sur le modèle complet (via un modèle de remplacement, ex: Cross-Layer Transcoder).
Génération de vues (Views) : À partir de ce graphe d'attribution brut, $B$ configurations d'élagage différentes (variations des seuils de node/edge cumulative-influence) sont appliquées. Chaque configuration produit un sous-graphe pruné $E^{(b)}$ .
Calcul de la stabilité : Pour chaque arête $e$ du graphe complet, un score de stabilité $s(e)$ est calculé comme la fraction de vues qui conservent cette arête :
$s(e) = \frac{1}{B} \sum_{b=1}^{B} \mathbb{I}[e \in E^{(b)}]$
où $s(e) \in [0, 1]$ . Une valeur de 1 signifie que l'arête apparaît dans toutes les configurations.

B. Décomposition de l'incertitude et Taxonomie

Le papier propose une taxonomie des arêtes basée sur leur stabilité et leur influence :

Cœur (Core) : Arêtes avec $s(e) = 1$ (consensus strict, $\tau=1$ ). Ce sont les structures robustes aux choix de l'analyste.
Contingentes (Contingent) : Arêtes avec une stabilité moyenne mais une forte influence marginale. Elles représentent des voies alternatives plausibles.
Bruit (Noise) : Arêtes à faible stabilité et faible influence, qui peuvent être rejetées.

C. Boosting (Test d'incertitude résiduelle)

Si le circuit de consensus strict ( $C_1$ ) ne capture pas une part suffisante de l'influence totale, une étape de "boosting" est proposée :

On construit un graphe résiduel en annulant les arêtes de $C_1$ .
On extrait les arêtes à plus forte influence résiduelle pour former $C_2$ .
Le circuit complet est l'union $C_1 \cup C_2$ , permettant de couvrir l'influence manquante tout en gardant une structure hiérarchisée.

3. Contributions Clés

Méthodologique : Introduction d'un pipeline "bagged-circuit" qui quantifie la stabilité structurelle via des scores de fréquence, offrant une interface explicite de rejet/alternatives.
Efficacité : La méthode ajoute une surcharge négligeable car elle agrège des structures à partir de graphes déjà calculés, sans réentraînement.
Validation Causale : Utilisation de l'activation patching pour valider que les nœuds identifiés par le consensus ont une importance causale supérieure aux contrôles non-consensus.
Taxonomie Pratique : Fourniture d'une décomposition explicite "Cœur / Contingent / Bruit" pour des rapports d'interprétabilité auditable.

4. Résultats Expérimentaux

Les expériences ont été menées sur les modèles Gemma-2-2B et Llama-3.2-1B avec des dictionnaires de transcodeurs publics.

Réduction de taille et Robustesse :
- Les circuits de consensus strict ( $\tau=1$ ) sont environ 40 fois plus petits que l'union de toutes les configurations (toutes les arêtes apparaissant dans au moins une vue), tout en conservant une puissance explicative (Influence Retained - IR) comparable.
- Le consensus surpasse une baseline "union élaguée" (prendre l'union de tous les graphes et ne garder que le même nombre d'arêtes que le consensus) : IR de 0.78 contre 0.73 pour la baseline, prouvant que la sélection par consensus est plus informative que la sélection par influence brute à budget égal.
Validation Causale (Activation Patching) :
- Les nœuds identifiés par le consensus ont permis de récupérer significativement mieux les prédictions dans des expériences de patching d'activation par rapport à des contrôles appariés (nœuds non-consensus).
- Résultat statistique : $p = 0.0004$ , confirmant que les arêtes du consensus soutiennent causalement la prédiction.
Stabilité Multi-Prompt :
- Sur 20 prompts variés (faits, arithmétique, trivia), le consensus a maintenu un IR moyen de $0.83 \pm 0.05$ .
- La taille du circuit varie peu (de 625 à 1288 arêtes), montrant une robustesse aux variations de prompt.
Analyse de l'Incertitude :
- Dans une configuration typique, seulement 2,5 % des arêtes ont une stabilité de 1 (le cœur), tandis que 72,8 % ont une stabilité < 0,5. Cela justifie l'utilisation de l'incertitude épistémique comme critère de rejet pour les arêtes peu fiables.
- Les arêtes "contingentes" (stabilité moyenne) représentent souvent une part significative de l'influence totale (45 % dans les expériences), suggérant qu'elles ne sont pas du bruit mais des voies alternatives.

5. Signification et Impact

CIRCUS apporte une avancée majeure en interprétabilité mécaniste en transformant la découverte de circuits d'un processus déterministe et fragile en un processus probabiliste et robuste.

Confiance et Auditabilité : En fournissant un "cœur" de circuit indiscutable (consensus strict) et en explicitant les alternatives, CIRCUS permet aux chercheurs de rapporter des circuits mécaniques avec un niveau de confiance quantifié.
Gestion des choix d'analyste : La méthode ne cherche pas à éliminer les choix de l'analyste (seuils, dictionnaires), mais à les traiter comme une source d'information pour filtrer les artefacts.
Praticité : Le fait que la méthode ne nécessite aucun réentraînement et s'appuie sur des outils d'attribution existants (comme Circuit Tracer) la rend immédiatement applicable aux grands modèles de langage actuels.

En résumé, CIRCUS offre un cadre pratique pour distinguer la structure réelle des modèles de langage des artefacts d'analyse, en produisant des circuits plus compacts, plus fiables et causalement validés.