🤖 AI

Certified Circuits: Stability Guarantees for Mechanistic Circuits

Ce document introduit « Certified Circuits », un cadre qui améliore la stabilité et la fiabilité de l'interprétabilité mécaniste en utilisant le sous-échantillonnage aléatoire de données pour fournir des garanties prouvables que les circuits neuronaux découverts sont invariants aux perturbations de l'ensemble de données, ce qui se traduit par des explications plus compactes et plus précises à travers diverses architectures et tâches.

Auteurs originaux : Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

Publié 2026-06-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un chef brillant mais mystérieux (un réseau de neurones) cuisine un plat spécifique, comme la « Soupe de Crocodile ». Vous voulez savoir exactement quels ingrédients et quelles étapes sont essentiels à la recette.

Le Problème : La Recette Instable
Par le passé, lorsque les scientifiques essayaient de trouver cette « recette » (appelée circuit) à l'intérieur de l'ordinateur, ils utilisaient une méthode très fragile. C'était comme demander au chef : « Qu'est-ce qui donne à cette soupe un goût de crocodile ? » en se basant sur une seule photo d'un crocodile sur une plage.

Le chef pourrait répondre : « Ah ! Ce sont les dents et les écailles ! » Mais si vous montriez au chef une photo d'un crocodile dans un marécage, ou un dessin animé, le chef pourrait soudainement dire : « Non, non ! C'est en fait l'eau boueuse et l'oiseau assis à côté ! »

Le problème est que le chef (l'ordinateur) mémorisait des indices spécifiques à cette photo précise (comme l'oiseau ou la boue) plutôt que le concept réel de crocodile. Si vous changiez légèrement la photo, la « recette » trouvée par les scientifiques changeait complètement. Cela rendait l'explication peu fiable.

La Solution : Les Circuits Certifiés
Ce document présente une nouvelle méthode appelée Circuits Certifiés. Considérez cela comme un « Test de Stabilité » pour la recette.

Au lieu de demander au chef de commenter une seule photo, les chercheurs font ceci :

Le Mélange : Ils prennent une grande pile de photos de crocodiles et en retirent aléatoirement quelques-unes, en échangent certaines ou en ajoutent de nouvelles. Ils font cela des centaines de fois, créant des milliers de « piles de photos » légèrement différentes.
Le Vote : Pour chaque pile de photos, ils demandent au chef : « Quelle est la partie la plus importante ici ? »
Le Consensus : Ils examinent les réponses.
- Si le chef dit « Dents » dans 99 % des différentes piles de photos, ils disent : « Certifié ! Les dents font définitivement partie de la recette. »
- Si le chef dit « Oiseau » dans 50 % des piles et « Dents » dans l'autre 50 %, ils disent : « S'abstenir. » Ils refusent d'inclure l'« Oiseau » dans la recette finale car il est trop instable. Il pourrait s'agir d'une simple coïncidence.

Ce que cela permet d'accomplir
En ne conservant que les parties sur lesquelles le chef est d'accord peu importe comment vous mélangez les photos, les chercheurs obtiennent un bien meilleur résultat :

Plus Petit et Plus Propre : La recette finale est beaucoup plus courte. Ils ont éliminé tout le « bruit » (comme l'oiseau ou la boue) qui perturbait la méthode originale.
Plus Précis : Parce qu'ils ont supprimé les indices confus et instables, la recette fonctionne mieux. Dans l'article, cela a amélioré la précision jusqu'à 56 % sur des exemples difficiles et inédits.
Fonctionne Partout : Si la recette est construite sur le vrai concept de crocodile (dents, écailles, museau), elle fonctionnera que vous présentiez au chef un vrai crocodile, un dessin animé ou un crocodile dans un marécage. La recette « Certifiée » se généralise bien car elle ignore les indices fragiles qui ne fonctionnaient que pour les photos d'origine.

L'Essentiel
L'article affirme qu'en utilisant ce système de « vote » (qu'ils appellent lissage aléatoire ou randomized smoothing), ils peuvent prouver que leurs « circuits » découverts (les parties de l'ordinateur qui effectuent le travail) sont stables.

Ils ne se contentent pas de deviner ; ils peuvent mathématiquement garantir que si vous modifiez légèrement les données d'entrée (dans une certaine limite), le cœur de la recette qu'ils ont trouvé ne changera pas. Cela transforme la « recette », passant d'une supposition fragile à une explication solide et digne de confiance de la façon dont l'ordinateur réfléchit réellement.

Résumé Technique : Circuits Certifiés

Énoncé du Problème

L'interprétabilité mécaniste vise à identifier des « circuits » — des sous-réseaux minimaux au sein des réseaux de neurones responsables de comportements ou de concepts spécifiques. Cependant, les méthodes actuelles de découverte de circuits souffrent d'un manque critique de robustesse. Les circuits découverts sont extrêmement sensibles aux exemples spécifiques choisis pour le jeu de données du concept ; l'ajout, la suppression ou la substitution d'exemples sémantiquement équivalents peut entraîner des changements imprévisibles dans la structure du circuit. De plus, ces circuits échouent souvent à se généraliser aux données hors distribution (OOD). Cette instabilité soulève une question fondamentale : les méthodes actuelles capturent-elles la véritable représentation mécaniste d'un concept, ou ne font-elles que sur-apprendre des indices spécieux et des artefacts spécifiques au jeu de données ?

Méthodologie : Circuits Certifiés

Les auteurs proposent les Circuits Certifiés, un cadre qui fournit des garanties de stabilité prouvables et agnostiques à l'algorithme pour la découverte de circuits. L'idée centrale est de traiter la découverte de circuits comme une application d'un jeu de données de concept vers un sous-graphe, et de certifier que cette application reste invariante sous des modifications bornées du jeu de données.

Cadre Fondamental

Sous-échantillonnage Aléatoire (Lissage) : Le cadre enveloppe tout algorithme de découverte de circuit de type boîte noire $\mathcal{A}$ . Il génère de multiples sous-échantillons du jeu de données de concept $D$ en appliquant un mécanisme de perturbation basé sur la suppression. Plus précisément, il échantillonne un masque binaire où chaque exemple est conservé avec une probabilité $1 - p_{del}$ et supprimé avec une probabilité $p_{del}$ .
Agrégation : L'algorithme de base $\mathcal{A}$ est exécuté sur chaque jeu de données sous-échantillonné pour produire des circuits candidats. Le cadre agrège ensuite les résultats pour calculer la probabilité d'inclusion lissée ( $p_u$ ) pour chaque composant du circuit (neurone ou arête). Cette probabilité représente la fréquence à laquelle un composant est sélectionné à travers les suppressions aléatoires.
Règle de Décision Certifiée : Un seuil de confiance $\tau$ $τ$ est appliqué à $p_u$ $p_{u}$ pour prendre une décision pour chaque composant :
- Certifié In (Inclus) : Si $p_u > \tau$ , le composant est robustement inclus.
- Certifié Out (Exclu) : Si $1 - p_u > \tau$ , le composant est robustement exclu.
- Abstention : Si aucune des conditions n'est remplie, le composant est exclu du circuit final. Cette parcimonie adaptative élimine les composants dont l'inclusion est instable sous les perturbations du jeu de données.

Garantie Théorique

La méthode exploite le Lissage par Suppression de Jeu de Données (RS-Del) pour dériver une garantie formelle. Le Théorème 3.1 stipule qu'avec une haute confiance ( $1-\alpha$ ), tout composant certifié comme « in » ou « out » reste invariant pour tout jeu de données de concept $D'$ situé dans une distance d'édition $r$ spécifique du jeu de données $D$ original. Le rayon certifié $r$ est une fonction de la probabilité de suppression $p_{del}$ et du seuil $\tau$ . Les composants assignés à l'« abstention » sont exclus, garantissant que le circuit final ne contient que des éléments prouvables et stables.

Principales Contributions

Premier Cadre de Stabilité Prouvable : L'article introduit le premier cadre fournissant des garanties de robustesse prouvables et agnostiques à l'algorithme pour la découverte de circuits, garantissant que la structure du circuit est invariante aux modifications bornées du jeu de données.
Bornes Théoriques : Les auteurs dérivent des bornes prouvables sur les rayons certifiés et caractérisent leur dépendance vis-à-vis de la probabilité de seuil et de la probabilité de suppression.
Validation Empirique : Le cadre est validé à travers trois architectures (ResNet, ViT, GPT-2), deux modalités (vision et langage) et quatre algorithmes de découverte.

Résultats Expérimentaux

Les auteurs ont évalué les Circuits Certifiés par rapport aux lignes de base standards (ex: Top-K relevance, EAP-IG) sur ImageNet et divers benchmarks OOD (ImageNet-A, ImageNet-O, ImageNet-C, OOD-CV) pour la vision, et sur les tâches IOI/IOI-Hard/Greater-Than pour le langage.

Suffisance et Compacité : Les circuits certifiés atteignent une précision plus élevée (suffisance) avec nettement moins de composants (compacité).
- Vision : Sur ImageNet, les circuits certifiés ont atteint 95 % de précision (contre 83 % pour la ligne de base) tout en utilisant 52 % de neurones en moins. Sur des jeux de données OOD comme ImageNet-A, la précision s'est améliorée jusqu'à 56 % (atteignant 94 %) avec une réduction de taille de 15 %.
- Langage : Les circuits certifiés égalent ou dépassent la précision de pointe de la ligne de base tout en utilisant jusqu'à 80 % d'arêtes en moins (par exemple, une réduction de 75 % sur la tâche Greater-Than).
Analyse de Caractéristiques : La visualisation des neurones « abstentionnés » (ceux inclus dans les lignes de base mais exclus par la certification) a révélé qu'ils s'activent souvent sur des indices co-occurrents mais non spécifiques à la classe (ex: mains/poignets pour la classe « montre »), tandis que les neurones « certifiés-in » répondaient systématiquement aux caractéristiques définissant la classe.
Généralisation OOD : Les circuits découverts sur des données de distribution initiale conservent une précision nettement plus élevée sur les décalages OOD, suggérant qu'ils capturent des structures mécanistes transférables plutôt que des artefacts de jeu de données.
Stabilité Structurelle : Lorsque les circuits ont été redécouverts sur des distributions décalées, les circuits certifiés ont montré une Intersection-over-Union (IoU) plus élevée avec la structure originale, indiquant une convergence vers un noyau invariant.

Signification et Revendications

L'article affirme que les Circuits Certifiés placent la découverte de circuits sur un terrain formel en produisant des explications mécanistes qui sont prouvables, stables et mieux alignées avec le concept cible. En supprimant systématiquement les composants instables par une abstention adaptative, la méthode produit des circuits qui sont non seulement plus compacts et précis, mais aussi robustes aux variations de jeux de données et aux décalages de distribution.

Les auteurs soulignent que ce travail s'attaque à l'« illusion d'interprétabilité » où les explications semblent fidèles sur la distribution de découverte mais échouent à se généraliser. En fournissant un modèle de menace basé sur des modifications bornées de jeux de données, les Circuits Certifiés offrent un outil fiable pour le débogage, l'audit et la compréhension des réseaux de neurones, comblant ainsi le fossé entre l'interprétabilité et la fiabilité. Le cadre est conçu pour être agnostique à l'architecture du modèle sous-jacent et à l'algorithme spécifique de découverte de circuit, ce qui en fait une solution généralisable pour le domaine.