Résumé technique : Fidélité Interventionnelle Certifiée (CIF)

Énoncé du problème

L'interprétabilité mécaniste repose de plus en plus sur des évaluations interventionnelles pour valider les affirmations causales concernant les réseaux de neurones. Ces expériences impliquent la modification d'états internes (par exemple, le patch de l'activation, l'ablation, l'échange d'états cachés) pour tester si une explication proposée (telle qu'un modèle compressé, un circuit ou un ensemble de neurones) reproduit fidèlement le comportement du modèle original.

Les pratiques d'évaluation actuelles souffrent d'un manque de rigueur statistique. Généralement, les chercheurs échantillonnent un nombre fixe d'entrées et d'interventions, calculent une estimation ponctuelle (par exemple, la précision de l'intervention d'échange ou la récupération de patch) et la rapportent comme une affirmation définitive. Cependant, les flux de travail d'interprétabilité sont intrinsèquement séquentiels et adaptatifs : les chercheurs surveillent les résultats, ajustent les ensembles d'évaluation, traquent les contre-exemples et s'arrêtent lorsque les preuves semblent solides. Sans une quantification de l'incertitude appropriée qui tienne compte de cette adaptivité, les fidélités rapportées peuvent être des artefacts d'un échantillonnage fini ou du « p-hacking » (arrêt dépendant des données), conduisant à des affirmations surévaluées ou à un mauvais classement des méthodes.

Méthodologie : Fidélité Interventionnelle Certifiée (CIF)

Les auteurs proposent la Fidélité Interventionnelle Certifiée (CIF), un cadre statistique qui transforme les évaluations d'interprétabilité interventionnelle en problèmes d'inférence causale formels avec des garanties valides à tout moment (anytime-valid). La CIF est conçue pour être une « couche statistique » pouvant être enveloppée autour des pipelines d'évaluation existants.

1. Formalisation en tant qu'estimandes causaux

La CIF exige que chaque métrique rapportée soit explicitement définie comme un estimande causal borné.

• Cible : Une espérance $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$, où :
  • $\mathcal{D}$ est une distribution d'entrée déclarée.
  • $\Pi$ est une distribution d'intervention déclarée.
  • $Y$ est un score borné (typiquement $Y \in [0, 1]$), tel qu'un indicateur de désaccord ou un score de récupération normalisé.
• Classes d'affirmations :
  • Fidélité d'abstraction/réduction : Mesure la divergence entre un modèle de haut niveau $M_H$ et le modèle original $M_L$ sous des interventions correspondantes.
  • Effet de composante/Récupération : Mesure l'étendue de la récupération du comportement original en restaurant un composant spécifique (par exemple, via le patching).

2. Séquences de confiance (CS) valides à tout moment

Pour traiter le problème de la surveillance et de l'arrêt adaptatif, la CIF utilise des Séquences de Confiance (CS) plutôt que des intervalles de confiance à échantillon fixe. Une séquence d'intervalles $(C_n)_{n \ge 1}$ est valide si $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$. Cela permet aux évaluateurs de vérifier les résultats à tout moment et de s'arrêter prématurément sans gonfler les taux d'erreur de Type I.

• CS de type Hoeffding : Fournit des limites simples et transparentes basées sur la plage du score et la taille de l'échantillon $n$.
• CS basées sur le pari (Betting-based) : Utilise une approche par processus de capital (martingale) (spécifiquement la stratégie Online Newton Step) qui s'adapte à la variance empirique des scores observés. Cette méthode réduit considérablement le nombre d'échantillons requis pour la certification par rapport aux limites de Hoeffding.

3. Échantillonnage adaptatif avec pondération d'importance bornée

La CIF prend en charge l'échantillonnage adaptatif dirigé par les échecs, où la distribution d'intervention $\Pi$ est modifiée au fil du temps pour se concentrer sur les échecs probables ou les composants à fort impact.

• Mécanisme : Pour préserver la validité de l'estimande cible $\theta$ malgré le changement de la distribution d'échantillonnage, la CIF emploie une pondération d'importance par mélange. À chaque étape $t$, l'échantillonneur tire d'un mélange $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$, où $\tilde{q}_t$ est une proposition adaptative basée sur l'historique.
• Garantie : Les poids d'importance $w_t = \Pi(I_t)/q_t(I_t)$ sont bornés par $W_{max} = 1/(1-\alpha)$. Le cadre utilise des estimateurs de type Horvitz-Thompson et des limites basées sur les martingales pour garantir que les séquences de confiance restent valides pour la cible originale $\Pi$, même lors d'un échantillonnage adaptatif.

4. Comparaisons multiples et sélection

Lors de l'examen de multiples composantes ou circuits, la CIF traite le problème du biais de sélection en recommandant :

• La correction de Bonferroni (allocation de $\delta/K$ par composante).
• Le « pelage » séquentiel (arrêt de l'échantillonnage pour les candidats clairement sous-optimaux).
• Des méthodes de contrôle du taux de fausses découvertes (FDR) valides à tout moment.

Contributions clés

1. Reformulation : L'article reformule les métriques d'interprétabilité interventionnelle en tant que problèmes d'inférence causale séquentiels, séparant la question scientifique (l'estimande) de la procédure d'échantillonnage.
2. Garanties statistiques : Il fournit des séquences de confiance à échantillon fini et valides à tout moment pour ces estimandes, valides sous une surveillance arbitraire et un arrêt dépendant des données.
3. Efficacité adaptative : Il introduit la CIF adaptative utilisant la pondération de mélange bornée, permettant une recherche de défaillances efficace tout en maintenant la validité statistique.
4. Pari adaptatif à la variance : Il démontre que les séquences de confiance basées sur le pari peuvent réduire les coûts de certification de 10 à 30$\times$ par rapport aux limites de Hoeffding standards en exploitant la variance empirique.
5. Outils pratiques : Les auteurs fournissent des algorithmes pour la certification, les comparaisons par paires et l'échantillonnage adaptatif, ainsi qu'une liste de contrôle de signalement pour appliquer la CIF à de nouvelles évaluations.

Résultats expérimentaux

Les auteurs ont évalué la CIF sur deux benchmarks principaux :

1. Abstractions neuronales MNIST :

   • Configuration : Évaluation de la fidélité d'abstraction (Précision de l'intervention d'échange) pour diverses méthodes de pruning et de compression sur un MLP à 3 couches.
   • Résultats : Sous une intervention agressive ($p=0.5$), aucune méthode n'a pu être certifiée comme étant de haute fidélité ($F \ge 0.90$), un résultat négatif que les estimations ponctuelles seules auraient pu occulter. Sous des interventions plus légères ($p=0.1$), les CS basées sur le pari ont certifié des affirmations de haute fidélité avec beaucoup moins de passes avant (par exemple, 64 échantillons contre 1 141 pour Hoeffding). L'échantillonnage adaptatif s'est avéré plus efficace pour trouver des échecs que pour certifier des fidélités déjà élevées.

2. Circuits IOI de GPT-2 Small :

   • Configuration : Évaluation des scores de récupération de patch pour des circuits découverts via ACDC, le patching d'attribution et des méthodes identifiées manuellement sur la tâche d'Identification de l'Objet Indirect (IOI).
   • Résultats : Tous les circuits présentaient des estimations ponctuelles élevées ($\hat{\mu} \in [0.959, 0.972]$). Cependant, les limites de Hoeffding étaient trop larges pour certifier des seuils élevés dans le budget de 2 000 échantillons. Les CS basées sur le pari ont réussi à certifier $\mu \ge 0.95$ pour le circuit complet de 13 têtes en seulement 357 échantillons, alors que Hoeffding en nécessitait plus de 2 000.

3. Sensibilité et couverture :

   • L'analyse de sensibilité a montré qu'à des niveaux de perturbation élevés, le choix de la métrique de divergence (par exemple, perte 0-1 vs divergence KL) pouvait conduire à des intervalles de confiance non chevauchants, faisant du choix de la métrique un facteur critique pour les conclusions qualitatives.
   • La validation de la couverture a confirmé que les CS de Hoeffding et de pari atteignaient toutes deux une couverture empirique égale ou supérieure au niveau nominal (par exemple, 95 %) même sous des protocoles de piégeage (peeking) agressifs.

Signification et affirmations

L'article positionne la CIF non pas comme une nouvelle méthode de découverte de circuits ou d'abstractions, mais comme une couche de vérification pour le côté estimation de l'interprétabilité mécaniste.

• Combler une lacune : Les auteurs soutiennent que si le cadrage causal de l'interprétabilité est établi, la pratique statistique est souvent informelle. La CIF comble cette lacune en fournissant une quantification de l'incertitude rigoureuse qui survit à la nature adaptative de la recherche en interprétabilité.
• Réduction des coûts : Une affirmation pratique clé est que le choix de la construction statistique (Hoeffding vs Pari) peut changer le coût de la certification d'un ordre de grandeur, rendant l'évaluation rigoureuse réalisable pour des modèles coûteux comme GPT-2.
• Transparence : La CIF force les chercheurs à déclarer explicitement les distributions d'entrée et d'intervention, rendant la portée de l'affirmation explicite et exposant sa sensibilité à ces choix de conception.
• Limites : Les auteurs déclarent explicitement que la CIF ne résout pas le problème d'identification (c'est-à-dire si une abstraction choisie capture réellement la structure causale d'intérêt) ; elle ne résout que le problème d'estimation (estimer de manière fiable la fidélité d'une affirmation proposée étant donné une métrique et une distribution spécifiques). Elle suppose également des scores bornés, bien que des variantes de type sub-gaussien ou par écrêtage puissent l'étendre.

En résumé, la CIF fournit un cadre pour transformer les « estimations ponctuelles » en « affirmations certifiées », garantissant que les conclusions sur les explications mécanistes sont robustes face à l'échantillonnage fini, à la surveillance et aux stratégies de recherche adaptatives.