Addressing divergent representations from causal interventions on neural networks

1. Problématique

L'interprétabilité mécanistique vise à comprendre ce que les représentations internes des réseaux de neurones (RN) encodent et comment cela génère leur comportement. Une approche dominante consiste à utiliser des interventions causales (comme le patching d'activation ou la Distributed Alignment Search - DAS) pour manipuler ces représentations et observer les changements de sortie.

Cependant, ces méthodes reposent sur une hypothèse fondamentale souvent non testée : les états contrefactuels créés par l'intervention sont réalistes par rapport à la distribution naturelle du modèle. Les auteurs identifient un problème critique : les interventions causales courantes génèrent souvent des représentations divergentes (hors de la distribution naturelle du modèle, ou out-of-distribution - OOD).

Cette divergence soulève deux questions majeures :

1. Ces représentations artificielles activent-elles des voies cachées du réseau qui n'existent pas dans l'état naturel ?
2. Dans quelle mesure les explications dérivées de ces interventions sont-elles fidèles aux mécanismes réels du modèle ?

2. Méthodologie

Les auteurs adoptent une approche hybride combinant analyse théorique, validation empirique et proposition de nouvelles méthodes d'optimisation.

A. Analyse Théorique et Empirique de la Divergence

• Preuve théorique : Ils démontrent que pour la plupart des variétés (manifolds) de données, le patching de coordonnées (remplacer une dimension d'un vecteur par celle d'un autre) garantit mathématiquement la création de points hors de la variété naturelle, sauf dans des cas très spécifiques (hyperrectangles alignés sur les axes).
• Validation empirique : Ils mesurent la divergence entre les distributions naturelles et intervenues sur trois méthodes populaires :
  1. Mean Difference Vector Patching (patching de la différence de moyenne).
  2. Sparse Autoencoders (SAE).
  3. Distributed Alignment Search (DAS).
     Ils utilisent des métriques comme la distance de Wasserstein (Earth Mover's Distance - EMD) et l'analyse en composantes principales (PCA) pour quantifier cet écart.

B. Classification des Divergences

Les auteurs distinguent deux types de divergences :

1. Divergences "Inoffensives" (Harmless) : Elles se produisent dans l'espace nul comportemental (behavioral null-space) des couches suivantes. Ces variations n'affectent pas la sortie finale du modèle car elles sont annulées par les poids de la couche suivante. Elles peuvent même être souhaitables pour tester la robustesse.
2. Divergences "Pernicieuses" (Pernicious) : Elles activent des voies cachées (hidden pathways) ou des circuits dormants qui ne sont jamais activés par des données naturelles. Cela peut entraîner :
   • Des comportements confirmatoires trompeurs (le modèle semble confirmer une hypothèse, mais via un mécanisme artificiel).
   • Des changements comportementaux dormants (le comportement change uniquement dans certains contextes non testés).

C. Solution Proposée : La Perte Latente Contrefactuelle (CL Loss)

Pour atténuer les divergences pernicieuses, les auteurs adaptent la Counterfactual Latent (CL) loss (introduite par Grant, 2025).

• Principe : Au lieu de minimiser uniquement l'erreur comportementale (prédiction correcte après intervention), on ajoute une pénalité qui force la représentation intervenue ($\hat{h}$) à rester proche d'une représentation latente contrefactuelle ($h_{CL}$).
• Définition de $h_{CL}$ : C'est une moyenne de représentations naturelles qui possèdent les mêmes valeurs de variables causales que l'intervention visée.
• Fonction de perte : $L_{total} = \epsilon L_{CL} + L_{DAS}$, où $L_{CL}$ combine une distance $L_2$ et une distance cosinus entre la représentation intervenue et la cible naturelle.
• Variante : Ils proposent une version modifiée de la perte CL qui cible uniquement les sous-espaces causaux, réduisant ainsi la divergence spécifiquement le long des dimensions d'intérêt.

3. Contributions Clés

1. Démonstration de la prévalence de la divergence : Preuve théorique et empirique que les interventions causales standard produisent systématiquement des représentations hors distribution.
2. Cadre théorique de l'impact : Distinction formelle entre les divergences inoffensives (espace nul) et pernicieuses (activation de voies cachées), montrant que la simple réussite comportementale (IIA) ne garantit pas la fidélité mécanistique.
3. Exemples synthétiques de risques : Démonstration de cas où le patching de différence de moyenne active des neurones silencieux (voies cachées) ou crée des dépendances contextuelles dormantes, faussant les conclusions sur les circuits neuronaux.
4. Méthode de mitigation : Application et modification de la perte CL pour réduire la divergence représentative tout en préservant la précision comportementale, améliorant ainsi la généralisation hors distribution (OOD).

4. Résultats

• Observation de la divergence : Les visualisations (PCA) et les métriques (EMD) montrent que les représentations intervenues s'éloignent significativement de la distribution naturelle pour toutes les méthodes testées (DAS, SAE, Patching).
• Réduction de la divergence avec CL Loss :
  • Dans le cadre Boundless DAS (sur un LLM Llama 7B), l'ajout de la perte CL réduit l'EMD (divergence) sans sacrifier la précision de l'intervention (IIA - Interchange Intervention Accuracy).
  • Dans les environnements synthétiques, l'utilisation de la perte CL modifiée (ciblant les sous-espaces causaux) réduit drastiquement la divergence (EMD passant de 0,032 à 0,007).
• Amélioration de la généralisation OOD : Il existe une corrélation négative forte ($R^2 = 0,73$) entre la magnitude de la divergence (EMD) et la performance en généralisation OOD. Les modèles entraînés avec la perte CL montrent une meilleure capacité à transférer les alignements causaux vers des tâches ou des partitions de données non vues.
• Détection des voies cachées : Les expériences montrent que les interventions sans contrainte de divergence peuvent activer des circuits qui ne sont pas pertinents pour le mécanisme naturel, confirmant le risque de conclusions erronées.

5. Signification et Implications

Ce travail met en lumière une faille critique dans les pratiques actuelles d'interprétabilité mécanistique : la fidélité d'une intervention ne se mesure pas uniquement à sa capacité à changer le comportement du modèle, mais aussi à la plausibilité de l'état interne créé.

• Avertissement : Les chercheurs doivent être prudents face aux résultats d'interventions qui pourraient activer des voies dormantes ou artificielles, car cela peut mener à des "illusions d'interprétabilité".
• Perspective : La méthode proposée (CL Loss) offre une première étape concrète vers des interventions plus fiables en forçant les états contrefactuels à rester sur ou près de la variété naturelle des données.
• Limites et Futur : L'article reconnaît que minimiser la magnitude de la divergence n'élimine pas totalement le risque de voies cachées. Un défi futur majeur est de développer des méthodes pour classifier automatiquement quelles divergences sont "pernicieuses" pour une hypothèse donnée, sans nécessiter une exploration exhaustive de tous les contextes possibles.

En résumé, cette recherche propose un changement de paradigme : pour une interprétabilité mécanistique robuste, il est impératif de contrôler non seulement ce que le modèle fait après une intervention, mais aussi où se trouve l'intervention dans l'espace des représentations par rapport à la distribution naturelle.