Résumé Technique : Le Tri des Bonnes Pommes

Énoncé du Problème

L'abstraction causale est un cadre rigoureux pour l'interprétabilité mécaniste qui évalue si un modèle causal de haut niveau ($H$) abstrait avec précision un réseau de neurones de bas niveau ($L$) sous des interventions contrefactuelles. Cette évaluation repose généralement sur la Précision des Interventions d'Échange (IIA), une métrique scalaire résumant l'accord entre le comportement du modèle de bas niveau sous intervention et les prédictions du modèle de haut niveau.

L'article identifie une limitation critique de l'état de l'art actuel : l'IIA est une statistique de résumé globale. Bien qu'elle indique si une hypothèse est globalement fidèle, elle échoue à révéler où dans l'espace des entrées l'hypothèse réussit ou échoue. Les scores IIA intermédiaires sont particulièrement difficiles à interpréter, offrant peu de directives sur la manière d'affiner une hypothèse partiellement correcte. De plus, les flux de travail existants sont largement évaluatifs plutôt que constructifs ; ils peuvent diagnostiquer qu'une hypothèse est imparfaite, mais ne fournissent pas de mécanisme pour l'améliorer ou découvrir des variables intermédiaires manquantes.

Méthodologie

Les auteurs proposent un pipeline de diagnostic en quatre étapes qui déplace l'unité d'analyse d'un score global vers la structure de l'espace des entrées. L'idée centrale est de partitionner l'espace des entrées en régions « bien interprétées » (seaux cibles) et en régions « sous-interprétées » sur la base du comportement d'intervention d'échange par paires.

1. Formalisation : Sous-ensembles Cohérents par Échange

La méthode formalise le concept de Paire Cohérente par Échange : deux entrées $i_1, i_2$ sont cohérentes si l'échange de leurs représentations internes produit des sorties correspondant aux prédictions contrefactuelles de haut niveau dans les deux sens.

• Graphe d'Interchangeabilité : L'espace des entrées est modélisé comme un graphe où les sommets sont des entrées et les arêtes relient les paires cohérentes par échange.
• Seaux Cibles : Un sous-ensemble d'entrées est considéré comme un « seau cible » s'il forme un clique (ou un $\gamma$-quasi-clique de haute densité) dans ce graphe. Au sein de ces seaux, l'abstraction est presque parfaite ; entre les seaux, elle échoue.

2. Le Pipeline de Diagnostic en Quatre Étapes

Les auteurs instancient ce cadre en une recette pratique :

1. Spécifier la Tâche et l'Espace des Entrées : Définir une tâche où le modèle de bas niveau $L$ fonctionne de manière fiable. L'analyse est restreinte au sous-ensemble des prédictions correctes ($I_{correct}$) pour isoler les échecs d'interprétabilité des échecs de tâche.
2. Trouver un Alignement Candidat : Identifier un alignement candidat $\Pi$ entre une variable de haut niveau et une fonctionnalité de bas niveau en utilisant des méthodes standard (par exemple, Recherche d'Alignement Distribué (DAS), patching vectoriel complet). Cette étape produit souvent des scores IIA intermédiaires qui motivent un diagnostic ultérieur.
3. Trier l'Espace des Entrées : Construire le graphe d'interchangeabilité sur $I_{correct}$. Rechercher des quasi-cliques denses (seaux cibles) où l'abstraction tient. Le reste de l'espace forme le « autre seau ». Cette étape localise des modes d'échec spécifiques.
4. Généraliser et Caractériser : Entraîner un classificateur pour prédire l'appartenance au seau pour des entrées non vues. Le classificateur utilise soit des fonctionnalités étiquetées manuellement, soit des fonctionnalités internes au modèle (par exemple, les activations d'un Auto-encodeur Épars (SAE)) pour déterminer si la partition découverte reflète une frontière structurelle stable plutôt qu'un artefact de l'échantillon fini.

Contributions Clés

• Changement de Diagnostic : L'article fait passer l'abstraction causale d'une évaluation purement globale à un outil de diagnostic qui révèle où une interprétation fonctionne et où elle échoue.
• Affinement Constructif : En analysant la structure des régions bien interprétées par rapport aux régions sous-interprétées, la méthode fournit des heuristiques pour améliorer les interprétations. Elle peut identifier des distinctions manquantes dans une hypothèse de haut niveau, découvrir des variables intermédiaires non modélisées et combiner des interprétations partielles.
• Découverte Récursive d'Hypothèses : Le pipeline prend en charge un processus itératif où une hypothèse grossière est affinée en un modèle causal plus granulaire en appliquant récursivement la procédure de tri aux nouveaux modes d'échec découverts.

Résultats Expérimentaux

Les auteurs valident la méthode à travers trois configurations de complexité croissante :

1. Tâche de Logique Artificielle :

   • Configuration : Un modèle GPT-2-small fine-tuné résout une tâche de logique $o_5 = (o_1 \land o_2) \lor o_3$.
   • Résultat : En partant d'une hypothèse ne contenant que la variable de sortie $o_5$, le pipeline a identifié un alignement avec un IIA intermédiaire. Le tri a révélé que l'alignement était fidèle uniquement lorsque $o_1 \land o_2$ était faux.
   • Affinement : En promouvant la variable intermédiaire manquante $o_4 = o_1 \land o_2$ et en relançant le diagnostic, les auteurs ont récupéré récursivement la hiérarchie causale complète de haut niveau ($o_1, o_2, o_3 \to o_4 \to o_5$), démontrant que le modèle utilise la factorisation prévue plutôt qu'une alternative extensionnellement équivalente.

2. Tâche de Liaison d'Entités :

   • Configuration : En utilisant Gemma-2-2B-Instruct, la tâche consiste à récupérer des entités à partir de groupes modélisés par des modèles basés sur une position de groupe interrogée ($q_{group}$).
   • Résultat : Une hypothèse positionnelle a montré une courbe d'alignement en forme de U (haute fidélité aux bords de la séquence, faible au milieu). Le tri a isolé automatiquement ces régions sans inspection manuelle.
   • Généralisation : Des classificateurs entraînés sur des fonctionnalités internes SAE ont généralisé avec succès cette frontière à des entrées non vues, atteignant un IIA de 98 % sur le seau cible, confirmant que la distinction est encodée dans les représentations du modèle.

3. Rappel Factuel Entremêlé (Référentiel RAVEL) :

   • Configuration : Isoler l'attribut LANGUAGE des attributs entremêlés (par exemple, PAYS, FUSEAU_HORAIRE) dans Llama-3.1-8B en utilisant le DAS Multi-tâche (MDAS).
   • Résultat : Bien que le MDAS soit conçu pour la disjonction, l'IIA globale était faible (14,3 %). Le tri a révélé que le sous-espace appris n'était pas une abstraction générale de « langue », mais plutôt qu'il effondrait l'espace des entrées en clusters grossiers spécifiques à la langue (par exemple, des seaux anglais et espagnol avec un IIA élevé, mais un faible IIA inter-langues).
   • Insight : Cela a mis en évidence un décalage structurel où la représentation préservait la structure intra-langue mais échouait à l'interchangeabilité inter-langue.

Signification et Revendications

L'article revendique que le partitionnement de l'espace des entrées est une étape cruciale vers une interprétabilité mécaniste plus précise, constructive et évolutive.

• De l'Évaluation à la Construction : La méthode transforme les abstractions « imparfaites » en objets de diagnostic actionnables, permettant aux chercheurs de passer de l'évaluation a posteriori à la découverte constructive d'hypothèses de haut niveau.
• Évolutivité : L'approche s'est révélée largement utile à travers différentes tailles de modèles (fine-tunés et pré-entraînés) et méthodes d'alignement (DAS, MDAS, patching).
• Limites : Les auteurs notent modestement que la méthode dépend d'une construction préalable de la tâche et d'une abstraction candidate (il s'agit d'une recherche de programme structuré, et non d'une interprétation automatique sans contrainte) et se concentre actuellement sur des hypothèses à variable unique. Ils suggèrent que les travaux futurs devraient aborder les interactions multi-variables et les espaces d'entrée plus vastes.

L'article conclut qu'en « triant les bonnes pommes », les chercheurs peuvent identifier les conditions spécifiques dans lesquelles les abstractions causales tiennent, transformant ainsi les échecs d'abstraction en preuves pour affiner et découvrir les mécanismes sous-jacents des réseaux de neurones.