Résumé technique : Découverte de circuits pilotée par les données pour l'interprétabilité des modèles de langage

Énoncé du problème

L'interprétabilité mécaniste (MI) vise à rétro-ingénierier les mécanismes internes des grands modèles de langage (LM) en localisant et en interprétant des « circuits » — des sous-graphes épars du graphe de calcul du modèle responsables de comportements spécifiques. Le paradigme dominant dans la découverte de circuits est piloté par l'hypothèse : les chercheurs définissent une tâche, construisent un jeu de données représentatif et appliquent un algorithme pour découvrir un circuit unique destiné à expliquer le comportement du modèle sur cette tâche.

Ce flux de travail repose sur deux hypothèses implicites :

1. Hypothèse du circuit unique : Le modèle implémente une tâche donnée via un seul mécanisme de calcul cohérent.
2. Hypothèse d'adéquation du jeu de données : Le jeu de données spécifique utilisé pour la découverte représente adéquatement l'étendue complète de la tâche telle que les humains la comprennent.

Les auteurs émettent l'hypothèse que ces hypothèses sont erronées. Ils postulent que les méthodes existantes ne découvrent pas de circuits de tâches généraux, mais plutôt des circuits spécifiques au jeu de données qui peuvent involontairement mélanger des mécanismes distincts en une seule explication. De plus, ils s'interrogent pour savoir si un circuit unique peut vraiment rendre compte de toutes les instances d'une tâche, ou si le modèle emploie plusieurs mécanismes distincts pour ce que les humains catégorisent comme une tâche unique.

Méthodologie

1. Évaluation systématique des méthodes pilotées par l'hypothèse

Les auteurs testent rigoureusement la validité du paradigme existant sur quatre tâches établies : l'identification de l'objet indirect (IOI), la liaison d'entités (EB), l'addition arithmétique et la complétion de séquence. Ils évaluent ces tâches sur trois modèles (GPT-2 Small, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct) en utilisant des méthodes de découverte standard (EAP-IG, EAP, E-ACT).

Leur conception expérimentale implique deux investigations principales :

• Fidélité inter-jeux de données : Ils construisent plusieurs variantes de jeux de données pour chaque tâche qui préservent la sémantique de la tâche mais varient dans leurs caractéristiques de surface (complexité, syntaxe, domaine). Ils découvrent un circuit sur une variante et testent sa fidélité sur les autres.
• Découverte de tâches mixtes : Ils construisent des jeux de données mélangeant des exemples de deux tâches distinctes (par exemple, l'arithmétique et la liaison d'entités) et observent si les méthodes pilotées par l'hypothèse retournent un circuit unique fidèle aux deux, indiquant potentiellement un mélange de mécanismes.

2. Cadre proposé : Découverte de circuits pilotée par les données (DCD)

Motivés par les constatations selon lesquelles les méthodes pilotées par l'hypothèse échouent à généraliser et peuvent mélanger des mécanismes, les auteurs proposent la Découverte de circuits pilotée par les données (DCD). Ce cadre élimine l'hypothèse d'un seul circuit par tâche.

Flux de travail DCD :

1. Regroupement par calcul : Au lieu de supposer que tous les exemples d'un jeu de données sont traités par le même mécanisme, la DCD analyse d'abord comment le modèle traite chaque exemple individuel. Elle calcule des vecteurs d'attribution d'arêtes par exemple (en utilisant des méthodes comme EAP-IG) pour caractériser la dépendance du modèle à l'égard d'arêtes spécifiques pour chaque entrée.
2. Clustering : Ces vecteurs d'attribution de haute dimension sont projetés dans un espace de dimension inférieure (via PCA ou SVD) et regroupés (par exemple, en utilisant K-means). Cela regroupe les exemples traités par des mécanismes de calcul similaires.
3. Découverte indépendante : Un circuit distinct est découvert indépendamment pour chaque cluster.

Le résultat est un ensemble de circuits distincts, chacun expliquant un sous-ensemble spécifique des données qui repose sur un mécanisme cohérent, plutôt qu'un circuit unique tentant d'expliquer l'ensemble du jeu de données.

Résultats clés

1. Échec des circuits de tâches généraux

L'étude constate que les circuits découverts par les méthodes pilotées par l'hypothèse sont spécifiques au jeu de données, et non des circuits de tâches généraux :

• Faible fidélité inter-jeux de données : Les circuits découverts sur une variante de jeu de données présentent souvent une fidélité significativement plus faible sur d'autres variantes de la même tâche (par exemple, un circuit IOI à 2 personnes échouant sur une variante à 3 personnes), malgré le fait que les tâches soient sémantiquement identiques.
• Faible chevauchement structurel : Les circuits découverts sur différentes variantes de la même tâche partagent un faible chevauchement d'arêtes (similarité de Jaccard allant de 0,30 à 0,66), indiquant qu'ils reposent sur des voies de calcul différentes.
• Mélange de mécanismes : Lorsque les jeux de données de découverte contiennent des exemples de deux tâches distinctes (par exemple, l'arithmétique et la liaison d'entités), les méthodes pilotées par l'hypothèse retournent toujours un circuit unique avec une haute fidélité sur les deux tâches. Cela suggère que la méthode mélange des mécanismes distincts en un seul circuit plutôt que de les isoler.

2. Efficacité de la DCD

La DCD résout avec succès ces limitations :

• Découverte de multiples mécanismes : Sur des jeux de données de tâches mixtes, la DCD récupère plusieurs circuits distincts. Chaque circuit se spécialise dans un sous-ensemble cohérent d'exemples (par exemple, un circuit pour l'arithmétique, un autre pour la liaison d'entités) et atteint une haute fidélité sur son groupe spécifique tout en échouant sur les autres.
• Fidélité et parcimonie supérieures : La DCD surpasse systématiquement les bases de référence pilotées par l'hypothèse (EAP-IG, EAP, E-ACT) et les bases de référence de partitionnement aléatoire (K-RANDOM) en termes de meilleure fidélité parmi K (sélection du circuit le plus fidèle pour chaque instance de test). Cet avantage est plus prononcé dans les régimes de faible parcimonie (tailles de circuit $\le$ 0,05).
• Clustering cohérent : Les clusters formés par la DCD s'alignent sur l'organisation interne du modèle plutôt que sur les limites de tâches définies par l'humain. Par exemple, au sein d'une seule tâche comme l'IOI, la DCD sépare les exemples en fonction de la complexité (2 personnes vs 3 personnes) ou du domaine (noms vs lettres), découvrant des circuits distincts pour chacun.

Importance et revendications

L'article affirme que l'approche actuelle pilotée par l'hypothèse de la découverte de circuits est fondamentalement limitée par sa dépendance aux limites de tâches définies par l'humain et à l'hypothèse d'un seul mécanisme par tâche.

• Recadrage de la portée de l'explication : Les auteurs soutiennent qu'un « circuit » ne devrait pas être défini comme le mécanisme d'une tâche définie par l'humain, mais plutôt comme le mécanisme d'un cluster spécifique d'exemples traités de manière similaire par le modèle.
• Changement de paradigme piloté par les données : La DCD démontre que laisser la structure de calcul interne du modèle déterminer la portée de la découverte de circuits produit des explications plus fidèles et interprétables. Elle révèle que ce que les humains perçoivent comme une tâche unique comprend souvent plusieurs mécanismes distincts que les méthodes existantes confondent.
• Limites et travaux futurs : Les auteurs notent modestement que la DCD hérite des hypothèses des méthodes d'attribution sous-jacentes (par exemple, que les scores d'attribution reflètent fidèlement les mécanismes) et dépend des hyperparamètres de clustering. Ils identifient des questions ouvertes concernant la manière d'assigner de nouveaux exemples aux clusters au moment du test et la manière d'interpréter les clusters qui résistent à une description lisible par l'humain, laissant ces aspects pour des travaux futurs.

En conclusion, l'article fournit des preuves empiriques que les méthodes existantes de découverte de circuits récupèrent des artefacts spécifiques aux jeux de données plutôt que des mécanismes de tâches généraux et propose la DCD comme un cadre pour révéler la véritable nature multi-mécanismes du calcul des modèles de langage.