💻 computer science

Explaining Attention with Program Synthesis

Cet article propose un pipeline évolutif qui utilise la synthèse de programmes pour approximer les têtes d'attention des transformers par des programmes Python exécutables et lisibles par l'humain, démontrant que ces substituts symboliques peuvent reproduire fidèlement les motifs d'attention et remplacer une partie significative des têtes neuronales avec un impact minimal sur la performance du modèle.

Auteurs originaux : Amiri Hayes, Belinda Li, Jacob Andreas

Publié 2026-06-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Amiri Hayes, Belinda Li, Jacob Andreas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de langage moderne (comme l'IA derrière cette discussion) comme un orchestre massif et complexe. À l'intérieur de cet orchestre, il y a des milliers de musiciens (appelés « têtes d'attention ») jouant différents instruments. Chaque musicien écoute les autres musiciens et la partition (le texte d'entrée) pour décider quand jouer fort, quand jouer doucement et quelles notes frapper.

Pendant longtemps, les scientifiques ont essayé de comprendre ce que faisait chaque musicien, mais les explications étaient vagues. Ils pouvaient dire : « Ce musicien semble aimer les noms » ou « Celui-là se concentre sur le début des phrases ». Ce sont des descriptions comme celles qui consistent à décrire une symphonie en disant : « Cela semble joyeux » ou « Cela semble triste ». C'est utile, mais cela ne vous dit pas exactement comment la musique est produite.

La nouvelle approche : Écrire la partition

Ce document propose une autre façon de comprendre l'orchestre. Au lieu de simplement décrire la musique, les chercheurs ont essayé d'écrire la véritable partition (du code exécutable) qui dit à chaque musicien exactement quoi faire.

Voici comment ils ont procédé, étape par étape :

Observer les musiciens : D'abord, ils ont observé l'IA lire des milliers de phrases et ont enregistré exactement comment chaque « musicien » (tête d'attention) réagissait. Ils ont noté quels mots chaque tête surveillait.
Demander à un nègre littéraire : Ils ont pris ces enregistrements et ont demandé à une autre IA très intelligente (un agent de « synthèse de programmes ») d'écrire un programme Python simple capable de mimer ces réactions. Imaginez que l'on demande à un nègre littéraire de regarder la performance d'un musicien et d'écrire les règles exactes qu'il suivait, du type : « Si le mot précédent est un point, regarde le mot suivant. Si le mot est un nom propre, regarde le verbe. »
Tester le nègre littéraire : Ils ont pris le code produit par le nègre littéraire et l'ont testé sur de nouvelles phrases pour voir s'il correspondait au comportement de l'IA originale. Ils ont utilisé un système de notation (comme un test de similitude) pour voir à quel point le code était proche de la réalité.
Le grand remplacement : C'est la partie la plus excitante. Ils ont retiré les « musiciens » neuronaux complexes et originaux de l'orchestre et les ont remplacés par le code simple et lisible par l'homme qu'ils venaient d'écrire. Ils voulaient voir si l'orchestre jouerait toujours de la même manière.

Ce qu'ils ont découvert

Les résultats ont été étonnamment concluants :

Beaucoup de musiciens suivent des règles simples : Ils ont découvert qu'un grand nombre de têtes d'attention de l'IA suivaient en réalité des règles symboliques très logiques. Par exemple, certaines têtes étaient simplement programmées pour « regarder le premier mot de la phrase », tandis que d'autres « cherchaient des virgules » ou « trouvaient les mots qui commencent de nouvelles phrases ».
L'orchestre continue de jouer : Lorsqu'ils ont remplacé jusqu'à 25 % à 40 % des musiciens neuronaux complexes par ces scripts de code simples, l'orchestre (le modèle d'IA) n'a presque pas raté une note. La capacité du modèle à répondre à des questions ou à comprendre des histoires est restée presque exactement la même.
Les modèles plus grands sont plus faciles à décoder : Curieusement, plus le modèle était grand et avancé (comme Llama-3B), plus il était facile de trouver ces règles de code simples. Il semble qu'à mesure que les modèles grandissent, ils deviennent plus organisés, avec chaque musicien ayant un travail très spécifique et facile à comprendre.

La conclusion

Ce document montre que nous n'avons pas toujours besoin de traiter l'IA comme une mystérieuse « boîte noire ». Pour une part significative de la manière dont ces modèles fonctionnent, nous pouvons en fait remplacer les mathématiques complexes et inexplicables par du code informatique simple et lisible par l'homme.

C'est comme réaliser qu'un tour de magie complexe n'est pas du tout de la magie, mais juste un ensemble spécifique d'instructions que n'importe qui pourrait écrire et suivre. Les chercheurs ont prouvé que pour de nombreuses parties de l'IA moderne, nous pouvons échanger la « magie » contre des « instructions » sans interrompre le spectacle.

Énoncé du Problème
Comprendre les calculs effectués par les réseaux de neurones profonds en termes algorithmiques demeure un défi important en apprentissage automatique. Les approches précédentes de l'interprétabilité se sont largement appuyées sur l'attribution de sens aux neurones ou aux caractéristiques, soit de manière descendante (via des sondes pour des concepts définis par l'humain), soit de manière ascendante (via des résumés d'entrées/sorties). Bien que puissantes, ces méthodes échouent souvent à fournir une description formelle complète du calcul neuronal. De plus, l'étiquetage des composants intermédiaires avec des descriptions en langage naturel peut entraîner des interprétations ambiguës ou difficiles à formaliser. Les auteurs postulent qu'il est nécessaire d'avoir un support qui comble le fossé entre la complexité des modèles à des milliards de paramètres et les explications en langage naturel — un support qui soit à la fois lisible par l'humain et formellement vérifiable.

Méthodologie
Le papier propose un cadre basé sur la synthèse de programmes pour expliquer les calculs des têtes d'attention des modèles de langage transformer. L'objectif central est de trouver un programme Python exécutable ( $\pi$ ) capable de mapper une séquence de texte d'entrée ( $X$ ) directement vers une matrice d'attention ( $A$ ), approximant ainsi la logique d'une tête d'attention spécifique.

Le cadre procède en quatre étapes distinctes :

Extraction de la carte d'attention : Les auteurs extraient les matrices d'activation d'attention de vérité terrain à partir d'un modèle cible sur un corpus de séquences d'entraînement (utilisant spécifiquement le jeu de données TinyStories pour sa simplicité structurée). Ils filtrent ces cartes pour isoler les 2,5 % supérieurs des poids d'attention afin de se concentrer sur les interactions saillantes de paires de jetons.
Synthèse de programme : Un grand modèle de langage (LLM) auxiliaire, agissant comme un agent de synthèse, est sollicité avec les motifs d'attention extraits et les séquences d'entrée. L'agent a pour tâche de générer des fonctions Python exécutables qui reproduisent ces motifs. L'agent de synthèse a accès à des bibliothèques telles que NumPy, spaCy et NLTK pour le traitement linguistique et numérique.
Raffinement et Classement : Les programmes candidats sont validés pour leur syntaxe et scorés par rapport aux motifs d'attention réels en utilisant la distance de Jensen-Shannon (JSD). Les meilleurs candidats subissent une boucle de raffinement conditionnée par rétroaction, où l'agent de synthèse contraste les motifs réels et prédits pour produire des programmes révisés.
Sélection : Le programme proxy optimal pour chaque tête est sélectionné en maximisant la similitude (mesurée via l'Intersection sur Union, ou IoU) sur des séquences de données non vues.

Contributions Clés

Interprétabilité programmatique : Les auteurs introduisent une méthode pour remplacer les têtes d'attention neuronales par du code symbolique exécutable, offrant une alternative formellement vérifiable aux descriptions en langage naturel.
Validation causale par remplacement : Contrairement aux travaux antérieurs qui n'observent que des corrélations, cette approche valide les explications en substituant directement les composants neuronaux appris par des programmes synthétisés lors de la passe directe (forward pass) du modèle.
Scalabilité : La méthode est appliquée à quatre architectures de transformateurs distinctes : BERT-Base, GPT-2-Small, TinyLlama-1.1B et Llama-3B, démontrant l'applicabilité de l'approche à différentes tailles et architectures de modèles (bidirectionnels et causaux).

Résultats

Alignement élevé : Une fraction substantielle des têtes d'attention à travers tous les modèles testés peut être approximée par des programmes exécutables avec une grande précision. Les meilleurs programmes atteignent des scores IoU moyens de 69 % pour GPT-2, 74 % pour TinyLlama et 79 % pour Llama-3B.
Échelle et Architecture du Modèle : Les auteurs observent que les têtes d'attention dans les modèles autorégressifs (décodeurs) sont généralement plus faciles à ajuster que celles des modèles bidirectionnels (encodeurs) comme BERT. De plus, la qualité de l'ajustement augmente avec l'échelle du modèle, suggérant que les modèles plus larges peuvent présenter une plus grande spécialisation fonctionnelle parmi leurs têtes.
Fidélité Causale : Lorsque les têtes d'attention sont remplacées par leurs programmes synthétisés, les modèles maintiennent leur performance fonctionnelle. Spécifiquement, jusqu'à 25 % des têtes peuvent être remplacées avec seulement une augmentation de 16 % de la perplexité.
Performance en Aval : Remplacer 30 à 40 % des têtes d'attention par leurs meilleurs programmes n'entraîne pas de dégradation significative des performances sur les benchmarks de questions-réponses en aval (incluant HellaSwag, PIQA, SciQ, ARC-Easy, Social IQA et COPA).
Corrélation : Il existe une forte corrélation négative (Spearman $r > 0,9$ ) entre la similitude IoU d'un programme et l'augmentation de la perplexité lors du remplacement de la tête, indiquant que l'IoU est un proxy fiable pour sélectionner des programmes fonctionnellement fidèles.

Signification et Revendications
Le papier affirme que même dans les modèles de langage de pointe, une fraction substantielle des motifs d'attention peut être comprise en termes symboliques. La signification primaire réside dans la démonstration que des composants neuronaux entraînés peuvent être remplacés par des substituts symboliques via du code exécutable sans altérer substantiellement le comportement du modèle. Cela suggère que les méthodes actuelles de synthèse de programmes pilotées par les LLM offrent un cadre viable pour aborder la question plus large du fonctionnement des réseaux profonds.

Les auteurs positionnent ce travail comme une étape vers une caractérisation symbolique complète des transformateurs, où le comportement du modèle peut être raisonné, modifié et testé directement par la logique plutôt que par la manipulation des poids. Cependant, le papier reste modeste quant à ses limites, reconnaissant qu'aucune tête de modèle n'est actuellement entièrement caractérisée (beaucoup de têtes atteignent encore des scores IoU faibles) et que la bibliothèque de programmes actuelle, bien qu'efficace, n'est pas encore exhaustive. Ce travail établit une fondation pour des recherches futures visant à atteindre une distillation symbolique complète des architectures de transformateurs.

Articles similaires