💬 NLP

Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer

Ce papier propose le Discrete Transformer, une architecture qui surmonte l'enchevêtrement des représentations dans les modèles Transformer en injectant de la discrétion via un échantillonnage à température recuite, permettant ainsi d'extraire des algorithmes interprétables et exécutables sans recourir à du code humain.

Auteurs originaux : Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

Publié 2026-03-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'usine à mystères

Imaginez que vous avez un chef cuisinier génial (c'est le modèle d'IA, le Transformer) qui sait préparer des plats complexes (résoudre des problèmes mathématiques ou logiques). Vous lui donnez des ingrédients, il sort un plat délicieux.

Mais il y a un gros problème : ce chef travaille dans une cuisine magique et floue.

Il ne mesure pas les ingrédients avec des cuillères précises, mais avec des nuages de poussière colorée qui se mélangent tous ensemble.
Quand il dit « ajoutez du sel », c'est en fait un mélange de sel, de poivre et de poussière d'étoile qui se sont collés les uns aux autres dans l'air.

Les chercheurs appellent cela l'« enchevêtrement » (ou superposition). C'est pour ça qu'il est impossible de demander au chef : « Dis-moi exactement ta recette ! » Il ne peut pas, car sa recette est cachée dans ce brouillard de mélanges.

💡 La Solution : Le « Transformer Discret »

Les auteurs de cet article ont décidé de construire un nouveau type de cuisine, qu'ils appellent le Transformer Discret.

Au lieu d'avoir un brouillard magique, ils ont installé des machines à trier très précises. Voici comment ça marche, étape par étape :

1. La Cuisine en deux zones distinctes

Dans cette nouvelle cuisine, ils ont séparé les tâches pour éviter le mélange :

Zone A (Le Transporteur) : C'est un robot qui ne fait que déplacer les ingrédients d'un endroit à l'autre (comme prendre un œuf du frigo et le mettre sur la table). Il ne touche pas aux ingrédients, il ne fait que les routage.
Zone B (Le Cuisinier) : C'est un petit robot qui ne fait que mélanger ou transformer les ingrédients (comme casser l'œuf ou le battre). Il ne déplace rien, il ne fait que calculer.

En séparant le « déplacement » du « calcul », on évite que tout se mélange dans un brouillard indéchiffrable.

2. La Réglage de la Température (Le passage du brouillard à la glace)

Pour apprendre à ce nouveau chef, on utilise une astuce appelée « recuit » (comme en métallurgie).

Au début (Température élevée) : Tout est fluide, comme de l'eau chaude. Le chef essaie plein de combinaisons, il explore, il se trompe, il essaie autre chose. C'est le moment de l'exploration.
À la fin (Température froide) : On refroidit lentement le système. L'eau devient de la glace. Les choix deviennent définitifs et nets. Le chef ne fait plus de demi-mesures : il prend soit l'œuf, soit le beurre, mais pas les deux en même temps.

Une fois la « glace » formée, la recette est figée et claire.

🔍 L'Extraction : Traduire la recette

Une fois que le chef a fini de cuisiner et que sa recette est figée dans la glace, les chercheurs utilisent deux outils pour lire ce qui s'est passé :

Pour le Transporteur (Zone A) : Ils regardent où le robot a déplacé les ingrédients.
- Analogie : Ils vérifient si le robot a toujours pris l'ingrédient « 1 minute avant » ou « le plus gros ingrédient du panier ». C'est comme vérifier les trajets d'un livreur.
Pour le Cuisinier (Zone B) : Ils regardent comment il a mélangé les ingrédients.
- Analogie : Ils utilisent un détective mathématique (appelé régression symbolique) pour dire : « Ah, j'ai vu que tu as multiplié l'ingrédient A par 2 et ajouté B ». Ils transforment le mélange en une formule mathématique simple (ex: A + B).

🎉 Le Résultat : De l'IA au Code Python

À la fin du processus, au lieu d'avoir un chef mystérieux avec des poids numériques incompréhensibles, les chercheurs obtiennent un manuel de cuisine écrit en français (ou en Python) que n'importe qui peut lire et comprendre.

Exemple concret du papier :

Le problème : Calculer la parité (pair ou impair) de deux nombres.
Le résultat : Au lieu d'avoir un réseau de neurones opaque, ils obtiennent une ligne de code simple : Si (A + B - 2*A*B). C'est exactement la logique mathématique derrière le problème, découverte automatiquement par la machine.

🚀 Pourquoi c'est important ?

On ne copie pas les humains : Souvent, les IA apprennent en copiant des humains. Ici, l'IA découvre la logique elle-même, comme un scientifique qui trouve une nouvelle loi de la physique.
On comprend le « pourquoi » : On ne se contente pas de savoir que l'IA a raison, on sait comment elle a raison. C'est comme passer d'une boîte noire à une montre dont on voit tous les engrenages tourner.
On gère les nombres réels : Les anciennes méthodes ne pouvaient gérer que des nombres entiers (comme des billes). Cette nouvelle méthode gère aussi les nombres à virgule (comme la température ou la vitesse), ce qui est crucial pour la physique et la science.

En résumé

Imaginez que vous avez un génie qui vous donne un vœu exaucé, mais il vous le dit dans une langue inconnue.
Les auteurs de cet article ont construit un traducteur automatique qui transforme le vœu du génie (les poids du modèle) en une recette simple et claire que vous pouvez lire, comprendre et même modifier vous-même. Ils ont transformé la magie de l'IA en une mécanique transparente.

1. Problématique

L'extraction d'algorithmes vise à synthétiser des programmes exécutables directement à partir de modèles entraînés sur des tâches algorithmiques, permettant ainsi la découverte d'algorithmes de novo sans dépendre de code humain. Bien que cette approche ait réussi avec les réseaux de neurones récurrents (RNN) via la méthode MIPS (Mechanistic-Interpretability-based Program Synthesis), son application aux Transformers se heurte à un obstacle majeur : l'enchevêtrement des représentations (representation entanglement).

Dans les Transformers standards, les caractéristiques sont encodées dans des directions superposées et non orthogonales (phénomène de "superposition"), rendant les représentations internes polysemantiques et difficiles à interpréter. Cette nature continue et dense empêche la récupération directe d'expressions symboliques discrètes, contrairement aux RNN où les états latents sont plus facilement disjoints. La question centrale est donc : peut-on synthétiser des programmes exécutables et interprétables en extrayant des algorithmes d'un Transformer ?

2. Méthodologie : Le Discrete Transformer

Les auteurs proposent une architecture nouvelle, le Discrete Transformer, conçue spécifiquement pour combler le fossé entre les représentations continues et la logique symbolique discrète.

A. Architecture et Désenchevêtrement Fonctionnel

L'architecture s'aligne sur le modèle de calcul RASP (Restricted Access Sequence Processing) et impose un désenchevêtrement fonctionnel strict :

Flot résiduel numérique : Au lieu de vecteurs latents denses, le flot résiduel est une collection de variables scalaires explicites, préservant l'historique computationnel sans interférence.
Attention Numérique (Routeur) : Ce module est dédié uniquement au routage de l'information (déplacement de données). Il utilise un mécanisme d'attention "dur" (hard attention) via un échantillonnage contrôlé par la température pour sélectionner des valeurs spécifiques dans l'historique (ex: copier la valeur du token précédent).
MLP Numérique (Opérateur) : Ce module est dédié aux transformations arithmétiques et logiques élémentaires. Il est décomposé en sous-modules parallèles et indépendants, chacun effectuant une opération simple sur un petit nombre d'entrées (généralement $k=2$ ).
Tête de sortie linéaire : Agrège les résultats des étapes computationnelles discrètes.

B. Optimisation par Recuit de Température

Pour apprendre une structure discrète dans un cadre différentiable, le modèle utilise un mécanisme d'échantillonnage contrôlé par la température (temperature-annealed sampling) dans chaque module (lecture, attention, MLP).

Pendant l'entraînement, la température $\tau$ est progressivement réduite (recuit) de 10,0 à 0,1.
Cela force le modèle à passer d'une phase d'exploration continue à une phase d'exploitation totalement discrète, où les poids codent implicitement un graphe de calcul déterministe.

C. Pipeline d'Extraction (De Weights to Code)

Une fois le modèle convergé vers un état discret, un pipeline modulaire extrait le programme :

Test d'hypothèses pour l'Attention : Analyse des matrices d'attention pour identifier des motifs de routage interprétables, tels que des décalages fixes (Fixed Offset) ou des extrêmes dans une fenêtre (Windowed Extrema).
Régression Symbolique pour les MLP : Utilisation d'outils comme PySR (basé sur des algorithmes génétiques) pour trouver des expressions mathématiques fermées exactes correspondant aux sous-modules MLP, profitant de la faible dimension d'entrée imposée par l'architecture.
Assemblage Global : Reconstruction du programme Python en parcourant le graphe de calcul à rebours, en remplaçant les variables intermédiaires par leurs définitions symboliques jusqu'aux entrées brutes.

3. Contributions Clés

Architecture Discrete Transformer : Une architecture alignée sur RASP qui force le désenchevêtrement fonctionnel (routage vs calcul) pour faciliter l'interprétabilité.
Pipeline d'extraction modulaire : Combinaison de tests d'hypothèses statistiques et de régression symbolique pour extraire des programmes lisibles à partir de variables continues.
Analyse théorique et empirique : Démonstration que la convergence fonctionnelle précède la discrétisation structurelle complète, et validation de la capacité à contrôler la découverte d'algorithmes via des biais inductifs architecturaux.

4. Résultats Expérimentaux

Les auteurs ont évalué le modèle sur une suite diversifiée de tâches algorithmiques (arithmétique linéaire, composition non-linéaire, dynamique continue).

Performance de Prédiction : Le Discrete Transformer atteint des performances comparables à la méthode MIPS (basée sur RNN), avec des erreurs quadratiques moyennes (MSE) proches de zéro sur la plupart des tâches.
Fidélité de l'Extraction : Les programmes extraits (Python) résolvent les tâches avec une précision de 1,00 (exacte) pour la majorité des cas, y compris des tâches complexes comme la parité ou les opérations bit à bit.
Découverte de Logiques Non-Linéaires : Le modèle réussit à extraire des identités algébriques exactes (ex: $max(x, y) = y + ReLU(x-y)$) plutôt que de simples approximations.
Avantage sur les Variables Continues : Contrairement à MIPS qui est contraint par des approximations de variables discrètes, le Discrete Transformer gère nativement les variables continues, permettant l'extraction d'algorithmes pour des tâches de dynamique continue (ex: moyenne exponentielle, hauteur de chute libre), un domaine où MIPS échoue.
Robustesse et Contrôle : Des expériences montrent que l'on peut forcer le modèle à découvrir des chemins logiques alternatifs (ex: utiliser l'attention pour le maximum au lieu des MLP) en modifiant les contraintes architecturales (ex: nombre de sous-MLP).

5. Signification et Impact

Ce travail représente une avancée majeure pour l'interprétabilité mécanistique des Transformers.

Bridging the Gap : Il résout le problème de la superposition des caractéristiques en imposant une architecture qui sépare naturellement le routage du calcul.
Découverte d'Algorithmes : Il ouvre la voie à la découverte de solutions algorithmiques innovantes et interprétables directement à partir de données, sans biais humain préexistant dans le code de référence.
Contrôlabilité : Il établit que les biais inductifs architecturaux peuvent être utilisés pour guider la découverte d'algorithmes vers des formes spécifiques souhaitées par les chercheurs (ex: en science physique).

En conclusion, le Discrete Transformer démontre qu'il est possible de transformer les poids d'un réseau de neurones en code exécutable et compréhensible, transformant les Transformers en outils puissants pour la découverte scientifique et l'analyse de systèmes complexes.