🤖 machine learning

Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

Ce papier propose un cadre de théorie des champs à profondeur continue qui modélise le patching d'activation des Transformers comme des insertions de sources localisées et prédit les changements comportementaux en aval via des réponses de fonctions de Green, établissant ainsi un langage mathématique des sensibilités et des champs propagés pour organiser et inférer des interventions mécanistes.

Auteurs originaux : David N. Olivieri, Antonio F. Pérez Rodríguez

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : David N. Olivieri, Antonio F. Pérez Rodríguez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Transformer (le type d'IA derrière des modèles comme GPT-2) non pas comme une pile de code informatique, mais comme un giant, fleuve en écoulement.

Dans ce fleuve :

La Profondeur est la distance que l'eau a parcourue en aval (de la source à l'océan).
Les Tokens (les mots dans une phrase) sont comme différents bateaux flottant côte à côte dans le fleuve.
Le Flux Résiduel est l'eau elle-même, transportant toutes les informations alors qu'elle s'écoule d'une couche du modèle à la suivante.

Ce papier propose une nouvelle façon de comprendre comment nous pouvons « ajuster » ou « corriger » ces modèles d'IA pour modifier leur comportement. Au lieu de simplement deviner quelle partie du code réparer, les auteurs traitent le modèle comme un champ physique où nous pouvons prédire exactement comment un petit changement se propagera dans le système.

Voici la décomposition de leurs idées en utilisant des analogies quotidiennes :

1. La « Goutte dans l'Étang » (Le Patching comme Source)

Habituellement, lorsque les chercheurs veulent voir ce qu'une partie spécifique de l'IA fait, ils effectuent un « patching d'activation ». Cela revient à prendre une instantanée du cerveau de l'IA à un moment précis, à le remplacer par une instantanée d'un scénario différent, et à observer comment la sortie change.

Les auteurs décrivent cela comme lancer une pierre dans le fleuve.

La Pierre : Le « patch » (le changement que vous effectuez).
La Vague : L'effet qui voyage en aval à travers le reste du modèle.
La Théorie : Ils soutiennent que si vous connaissez la forme du fleuve (la structure du modèle), vous pouvez prédire exactement comment cette vague se propagera, quelle sera sa taille et quels bateaux (tokens) elle touchera, sans avoir à lancer la pierre un million de fois pour le découvrir.

2. La « Carte de Sensibilité » (Prédire l'Effet)

Pour prédire où ira une vague, vous avez besoin d'une carte. Les auteurs introduisent un Champ de Sensibilité.

Imaginez cela comme une carte météorologique montrant la vitesse du vent. Certains endroits du fleuve sont très sensibles (une petite pierre crée une énorme vague) ; d'autres sont calmes (une pierre fait à peine une éclaboussure).
Le papier montre que vous pouvez calculer cette « carte du vent » une seule fois. Une fois que vous l'avez, vous n'avez pas besoin de tester chaque direction dans laquelle vous pourriez lancer une pierre. Vous pouvez prédire mathématiquement : « Si je lance une pierre ici, dans cette direction, la vague frappera la réponse avec cette force. »
Le Résultat : Ils ont constaté que pour de petits changements, cette prédiction est incroyablement précise. C'est comme savoir qu'une brise douce déplacera une plume, mais qu'un ouragan renversera un arbre.

3. La « Fonction de Green » (Le Propagateur de Vagues)

Le papier utilise un concept appelé Fonction de Green. En termes simples, c'est un « manuel de règles des vagues ».

Il répond à la question : « Si je perturbe l'eau au point A, comment l'eau bouge-t-elle au point B ? »
Les auteurs ont constaté que ces vagues ne vont pas tout droit ; elles se propagent latéralement vers d'autres mots (tokens) et voyagent plus profondément dans le modèle.
Ils l'ont testé en mesurant comment un changement à une couche affectait des couches bien plus en aval. Ils ont constaté que le « manuel de règles des vagues » fonctionne bien, mais seulement si le changement n'est pas trop énorme. Si vous lancez un rocher (un changement massif), l'eau devient chaotique et les règles simples s'effondrent. Mais pour de petites poussées, les règles tiennent parfaitement.

4. La « Rétro-ingénierie » (Trouver la Bonne Pierre)

Habituellement, les chercheurs essaient des patchs au hasard pour voir ce qui se passe. Ce papier renverse la logique. Ils proposent un Problème Inverse.

L'Objectif : « Je veux que l'IA dise 'Paris' au lieu de 'Londres'. »
L'Ancienne Méthode : Essayer de patcher chaque couche et chaque mot jusqu'à avoir de la chance.
La Nouvelle Méthode : Utiliser le « manuel de règles des vagues » (Fonction de Green) et la « carte de sensibilité » pour calculer mathématiquement exactement où et comment lancer la pierre pour créer cette vague spécifique.
C'est comme être un ingénieur du son qui sait exactement quel bouton tourner pour corriger une fréquence spécifique dans une chanson, plutôt que de tourner chaque bouton au hasard.

5. La « Traduction » Entre Modèles (Mise à l'Échelle)

Enfin, les auteurs suggèrent un moyen de transférer les connaissances d'un petit modèle à un grand modèle.

Imaginez que vous avez un petit étang (un petit modèle d'IA) et un océan massif (un grand modèle d'IA).
Si vous lancez une pierre dans le petit étang et observez les vagues, vous pouvez utiliser ce motif pour deviner où lancer une pierre dans l'océan pour obtenir un résultat similaire.
Ils appellent cela une « géométrie de réponse latente partagée ». Essentiellement, la « physique » de la façon dont l'information circule pourrait être la même dans les petits et les grands modèles, simplement à des échelles différentes. Cela pourrait nous permettre de déterminer comment réparer un modèle géant en étudiant d'abord un petit modèle.

Résumé des Résultats

Les auteurs ont testé ces idées sur des modèles GPT-2 et ont constaté :

Les petits changements se comportent de manière prévisible : Si vous poussez doucement le modèle, les mathématiques prédisent le résultat presque parfaitement.
Les vagues se propagent : Les changements ne restent pas locaux ; ils voyagent à travers les couches et affectent différents mots de manière structurée.
Des points de haute sensibilité existent : Seuls quelques « chutes » spécifiques dans le fleuve comptent le plus pour la réponse finale.
Les changements de prompt sont juste des vagues : Changer la phrase d'entrée (par exemple, de « Capitale de l'Espagne » à « Capitale de la France ») est mathématiquement similaire à lancer une pierre spécifique dans le fleuve. Le modèle réagit à ce « déplacement » de manière prévisible, nous permettant de diriger la réponse.

En bref : Ce papier fournit une « physique de l'IA » mathématique qui transforme le patching par essais et erreurs en une science prévisible et calculable. Il suggère que nous pouvons traiter les interventions sur l'IA comme des problèmes d'ingénierie où nous pouvons calculer la force et l'emplacement exacts nécessaires pour obtenir un résultat souhaité.

Résumé technique : Théorie des champs à profondeur continue pour le patching des Transformers et l'interprétabilité mécaniste

Énoncé du problème
L'interprétabilité mécaniste vise à identifier les circuits internes responsables du comportement des Transformers en intervenant sur les activations (par exemple, patching d'activation, traçage causal, patching de chemin). Bien que ces méthodes parviennent à localiser avec succès des sites et des directions significatifs sur le plan comportemental, elles reposent souvent sur une énumération exhaustive des couches, des tokens et des sous-espaces. Cet article aborde la question complémentaire : ces interventions peuvent-elles être organisées, prédites et reconstruites à l'aide d'un cadre unifié de théorie des champs sur la profondeur et la position du token ? Les auteurs proposent de traiter le flux résiduel non pas comme une séquence discrète de couches, mais comme un champ continu, permettant de formuler le patching comme un problème d'insertion de source localisée dans un formalisme de réponse linéaire.

Méthodologie
L'article développe une théorie des champs à profondeur continue où le flux résiduel du Transformer $R(t, x)$ est modélisé comme un champ sur un réseau profondeur-token. Ici, l'indice de couche $\ell$ est mappé sur une coordonnée de profondeur $t \in [0, T]$ , et l'indice de token est mappé sur une coordonnée spatiale $x$ .

Formulation de la théorie des champs :
- Patching comme insertion de source : Un patch d'activation est modélisé comme un terme source localisé $J(t, x)$ ajouté à l'équation d'évolution en profondeur : $\partial_t R(t, x) = F_t[R](x) + J(t, x)$ .
- Objets de réponse : Le cadre définit deux objets de réponse principaux :
  - Champ de sensibilité ( $a(t, x)$ ) : La dérivée fonctionnelle d'une observable $y$ (par exemple, différence de logit) par rapport au champ résiduel, $a(t, x) = \delta y / \delta R(t, x)$ . Cela prédit l'effet d'un patch.
  - Fonction de Green ( $G(t, x; t', x')$ ) : La fonction de réponse à deux points $\delta R(t, x) / \delta R(t', x')$ , décrivant comment une perturbation en $(t', x')$ se propage vers $(t, x)$ .
- Réponse linéaire : Dans un régime linéaire local, le changement d'une observable est approximé par $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ .
- Problème inverse (inférence de patch) : Le cadre reformule l'inférence du site de patch comme un problème variationnel contraint. Étant donné un changement comportemental souhaité, on cherche une source $J$ sparse satisfaisant l'équation intégrale $\Delta R_{target} \approx \int G J$ . Cela est résolu en utilisant un principe d'action avec un champ adjoint (co-état) $\lambda(t, x)$ , qui correspond au champ de sensibilité.
Validation empirique :
La théorie est testée sur des Transformers autoregressifs de style GPT-2 utilisant des interventions discrètes sur le flux résiduel. Les expériences mesurent :
- Linéarité locale et superposition : Vérification que les petites perturbations présentent une échelle linéaire et que les effets des interventions combinées s'additionnent linéairement.
- Prédiction de sensibilité : Comparaison des effets de patch mesurés avec les prédictions dérivées des sensibilités du premier ordre (gradients autograd).
- Propagation résiduelle : Mesure du champ résiduel en aval $\delta R$ induit par un patch localisé pour caractériser la « réponse de Green ».
- Composition : Test de la propagation à travers une couche intermédiaire pour vérifier si elle approxime le produit des opérateurs de Green ( $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ ).
- Représentations réduites : Analyse des opérateurs de Green « tranchés » (propagation au niveau des composants entre sites fixes) et des scores de sites de sensibilité pour réduire la dimensionalité.
- Déplacements de prompt : Traitement de la différence entre deux prompts comme une source localisée pour tester si elle agit comme une direction de transformation.

Contributions clés

Cadre de théorie des champs : L'article établit un formalisme où le patching est vu comme une insertion de source localisée, l'attribution comme une prédiction de champ de sensibilité, et la propagation comme une réponse empirique de fonction de Green.
Formulation d'inférence adjointe : Il présente l'inférence du site de patch comme un problème inverse résolvable via un principe variationnel adjoint, dépassant la simple énumération pour aboutir à un problème de reconstruction contraint.
Régime de réponse linéaire empirique : Les auteurs identifient un régime linéaire local borné dans les modèles GPT-2 où les sensibilités du premier ordre prédisent avec précision les effets de patch et où la superposition est valide.
Propagation structurée : Les expériences démontrent que les perturbations résiduelles se propagent de manière structurée et anisotrope à travers la profondeur et la position du token, présentant des propriétés compositionnelles approximatives cohérentes avec la théorie linéarisée.
Descriptions réduites : L'article montre que les sites à haute sensibilité et les opérateurs de Green tranchés fournissent des descriptions gérables et de faible dimension de l'espace de réponse résiduelle autrement de haute dimension.
Hypothèse de mise à l'échelle : Une proposition théorique est faite selon laquelle la géométrie de la réponse (empreintes digitales de la fonction de Green) pourrait être partagée à travers les échelles de modèles. Cela suggère que les informations de réponse d'un modèle plus petit pourraient définir des cartes de sites de patch candidats pour un modèle plus grand, à condition d'utiliser des ancres locales.

Résultats

Linéarité : Les perturbations locales présentent un régime linéaire borné où les erreurs de non-linéarité et de superposition restent faibles (inférieures à 20 % dans les plages testées) pour des amplitudes modérées.
Précision de la prédiction : Les sensibilités autograd ( $a(t, x)$ ) prédisent avec succès les effets de patch scalaires mesurés à travers divers sites et directions résiduels, validant l'approximation du premier ordre.
Structure de propagation : Les interventions localisées génèrent des champs de réponse en aval structurés qui se propagent de manière anisotrope. Le test de composition confirme que les champs résiduels intermédiaires conservent suffisamment d'informations pour reproduire les réponses en aval dans le régime perturbatif.
Concentration de sites : Les scores de sensibilité ( $\|a(t, x)\|$ ) sont hautement non uniformes, se concentrant sur un petit ensemble de sites couche-token, ce qui permet de réduire l'espace de recherche des interventions.
Déplacement de prompt : Les différences entre les prompts agissent comme des directions de transformation locales. Leurs effets sont prédits par les sensibilités causales, sont les plus efficaces dans les couches tardives et peuvent modifier avec succès les rangs des réponses cibles dans le vocabulaire.

Signification et affirmations
L'article prétend fournir un « langage pratique » pour organiser les expériences de patching, déplaçant le paradigme de l'énumération des interventions vers l'estimation de quantités de réponse (sensibilités et noyaux). En établissant empiriquement le fondement de la réponse linéaire, ce travail rend la reconstruction des mécanismes internes mathématiquement bien posée : la fonction de Green sert d'opérateur direct pour un problème inverse qui identifie les sites et les directions de patch.

Les auteurs présentent modestement leur hypothèse de mise à l'échelle comme une motivation pour un travail futur plutôt que comme un résultat prouvé, notant qu'elle repose sur une « hypothèse de réponse latente partagée » et nécessite des ancres locales (poids, activations ou patches épars) pour être viable. La contribution principale est l'unification des outils d'interprétabilité mécaniste (patching, traçage, pilotage) sous une seule théorie des champs à profondeur continue, offrant une voie principielle allant de la mesure à l'inférence et potentiellement au transfert à l'échelle du modèle.