🔬 applied physics

Adaptive inference and function vectors in deep transformers

Cet article introduit une théorie de champ moyen des transformers profonds en tant que systèmes d'inférence distribués qui utilisent des « vecteurs de fonction » internes pour inférer hiérarchiquement des variables de contexte latentes, démontrant que les blocs de propagation directe et la profondeur permettent une classe plus riche d'algorithmes d'apprentissage en contexte adaptatifs que ce qui était précédemment compris.

Auteurs originaux : Ravin Raj, Gautam Reddy

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ravin Raj, Gautam Reddy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère, mais que vous n'avez que quelques indices éparpillés (le « contexte ») et une question spécifique à laquelle répondre (la « requête »). Vous devez découvrir la règle cachée qui relie tous les indices à la réponse.

Ce document propose une nouvelle façon de comprendre comment les Transformers (les cerveaux d'IA derrière des outils comme les chatbots) résolvent ces mystères. Au lieu de simplement regarder les mathématiques, les auteurs traitent le Transformer comme une équipe de détectives travaillant ensemble pour résoudre une affaire.

Voici la décomposition de leur théorie en utilisant des analogies simples :

1. L'équipe de détectives (Les Tokens)

Imaginez une pièce remplie de détectives (ce sont les « tokens » ou morceaux de données). Ils connaissent tous un petit bout de l'affaire, mais aucun détective ne possède l'image complète. Leur objectif est de découvrir la « règle cachée » (appelée contexte latent) qui explique tout.

Dans une IA standard, ces détectives pourraient simplement crier leurs pensées d'un seul coup. Mais ce document suggère que les Transformers profonds fonctionnent comme une course de relais ou une enquête à plusieurs étapes.

2. Le « Vecteur de Fonction » (Le carnet de notes partagé)

L'idée centrale est ce qu'on appelle un Vecteur de Fonction. Voyez cela comme un carnet de notes partagé qui circule dans la pièce.

Tour 1 : Chaque détective examine son indice et écrit un court résumé dans le carnet.
Tour 2 : Ils lisent le carnet, réalisent qu'ils ont manqué quelque chose, et ajoutent une nouvelle note plus raffinée.
Tour 3 : Ils relisent le carnet mis à jour et ajoutent encore plus de détails.

À la fin du processus, ce carnet (le Vecteur de Fonction) contient un résumé compressé et parfait de tout ce que l'équipe a appris sur la règle cachée. Lorsque le dernier détective (la « requête ») demande la réponse, il lui suffit de lire ce carnet.

3. Les deux types de travailleurs (MLP vs Attention)

Le document explique que le Transformer possède deux types de travailleurs qui se relaient :

Le Penseur Local (MLP) : C'est le détective individuel qui examine son propre indice et le carnet actuel. Il décide : « Sur la base de ce que je sais et de ce qui est dans le carnet, quelle est la nouvelle chose la plus importante que je devrais ajouter ? » Il agit comme un routeur, choisissant l'information qui mérite d'être partagée.
Le Mélangeur de Groupe (Attention) : C'est la personne qui prend toutes les nouvelles notes de chacun et les fusionne en un seul résumé mis à jour pour le tour suivant.

4. La grande découverte : Pourquoi la « Profondeur » est importante

Les auteurs ont testé deux scénarios pour voir si avoir de nombreuses couches (une équipe « profonde ») est préférable à n'avoir qu'une seule grande couche.

Scénario A : La colline lisse (Prior Gaussien)
Imaginez que la règle cachée se trouve sur une colline lisse et plate. On peut trouver le sommet simplement en regardant sous un certain angle.

Résultat : Peu importe que vous ayez une équipe de 10 personnes passant un carnet de notes ou une seule personne super intelligente faisant tout d'un coup. Ils obtiennent le même résultat. La « profondeur » n'aide pas ici.

Scénario B : Le labyrinthe (Prior d'Arbre)
Maintenant, imaginez que la règle cachée se trouve à l'intérieur d'un labyrinthe complexe avec de nombreux virages (une structure en « arbre »). Pour trouver la sortie, vous devez faire une série de choix : Gauche ou Droite ? Puis Haut ou Bas ?

L'équipe « peu profonde » (Non-adaptative) : Cette équipe essaie de deviner tout le chemin d'un coup. Ils peuvent réussir les premiers virages, mais ils se perdent rapidement car ils ne peuvent pas ajuster leur plan en fonction de nouvelles informations.
L'équipe « profonde » (Adaptative) : Cette équipe avance étape par étape.
- Étape 1 : Ils vérifient la première intersection.
- Étape 2 : Sur la base de ce résultat, ils décident quel chemin vérifier ensuite.
- Étape 3 : Ils s'ajustent à nouveau.
- Résultat : Parce qu'ils peuvent adapter leur stratégie à chaque étape (en utilisant le Vecteur de Fonction pour se souvenir de leur position), ils naviguent dans le labyrinthe bien mieux que l'équipe peu profonde.

5. La preuve : L'expérience du « Key-Patching »

Pour prouver cela, les chercheurs ont pratiqué une « chirurgie » sur l'IA. Ils ont pris les « clés » (les notes de prise de décision) d'un détective ayant résolu un autre labyrinthe et les ont forcées dans le carnet du détective actuel.

Qu'est-il arrivé ? Si les notes avaient été échangées tôt dans le processus, le détective était confus et échouait. Si elles avaient été échangées tard, cela n'avait pas beaucoup d'importance.
Pourquoi ? Cela a prouvé que l'IA ne faisait pas que mémoriser une réponse statique. Elle construisait activement une stratégie couche par couche, exactement comme la théorie le prédisait.

L'essentiel

Ce document soutient que les Transformers profonds ne sont pas de simples machines à reconnaissance de formes sophistiquées. Ce sont des machines d'inférence adaptatives.

Lorsque le problème est simple, une approche peu profonde suffit. Mais quand le problème est complexe et hiérarchique (comme un arbre avec de nombreuses branches), le Transformer utilise sa profondeur et ses notes internes (Vecteurs de Fonction) pour agir comme un détective intelligent : il rassemble les indices, met à jour sa théorie et décide de ce qu'il doit chercher ensuite, le tout au cours d'une seule lecture des données. Cela lui permet de résoudre des énigmes complexes que des modèles plus simples, dits « peu profonds », ne peuvent pas résoudre.

Énoncé du Problème
Les Transformers sont apparus comme un substrat polyvalent pour l'apprentissage de corrélations complexes dans divers domaines, pourtant leurs mécanismes internes d'apprentissage en contexte (ICL — in-context learning) demeurent mystérieux. Si les travaux empiriques ont identifié deux motifs primaires pour l'ICL — des circuits d'attention implémentant des algorithmes spécifiques (ex: copie, descente de gradient) et la formation de « vecteurs de fonction » (représentations internes de la tâche) — la compréhension théorique de ce dernier reste limitée. Plus précisément, il n'est pas clair comment les transformers profonds utilisent les vecteurs de fonction pour effectuer l'inférence, et quels rôles computationnels spécifiques les blocs de profondeur et de réseaux à propagation avant (feedforward ou MLP) jouent dans ce processus. Les théories existantes se concentrent souvent sur les circuits basés sur l'attention, laissant inexplorés les mécanismes rendus possibles par les interactions multi-couches entre l'attention et les MLP.

Méthodologie
Les auteurs proposent un cadre théorique modélisant un transformer profond comme un système d'interaction à champ moyen qui implémente une inférence bayésienne distribuée. Le modèle est soumis à des contraintes architecturales de communication (dimension du canal $d$ ), de localité et de profondeur ( $L$ ).

Modèle Théorique : Le cadre postule qu'un transformer traite un ensemble de jetons couplés par une variable de contexte latente $\theta$ . L'inférence est médiée par des « vecteurs de fonction » ( $\Phi_\ell$ ), qui agissent comme des variables d'état compressées.
- À chaque couche $\ell$ , une non-linéarité locale (MLP) traite un jeton et l'état actuel $\Phi_\ell$ pour produire un plongement (embedding) $\lambda_{\ell+1}$ .
- Une opération de type attention regroupe ces plongements à travers les jetons pour former une nouvelle statistique $\phi_{\ell+1}$ .
- L'état est mis à jour via une somme directe : $\Phi_{\ell+1} = \Phi_\ell \oplus \phi_{\ell+1}$ .
- Les blocs MLP sont supposés agir comme des « routeurs » (choisissant quelle information transmettre) et des décodeurs, tandis que l'attention regroupe l'information.
Stratégie d'Optimisation : Les auteurs cadrent la sélection des plongements comme un problème de programmation dynamique. La stratégie optimale à la couche $\ell$ minimise la perte attendue à la couche $L$ , traitant ainsi le choix du plongement comme une stratégie de conception expérimentale pour une inférence adaptative.
Cas Analytiques : La théorie est analysée sous deux distributions a priori pour la variable latente $\theta$ :
- Prior Gaussien : Où la variable latente suit une loi normale standard.
- Prior d'Arbre : Une structure hiérarchique où $\theta$ est construit sur la base d'un chemin à travers un arbre binaire équilibré. Cette structure teste l'avantage de la profondeur pour résoudre les variables latentes à des échelles de plus en plus fines.
Validation Empirique : Les prédictions sont testées à l'aide d'une architecture de transformer à attention linéaire contrainte avec trois configurations :
- Modèle A : Un modèle profond ( $L=M$ ) avec une dimension de canal $d=1$ et des blocs MLP à chaque couche.
- Modèle B : Un modèle à une seule couche avec une dimension de canal $M$ et des MLP identiques.
- Modèle C : Un modèle à une seule couche avec une dimension de canal $M$ et sans MLP (attention linéaire uniquement).
- Perturbation Causale : Une expérience de « patch de clés » (key-patching) est menée où des matrices de clés provenant d'un contexte « donneur » sont insérées dans un contexte « cible » à des couches spécifiques pour tester le mécanisme de routage.

Contributions Clés

Théorie des Vecteurs de Fonction : L'article fournit une théorie formelle définissant les vecteurs de fonction comme des représentations d'état interne qui compressent l'information du contexte pour la prédiction. Il démontre que ces vecteurs permettent au modèle d'inférer des variables de contexte latentes à des échelles de plus en plus fines à travers les couches.
Rôle de la Profondeur et des MLP : La théorie prédit que pour les priors non-gausiens et hiérarchiques, la profondeur et les blocs MLP sont essentiels pour implémenter des stratégies d'inférence adaptatives qui surpassent les approches non-adaptatives à couche unique. Inversement, pour les priors gausiens, la profondeur n'offre aucun avantage par rapport à une couche unique avec un budget de communication total équivalent.
Cartographie Mécaniste : Le travail associe les composants théoriques à l'architecture du transformer, attribuant au MLP le rôle de « routeur » qui sélectionne les statistiques à mesurer et au mécanisme d'attention le rôle de regroupement de ces statistiques.
Confirmation Expérimentale : Les expériences numériques confirment que les transformers profonds avec MLP (Modèle A) peuvent apprendre des stratégies d'inférence adaptatives sur des priors d'arbres hiérarchiques, surpassant significativement les stratégies non-adaptatives optimisées à une seule couche (Modèle B) et les modèles d'attention linéaire (Modèle C).

Résultats

Prior Gaussien : Dans le cas d'un prior gaussien, l'erreur quadratique moyenne (MSE) dépend uniquement de la stratégie de mesure et est indépendante de la réalisation spécifique du vecteur de fonction. La théorie et les expériences montrent qu'un modèle profond (Modèle A) ne performe pas mieux qu'un modèle à une seule couche avec une capacité de canal équivalente (Modèle B).
Prior d'Arbre : Pour le prior d'arbre hiérarchique, la théorie prédit qu'une stratégie adaptative (mesurant une coordonnée à la fois basée sur les résultats précédents) produit une perte MSE qui décroît exponentiellement avec la profondeur ( $\alpha^M$ $α^{M}$ ), tandis que les stratégies non-adaptatives décroissent selon une puissance de $M$ $M$ .
- Les expériences montrent que le Modèle A atteint une perte MSE nettement inférieure au Modèle B, confirmant que le modèle apprend une stratégie d'inférence adaptative.
- Le Modèle C (sans MLP) performe de manière similaire à la ligne de base théorique non-adaptative, confirmant la nécessité des MLP pour le mécanisme de routage adaptatif.
Perturbation Causale : Les expériences de key-patching révèlent que l'insertion de clés d'un contexte donneur (feuille $\sigma'$ ) dans un contexte cible (feuille $\sigma$ ) provoque une augmentation importante de la perte si les chemins divergent tôt dans l'arbre et que l'intervention a lieu tôt dans le réseau. Cela confirme que l'état interne du modèle (vecteur de fonction) évolue de manière adaptative selon le chemin spécifique du contexte.

Signification
L'article prétend réconcilier deux perspectives sur l'apprentissage en contexte : la vue de l'ICL comme inférence bayésienne sur une variable latente et la vue mécaniste de l'ICL comme exécution algorithmique (ex: descente de gradient). En démontrant que les transformers profonds peuvent implémenter l'inférence bayésienne comme une procédure distribuée, adaptative et par couches médiée par des vecteurs de fonction, les auteurs démontent que la profondeur et les blocs MLP permettent une classe plus riche d'algorithmes d'ICL que ceux précédemment décrits (tels que la descente de gradient préconditionnée). Ce travail place les vecteurs de fonction au sein d'un cadre de niveau circuit, suggérant que l'organisation des modèles de milliards de paramètres favorise cette structure car elle permet une inférence efficace et adaptative sous des contraintes de communication. Les auteurs notent que bien que leur théorie utilise un regroupement linéaire, elle respecte l'échangeabilité et peut être suffisante pour les scénarios où la récupération spécifique jeton-à-jet de l'attention softmax n'est pas le moteur principal de l'ICL.