Résumé Technique : Transformateur Universel Fixe

Énoncé du Problème

Cet article traite de la question de savoir si une architecture de Transformateur à paramètres fixes peut simuler n'importe quel autre Transformateur au sein d'une classe donnée, à condition que l'incorporation (embedding) d'entrée soit convenablement modifiée. Ce concept s'appuie sur une analogie avec la Machine de Turing Universelle et les Circuits Universels de la théorie de la calculabilité. Contra à l'approximation universelle (où les paramètres du modèle sont ajustés pour approximer des fonctions arbitraires) ou la complétude de Turing (où une famille de réseaux peut simuler toute machine de Turing avec des paramètres spécifiques), ce travail étudie la universalité dans un sens plus strict : les poids internes (matrices d'attention et de valeur) du Transformateur « universel » sont fixes (soit explicitement construits, soit initialisés aléatoirement), et la simulation d'un Transformateur cible est réalisée uniquement par le changement de la matrice d'incorporation $E$.

Les auteurs sont motivés par des découvertes empiriques récentes (Zhong et Andreas, 2024) suggérant que de nombreuses capacités des modèles de langage résident dans des Transformateurs initialisés aléatoirement, nécessitant seulement des couches d'incorporation (embedding) et de désincorporation (unembedding) entraînées. L'article cherche à formaliser ce phénomène théoriquement et à déterminer les conditions dans lesquelles cette universalité est vérifiée.

Méthodologie

1. Définition Formelle

Les auteurs définent un Transformateur Universel (UT) comme un Transformateur à $H$ têtes, $L$ couches et dimension d'incorporation $m$. Il est paramétré par des matrices fixes $\{R^l_{Q}, R^l_{K}, R^l_{V}\}$ et une matrice de désincorporation $U$. Étant donné un Transformateur cible $T$ avec des paramètres $\{W^l_{Q}, W^l_{K}, W^l_{V}, W^l_{O}\}$ et une dimension d'incorporation $d$, l'UT simule $T$ s'il existe une matrice d'incorporation $E \in \mathbb{R}^{d \times m}$ telle que :
$$\text{UT}(X, E) = T(X)$$
pour toutes les séquences d'entrée $X$. L'incorporation $E$ agit comme un « programme » encodant les paramètres de la cible.

2. Constructions Théoriques

L'article fournit deux résultats théoriques principaux concernant l'existence de tels Transformateurs universels :

• Construction Sparse Explicite : Les auteurs construisent un UT fixe avec des paramètres à valeurs $\{0, 1\}$. La dimension d'incorporation $m$ est montrée comme suffisante si $m = O(Ld)$ pour le cas à une tête ($H=1$) et $m = O(HLd)$ pour le cas multi-têtes ($H \ge 2$). La construction encode les poids du Transformateur cible dans l'incorporation $E$ et utilise les paramètres fixes de l'UT pour acheminer et lire ces poids à travers une structure d'arborescence de chemins d'attention. Cette construction s'étend également aux Transformateurs bouclés (poids partagés), où les paramètres sont partagés entre les couches.
• Universalité Aléatoire : Les auteurs prouvent que l'universalité est une propriété générique. Si les paramètres d'un Transformateur sont tirés d'une distribution absolument continue (par exemple, Gaussienne i.i.d.), alors avec une probabilité de 1, le Transformateur résultant est universel, à condition que la dimension d'incorporation satisfasse les mêmes bornes ($m = O(HLd)$). La preuve repose sur la démonstration que les conditions algébriques requises pour la simulation n'échouent que sur un ensemble de mesure nulle (où certaines matrices deviennent déficientes en rang).

3. Bornes Inférieures

L'article établit une borne inférieure sur la dimension d'incorporation $m$ pour les approches de type « correspondance d'attention » (attention-matching), où le Transformateur universel doit reproduire exactement les matrices d'attention de la cible. Le Théorème 4.1 montre que pour $H \ge 2$, $m$ doit croître exponentiellement avec la profondeur $L$ (spécifiquement $m \ge HL/2$) même dans le cas le plus simple où la dimension d'entrée est 1. Cela souligne la complexité de la représentation des chemins de calcul exponentiellement nombreux induits par l'attention multi-têtes.

4. Évaluation Empirique

Les auteurs valident leur théorie sur deux tâches algorithmiques :

1. Équilibrage de Parenthèses (Dyck-1) : Déterminer si une séquence de parenthèses est équilibrée.
2. Têtes d'Induction à $k$-sauts : Une généralisation du mécanisme de tête d'induction, nécessitant la récupération récursive de jetons (tokens).

Ils comparent trois modèles :

• Transformateur Universel Sparse : Utilisant la construction explicite du Théorème 3.1.
• Transformateur Universel Aléatoire : Utilisant des paramètres fixes initialisés aléatoirement.
• Transformateur Entièrement Entraîné : Un Transformateur standard entraîné de bout en bout.

Dans toutes les expériences, seules la matrice d'incorporation $E$ et la matrice de désincorporation $U$ sont entraînées ; tous les paramètres internes d'attention et de valeur restent fixes.

Résultats Clés

Résultats Théoriques

• Existence : Des Transformateurs Universels existent avec des paramètres sparses explicites et avec des paramètres initialisés aléatoirement.
• Dimensionnalité : La dimension d'incorporation requise croît linéairement avec le nombre de couches et de têtes ($O(HLd)$).
• Généralité : Les Transformateurs initialisés aléatoirement sont universels presque sûrement, suggérant que la « puissance expressive » de l'architecture est inhérente à sa structure plutôt qu'à ses poids appris spécifiques.
• Bornes Inférieures : Pour les stratégies de correspondance d'attention, la dimension d'incorporation doit croître exponentiellement avec la profondeur, indiquant une limite fondamentale sur la compression de l'espace de tous les Transformateurs possibles dans une incorporation de faible dimension sans correspondre aux motifs d'attention.

Résultats Expérimentaux

• Équilibrage de Parenthèses : Les transformateurs universels, tant sparses qu'aléatoires, ont atteint une précision de 100 % (sparse) et de 94,4 % (aléatoire) dans le cadre de l'attention seule, égalant les modèles entièrement entraînés.
• Têtes d'Induction : Dans le cadre de l'attention seule, la performance est sous-optimale (par exemple, ~30-40 % pour les tâches à $k$-sauts contre ~99 % pour les modèles entièrement entraînés). Cependant, l'ajout de composants standards améliore considérablement les performances :
  • L'ajout de connexions résiduelles et de normalisation de couche (layer normalization) a permis au transformateur universel sparse d'atteindre 100 % de précision sur toutes les tâches d'induction et au transformateur universel aléatoire d'atteindre 85,7 % – 96,1 %.
  • L'ajout de couches MLP (gelées et initialisées aléatoirement) a encore amélioré les performances du transformateur universel aléatoire.
• Optimisation : Les résultats démontrent que l'optimisation standard par descente de gradient peut réussir à apprendre les incorporations requises pour que les Transformateurs universels résolvent des tâches algorithmiques complexes, à condition que l'architecture inclue des composants de stabilisation comme les connexions résiduelles et la normalisation de couche.

Signification et Revendications

L'article affirme qu'une partie significative de la puissance expressive d'un Transformateur réside dans sa représentation d'entrée (l'incorporation) plutôt que dans ses poids internes appris. En formalisant le concept de « Transformateur Universel », les auteurs fournissent un fondement théorique pour :

1. Reprogrammation de Modèle : La capacité d'adapter un modèle pré-entraîné (ou fixe) à de nouvelles tâches en modifiant uniquement les couches d'incorporation.
2. Initialisation Aléatoire : Expliquer pourquoi les Transformateurs initialisés aléatoirement présentent souvent des capacités surprenantes, car ils sont intrinsèquement capables de simuler des Transformateurs spécifiques à une tâche, compte tenu de la bonne incorporation.
3. Efficacité : Suggérer que pour certaines classes de problèmes, il n'est peut-être pas nécessaire d'apprendre l'ensemble des paramètres du Transformateur, mais plutôt d'apprendre une incorporation compacte qui « programme » un squelette (backbone) fixe et universel.

Les auteurs restent modestes, notant que leurs bornes théoriques inférieures s'appliquent spécifiquement aux stratégies de « correspondance d'attention » et que l'extension de ces résultats à des architectures plus réalistes comprenant des MLP et de la normalisation (bien que prometteuse empiriquement) reste une direction théorique ouverte. Ils précisent également que leur travail ne modifie pas l'architecture du Transformateur lui-même, mais en réinterprète le rôle de l'incorporation d'entrée.