Résumé technique : Une théorie structurelle du biais de position dans les Transformers

Énoncé du problème

Les modèles Transformer présentent des biais de position systématiques, notamment le biais de primauté (préférence pour les premiers tokens), le biais de récence (préférence pour les tokens récents) et le phénomène « perdu au milieu » (Lost-in-the-Middle, LiM), où l'information située au centre de contextes longs est sous-utilisée. Bien que des preuves empiriques suggèrent que ces biais soient d'origine architecturale plutôt que sémantique, leurs origines théoriques restent mal comprises.

Un fossé critique existe entre les analyses théoriques existantes et le comportement pratique des Transformers. Des travaux récents de Wu et al. [2025] ont démontré que, dans les Transformers causaux à attention uniquement, l'attention cumulative doit s'effondrer sur le premier token à mesure que la profondeur augmente. Cependant, cette prédiction contredit les observations empiriques dans les Transformers modernes et profonds, qui ne présentent pas un tel effondrement. L'article attribue cette divergence à l'omission des connexions résiduelles dans les cadres théoriques antérieurs, malgré leur rôle central dans les architectures réelles.

Méthodologie

Les auteurs développent une théorie structurelle du biais de position basée sur un déroulement d'attention conscient des résidus. Ce cadre analyse la propagation de l'information à travers les couches indépendamment des objectifs d'entraînement, des données ou des dynamiques d'optimisation.

Cadre central

1. Transition consciente des résidus : Contrairement aux modèles précédents qui traitent les résidus comme des combinaisons convexes fixes (par exemple, $0.5I + 0.5A$), les auteurs modélisent les connexions résiduelles comme des discrétisations de dynamiques en temps continu. Ils définissent un coefficient de mélange dépendant de la couche et de l'entrée, $\lambda_t(x)$, représentant la force relative de la mise à jour par attention par rapport au chemin identité :
   $$\lambda_t(x) := \frac{\| \text{Attn}(X^{(t-1)}) \|}{\| X^{(t-1)} \| + \| \text{Attn}(X^{(t-1)}) \|}$$
   La matrice de transition est définie comme $R^{(t)} = (1 - \lambda_t)I + \lambda_t A^{(t)}$, où $A^{(t)}$ est le noyau d'attention moyenné sur l'ensemble de données.

2. Déroulement cumulatif : La propagation de l'information jusqu'à la profondeur $T$ est capturée par la matrice de déroulement $P^{(T)} = R^{(T)} \cdots R^{(1)}$. La distribution de la dernière ligne, $p^{(T)}(j)$, quantifie l'influence cumulative du token d'entrée $j$ sur la sortie finale.

3. Quatre forces architecturales : L'analyse à profondeur finie isole quatre forces façonnant la distribution de déroulement sous l'hypothèse d'un « noyau d'attention stochastiquement monotone » :

   • Masquage causal : Induit une dérive de primauté (la masse se déplace vers les positions antérieures).
   • Connexions résiduelles : Induisent une dérive de récence (la masse se déplace vers les positions récentes) en préservant les chemins identité.
   • Encodages de position : Les biais favorisant les clés récentes (par exemple, ALiBi) s'accumulent pour induire une dérive de récence.
   • Contributions de contenu : Modélisées comme un fond constant plus un terme d'auto-attention diagonal, elles modulent la dérive (un contenu diagonal positif augmente la récence ; un contenu négatif augmente la primauté).

4. Analyse à profondeur infinie : Les auteurs étendent l'analyse à la limite de profondeur infinie, établissant une dichotomie basée sur la sommabilité des coefficients de mélange $\sum \lambda_t$.

Contributions clés

1. Déroulement d'attention conscient des résidus

L'article introduit une formulation qui modélise explicitement les connexions résiduelles comme des chemins identité persistants. Cela aligne le modèle de propagation avec les architectures Transformer modernes, dépassant l'hypothèse restrictive de « l'attention uniquement ».

2. Origine structurelle du biais de position

Les auteurs prouvent que l'architecture Transformer à elle seule induit des profils d'influence larges, souvent en forme de U. L'interaction entre le masquage causal (primauté) et les connexions résiduelles (récence) crée une priorité structurelle où les tokens précoces et récents reçoivent une influence accrue par rapport aux positions intermédiaires. Cela fournit une explication théorique au phénomène « perdu au milieu » même en l'absence de contenu sémantique.

3. Résolution de la divergence de l'effondrement de l'attention

L'article résout le décalage entre les travaux de Wu et al. [2025] et la réalité empirique. Il démontre que l'effondrement de l'attention n'est pas inévitable sous le seul masquage causal. Au lieu de cela, l'effondrement dépend de la force cumulative de mélange d'attention ($\sum \lambda_t$) :

• Mélange total fini ($\sum \lambda_t < \infty$) : L'attention ne s'effondre pas sur le premier token ; les entrées diagonales de la matrice de déroulement restent strictement positives.
• Mélange total infini ($\sum \lambda_t = \infty$) : L'effondrement se produit et la masse d'attention se concentre sur le premier token.

4. Validation empirique

La théorie est validée par rapport à l'influence mesurée des tokens d'entrée dans des modèles de langage pré-entraînés (BLOOM, MPT, Falcon).

• Déroulement contrôlé : Les simulations montrent que le déroulement « attention uniquement » s'effondre sur le premier token, tandis que le déroulement « conscient des résidus » produit le profil en forme de U observé.
• Correspondance quantitative : Les profils d'influence prédits par le modèle conscient des résidus correspondent étroitement aux distributions estimées empiriquement (mesurées via l'attribution basée sur le gradient), avec des distances de Wasserstein significativement plus faibles que celles des modèles à attention uniquement.

Résultats

• Profondeur finie : La combinaison du masquage causal et des connexions résiduelles produit un profil d'influence en forme de U. Ce profil est robuste à travers différents modèles et ensembles de données.
• Profondeur infinie : L'analyse théorique prouve que les connexions résiduelles modifient fondamentalement les dynamiques d'attention profonde. L'effondrement est conditionnel à l'accumulation de la force de mélange, et non pas seulement à la présence d'un masquage causal.
• Alignement empirique :
  • Dans des modèles comme bloom-176b et mpt-7b, le déroulement théorique (sans contenu) reproduit la structure dominante en forme de U de l'influence mesurée.
  • L'ajout d'une abstraction de contenu grossière (constante + diagonale) affine davantage l'ajustement, déplaçant la masse vers les positions récentes et s'alignant étroitement sur les données empiriques.
  • La variante « attention uniquement » échoue à reproduire les profils empiriques, confirmant la nécessité de modéliser les résidus.

Importance et affirmations

L'article prétend fournir un cadre fidèle à l'architecture pour comprendre le biais de position. Son importance principale réside dans :

1. Le pont entre théorie et pratique : Il résout le problème ouvert identifié par Wu et al. [2025] en montrant que les connexions résiduelles empêchent l'effondrement inévitable prédit par les théories d'attention uniquement.
2. L'explication du « perdu au milieu » : Il établit que le profil d'influence en forme de U (et donc l'effet LiM) découle d'une priorité structurelle inhérente à l'architecture Transformer, plutôt que uniquement de dynamiques sémantiques ou d'entraînement.
3. Puissance prédictive : La théorie prédit avec précision la forme des distributions d'influence dans les modèles pré-entraînés en utilisant uniquement des paramètres architecturaux (masquage, résidus, biais d'encodage de position) et des coefficients de mélange mesurés, sans nécessiter l'accès à des données d'entraînement spécifiques ou à la sémantique des tokens.

Les auteurs maintiennent un périmètre modeste, caractérisant leur travail comme décrivant des priors architecturaux dans la propagation de l'information plutôt que l'apprentissage de représentations de bout en bout. Ils notent que, bien que le prior en forme de U sous-tende probablement le phénomène de performance de tâche « perdu au milieu », boucler la boucle sur la dégradation spécifique des tâches de type récupération est laissé pour des travaux futurs.