🤖 machine learning

The Routing and Filtering Structure of Attention

Ce papier propose une attention $S$ - $D$ , une paramétrisation stable qui dissocie les composantes de routage et de filtrage de l'attention pour révéler une cascade spectrale dépendante de la profondeur, permettant une compression significative des modèles et une linéarisation des couches initiales avec une perte minimale de perplexité.

Auteurs originaux : Shafayeth Jamil, Rehan Kapadia

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shafayeth Jamil, Rehan Kapadia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Transformer (le cerveau IA derrière des modèles comme GPT) comme un immense immeuble de bureaux animé comptant 12 étages. Chaque étage dispose du même nombre de travailleurs, de la même surface de bureau et de la même quantité de paperasse à traiter. Les architectes de ces immeubles ont toujours supposé que chaque étage devait être également complexe, ils les construisent donc tous de la même manière.

Ce papier soutient que cette hypothèse est erronée. Il s'avère que les « travailleurs » (le mécanisme d'attention) accomplissent en réalité deux tâches très différentes, mais qu'ils ont été contraints de partager le même bureau, rendant impossible de distinguer qui fait quoi.

Voici le détail de ce que les auteurs ont découvert, en utilisant des analogies simples.

1. Les Deux Tâches : Le « Agent de Circulation » et le « Filtre »

Dans un modèle d'IA standard, chaque fois qu'il examine une phrase, il calcule une gigantesque grille de scores. Les auteurs ont réalisé que cette grille est en fait un mélange désordonné de deux tâches distinctes :

L'Agent de Circulation (Routage) : Cette tâche concerne la direction. Elle décide : « Le jeton A doit envoyer des informations au jeton B, mais pas l'inverse ». C'est comme une rue à sens unique. Il déplace les informations sans en modifier le volume.
Le Filtre (Filtrage) : Cette tâche concerne la pertinence. Elle décide : « Le jeton A et le jeton B sont très similaires, alors renforçons leur connexion », ou « Ils sont sans rapport, alors ignorons-les ». C'est comme un bouton de volume qui monte ou descend les signaux.

Le Problème : Dans les modèles standards, ces deux tâches sont emmêlées dans une seule et même grande matrice désordonnée. Le travail de « Filtre » est si bruyant et dominant qu'il étouffe l'« Agent de Circulation ». Parce qu'ils sont mélangés, l'IA gaspille une énorme quantité d'énergie à tenter de construire un système complexe d'« Agent de Circulation » qu'elle utilise à peine.

2. L'Expérience : Démêler le Nœud

Pour voir ce qui se passait réellement, les auteurs ont construit un nouveau type d'attention appelé Attention S–D. Imaginez cela comme la construction d'un nouvel immeuble où l'« Agent de Circulation » et le « Filtre » disposent de bureaux séparés et dédiés.

L'Agent de Circulation (S) : Conçu pour être parfaitement équilibré (mathématiquement « antisymétrique »). Il ne peut que déplacer des informations, jamais en créer ou en détruire.
Le Filtre (D) : Conçu comme une simple liste de « boutons de volume » (matrice diagonale). Il ne fait qu'augmenter ou diminuer l'échelle des choses.

En les séparant, ils ont pu observer comment l'IA s'organisait elle-même, sans le bruit du « Filtre » dominant tout.

3. La Découverte : La « Cascade Spectrale »

Lorsqu'ils ont laissé l'IA s'organiser de cette nouvelle manière séparée, un motif magnifique a émergé, qu'ils appellent une Cascade Spectrale.

Imaginez à nouveau les 12 étages de l'immeuble.

Les Étages Inférieurs (Couches 0–5) : Ces étages sont incroyablement simples. Ils n'ont besoin que de deux directions d'« Agent de Circulation » pour faire leur travail. C'est comme un couloir simple où tout le monde se déplace simplement vers la gauche ou vers la droite. Ils n'ont pas besoin d'un système de circulation complexe.
Les Étages Intermédiaires : La complexité augmente lentement.
Les Étages Supérieurs (Couches 10–11) : Ce sont les seuls étages qui ont besoin d'un système de circulation massif et complexe avec de nombreuses directions.

La Grande Révélation : Dans les modèles standards, l'IA construisait un « système de circulation complexe » (de rang élevé) sur les étages inférieurs où il n'était pas nécessaire. Elle sur-équipait les parties simples. Lorsqu'ils ont séparé les tâches, l'IA s'est naturellement organisée : simple en bas, complexe en haut.

4. La « Chirurgie » : Couper le Gras

Parce qu'ils pouvaient désormais voir exactement combien de complexité chaque étage nécessitait, ils ont pratiqué une « chirurgie » sur les modèles :

Linéarisation du Bas : Ils ont remplacé le mécanisme d'attention complexe sur les 7 premiers étages par un astucieux calcul linéaire très simple et peu coûteux (comme utiliser une ligne droite au lieu d'une courbe).
- Résultat : Les performances du modèle ont à peine baissé (moins de 5 % de moins).
- Modèle Standard : Si vous essayiez cela sur un modèle normal, il s'effondrerait immédiatement. Le modèle normal comptait sur cette complexité même là où elle n'était pas nécessaire.
L'Inversion : Dans les modèles normaux, si vous essayez de simplifier le « Filtre » (les boutons de volume), le modèle se brise. Mais dans leur nouveau modèle séparé, simplifier le « Filtre » à un seul nombre par tête n'a presque aucun effet négatif. L'« Agent de Circulation » était le véritable moteur de travail.

5. Le Nouveau Plan

Les auteurs ont utilisé cette carte de « Cascade Spectrale » pour redessiner l'architecture de l'IA. Au lieu de donner à chaque étage la même puissance, ils ont construit un modèle personnalisé :

Étages inférieurs : Minuscules, étroits et simples.
Étages supérieurs : Largos et complexes.

Le Résultat : Ils ont créé un modèle qui est 47 % à 65 % plus petit en termes de paramètres d'attention, mais qui fonctionne presque aussi bien que les modèles géants et uniformes. Ils ont essentiellement réalisé que les étages inférieurs portaient de lourdes valises dont ils n'avaient pas besoin, et ils ont jeté ces valises.

Résumé

Le papier affirme que les modèles d'IA actuels sont inefficaces car ils traitent chaque couche du cerveau comme si elle devait être également complexe. En séparant le « déplacement » des informations du « filtrage » des informations, ils ont découvert que les premières couches sont en réalité très simples.

En construisant des modèles qui correspondent à cette structure naturelle « du simple au complexe », ils peuvent rendre les modèles d'IA significativement plus petits et moins chers à exécuter sans perdre beaucoup d'intelligence. C'est comme réaliser que vous n'avez pas besoin d'un moteur de Ferrari pour aller faire des courses à l'épicerie ; vous n'en avez besoin que sur l'autoroute.

Résumé technique : La structure de routage et de filtrage de l'attention

Énoncé du problème

Les architectures Transformer standard allouent les ressources d'attention de manière uniforme sur toutes les couches, attribuant des dimensions de tête identiques et une complexité computationnelle ( $O(N^2)$ ) à chaque couche, indépendamment de la fonction spécifique que cette couche remplit. Cette uniformité persiste car il n'existe aucune mesure principielle pour guider une allocation non uniforme. Les architectures hybrides récentes (par exemple, Nemotron-H, Jamba, Griffin) tentent de résoudre ce problème par des balayages extensifs d'hyperparamètres afin de trouver des ratios optimaux entre couches quadratiques et linéaires, mais ces ratios sont spécifiques à l'échelle et manquent de transférabilité.

Le problème central identifié est que la matrice d'interaction d'attention $QK^\top$ entremêle deux fonctions computationnelles distinctes au sein d'une seule matrice non contrainte :

Routage : Une composante antisymétrique qui dirige le flux d'information entre les positions (transport conservatif).
Filtrage : Une composante symétrique qui ajuste la pertinence mutuelle entre les tokens (contrôle du gain).

Dans l'attention standard, ces fonctions se concurrencent pour la même capacité matricielle. L'analyse empirique de 1 776 têtes à travers cinq modèles préentraînés (variantes de GPT-2, BERT-base, Pythia-410M) révèle que le filtrage domine le budget spectral, tandis que le routage opère à un rang faible bien en dessous de la capacité allouée par le noyau de poids. De plus, toutes les têtes d'attention standard se révèlent dynamiquement instables (présentant des valeurs propres avec des parties réelles positives), dépendant fortement de la normalisation de couche (LN) pour contenir cette instabilité, ce qui obscurcit la véritable structure spectrale du mécanisme de routage.

Méthodologie

Pour démêler ces fonctions et révéler la structure spectrale sous-jacente, les auteurs introduisent l'attention S–D, une paramétrisation diagnostique qui sépare le routage et le filtrage par construction :

Routage ( $S$ ) : Modélisé comme une matrice antisymétrique apprise ( $S = -S^\top$ ). Cela garantit que les valeurs propres sont purement imaginaires, représentant un transport d'information conservatif et à somme nulle (rotation entre modes).
Filtrage ( $D$ ) : Modélisé comme une matrice diagonale positive apprise ( $D = \text{diag}(d_1, \dots, d_N)$ ). Cela représente un filtrage dissipatif où chaque token possède un coefficient d'amortissement scalaire.

La matrice d'interaction est définie comme $L = S - D$ . Les auteurs démontrent que pour toute matrice antisymétrique réelle $S$ et toute matrice diagonale semi-définie positive $D$ , la partie réelle de chaque valeur propre satisfait $\text{Re}(\lambda) \le 0$ . Cela garantit la stabilité architecturale sans besoin de normalisation de couche.

Les auteurs entraînent des modèles S–D à diverses échelles (de 7M à 355M paramètres) sur OpenWebText, incluant des configurations avec et sans normalisation de couche, afin d'observer comment le routage s'auto-organise lorsqu'il n'est pas contraint par l'entrelacement ou par l'uniformisation induite par la normalisation.

Principaux résultats et conclusions

1. La cascade spectrale

Lorsque le routage et le filtrage sont démêlés et que la normalisation est supprimée, le routage s'auto-organise en une cascade spectrale (une hiérarchie de rangs) à travers la profondeur :

Couche 0 : Converge vers un rang effectif de 2 (un seul plan de rotation pour la redistribution large de l'information).
Couches intermédiaires : Maintiennent un plateau de faible rang (rang effectif $\approx 2$ –$3$).
Couches terminales : S'étendent vers des rangs supérieurs (jusqu'à 10+ plans de rotation indépendants), le rang final étant déterminé par la dimension de la tête plutôt que par la profondeur.
Invariance d'échelle : Ce motif de cascade ascendante s'applique à toutes les échelles testées (de 7M à 355M). À mesure que la taille du modèle augmente, la fraction de couches opérant au rang spectral minimum croît (de 33 % à 18M paramètres à 92 % à 355M).

2. Effondrement du filtrage

Dans l'architecture S–D démêlée, la composante de filtrage s'effondre en un seul scalaire par tête. Tronquer la composante de filtrage pour la réduire à un scalaire moyen par tête entraîne un coût de perplexité négligeable (+0,3 PPL), alors que la suppression totale du routage provoque un échec catastrophique. Cela contraste avec l'attention standard, où le filtrage domine et le routage est de faible rang.

3. Chirurgie spectrale actionnable

La cascade spectrale permet une simplification « chirurgicale » de l'architecture :

Linéarisation : Les sept premières couches d'un modèle S–D de 125M peuvent être linéarisées (remplacées par une attention linéaire causale ELU+1) avec une dégradation de perplexité inférieure à 5 %. En revanche, l'attention standard s'effondre sous la même intervention dès la couche 3.
Réallocation des paramètres : En ajustant les dimensions de tête ( $d_{head}$ ) au rang spectral mesuré (par exemple, $d_{head}=8$ pour les premières couches, $d_{head}=64$ pour les couches terminales), les auteurs ont réduit les paramètres d'attention de 47 à 65 % avec une augmentation de perplexité de seulement +3,9 % à +8,4 %.
Inversion : L'article démontre une inversion structurelle : dans l'attention standard, la troncation du filtrage est prohibitive et celle du routage est peu coûteuse ; dans S–D, la troncation du routage est prohibitive et celle du filtrage est gratuite.

Importance et affirmations

L'article affirme que sa contribution principale est la mesure, et non l'architecture elle-même. L'importance réside dans le fait de rendre le « budget spectral » de l'attention lisible et actionnable :

Diagnostic : La paramétrisation S–D sert d'outil diagnostique pour mesurer la véritable capacité de routage requise à chaque couche, révélant que l'attention standard alloue une capacité excessive aux couches de faible rang.
Orientation pour les architectures hybrides : La cascade spectrale fournit une métrique continue et mesurable pour déterminer quelles couches nécessitent une attention quadratique complète et lesquelles peuvent être remplacées par des mécanismes linéaires ou de faible rang. Cela fait passer la conception d'architectures hybrides de la « recherche » (balayage de ratios) à la « mesure » (prescription basée sur le rang).
Réévaluation de l'attention linéaire : Les résultats suggèrent que l'échec historique de l'attention linéaire simple (par exemple, ELU+1) était dû à une mauvaise allocation (son application à des couches de haut rang) plutôt qu'à des limites de capacité intrinsèques. L'article montre que l'attention linéaire fonctionne efficacement dans le « plateau » de faible rang identifié par la cascade.

Les auteurs concluent que la cascade spectrale est la solution naturelle de l'optimiseur lorsque l'entrelacement et la normalisation sont supprimés, et que cette structure peut guider la construction d'architectures Transformer plus efficaces et non uniformes.