💬 NLP

PaTH Attention: Position Encoding via Accumulating Householder Transformations

Cet article introduit PaTH, un schéma de codage de position flexible et dépendant des données basé sur des transformations de Householder accumulées, qui surpasse le codage de position rotatif (RoPE) standard dans les tâches de modélisation du langage tout en offrant un entraînement parallèle efficace et la capacité de convertir des modèles RoPE préentraînés.

Auteurs originaux : Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim

Publié 2026-02-05

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La mémoire « aveugle »

Imaginez un grand modèle de langage (comme celui à qui vous parlez) comme un bibliothécaire très intelligent qui lit un livre très long pour répondre à vos questions. Pour comprendre l'histoire, le bibliothécaire doit savoir non seulement quels sont les mots, mais aussi où ils apparaissent dans le livre.

Les modèles actuels utilisent un système appelé RoPE (Rotary Position Encoding) pour se souvenir des positions des mots. Voyez RoPE comme une règle fixe et pré-imprimée.

Si vous déplacez un mot de la page 1 à la page 2, la règle le décale d'un montant prédéfini.
La faille : Cette règle est « aveugle » au contenu. Elle traite le mot « pomme » et le mot « fusée » exactement de la même manière, simplement parce qu'ils sont au même endroit. Elle ne se soucie pas de savoir si l'histoire parle d'un fruit ou d'un vaisseau spatial. À cause de cela, le bibliothécaire se perd parfois lorsque l'histoire nécessite une logique complexe, étape par étape (comme suivre la propriété d'un objet dans une longue liste).

La solution : PaTH (La règle « intelligente »)

Les auteurs introduisent PaTH, une nouvelle façon de se souvenir des positions. Au lieu d'une règle fixe, PaTH est comme une règle dynamique et changeante qui modifie sa forme en fonction de l'histoire qu'elle lit.

Comment ça marche : À mesure que le bibliothécaire lit chaque mot, PaTH applique une « torsion » mathématique spéciale (appelée transformation de Householder) à la mémoire des mots précédents.
L'analogie : Imaginez que vous marchez dans un couloir rempli de miroirs.
- RoPE : Les miroirs sont fixes. Peu importe ce que vous portez, votre reflet semble identique.
- PaTH : Les miroirs sont intelligents. Si vous portez un chapeau rouge, le miroir tord votre reflet d'une certaine façon. Si vous portez un chapeau bleu, il le tord d'une autre façon. La « torsion » dépend du contenu réel (le chapeau) que vous tenez.

Cela permet au modèle de construire un « chemin » de mémoire qui s'adapte aux données spécifiques qu'il traite, ce qui le rend bien meilleur pour résoudre des énigmes qui nécessitent de suivre des états (comme se souvenir de la valeur d'une variable dans un code informatique).

Le tour de magie : Le faire rapidement

Habituellement, créer une règle qui change de forme pour chaque mot serait incroyablement lent et coûteux en termes de calcul. Ce serait comme essayer de recalculer l'angle de tous les miroirs du couloir à chaque fois que vous faites un pas.

La deuxième contribution majeure du papier est un algorithme d'accélération (similaire à ce qu'on appelle FlashAttention).

L'analogie : Au lieu de recalculer tout le couloir à chaque fois, les auteurs ont trouvé un raccourci astucieux. Ils ont réalisé que si l'on regroupe les miroirs en petits blocs, on peut calculer la « torsion » pour tout le bloc d'un coup en utilisant une formule mathématique compacte.
Le résultat : Ils ont construit un système qui fonctionne presque aussi vite que l'ancien système de règle fixe (RoPE), tout en conservant les avantages du nouveau système « intelligent et changeant ».

Qu'ont-ils prouvé ?

Les auteurs ont testé ce nouveau système de deux manières :

Puzzles synthétiques (Les « roues de soutien ») :
Ils ont donné au modèle des jeux de logique simples, comme un jeu de « Flip-Flop » où il doit se souvenir de la dernière fois qu'un interrupteur a été actionné, ou un jeu de « Problème de mots » impliquant des règles mathématiques complexes.
- Résultat : Les anciens modèles (RoPE) échouaient souvent à ces puzzles, car ils étaient confus par la séquence. Le nouveau modèle PaTH les résout presque parfaitement, même avec moins de couches de « cerveau » que les autres.
Tâches de langage réelles :
Ils ont entraîné des modèles sur du texte réel (livres, code, conversations).
- Résultat : Les modèles PaTH étaient meilleurs pour comprendre les contextes longs (lire de très longs livres sans oublier le début) et plus performants sur les tâches de raisonnement, particulièrement en codage et en mathématiques.
- Bonus : Ils ont montré que l'on peut prendre un modèle existant entraîné avec l'ancienne « règle fixe » (RoPE) et le convertir pour utiliser la « règle intelligente » (PaTH) avec un peu d'entraînement supplémentaire, sans repartir de zéro.

L'essentiel à retenir

PaTH est une nouvelle façon pour l'IA de se souvenir de l'ordre des mots. Au lieu d'utiliser un système rigide et universel, elle utilise un système flexible qui change en fonction des mots eux-mêmes. Les auteurs ont trouvé comment rendre ce système flexible assez rapide pour être pratique, ce qui donne des modèles d'IA meilleurs en logique, en suivi d'informations sur de longues distances et en compréhension de séquences complexes.

Résumé Technique : PaTH Attention

1. Énoncé du Problème

Le mécanisme d'attention est fondamental pour les modèles de langage de grande taille (LLM) modernes, pourtant il est intrinsèquement invariant par permutation. Pour modéliser des domaines structurés comme le langage, un encodage de position est nécessaire. Bien que l'encodage de position rotatif (RoPE) soit devenu le standard de facto, il possède une limitation critique : la transformation appliquée aux clés et aux requêtes est indépendante des données. Dans RoPE, l'interaction entre deux jetons dépend uniquement de leur distance relative, et non du contenu des jetons eux-mêmes.

Cette indépendance vis-à-vis des données restreint l'expressivité des transformeurs basés sur RoPE. L'analyse théorique indique que les modèles basés sur RoPE restent dans la classe de complexité $TC^0$ (équivalente aux transformeurs ordinaires avec des encodages de position absolus), ce qui limite leur capacité à résoudre des tâches nécessitant un raisonnement séquentiel ou un suivi d'état (par exemple, la modélisation de langage de type flip-flop, les problèmes de suivi d'état). Par conséquent, ces modèles peinent face à des tâches synthétiques exigeant une adaptation dynamique aux séquences d'entrée.

2. Méthodologie : PaTH Attention

Les auteurs proposent PaTH (Position Encoding via Accumulating Householder Transformations), un schéma d'encodage de position flexible et dépendant des données.

Mécanisme Central

Contra�à RoPE, qui applique une matrice de rotation fixe, PaTH calcule les logits d'attention en utilisant un produit cumulé de transformations de type Householder dépendantes des données le long du chemin entre les positions de la requête et de la clé.

Formulation du Logit d'Attention : Le score d'attention entre une requête $q_i$ et une clé $k_j$ est défini par :
$A_{ij} \propto \exp\left(k_j^\top \left(\prod_{s=j+1}^{i} H_s\right) q_i\right)$
Matrice de Transition Dépendante des Données ( $H_s$ ) : Chaque matrice $H_s$ dans la séquence est une matrice de type Householder, composée d'une identité plus un rang un :
$H_s = I - \beta_s w_s w_s^\top$
Ici, $w_s$ et $\beta_s$ sont des fonctions du jeton d'entrée $x_s$ . Plus précisément, $\beta_s = 2 \times \text{sigmoid}(u^\top x_s + b)$ , ce qui permet à la matrice de transition d'avoir des valeurs propres négatives, un élément crucial pour la performance du suivi d'état.

Expressivité Théorique

L'article établit que PaTH étend les capacités théoriques des transformeurs.

Classe de Complexité : Un transformeur PaTH à une couche avec deux têtes de l'attention peut résoudre un problème complet de $NC^1$ sous des réductions $AC^0$ . Cela démontre que PaTH peut briser la barrière $TC^0$ qui contraint les modèles basés sur RoPE.
Relation avec les RNN Linéaires : Il est démontré que PaTH est étroitement lié aux RNN linéaires expressifs (comme DeltaNet), héritant de leur capacité à suivre des états tout en conservant les avantages de l'association par rappel (associative recall) de l'attention softmax.

Extensions : PaTH-FoX

Les auteurs démontrent que PaTH est compatible avec d'autres modifications de l'attention. Ils proposent PaTH-FoX, qui combine l'encodage de position multiplicatif de PaTH avec les portes d'oubli additives et dépendantes des données du Forgetting Transformer (FoX). Cette approche hybride améliore davantage les performances, particulièrement pour l'extrapolation de longueur.

3. Entraînement et Inférence Efficaces

Un défi majeur de PaTH est de calculer efficacement le produit cumulé des matrices de Householder sans matérialiser la matrice d'attention complète de taille $L \times L$ .

Représentation de la Transformation UT : Les auteurs utilisent la transformation UT pour représenter de manière compacte le produit des matrices de Householder. Un produit de $L$ transformations peut être exprimé comme $P = I - W^\top T^{-1} W$ , où $W$ contient les vecteurs $w_s$ et $T$ est une matrice triangulaire dérivée des valeurs $\beta$ .
Algorithme de type FlashAttention : Pour permettre un entraînement efficace sur matériel, les auteurs développent un algorithme par blocs :
- Ils pré-calculent des matrices de requêtes et de clés "ajustées aux limites" pour chaque bloc.
- Ils utilisent un balayage de droite à gauche (right-to-left scan) sur les blocs de clés/valeurs pour accumuler les produits de Householder cumulés de manière séquentielle (streaming).
- Cette approche maintient l'efficacité d'E/S de FlashAttention (opérant dans la mémoire SRAM) tout en incorporant un encodage de position dynamique.
Inférence : Pour l'inférence, les clés historiques sont mises à jour sur place en utilisant la matrice de transition de l'étape temporelle actuelle, éliminant ainsi le besoin d'un cache séparé de vecteurs de transformation. Cela permet une compatibilité avec les noyaux d'inférence existants comme FlashDecoding.

4. Résultats Expérimentaux

Benchmarks Synthétiques

PaTH a été évalué sur des tâches conçues pour sonder le raisonnement séquentiel et le suivi d'état :

Modélisation de Langage Flip-Flop (FFLM) : Les modèles basés sur PaTH (1 couche, 2 têtes) ont atteint une précision quasi parfaite sur cette tâche, alors que les modèles basés sur RoPE ont rencontré des difficultés significatives.
Problèmes de Mots ( $A_5$ Group) : PaTH a résolu des problèmes de mots complets de $NC^1$ avec moins de couches que les modèles de référence (RoPE, SBA, FoX).
Multi-query Repeated Associative Recall (MQRAR-N) : PaTH a réussi à suivre les valeurs des variables pour un rappel $N$ -back ( $N < 4$ ), surpassant les bases récentes qui échouaient à suivre l'historique ordonné.

Modélisation de Langage (760M Paramètres)

Les expériences ont été menées sur le corpus Fineweb-Edu (50B tokens) :

Benchmarks Standards : PaTH surpasse systématiquement RoPE et FoX sur les tâches de raisonnement de bon sens en zero-shot (LAMBADA, PIQA, HellaSwag, etc.) et obtient une perplexité plus faible sur Wikitext.
Extrapolation de Longueur : Les modèles entraînés sur un contexte de 4K se sont bien généralisés à des séquences plus longues.
- RoPE : Échec brutal au-delà de 4K.
- PaTH : Maintient des performances stables jusqu'à 32K.
- PaTH-FoX : Se généralise de manière robuste jusqu'à 64K tokens, montrant une force particulière dans la génération de code (CodeParot) où le suivi d'état est critique.
Benchmarks de Long Contexte : Sur RULER, BABILONG et PhoneBook, PaTH-FoX a obtenu les scores de récupération et de suivi d'état les plus élevés, surpassant nettement RoPE et FoX dans les tâches de type Multi-Needle-In-A-Haystack et de suivi de variables.

Conversion de Modèles

Les auteurs ont exploré la conversion de modèles RoPE pré-entraînés vers PaTH :

SmolLM2-1.7B : Convertir un modèle avant qu'il ne soit exposé à des données de haute qualité en mathématiques/code, puis poursuivre le pré-entraînement, a permis à PaTH de surpasser le modèle RoPE original sur les benchmarks de mathématiques (GSM-8K) et de codage (HumanEval, MBPP).
Qwen2.5-7B : La distillation à partir d'un modèle RoPE déjà sur-entraîné a donné des résultats mitigés, avec certains gains de performance mais aussi une dégradation sur certains benchmarks, suggérant que la conversion est plus efficace avant que le modèle ne s'« ossifie ».

5. Signification et Revendications

L'article affirme que PaTH répond aux limitations théoriques et empiriques des schémas d'encodage de position actuels en introduisant des transformations multiplicatives dépendantes des données.

Expressivité : Il fournit un moyen fondé pour déplacer les transformeurs au-delà de la classe de complexité $TC^0$ , leur permettant de résoudre des problèmes complets de $NC^1$ .
Praticité : Grâce à la transformation UT et aux algorithmes par blocs, PaTH atteint une efficacité comparable aux mécanismes d'attention standard, ce qui le rend viable pour l'entraînement à grande échelle.
Suivi d'État : La nature dépendante des données des transformations de Householder permet au modèle de s'adapter dynamiquement aux séquences d'entrée, résolvant des tâches de suivi d'état qui sont impossibles pour les modèles basés sur RoPE.

6. Limitations

Les auteurs reconnaissent plusieurs nuances :

Stabilité Numérique : L'entraînement peut être sensible à la précision ; spécifiquement, le BF16 peut causer de l'instabilité dans le produit cumulé, nécessissant l'écrêtage (clipping) du facteur d'échelle $\beta$ .
Surcoût de Calcul : Bien qu'efficace, des dimensions de tête plus grandes augmentent la charge de calcul et de mémoire des calculs de produit de Householder par rapport à l'attention standard.
Biais Géométriques : PaTH ne modélise pas nativement les rotations (car les matrices de Householder sont des réflexions). Cela peut limiter certains biais inductifs géométriques présents dans RoPE, tels qu'une dépendance structurée à la position relative, bien que les auteurs suggèrent que des travaux futurs pourraient approximer les rotations via des compositions de réflexions.