Résumé Technique : Attention de Kuramoto

Problématique et Motivation

Les mécanismes d'auto-attention standards sont conventionnellement décrits comme des systèmes de recherche basés sur le contenu où les requêtes (queries) et les clés (keys) génèrent des poids softmax pour moyenner les valeurs (values). Bien qu'efficaces, l'interprétation géométrique de ce processus est souvent abstraite. Des travaux récents ont analysé l'attention standard comme un système de particules en interaction qui se regroupe de manière asymptotique, tandis que d'autres modèles (par exemple, AKOrN) ont tenté d'intégrer la dynamique des oscillateurs de Kuramoto dans l'attention par conception.

Cet article comble l'écart entre l'auto-attention et la synchronisation de phase en proposant une couche où l'état caché est explicitement défini par des phases. L'objectif est de construire une couche d'auto-attention où la mise à jour de la valeur n'est pas simplement une approximation de la synchronisation, mais est mathématiquement identique au terme de couplage de Kuramoto à chaque étape. Les auteurs visent à démontrer qu'une structure géométrique contrainte, spécifiquement une structure vivant sur un tore, peut fonctionner comme un modèle de langage viable comparable aux transformers standards.

Méthodologie : Attention de Kuramoto

La couche proposée modélise l'état caché de chaque jeton (token) comme un vecteur de phases $\theta \in \mathbb{R}^k / (2\pi\mathbb{Z})^k$, représentant une banque de $k$ oscillateurs unitaires. La couche opère à travers trois étapes principales :

1. Similitude de Phase à Porte (Le Score)

Les jetons sont intégrés (embedded) sous forme de phases apprises. La mesure de similitude entre un jeton requête $t$ et un jeton clé $u$ est calculée à l'aide d'un noyau cosinus à porte :
$$s_{t,u} = \frac{\tau}{\sqrt{k}} \sum_{j} g^q_{t,j} g^k_{u,j} \cos(\theta_{t,j} - \theta_{u,j} + \omega_j(t-u))$$

• Portes (Gates) : Les portes de requête positive ($g^q$) et de clé ($g^k$) sont dérivées des caractéristiques de phase via une activation softplus et une normalisation par la moyenne. Ces portes agissent comme une métrique apprise, dépendante de la position, sur le tore.
• Position Rotative : Les plongements rotatifs (rotary embeddings) interviennent comme une dérive de phase $\omega_j(t-u)$, où $\omega_j$ sont des taux appris par coordonnée. Cette dérive fonctionne comme les « fréquences naturelles » dans le modèle de Kuramoto.
• Attention : Les poids $A_{t,u}$ sont obtenus via un softmax sur les scores avec masquage causal.

2. Mise à jour de Valeur par Moyenne Circulaire (L'étape de Kuramoto)

Contra�à l'attention standard où les valeurs sont des projections apprises, les valeurs sont ici les états de phase bruts eux-mêmes. Le mécanisme de mise à jour calcule la moyenne circulaire pondérée par l'attention des phases attendues :
$$G_{t,j} = \sum_{u \le t} A_{t,u} e^{i\theta_{u,j}}$$
L'incrément de mise à jour est la composante tangente de ce vecteur résultant à la phase actuelle $\theta_{t,j}$ :
$$a_{t,j} = -\sin(\theta_{t,j}) \text{Re}(G_{t,j}) + \cos(\theta_{t,j}) \text{Im}(G_{t,j})$$
Cet incrément est mis à l'échelle par une porte de valeur signée et apprise par coordonnée $v(\theta_t)$ et borné par une fonction d'adaptation de norme pour garantir que l'état reste sur le tore.

• Identité Clé : Les auteurs prouvent que cet incrément de mise à jour spécifique est exactement le terme de couplage de Kuramoto $\sum_u A_{t,u} \sin(\theta_{u,j} - \theta_{t,j})$. La matrice softmax agit comme le noyau de couplage adaptatif dépendant du contenu.

3. Bloc Feed-Forward

Un bloc feed-forward SwiGLU fournit un second incrément borné pour relocaliser l'état entre les couches. C'est la seule composante qui n'est pas « nativement géométrique » au sens strict, car elle opère sur les angles bruts plutôt que sur le lever (lift) $(\cos, \sin)$, brisant ainsi la périodicité. Elle sert de mécanisme de mélange additif pour les valeurs d'intégration (embeddings).

4. Lecture (Readout)

Les logits sont générés en mesurant l'alignement de phase entre l'état caché et les phases prototypes apprises pour chaque élément du vocabulaire.

Contributions Clés

L'article présente six contributions spécifiques :

1. Une nouvelle couche d'attention : Introduction de l'attention de Kuramoto, une couche d'auto-attention avec des états cachés de phase sur un tore, utilisant les phases brutes comme valeurs plutôt que des projections apprises.
2. L'identité de Kuramoto : Preuve que la mise à jour de la valeur est exactement le terme de couplage de Kuramoto à chaque étape, la matrice softmax servant de noyau de couplage.
3. Unification de la sélection et de la synchronisation : Démonstration que les poids softmax résolvent un problème de récupération de phase régularisé par l'entropie. La couche sélectionne d'abord un ensemble souple de voisins (via la métrique apprise) puis se synchronise avec eux (via le gradient de l'énergie de cohérence).
4. Position Rotative comme Dérive de Phase : Interprétation des plongements rotatifs comme des dérives de phase dépendantes de la position qui agissent comme des fréquences naturelles dans le modèle de Kuramoto.
5. Chemin de Valeur Multiplicatif : Un écart par rapport à l'attention standard où les valeurs se mélangent de manière additive. Ici, les valeurs se mélangent de manière multiplicative via des portes et des bornes, le mélange additif étant réservé au bloc feed-forward.
6. Validation Empirique : Démonstration que cette structure géométrique contrainte fonctionne comme un modèle de langage sur la tâche de modélisation de caractères en niveau de caractère enwiki8.

Résultats Expérimentaux

Les auteurs ont évalué le modèle sur la tâche de modélisation de langage par caractère enwiki8 à deux échelles : 1 million et 5 millions de paramètres, en le comparant à une base de référence transformer RoPE+SwiGLU équivalente.

• 1 Million de Paramètres : Le modèle d'attention de Kuramoto a atteint un BPC (Bits-Per-Character) de validation de $1.637 \pm 0.010$, contre $1.616 \pm 0.004$ pour le transformer. La différence est de l'ordre de 0.02 BPC.
• 5 Millions de Paramètres : Le modèle de Kuramoto a atteint un BPC médian de validation de 1.448, égalant le médian du transformer de 1.452. Cependant, le transformer l'emporte sur la moyenne (1.456 contre 1.468), principalement à cause d'un germe (seed) aberrant dans l'exécution de Kuramoto qui a convergé plus lentement.
• Ablations :
  • Remplacer la mise à jour de la moyenne circulaire par une projection de valeur apprise (brisant l'identité de Kuramoto) augmente le BPC de +0.25.
  • Supprimer le bloc feed-forward (la composante de mélange additif) augmente le BPC de +0.27.
  • Supprimer les portes de métrique augmente le BPC de +0.09.
  • Ces résultats isolent les composants « porteurs » : la moyenne sur la variété et les portes de métrique sont critiques, tout comme le bloc feed-forward additif.

Observations de la Dynamique :

• Cohérence Locale vs Globale : Le paramètre d'ordre local (cohérence avec les voisins attendus) reste proche de 1, indiquant une synchronisation serrée avec les jetons sélectionnés. Le paramètre d'ordre global (cohérence à travers tous les jetons) diminue avec la profondeur, montrant que le modèle se synchronise localement sans s'effondrer globalement.
• Tendances de Fréquence : Les fréquences naturelles apprises ($\omega_j$) présentent une tendance de la fréquence vers l'échelle de temps : les premières couches ont des fréquences plus élevées (couplage à courte portée), tandis que les couches ultérieures ont des fréquences plus basses (couplage à longue portée).

Signification et Revendications

L'article affirme que la structure elle-même et sa lecture de synchronisation sont les principales contributions. Les auteurs soutiennent que :

• La structure géométrique contrainte est un modèle de langage viable à une échelle non triviale (jusqu'à 5M de paramètres), performant de manière compétitive avec les transformers standards.
• Il existe un pont compact entre l'auto-attention et la synchronisation de phase. La couche ne nécessite pas de machinerie d'oscillateur ajoutée ; la synchronisation est inhérente à la mise à jour de la valeur.
• Le mécanisme unifie la sélection et la synchronisation en une seule cohérence : la métrique sélectionne les voisins, et la mise à jour se synchronise avec eux.
• L'approche se généralise conceptuellement à tout groupe compact (par exemple, les groupes non abéliens comme $SO(3)$ ou les groupes unitaires), le tore étant le cas abélien où des solutions à forme close existent.

Les auteurs restent modestes quant aux limites, notant que l'identité est exacte pour cette couche de phase spécifique (contra-irement à l'attention standard qui n'est que de synchronisation asymptotique), que le modèle suit actuellement légèrement le transformer à plus petite échelle, et qu'il n'offre aucun avantage de vitesse. Le travail établit la faisabilité de l'approche, laissant l'instanciation des cas non abéliens et la transformation du bloc feed-forward en un composant entièrement natif à la géométrie comme directions futures.