Imaginez que vous essayez de construire une bibliothèque géante et magique où chaque livre sait exactement où il doit se trouver sur l'étagère. Dans le monde de l'intelligence artificielle, plus précisément celle qui lit des phrases ou regarde des images, les « livres » sont des morceaux de données comme des mots ou des pixels. Pendant longtemps, les ordinateurs ont été très doués pour comprendre ce que sont ces morceaux (le contenu), mais ils ont un peu eu du mal à comprendre où ils se trouvent les uns par rapport aux autres. C'est ce qu'on appelle l'« encodage positionnel ». Considérez cela comme un GPS pour les données : sans lui, l'ordinateur pourrait savoir que « chien » et « homme » sont dans une phrase, mais il ne saurait pas si le chien a mordu l'homme ou si l'homme a mordu le chien.

Pour résoudre cela, les scientifiques utilisent les mathématiques pour donner à chaque morceau de donnée une minuscule « rotation » invisible basée sur sa position. Imaginez faire tourner légèrement l'aiguille d'une boussole pour chaque pas que vous faites vers la droite, et une rotation différente pour chaque pas que vous faites vers le bas. Si vous vous déplacez vers la droite puis vers le bas, l'aiguille devrait finir au même endroit que si vous aviez d'abord bougé vers le bas, puis vers la droite. Cette idée de se déplacer dans l'espace tout en gardant une trace de la direction est le fondement de l'article que nous allons explorer. Il pose une question simple mais profonde : pouvons-nous faire en sorte que ces « rotations » fonctionnent parfaitement ensemble afin que l'ordinateur comprenne la structure du monde, qu'il s'agisse d'une ligne de texte, d'une grille de pixels ou d'un volume 3D ?

Le voyage des données

Cet article, intitulé « Journey Operators for Structured Multi-Axis Composition », introduit une nouvelle façon de concevoir la manière dont les données se déplacent et se mélangent à l'intérieur d'une IA. Les auteurs, dirigés par Mahesh Godavarti, proposent un cadre où chaque morceau de donnée porte non seulement son contenu (comme le mot « chat » ou un pixel rouge), mais aussi une minuscule « transformation » ou « rotation » pour chaque direction dans laquelle il peut se déplacer.

Utilisons une analogie ludique : imaginez que chaque point de donnée est un voyageur portant un sac à dos. Dans un modèle d'IA standard, le sac à dos contient simplement les affaires du voyageur. Mais dans ce nouveau cadre, chaque voyageur porte également une « boussole » spéciale pour chaque direction dans laquelle il peut marcher (haut, bas, gauche, droite). Lorsque deux voyageurs se rencontent pour combiner leurs histoires (ce que fait une IA lorsqu'elle traite des données), le premier voyageur utilise sa boussole pour faire pivoter le sac à dos du second avant qu'ils ne fusionnent. Cette rotation change la façon dont l'histoire du second voyageur est racontée, selon l'endroit où se trouve le premier voyageur.

L'article appelle ce processus un « voyage » (journey). Si vous voulez savoir comment une donnée au point A est liée à une donnée au point B, vous calculez l'« opérateur de voyage » — la rotation totale que vous obtiendriez en marchant de A vers B.

La grande découverte : le monde « plat » vs le monde « courbe »

La partie la plus excitante de l'article est la découverte d'une règle qui détermine si ces voyages font sens. Les auteurs ont découvert que pour que l'IA comprenne que « se déplacer vers la droite puis vers le bas » est la même chose que « se déplacer vers le bas puis vers la droite » (une propriété appelée indépendance vis-à-vis du chemin ou path independence), les boussoles (les rotations) doivent commuter.

En langage mathématique, « commuter » signifie que l'ordre des opérations n'importe pas. Si vous faites pivoter une feuille de papier de 90 degrés vers la droite, puis de 90 degrés vers le bas, vous obtenez un résultat différent de si vous avez d'abord pivoté vers le bas, puis vers la droite — à moins que vos rotations ne soient spéciales. L'article prouve que si les rotations sont « plates » (c'est-à-dire qu'elles agissent sur des parties distinctes et non interférantes des données, comme faire pivoter l'axe X et l'axe Y indépendamment), le voyage est cohérent. Mais si les rotations sont « courbes » (elles interfèrent entre elles), le voyage dépend du chemin exact emprunté, ce qui peut confondre l'IA.

L'article suggère que la meilleure façon de construire ces modèles d'IA est de rester dans le régime « plat ». Cela explique pourquoi les méthodes existantes comme RoPE (Rotary Position Embedding) fonctionnent si bien : elles utilisent naturellement des rotations plates et commutatives. L'article démontre que si vous essayez d'utiliser des rotations plus complexes et « courbes » (des rotations denses et entremêlées), vous perdez la capacité d'avoir un sens de la direction cohérent, et la structure positionnelle s'effondre.

Le nouveau modèle : JoFormer

Sur la base de cette théorie, les auteurs ont conçu un nouveau modèle appelé JoFormer (Journey-based Transformer). L'innovation clé ici est que JoFormer ne se contente pas d'utiliser ces rotations pour aider l'IA à évaluer (scorer) l'attention qu'un mot doit porter à un autre (ce que faisaient les anciens modèles) ; il utilise également les rotations pour transformer les données réelles (les « valeurs ») avant qu'elles ne soient combinées.

Pensez-y de cette manière : dans un ancien modèle, l'IA pourrait dire : « Je m'intéresse au mot 'chien' parce qu'il est proche de 'aboyer'. » Dans JoFormer, l'IA dit : « Je m'intéresse au mot 'chien', et je vais aussi faire pivoter la signification de 'chien' en fonction de la distance qui me sépare de lui, afin qu'elle s'intègre parfaitement dans ma phrase actuelle. »

L'article teste JoFormer sur trois types de tâches différentes :

1. Vision (Images) : Ils l'ont testé sur CIFAR-100 et ImageNet. Les résultats suggèrent que l'ajout de cette « rotation de valeur » (faire pivoter les données) aide le modèle à mieux voir. Par exemple, sur CIFAR-100, une version spécifique de JoFormer a amélioré la précision d'environ 2 % par rapport aux méthodes standard. Sur ImageNet, il a obtenu un gain plus faible mais constant de 0,40 %.
2. Langage (Texte) : Ils l'ont testé sur un modèle de langage Wikipedia. Les résultats suggèrent que le nouveau modèle (plus précisément la version « projetée » où les rotations dépendent du contenu du texte) a appris à prédire le mot suivant avec une meilleure efficacité, atteignant une « perplexité » plus faible (une mesure de la surprise du modèle) que les modèles standards.
3. Généralisation de la longueur : C'est un test intéressant. Ils ont entraîné le modèle sur des phrases courtes (512 mots) et lui ont demandé de lire des textes beaucoup plus longs (jusqu'à 4096 mots). Les modèles standards sont devenus très confus et leurs performances se sont effondrées. JoFormer, cependant, a beaucoup mieux géré les textes longs, sa performance ne chutant que légèrement (un ratio de 1,02x) par rapport au modèle standard qui a chuté de manière significative (6,29x).

Ce que l'article ne prétend pas faire

Il est important d'être clair sur ce que cet article ne prétend pas faire. Les auteurs sont très prudents en précisant que ces résultats sont des « vérifications de cohérence à graine unique » (single-seed sanity checks). Cela signifie qu'ils ont mené les expériences une seule fois avec un point de départ aléatoire spécifique pour voir si l'idée fonctionne en principe, et non pour prétendre avoir construit le meilleur IA du monde. Ils admettent que leurs résultats ne sont pas encore des affirmations de type « état de l'art » (state-of-the-art).

Ils écartent également certaines idées. Par exemple, ils prouvent que si vous essayez d'utiliser un système de rotation complet et complexe (le groupe orthogonal complet $O(d)$) au lieu des rotations plus simples et plates, l'IA perd tout sens de la position. C'est comme essayer de naviguer dans une ville où chaque panneau de signalisation pointe dans une direction différente et déroutante ; le modèle abandonne simplement toute notion de localisation.

À retenir

En termes simples, cet article soutient que le secret pour faire comprendre la structure à l'IA ne réside pas seulement dans l'ajout de plus de données ou de plus gros ordinateurs, mais dans le fait de donner aux données une « boussole » mathématique cohérente qui fonctionne de la même manière, peu importe la direction vers laquelle on tourne. En s'assurant que ces boussoles ne s'affrontent pas (en commutant) et en les utilisant pour réellement faire pivoter les données lorsqu'elles circulent dans le réseau, les auteurs ont créé un modèle (JoFormer) qui suggère une voie plus robuste pour que l'IA gère les images, le texte et les séquences longues.

Bien que l'article ne prétende pas avoir tout résolu, il fournit une carte théorique solide montrant pourquoi certaines méthodes fonctionnent et offre une nouvelle voie prometteuse pour construire des systèmes d'IA plus intelligents et plus structurés. Les expériences suggèrent que cette approche présente des bénéfices réels et observables, en particulier lors de la manipulation d'entrées longues ou de motifs visuels complexes, mais le voyage pour comprendre pleinement son potentiel ne fait que commencer.