🤖 machine learning

Journey Operators for Structured Multi-Axis Composition

Dit artikel introduceert een theoretisch kader voor gestructureerde multi-as data-compositie met behulp van "journey operators" die Rotary Position Embeddings generaliseren naar content-adaptieve settings, stelt commutativiteit vast als de voorwaarde voor padonafhankelijkheid, en stelt het JoFormer-model voor om deze inductieve biases te benutten voor verbeterde prestaties in visie-, taal- en lengte-generalisatietaken.

Oorspronkelijke auteurs: Mahesh Godavarti

Gepubliceerd 2026-07-30

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mahesh Godavarti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, magische bibliotheek probeert te bouwen waar elk boek precies weet waar het op de plank thuishoort. In de wereld van kunstmatige intelligentie, specifiek de soort die zinnen leest of naar plaatjes kijkt, zijn de "boeken" stukjes data zoals woorden of pixels. Lange tijd waren computers erg goed in het begrijpen van wat deze stukjes zijn (de inhoud), maar hadden ze wat moeite met het begrijpen van waar ze zich ten opzichte van elkaar bevinden. Dit wordt "positional encoding" genoemd. Denk aan dit als een GPS voor data: zonder het weet een computer misschien dat "hond" en "man" in een zin staan, maar weet hij niet of de hond de man beet of de man de hond beet.

Om dit op te lossen, gebruiken wetenschappers wiskunde om elk stukje data een kleine, onzichtbare "rotatie" te geven op basis van zijn positie. Stel je voor dat je een kompasnaald een klein beetje laat draaien voor elke stap die je naar rechts zet, en een andere draai voor elke stap die je naar beneden zet. Als je eerst naar rechts en dan naar beneden beweegt, zou de naald in dezelfde positie moeten eindigen als wanneer je eerst naar beneden en dan naar rechts beweegt. Dit idee van bewegen door de ruimte en het bijhouden van de richting, vormt de basis van het papier dat we nu gaan verkennen. Het stelt een eenvoudige maar diepe vraag: Kunnen we deze "draaiingen" zo laten samenwerken dat de computer de structuur van de wereld begrijpt, of het nu een lijn tekst, een raster van pixels of een 3D-volume is?

De Reis van de Data

Dit artikel, getiteld "Journey Operators for Structured Multi-Axis Composition", introduceert een nieuwe manier om te denken over hoe data beweegt en mengt binnen een AI. De auteurs, onder leiding van Mahesh Godavarti, stellen een raamwerk voor waarin elk stukje data niet alleen zijn inhoud draagt (zoals het woord "kat" of een rode pixel), maar ook een kleine "transformatie" of "rotatie" voor elke richting waarin het kan bewegen.

Laten we een speelse analogie gebruiken: Stel je voor dat elk datapunt een reiziger is met een rugzak. In een standaard AI-model bevat de rugzak alleen de spullen van de reiziger. Maar in dit nieuwe raamwerk draagt elke reiziger ook een speciaal "kompas" voor elke richting waarin hij kan lopen (omhoog, omlaag, links, rechts). Wanneer twee reizigers elkaar ontmoeten om hun verhalen te combineren (wat een AI doet wanneer hij data verwerkt), gebruikt de eerste reiziger zijn kompas om de rugzak van de tweede reiziger te roteren voordat ze samensmelten. Deze rotatie verandert hoe het verhaal van de tweede reiziger wordt verteld, afhankelijk van waar de eerste reiziger staat.

Het papier noemt dit proces een "journey" (reis). Als je wilt weten hoe een stukje data op punt A zich verhoudt tot een stukje data op punt B, bereken je de "journey operator"—de totale rotatie die je zou krijgen als je van A naar B loopt.

De Grote Ontdekking: De "Platte" versus de "Gebogen" Wereld

Het meest opwindende deel van het artikel is de ontdekking van een regel die bepaalt of deze reizen zinvol zijn. De auteurs ontdekten dat voor de AI om te begrijpen dat "naar rechts bewegen en dan omlaag" hetzelfde is als "omlaag bewegen en dan naar rechts" (een eigenschap genaamd path independence of padonafhankelijkheid), de kompassen (de rotaties) moeten commuten.

In wiskundige termen betekent "commuten" dat de volgorde van operaties er niet toe doet. Als je een vel papier 90 graden naar rechts draait en daarna 90 graden omlaag, krijg je een ander resultaat dan wanneer je eerst omlaag draait en dan naar rechts—tenzij je rotaties speciaal zijn. Het artikel bewijst dat als de rotaties "plat" zijn (wat betekent dat ze op aparte, niet-interfererende delen van de data werken, zoals de X-as en de Y-as onafhankelijk van elkaar draaien), de reis consistent is. Maar als de rotaties "gebogen" zijn (ze interfereren met elkaar), hangt de reis af van het exacte pad dat je hebt genomen, wat de AI in verwarring kan brengen.

Het artikel suggereert dat de beste manier om deze AI-modellen te bouwen is door vast te houden aan het "platte" regime. Dit verklaart waarom bestaande methoden zoals RoPE (Rotary Position Embedding) zo goed werken: ze gebruiken van nature deze commuterende, platte rotaties. Het artikel laat zien dat als je meer complexe, "gebogen" rotaties probeert te gebruiken (zoals dichte, verstrengelde rotaties), je het vermogen verliest om een consistente oriëntatie te hebben, en de positionele structuur instort.

Het Nieuwe Model: JoFormer

Op basis van deze theorie ontwierpen de auteurs een nieuw model genaamd JoFormer (Journey-based Transformer). De belangrijkste innovatie hier is dat JoFormer deze rotaties niet alleen gebruikt om de AI te helpen beoordelen hoeveel aandacht één woord aan een ander moet besteden (wat oudere modellen deden); het gebruikt de rotaties ook om de daadwerkelijke data (de "values") te transformeren (te draaien) voordat deze gecombineerd worden.

Denk er zo over na: In een oud model zou de AI kunnen zeggen: "Ik ben geïnteresseerd in het woord 'hond' omdat het dicht bij 'blaffen' staat." In JoFormer zegt de AI: "Ik ben geïnteresseerd in het woord 'hond', en ik ga ook de betekenis van 'hond' draaien op basis van hoe ver het van mij verwijderd is, zodat het perfect in mijn huidige zin past."

Het artikel test JoFormer op drie verschillende soorten taken:

Visie (Afbeeldingen): Ze hebben het getest op CIFAR-100 en ImageNet. De resultaten suggereren dat het toevoegen van deze "value rotation" (het draaien van de data) de AI helpt beter te zien. Bijvoorbeeld, op CIFAR-100 verbeterde een specifieke versie van JoFormer de nauwkeurigheid met ongeveer 2% vergeleken met standaardmethoden. Op ImageNet zag het een kleinere maar consistente winst van 0,40%.
Taal (Tekst): Ze hebben het getest op een Wikipedia-taalmodel. De resultaten suggereren dat het nieuwe model (specifiek de "geprojecteerde" versie waarbij de rotaties afhangen van de inhoud van de tekst) beter in staat is om het volgende woord te voorspellen, waarbij het een lagere "perplexity" (een maatstaf voor hoe verrast het model is) bereikte dan de standaardmodellen.
Lengte-generalisatie: Dit is een interessante test. Ze trainden het model op korte zinnen (512 woorden) en vroegen het om veel langere teksten te lezen (tot 4096 woorden). Standaardmodellen raakten erg in de war en hun prestaties stortten in. JoFormer kon de lange tekst echter veel beter aan, waarbij de prestaties slechts licht daalden (een ratio van 1,02x) vergeleken met het standaardmodel, dat significant daalde (6,29x).

Wat het Papier Niet Beweert

Het is belangrijk om duidelijk te zijn over wat dit artikel niet beweert. De auteurs zijn zeer voorzichtig en zeggen dat deze resultaten "single-seed sanity checks" zijn. Dit betekent dat ze de experimenten één keer hebben uitgevoerd met een specifiek willekeurig startpunt om te zien of het idee in principe werkt, niet om te beweren dat ze de absoluut beste AI ter wereld hebben gebouwd. Ze geven toe dat hun resultaten nog geen "state-of-the-art" benchmark-claims zijn.

Ze sluiten ook bepaalde ideeën uit. Ze bewijzen bijvoorbeeld dat als je een volledig, complex rotatiesysteem (de volledige orthogonale groep $O(d)$ ) probeert te gebruiken in plaats van de eenvoudigere, platte rotaties, de AI al zijn gevoel voor positie verliest. Het is alsoals navigeren door een stad waar elk verkeersbord in een andere, verwarrende richting wijst; het model geeft simpelweg op om te weten waar de dingen zijn.

De Kernboodschap

In eenvoudige bewoordingen stelt dit artikel dat het geheim om AI structuren te laten begrijpen niet alleen ligt in het toevoegen van meer data of grotere computers; het gaat erom de data een consistente, wiskundige "kompas" te geven die op dezelfde manier werkt, ongeacht de richting waarin je draait. Door ervoor te zorgen dat deze kompassen niet met elkaar in strijd zijn (commuterend), en door ze te gebruiken om de data daadwerkelijk te draaien terwijl deze door het netwerk beweegt, hebben de auteurs een model (JoFormer) gecreëerd dat suggereert dat er een robuustere manier is voor AI om met afbeeldingen, tekst en lange sequenties om te gaan.

Hoewel het artikel niet beweert alles te hebben opgelost, biedt het een sterke theoretische kaart die laat zien waarom bepaalde methoden werken en biedt het een nieuwe, veelbelovende weg voorwaarts voor het bouwen van slimmere, meer gestructureerde AI-systemen. De experimenten suggereren dat deze aanpak echte, observeerbare voordelen biedt, vooral bij het werken met lange inputs of complexe visuele patronen, maar de reis om het volledige potentieel ervan te begrijpen is pas net begonnen.

Technische Samenvatting: Journey Operators voor Gestructureerde Multi-Axiale Compositie

Probleemstelling

Huidige machine learning-architecturen hebben moeite met het modelleren van data met structuur langs meerdere assen (bijv. sequenties, afbeeldingen, bomen, volumetrische data) op een manier die aansluit bij vectorgebaseerde leermechanismen. Hoewel 1D-compositionele structuren gemodelleerd kunnen worden met niet-commutatieve semigroepen of vrije groepen, bestaat er geen breed geaccepteerd algebraïsch kader voor 2D of multidimensionale compositie. Bestaande algebraïsche systemen schieten vaak tekort in het ondersteunen van de specifieke behoeften van moderne architecturen zoals Transformers, met name wat betreft de wijze waarop data componeert en hoe relatieve posities over onafhankelijke assen worden beschreven.

Er bestaat een kritieke spanning: standaard aandachtmechanismen aggregeren waarden zonder niet-commutatieve compositie, waardoor de structurele context van hoe datapunten zich langs verschillende assen tot elkaar verhouden, effectief wordt weggegooid. Bovelijk, terwijl Rotary Position Embedding (RoPE) succesvol relatieve 1D-posities modelleert, vereist het uitbreiden hiervan naar multidimensionale data een principieel algebraïsch kader dat waarborgt dat pad-onafhankelijkheid (d.w.z. het componeren van "rechts dan beneden" levert hetzelfde resultaat als "beneden dan rechts") wordt ondersteund en dat content-adaptieve inductieve biases ondersteunt.

Methodologie: Het Algebraïsch Kader

Het artikel introduceert een compositioneel kader waarbij elk datapunt zowel content ( $v \in \mathbb{R}^d$ ) als een set as-stap generatoren ( $R_1, \dots, R_D \in G \le O(d)$ ) met zich draagt, waarbij $G$ een groep is van normbehoudende orthogonale transformaties.

Kernoperatie

In 1D is de compositie van twee datapunten $(a, A)$ en $(b, B)$ gedefinieerd als:
$(a, A) \circ (b, B) := (a + Ab, AB)$
Hier is de content van de composiet de som van de content van het eerste punt en de geroteerde content van het tweede punt in het kader van het eerste. De as-stap generator van de composiet is het product $AB$. Deze operatie is associatief maar niet-commutatief.

In $D$ -dimensies draagt elk datapunt één generator per as. Compositie langs een specifieke as $k$ past de generator van die as toe om de content van het tweede punt te roteren en cumuleert de generator voor die as, terwijl andere assen ongewijzigd blijven.

De Journey Operator

Een "journey" (reis) wordt gedefinieerd als het pad dat twee posities verbindt. De journey operator $P_{j \to k}$ is het product van de as-stap generatoren langs het pad van positie $j$ naar $k$ .

Pad-onafhankelijkheid: Het artikel bewijst dat compositie en beweging over assen pad-onafhankelijk zijn (d.w.z. het resultaat hangt alleen af van de verplaatsing, niet van de volgorde van de assen) indien en slechts indien de per-as as-stap generatoren commuteren ( $R_i R_j = R_j R_i$ ).
Platte vs. Gekromde Regimes: Wanneer generatoren commuteren, opereert het kader in een "plat" regime waar de journey operator een zuivere functie is van verplaatsing ( $P_{j \to k} = R^{k-j}$ ). Wanneer zij niet commuteren, is het regime "gekromd", en zijn relatieve transformaties afhankelijk van de absolute positie.

Theoretische Classificatie

Onder specifieke axioma's (bilineariteit, torale frame-invariantie, cocycle compositionaliteit en normbehoud), classificeert het artikel alle compatibele aandachtmechanismen. Het bewijst dat het enige compatibele mechanisme een blokdiagonaal $SO(2)^{d/2}$ rotatie is. Dit resultaat verklaart waarom RoPE en varianten daarvan natuurlijk voortkomen als speciale gevallen. Omgekeerd, als de volledige orthogonale groep $O(d)$ wordt aangenomen, stort de positionele structuur volledig in.

JoFormer Architectuur

Gemotiveerd door deze bevindingen, stellen de auteurs JoFormer (Journey-based Transformer) voor, die de journey operator integreert in het aandachtmechanisme:

Score-zijde: Roteert queries en keys door hun respectieve absolute operatoren ( $A_i q_i, A_j k_j$ ) te gebruiken vóór het berekenen van de aandachtscores.
Waarde-zijde: Past de journey operator toe op de waarden vóór aggregatie: $c_k = \sum_j \alpha_{kj} P_{j \to k} v_j$ . Dit brengt compositionele structuur naar de waarde-zijde, die standaard aandacht mist.

Het artikel presenteert drie varianten:

JoFormer-fixed: Gebruikt lineaire frequenties in positie (standaard RoPE-frequenties) met rotatie van waarden.
JoFormer-learned: Gebruikt geleerde frequentievectoren per laag.
JoFormer-projected: Berekent hoeken vanuit de residual stream content via een MLP, wat een data-afhankelijke journey operator creëert.

Belangrijkste Bijdragen

Compositioneel Kader: Een verenigd algebraïsch kader waarbij datapunten zowel content als as-stap generatoren dragen, waarbij compositie wordt gedefinieerd als een enkele associatieve operatie die natuurlijk uitbreidt van 1D naar $D$ -dimensies.
Theoretische Resultaten:
- Bewijs dat pad-onafhankelijke compositie امر de as-stap generatoren vereist die commuteren.
- Classificatie die aantoont dat onder natuurlijke symmetrie-restricties het enige compatibele mechanisme een blokdiagonaal $SO(2)^{d/2}$ rotatie is, waarmee RoPE als een speciaal geval wordt teruggevonden.
- Bewijs dat in het platte regime, waarde-transport via de journey operator translationeel equivariant is.
- Demonstratie dat de Discrete Fourier Transformatie (DFT) een speciaal geval is van deze compositionele embedding.
JoFormer Architectuur: Een nieuw modelontwerp dat de journey operator toepast op waarden, waardoor aandacht, State-Space Models (SSMs) en JoFormer onder één "waarde-pad formule" worden verenigd.
Waarde-Pad Hiërarchie: Een theoretische brug die laat zien dat SSM-recurrences uitrollen naar dezelfde waarde-pad formule als aandacht, wat de structurele verschillen tussen deze families verheldert.

Experimentele Resultaten

De auteurs voerden single-seed sanity checks uit op visuele, taal en lengte-generalisatie taken om de hypothesen van het kader te testen:

Visie (CIFAR-100 & ImageNet):
- Op CIFAR-100 leidde het toepassen van Waarde (V) rotatie (het roteren van waarden en het invers-roteren van de output) consistent tot verbeterde nauwkeurigheid over verschillende modelgroottes en frequentietypes. De synergie tussen V-rotatie en leerbare frequenties leverde een winst op van +1,88% ten opzichte van standaard 2D-RoPE.
- Op ImageNet-1K (ViT-S) bereikte JoFormer met V-rotatie een +0,40% Top-1 nauwkeurigheid verbetering over RoPE2D.
- Experimenten bevestigden de "platte regime" hypothese: dichte (gekromde) rotaties (LieRE) presteerden slechter dan axiale (commuterende) rotaties.
Taalmodellering (Wikipedia):
- JoFormer-projected (content-afhankelijke hoeken) bereikte de laagste perplexiteit van alle geteste configuraties vergeleken met RoFormer en de fixed/learned JoFormer varianten.
Lengte-generalisatie:
- JoFormer-projected demonstreerde superieure extrapolatiecapaciteiten. Wanneer getraind op sequentielengte 512 en getest op 4096, bereikte het een perplexiteitsratio van 1,02x, wat significant beter is dan RoPE (6,29x) en JoFormer-fixed (4,41x). Dit sugggeert dat data-afhankelijke hoeken cruciaal zijn voor lengte-generalisatie, naast louter V-rotatie.

Betekenis en Claims

Het artikel claimt een fundamenteel algebraïsch kader te bieden dat de spanning tussen multi-axiale compositionele structuur en vectorgebaseerd leren oplost. De betekenis ligt in:

Theoretische Unificatie: Het legt uit waarom RoPE-achtige methoden natuurlijke uitkomsten zijn van specifieke symmetrie-restricties en biedt een gemeenschappelijke notatie voor aandacht, SSMs en JoFormer.
Inductieve Bias: Het identificeert een ontbrekende structurele bias in standaard aandacht: het gebrek aan niet-commutatieve compositie aan de waarde-zijde. JoFormer vult dit gat.
Praktisch Nut: Initiële experimenten suggereren dat deze inductieve biases (met name V-rotatie en content-afhankelijke hoeken) observeerbare verbeteringen opleveren in visie-taken en lengte-generalisatie.

De auteurs blijven bescheiden en merken op dat hun experimenten single-seed sanity checks zijn en geen definitieve benchmark-claims, maar dat het kader primair dient als een principieel ontwerpregel voor positionele mechanismen. Ze stellen expliciet dat hoewel de theorie de architectuur motiveert, het niet bewijst dat de specifieke varianten (zoals JoFormer-projected) altijd beter zullen presteren dan baselines, maar dat ze wel consistent zijn met de afgeleide waarde-pad hiërarchie.