Stellen Sie sich vor, Sie versuchen, eine riesige, magische Bibliothek zu bauen, in der jedes Buch genau weiß, wo es im Regal hingehört. In der Welt der künstlichen Intelligenz, speziell der Art, die Sätze liest oder Bilder betrachtet, sind die „Bücher“ Datenteile wie Wörter oder Pixel. Lange Zeit waren Computer sehr gut darin zu verstehen, was diese Teile sind (der Inhalt), aber sie hatten etwas Schwierigkeiten damit, zu verstehen, wo sie im Verhältnis zueinander stehen. Dies wird als „Positionskodierung“ (Positional Encoding) bezeichnet. Stellen Sie es sich wie ein GPS für Daten vor: Ohne dieses GPS weiß der Computer zwar, dass „Hund“ und „Mann“ in einem Satz vorkommen, aber er wüsste nicht, ob der Hund den Mann gebissen hat oder der Mann den Hund.

Um dies zu lösen, nutzen Wissenschaftler Mathematik, um jedem Datenteil eine winzige, unsichtbare „Rotation“ basierend auf seinem Standort zu geben. Stellen Sie sich vor, Sie drehen eine Kompassnadel ein Stück weit für jeden Schritt, den Sie nach rechts machen, und eine andere Drehung für jeden Schritt, den Sie nach unten machen. Wenn Sie sich erst nach rechts und dann nach unten bewegen, sollte die Nadel am Ende in derslich Position stehen wie, wenn Sie sich erst nach unten und dann nach rechts bewegt hätten. Diese Idee, sich durch den Raum zu bewegen und dabei die Richtung im Blick zu behalten, ist das Fundament der Arbeit, die wir uns gleich ansehen werden. Sie stellt eine einfache, aber tiefgründige Frage: Können wir diese „Drehungen“ so perfekt aufeinander abstimmen, dass der Computer die Struktur der Welt versteht, egal ob es sich um eine Textzeile, ein Pixelgitter oder ein 3D-Volumen handelt?

Die Reise der Daten

Diese Arbeit mit dem Titel „Journey Operators for Structured Multi-Axis Composition“ führt eine neue Art und Weise ein, wie Daten innerhalb einer KI bewegt und gemischt werden. Die Autoren, angeführt von Mahesh Godavarti, schlagen ein Framework vor, bei dem jedes Datenteil nicht nur seinen Inhalt (wie das Wort „Katze“ oder einen roten Pixel) trägt, sondern auch eine winzige „Transformation“ oder „Rotation“ für jede Richtung, in die es sich bewegen kann.

Nutzen wir eine spielerische Analogie: Stellen Sie sich vor, jeder Datenpunkt ist ein Reisender, der einen Rucksack trägt. In einem Standard-KI-Modell enthält der Rucksack einfach nur die Sachen des Reisenden. Aber in diesem neuen Framework trägt jeder Reisende zusätzlich einen speziellen „Kompass“ für jede Richtung, in die er gehen kann (oben, unten, links, rechts). Wenn zwei Reisende aufeinandertreffen, um ihre Geschichten zu kombinieren (was eine KI tut, wenn sie Daten verarbeitet), nutzt der erste Reisende seinen Kompass, um den Rucksack des zweiten Reisenden zu rotieren, bevor sie verschmelzen. Diese Rotation verändert die Art und Weise, wie die Geschichte des zweiten Reisenden erzählt wird, abhängig davon, wo der erste Reisende steht.

Die Arbeit nennt diesen Prozess eine „Reise“ (Journey). Wenn Sie wissen wollen, wie ein Datenteil an Punkt A mit einem Datenteil an Punkt B zusammenhängt, berechnen Sie den „Journey Operator“ – die gesamte Rotation, die Sie beim Weg von A nach B erfahren würden.

Die große Entdeckung: Die „flache“ vs. die „gekrümmte“ Welt

Der spannendste Teil der Arbeit ist die Entdeckung einer Regel, die bestimmt, ob diese Reisen Sinn ergeben. Die Autoren fanden heraus, dass für die KI das Verständnis, dass „rechts gehen und dann runter gehen“ dasselbe ist wie „runter gehen und dann rechts gehen“ (eine Eigenschaft namens Pfadunabhängigkeit), voraussetzt, dass die Kompasse (die Rotationen) kommutieren.

In der mathematischen Fachsprache bedeutet „Kommutieren“, dass die Reihenfolge der Operationen keine Rolle spielt. Wenn Sie ein Blatt Papier erst um 90 Grad nach rechts und dann um 90 Grad nach unten drehen, erhalten Sie ein anderes Ergebnis, als wenn Sie erst nach unten und dann nach rechts drehen – es sei denn, Ihre Rotationen sind besonders. Die Arbeit beweist, dass die Reise konsistent ist, wenn die Rotationen „flach“ sind (das heißt, sie wirken auf separaten, sich nicht gegenseitig beeinflussenden Teilen der Daten, wie etwa die Rotation der X-Achse und der Y-Achse unabhängig voneinander). Aber wenn die Rotationen „gekrümmt“ sind (sie beeinflussen sich gegenseitig), hängt die Reise vom exakten Pfad ab, den man genommen hat, was die KI verwirren kann.

Die Arbeit legt nahe, dass der beste Weg, diese KI-Modelle zu bauen, darin besteht, sich an das „flache“ Regime zu halten. Dies erklärt, warum bestehende Methoden wie RoPE (Rotary Position Embedding) so gut funktionieren: Sie nutzen natürlich diese kommutierenden, flachen Rotationen. Die Arbeit zeigt, dass, wenn man versucht, komplexere, „gekrümmte“ Rotationen (wie dichte, verschlungene Rotationen) zu verwenden, man die Fähigkeit verliert, ein konsistentes Gefühl für die Richtung zu haben, und die Positionsstruktur kollabiert.

Das neue Modell: JoFormer

Basierend auf dieser Theorie entwarfen die Autoren ein neues Modell namens JoFormer (Journey-based Transformer). Die zentrale Innovation hierbei ist, dass JoFormer diese Rotationen nicht nur verwendet, um der KI zu helfen zu bewerten, wie sehr ein Wort einem anderen aufmerksam sein sollte (was ältere Modelle taten), sondern sie auch nutzt, um die tatsächlichen Daten (die „Values“) zu transformieren, bevor sie kombiniert werden.

Denken Sie es sich so vor: In einem alten Modell könnte die KI sagen: „Ich interessiere mich für das Wort ‚Hund‘, weil es in der Nähe von ‚bellen‘ steht.“ In JoFormer sagt die KI: „Ich interessiere mich für das Wort ‚Hund‘, und ich werde auch die Bedeutung von ‚Hund‘ basierend darauf drehen, wie weit er von mir entfernt ist, damit er perfekt in meinen aktuellen Satz passt.“

Die Arbeit testet JoFormer bei drei verschiedenen Arten von Aufgaben:

1. Vision (Bilder): Sie testeten es auf CIFAR-100 und ImageNet. Die Ergebnisse deuten darauf hin, dass das Hinzufügen dieser „Value-Rotation“ (das Drehen der Daten) dem Modell hilft, besser zu sehen. Beispielsweise verbesserte eine spezifische Version von JoFormer auf CIFAR-100 die Genauigkeit um etwa 2 % im Vergleich zu Standardmethoden. Auf ImageNet war der Gewinn kleiner, aber konsistent (0,40 %).
2. Sprache (Text): Sie testeten es auf einem Wikipedia-Sprachmodell. Die Ergebnisse legen nahe, dass das neue Modell (speziell die „projizierte“ Version, bei der die Rotationen von den Inhalten des Textes abhängen) besser darin wurde, das nächste Wort vorherzusagen, indem es eine geringere „Perplexity“ (ein Maß dafür, wie überrascht das Modell ist) als die Standardmodelle erreichte.
3. Längengeneralisierung: Dies ist ein spannender Test. Sie trainierten das Modell auf kurzen Sätzen (512 Wörter) und ließen es dann viel längere Texte (bis zu 4096 Wörter) lesen. Standardmodelle wurden sehr verwirrt und ihre Leistung brach ein. JoFormer hingegen bewältigte den langen Text viel besser, wobei seine Leistung nur leicht sank (ein Verhältnis von 1,02x) im Vergleich zum Standardmodell, dessen Leistung deutlich stärker abfiel (6,29x).

Was die Arbeit nicht behauptet

Es ist wichtig, klarzustellen, was diese Arbeit nicht beansprucht. Die Autoren sind sehr vorsichtig und sagen, dass diese Ergebnisse „Single-Seed Sanity Checks“ sind. Das bedeutet, sie haben die Experimente einmal mit einem spezifischen Zufallspunkt durchgeführt, um zu sehen, ob die Idee im Prinzip funktioniert, und nicht, um zu behaupten, sie hätten das absolut beste KI-Modell der Welt gebaut. Sie geben zu, dass ihre Ergebnisse noch keine „State-of-the-Art“-Benchmark-Ansprüche erheben.

Sie schließen auch bestimmte Ideen aus. So beweisen sie beispielsweise, dass, wenn man versucht, ein volles, komplexes Rotationssystem (die volle orthogonale Gruppe $O(d)$) anstelle der einfacheren, flachen Rotationen zu verwenden, die KI jegliches Gefühl für die Position verliert. Es ist, als würde man versuchen, durch eine Stadt zu navigieren, in der jedes Straßenschild in eine andere, verwirrende Richtung zeigt; das Modell gibt dann einfach auf, zu wissen, wo die Dinge sind.

Das Fazit

Vereinfacht ausgedrückt argumentiert diese Arbeit, dass das Geheimnis, KI ein Verständnis für Strukturen zu vermitteln, nicht nur darin besteht, mehr Daten hinzuzufügen oder größere Computer zu nutzen; es geht darum, den Daten einen konsistenten, mathematischen „Kompass“ zu geben, der auf die gleiche Weise funktioniert, egal in welche Richtung man sich dreht. Indem sie sicherstellen, dass diese Kompasse nicht gegeneinander arbeiten (kommutieren) und indem sie diese nutzen, um die Daten während ihrer Bewegung durch das Netzwerk tatsächlich zu drehen, haben die Autoren ein Modell (JoFormer) geschaffen, das darauf hindeutet, dass dies ein robusterer Weg ist, wie KI Bilder, Texte und lange Sequenzen verarbeiten kann.

Obwohl die Arbeit nicht behauptet, alles gelöst zu haben, bietet sie eine starke theoretische Landkarte, die zeigt, warum bestimmte Methoden funktionieren, und eröffnet einen neuen, vielversprechenden Weg für den Bau smarterer, strukturierterer KI-Systeme. Die Experimente deuten darauf hin, dass dieser Ansatz reale, beobachtbare Vorteile bietet, insbesondere beim Umgang mit langen Eingaben oder komplexen visuellen Mustern, aber die Reise zur vollständigen Erschließung seines Potenzials hat gerade erst begonnen.