⚡ electrical engineering

Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding

Dieses Paper führt die Morlet Positional Encoding (MoPE) ein, ein neuartiges Framework, das sinusförmige und rotierende Positionskodierungen als Grenzfälle eines lernbaren, auf Wavelets basierenden Ansatzes vereinigt und eine verbesserte Leistung in Transformer-Modellen demonstriert, indem es gleichzeitig Position und Lokalität kodiert, während es gegen die Wavelet-Admissibilitätsgrenze konvergiert.

Ursprüngliche Autoren: Athanasios Zeris

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Athanasios Zeris

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: „Wo“ vs. „Wie weit“

Stellen Sie sich vor, Sie lesen ein Buch. Standard-KI-Modelle (Transformer) haben eine eingebaute Methode, um zu wissen, wo sich ein Wort im Satz befindet. Sie verwenden ein System namens „Positional Encoding“.

Derzeit nutzen die zwei populärsten Systeme (Sinusoidal und RoPE) ein perfektes, unendliches Lineal. Sie sagen der KI: „Dieses Wort ist das 5. Wort“ und „Dieses Wort ist das 100. Wort“. Aber sie behandeln jede Position exakt gleich: Sie gehen davon aus, dass der Einfluss eines Wortes ewig anhält.

Der Autor argumentiert, dass dies für die Sprache falsch ist. In einer Geschichte bezieht sich das Wort „er“ vielleicht auf einen Charakter, der vor zwei Sätzen erwähnt wurde, aber es bezieht sich wahrscheinlich nicht auf einen Charakter, der vor zwei Kapiteln erwähnt wurde. Standard-Lineale wissen nicht, wie weit der Einfluss eines Wortes reichen sollte; sie sagen einfach nur: „Es ist hier.“

Die Lösung: Die „Taschenlampe“ (MOPE)

Der Autor schlägt ein neues System vor, das Morlet Positional Encoding (MOPE) genannt wird.

Anstatt eines Lineals, das unendlich weit geht, fungiert MOPE wie eine Taschenlampe.

Der Strahl (Phase): Wie die alten Systeme sagt es der KI die genaue Richtung oder „Phase“ des Wortes (z. B. „Du bist beim 5. Schritt des Tanzes“). Dieser Teil ist identisch mit dem populären RoPE-System.
Das Leuchten (Amplitude): Dies ist der neue Teil. Der Lichtstrahl der Taschenlampe wird schwächer, je weiter man sich vom Zentrum entfernt. In MOPE verblasst die „Helligkeit“ eines Positionssignals, wenn man sich vom Anfang der Sequenz entfernt.

Die Analogie:

Altes System (RoPE/Sin-Cos): Stellen Sie sich ein Stadion vor, in dem jeder Sitzplatz mit einem hellen, unveränderlichen Licht beleuchtet ist. Ein Fan in Sitz 1 ist für den Kommentator genauso „sichtbar“ wie ein Fan in Sitz 10.000.
Neues System (MOPE): Stellen Sie sich einen Spot vor. Die Person in der Mitte ist superhell. Wenn man in die hinteren Reihen geht, wird das Licht weicher und verblasst schließlich. Dies sagt der KI: „Achte genau auf Wörter in der Nähe; Wörter, die weit weg sind, sind gerade weniger relevant.“

Die „magische“ Verbindung

Das Papier beweist etwas Faszinierendes: Die alten Systeme (Sin-Cos und RoPE) sind eigentlich nur fehlerhafte Versionen dieses neuen Taschenlampen-Systems.

Wenn man den Taschenlampenstrahl unendlich breit macht (sodass er nie schwächer wird), erhält man das alte RoPE-System.
Wenn man den Strahl unendlich breit macht und die Rotation entfernt, erhält man das alte Sin-Cos-System.

Somit ist MOPE nicht nur eine neue Idee, sondern der „Elternteil“ der alten Ideen. Es lernt aus den Daten, wie breit der Strahl der Taschenlampe für jeden Teil des KI-Gehirns sein sollte.

Was passierte in den Experimenten?

Der Autor testete dies an einem winzigen Datensatz (ein paar tausend Wörter aus Shakespeare). Hier ist, was er herausfand:

Die Kombination ist König: Als sie dieses neue „Taschenlampen“-System (MOPE) mit einem anderen Werkzeug namens „Energy-Gated Attention“ kombinierten (das wie ein Türsteher fungiert, der entscheidet, welche Wörter wichtig sind), wurde die KI signifikant besser darin, das nächste Wort vorherzusagen. Sie schlug die Verwendung eines der beiden Werkzeuge allein.
Die Entdeckung des „Sweet Spots“: Die KI musste lernen, wie breit sie die Taschenlampenstrahlen machen sollte. Überraschenderweise passte sich jeder einzelne der 128 „Taschenlampen“ im Gehirn der KI so an, dass er eine spezifische mathematische Grenze erreichte. Sie pendelten sich alle auf einer Strahlbreite ein, die weder zu schmal noch zu breit ist, sondern genau richtig für die „Charakter-zu-Wort“-Skala.
- Denken Sie an das Stimmen von 128 Radios: Anstatt sie auf verschiedene Sender abzustimmen, stellten sie sich alle auf exakt dieselbe Frequenz ein, auf der das Signal am klarsten ist.
Der „Start“-Bias: Die aktuelle Version von MOPE hat eine Eigenart. Sie nimmt an, dass das „Zentrum“ der Taschenlampe immer am Anfang des Textes liegt (Wort #1). Das bedeutet, Wort #5 ist von Natur aus „heller“ als Wort #200, selbst wenn die Geschichte gerade erst beginnen soll. Der Autor gibt zu, dass dies eine Einschränkung ist, und schlägt vor, dass zukünftige Versionen der KI lernen sollten, wo das „Zentrum“ der Taschenlampe liegen sollte.

Zusammenfassung

Das Papier legt nahe, dass wir anstelle eines starren, unendlichen Lineals zur Verfolgung von Wortpositionen lieber einen intelligenten, verblassenden Spotlight verwenden sollten. Dieser Spotlight lernt, wie weit sein Einfluss reichen soll.

Alter Weg: „Ich bin hier, und ich bin ewig wichtig.“
Neuer Weg (MOPE): „Ich bin hier, und ich bin für eine kurze Distanz wichtig, dann verblasse ich.“

Die Experimente zeigen, dass dieser „Verblassungs“-Ansatz, gepaart mit anderen intelligenten Attention-Werkzeugen, der KI hilft, die lokale Struktur der Sprache (wie Sätze und Phrasen) viel besser zu verstehen als die alten Methoden.

Technisches Resümee: Jenseits von Sinusoiden: Ein Morlet-Wavelet-Framework für die Transformer-Positionskodierung

1. Problemstellung

Standardmäßige Positionskodierungen für Transformer, insbesondere sinusförmige (Sin/Cos) und Rotary Position Embeddings (RoPE), behandeln jede Position als gleichermaßen lokal. Während sie kodieren, wo ein Token ist, versäumen sie es zu kodieren, wie weit der Einfluss eines Tokens reichen sollte.

Sinusoidal PE: Verwendet feste Frequenzen mit gleichmäßiger Amplitude über alle Positionen hinweg.
RoPE: Kodiert die relative Position als Rotation im komplexen Raum, behält aber eine konstante Amplitudenhüllkurve bei (alle Positionen sind gleichermaßen präsent).
Theoretische Lücke: Diesen Methoden fehlt ein vereinheitlichendes mathematisches Framework. Zudem setzen sie Stationarität des Signals voraus (unendliche Positionsunsicherheit), was suboptimal für die Sprache ist – ein nicht-stationäres Signal, bei dem die Verteilung von Zeichen und syntaktischen Strukturen mit der Position variiert.

2. Methodik: Morlet Positional Encoding (MOPE)

Die Autoren schlagen das Morlet Positional Encoding (MOPE) vor, welches das komplexe Morlet-Wavelet als natürlichen Basisfaktor für die Positionskodierung nutzt. Das Morlet-Wavelet minimiert gleichzeitig die Unsicherheit in Position und Frequenz und hält sich damit an das Heisenbergsche Unschärfeprinzip.

2.1 Definition

Für ein Token an Position $b$ und der Einbettungsdimension $i$ ist MOPE definiert als:
$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$
Diese Formulierung führt zwei lernbare Parameter pro Dimension ein:

Zentralfrequenz ( $\omega_i$ ): Bestimmt die Oszillationsrate (Phase).
Bandbreite ( $\sigma_i$ ): Bestimmt die Gaußsche Lokalitäts-Hüllkurve (Amplitudenabfall).

2.2 Geometrische Interpretation

Phase: Die Phasenkomponente $\omega_i b$ ist identisch mit dem Rotationswinkel in RoPE. Sie kodiert die relative Position innerhalb des Oszillationszyklus.
Amplitude: Der Term $e^{-b^2/2\sigma_i^2}$ fungiert als Gaußsche Hüllkurve, die im Sequenzursprung ( $b=0$ ) zentriert ist. Im Gegensatz zu Standardkodierungen, bei denen die Amplitude fest auf 1 gesetzt ist (was impliziert, dass $\sigma_i \to \infty$ ), lernt MOPE ein endliches $\sigma_i$ , wodurch das Positionssignal mit zunehmender Entfernung vom Start der Sequenz abnimmt.
Unsicherheitstradition (Uncertainty Trade-off): MOPE lernt den optimalen Kompromiss zwischen Positionsunsicherheit ( $\Delta b_i = \sigma_i$ ) und Frequenzunsicherheit ( $\Delta \omega_i = 1/\sigma_i$ ), wobei die Schranke $\Delta b_i \cdot \Delta \omega_i \geq 1/2$ erfüllt wird.

2.3 Vereinheitlichung bestehender Methoden

Das Paper beweist, dass Standardkodierungen Grenzfälle von MOPE sind:

Sinusoidal PE: Entsteht, wenn $\sigma_i \to \infty$ (unendliche Lokalität, kein Abfall).
RoPE: Entsteht, wenn $\sigma_i \to \infty$ . Der MOPE-Kreuzkorrelationskern stellt im diesen Grenzfall den RoPE-Attention-Score exakt wieder her, moduliert durch einen gelernten Gaußschen Lokalitätskern im allgemeinen Fall.
ALiBi: Konzeptionell analog als Grenzfall der Nullfrequenz-Lokalität (exponentieller Abfall ohne Oszillation).

3. Kernbeiträge

Theoretische Vereinheitlichung: Nachgewiesen, dass Sin/Cos PE und RoPE degenere Fälle von MOPE sind (wenn die Lokalität abgeschaltet wird).
Phasengleichheit: Festgestellt, dass der Phasenunterschied von MOPE mathematisch identisch mit dem Rotationswinkel von RoPE ist. Der primäre Unterschied liegt in der Hinzufügung eines gelernten Gaußschen Lokalitätskerns in MOPE.
Empirische Kombination: Kombiniert MOPE mit Energy-Gated Attention (EGA). Das resultierende Modell (EGA-MORLET) erreichte eine Verbesserung der Validierungs-Perplexität um +0,119 gegenüber der Standard-Attention auf dem TinyShakespeare-Datensatz und übertraf damit beide Komponenten in Isolation.
Parameteranalyse: Analysierte die gelernten Parameter und fand heraus, dass alle 128 Frequenz-Bandbreiten-Paare exakt zur Wavelet-Admissibilitätsgrenze ( $\omega_i \sigma_i = 5$ ) konvergierten.

4. Experimentelle Ergebnisse

Die Experimente wurden auf einem zeichenbasierten TinyShakespeare-Datensatz mit einer Kontextlänge von $T=256$ unter Verwendung einer Transformer-Architektur mit 6 Layern und 8 Heads durchgeführt.

Performance:
- EGA-MORLET: 1,3550 Val-Perplexität (+0,119 gegenüber Baseline).
- EGA-1 (Baseline): 1,3821 (+0,092).
- RoPE: 1,4637 (+0,011).
- Sin/Cos: 1,5863 (-0,112).
- MOPE allein: 1,5060 (-0,032).
- Hinweis: MOPE allein schnitt schlechter ab als die gelernte Embedding-Baseline, was wahrscheinlich auf die begrenzte Kapazität des kleinen Modells (512 Parameter für PE vs. 65.536 für eine Lookup-Tabelle) und den strukturellen Bias des ursprungszentrierten Gaußschen Verteilungsmodells zurückzuführen ist. Bei der Kombination mit EGA war die Synergie jedoch signifikant.
Gelernte Parameter:
- Admissibilitätsgrenze: Alle 128 Dimensionen konvergierten exakt zu $\omega_i \sigma_i = 5,000$ . Der Optimierer trieb die Parameter konsistent gegen diese Grenze, was auf eine Präferenz für stärkere Lokalität und niedrigere Frequenzen hindeutet, als der Constraint eigentlich erlaubt.
- Skalen-Konzentration: Die gelernten Bandbreiten ( $\sigma_i$ ) reichten von 1,49 bis 4,50 Tokens. Dies deutet darauf hin, dass das Modell die gesamte Positionskapazität auf die Zeichen-zu-Wort-Skala konzentrierte, anstatt breitere Skalen (Klauseln, Sätze) abzudecken, wie es bei längeren Kontexten zu erwarten wäre.
- Frequenzkompression: Die gelernten Frequenzen wurden in ein schmales Band ( $\omega_i \in [1,11, 3,35]$ ) komprimiert, was weit über dem ursprünglichen dyadischen Bereich liegt.

5. Bedeutung und Behauptungen

Das Paper behauptet, den ersten vereinheitlichenden mathematischen Rahmen für oszillatorische Positionskodierungen geliefert zu haben, indem es diese als zeit-frequenz-lokalisierte Wavelet-Basis darstellt.

Theoretische Einsicht: Die Arbeit postuliert, dass Sprache nicht-stationär ist und daher Positionskodierungen nicht von unendlicher Lokalität ( $\sigma = \infty$ ) ausgehen sollten. MOPE ermöglicht es dem Modell, den angemessenen "zeitlichen Wirkungsbereich" für jede Dimension zu lernen.
Komplementarität: Die Ergebnisse legen nahe, dass spektrale Salienz (gehandhabt durch EGA, bestimmt, worauf man achtet) und Zeit-Frequenz-Lokalität (gehandhabt durch MOPE, bestimmt, wie weit der Einfluss reicht) komplementäre Mechanismen sind. Ihre Kombination liefert super-additive Vorteile.
Reproduzierbarkeit: Die Konvergenz zur Admissibilitätsgrenze ( $\omega \sigma = 5$ ) wurde sowohl in den Positionskodierungs-Experimenten als auch in einem separaten Energy-Gate-Experiment (Paper 1) beobachtet, was auf eine reproduzierbare empirische Eigenschaft von zeichenbasierten Sprachsignalen hindeutet.

6. Limitationen und zukünftige Arbeit

Die Autoren bewahren einen bescheidenen Ton hinsichtlich der aktuellen Ergebnisse:

Skalierung: Die Experimente sind auf zeichenbasierte Tokenisierung, kurzen Kontext ( $T=256$ ) und einen einzelnen Seed beschränkt.
Ursprungs-Bias: Die aktuelle Formulierung verwendet eine Gauß-Verteilung, die bei $b=0$ zentriert ist, was einen "absoluten Ursprungs-Prior" erzeugt, bei dem Tokens nahe dem Anfang eine stärkere Positionsamplitude als jene am Ende haben. Dies bricht die Translationsinvarianz. Die Autoren schlagen eine zukünftige Generalisierung mit einem lernbaren Zentrum $b_{0,i}$ vor.
Admissibilitäts-Constraint: Die Konvergenz zur Grenze $\omega \sigma = 5$ könnte ein Artefakt der projektionsbasierten Implementierung (Clamping) sein und nicht ein wahrer, unbeschränkter Optimalwert. Die Lockerung dieser Beschränkung ist eine Priorität für zukünftige Untersuchungen.
Nächste Schritte: Zukünftige Arbeiten sollten MOPE auf Wort-Level-Tokenisierung und längere Kontexte validieren sowie Morlet-RoPE untersuchen (Anwendung der Gaußschen Hüllkurve auf den RoPE-Rotationsmechanismus).