🤖 machine learning

VORT: Adaptive Power-Law Memory for NLP Transformers

Dieser Beitrag stellt VORT vor, eine neuartige Transformer-Architektur, die den standardmäßigen exponentiellen Zerfall durch einen lernbaren fraktionalen Potenzgesetz-Gedächtniskern ersetzt, der effizient mittels einer Zerlegung in Exponentialsummen approximiert wird, um langreichweitige Abhängigkeiten in natürlicher Sprache besser zu erfassen und gleichzeitig strenge theoretische Garantien hinsichtlich der Approximationsgenauigkeit und Konvergenz zu bieten.

Ursprüngliche Autoren: Nabil Mlaiki

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nabil Mlaiki

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich an eine lange Geschichte zu erinnern, die Sie gerade gehört haben. Ein Standard-Computerprogramm (wie die aktuellen „Transformers" in der KI) hat eine sehr spezifische Art zu vergessen: Es behandelt jedes Informationsteilchen wie eine Kerzenflamme. Mit der Zeit wird die Flamme sehr schnell immer schwächer. Wenn Sie die Geschichte einen Satz entfernt erzählen, ist die Erinnerung hell; wenn Sie sie 100 Sätze entfernt erzählen, ist die Erinnerung fast verschwunden.

Das Problem, wie dieser Artikel hervorhebt, besteht darin, dass menschliche Sprache nicht wie eine Kerze funktioniert. Wichtige Verbindungen in einer Geschichte (wie ein am Anfang erwähnter Name einer Figur und ihre Handlung am Ende) bleiben oft auch nach tausenden von Wörtern noch relevant. Der Artikel argumentiert, dass unsere aktuellen KI-Modelle „zu schnell vergessen", weil sie auf einer mathematischen Regel basieren, die nicht mit der tatsächlichen Funktionsweise von Sprache übereinstimmt.

Hier ist die einfache Aufschlüsselung ihrer Lösung, VORT:

1. Das Problem: Die „Kerze" versus das „Echo"

Aktuelle KI-Modelle verwenden eine „Potenzgesetz"-Struktur für Sprache (wobei die Wichtigkeit langsam abnimmt, wie ein Echo in einer Schlucht), aber ihr Speichersystem verwendet eine „exponentielle" Struktur (wobei die Wichtigkeit schnell abnimmt, wie eine Kerze).

Die Diskrepanz: Es ist, als würde man versuchen, den Ozean mit einem Lineal zu messen, das für ein Schwimmbad gedacht ist. Die KI hat Schwierigkeiten, sich an Dinge aus der Ferne in einem langen Text zu erinnern, weil ihr Speicher zu schnell „stirbt".

2. Die Lösung: Ein anpassbarer „Speicher-Regler"

Die Autoren haben ein neues System namens VORT (Variable-Order Retention Transformer) entwickelt. Anstatt jedes Wort gleich zu behandeln, gibt VORT jedem einzelnen Wort seinen eigenen Speicher-Regler (genannt fraktionale Ordnung, $\alpha$ ).

Der Regler: Stellen Sie sich einen Schieberegler für jedes Wort in einem Satz vor.
- Niedrige Einstellung (0,2): Für Wörter wie „der", „und" oder „aber". Dies sind lediglich Verbindungsglieder. Die KI stellt den Regler niedrig ein, damit diese Wörter schnell verblassen und Platz sparen.
- Hohe Einstellung (0,9): Für wichtige Dinge wie Namen („Alice"), Orte oder Schlüsselfakten. Die KI stellt den Regler hoch ein, damit diese Wörter hell und klar bleiben, selbst nachdem tausende andere Wörter gelesen wurden.

3. Der Trick: Der „Echo-Kammer"-Effekt (SOE)

Es gibt einen Haken. Mathematisch ist es für einen Computer normalerweise sehr teuer, einen Speicher zu behalten, der langsam verblassen (wie ein Potenzgesetz). Es ist, als würde man versuchen, jedes einzelne Echo in einer Höhle zu behalten; man bräuchte unendlichen Platz.

Der Artikel stellt einen cleveren mathematischen Trick namens Summe von Exponentialfunktionen (SOE) vor.

Die Analogie: Stellen Sie sich vor, Sie möchten einen Klang erzeugen, der langsam verblasst. Anstatt den Klang für immer aufzuzeichnen, spielen Sie ein paar verschiedene „Echos" mit leicht unterschiedlichen Geschwindigkeiten und Lautstärken ab. Wenn Sie sie mischen, klingen sie wie ein langer, langsamer Verfall, aber der Computer muss nur ein paar einfache Echos verfolgen.
Das Ergebnis: VORT nutzt diesen Trick, um einen „langsam verblassten" Speicher nur mit einfachen, schnellen Computerschritten zu simulieren. Es bietet das Beste aus beiden Welten: die Genauigkeit eines langsam verblassten Speichers mit der Geschwindigkeit eines schnellen Computers.

4. Wie es lernt: Die „Plastizitäts"-Regel

Das System rät nicht einfach, welche Wörter einen hohen oder niedrigen Speicher benötigen. Es lernt.

Das Training: Während die KI versucht, Fragen zum Text zu beantworten, erhält sie Feedback. Wenn sie einen Namen („Alice") vergisst und die Antwort falsch ist, passt sie den „Speicher-Regler" für diesen Namen beim nächsten Mal höher an.
Das Ergebnis: Der Artikel zeigt, dass die KI natürlich lernt, hohen Speichereinstellungen für „Entitäts"-Tokens (Namen, spezifische Objekte) und niedrige Einstellungen für „Funktions"-Wörter (grammatikalische Verbindungen) zu geben, genau so, wie Menschen Geschichten intuitiv erinnern.

5. Der Beweis: Die „Nadel im Heuhaufen"

Die Autoren testeten dies mit zwei Hauptexperimenten:

Der Zipf-Test: Sie erstellten eine Aufgabe, bei der die „wichtigen" Wörter in zufälligen, großen Abständen erschienen (nach einem bestimmten Muster). Das neue VORT-Modell war viel besser darin, diese entfernten Wörter zu finden als Standardmodelle.
Der Uniform-Test: Sie erstellten eine Aufgabe, bei der der Abstand völlig zufällig war (kein Muster folgend). Selbst hier gewann VORT. Dies beweist, dass es nicht nur „Glück hat", indem es ein bestimmtes Muster trifft; es ist tatsächlich besser darin, langfristige Informationen zu behalten.

Das Fazit

Der Artikel behauptet, dass durch die Vergabe eines eigenen „Speicher-Reglers" an jedes Wort und die Verwendung eines cleveren mathematischen Tricks zur Simulation langsam verblasster Speicher das neue VORT-Modell Fernverbindungen in Texten viel besser erinnern kann als aktuelle Modelle, ohne den Computer zu verlangsamen.

Was der Artikel NICHT behauptet:

Er behauptet nicht, dass dies Krankheiten sofort heilen oder die globale Erwärmung lösen wird.
Er behauptet nicht, dass dies bereits bei jeder möglichen Aufgabe perfekt funktioniert (es wurde an synthetischen Aufgaben und einer kleinen Teilmenge von Büchern getestet).
Er behauptet nicht, dass die Mathematik für jeden Speichertyp perfekt ist, sondern nur, dass sie das spezifische Problem der „Fernabhängigkeiten" in der Sprache löst.

Kurz gesagt: VORT lehrt die KI, die „Handlung" einer Geschichte zu erinnern und dabei die „Grammatik" zu vergessen, unter Verwendung eines intelligenten, anpassbaren Speichersystems.

Technische Zusammenfassung: VORT: Adaptive Power-Law-Speicher für NLP-Transformer

Problemstellung

Standard-Transformer-Architekturen verlassen sich auf Aufmerksamkeitsmechanismen, die einen impliziten nahezu exponentiellen Zerfall des Einflusses entfernter Token auferlegen. Dieses computergestützte Design steht im Widerspruch zur statistischen Natur der natürlichen Sprache, bei der die gegenseitige Information zwischen Token gemäß einem Potenzgesetz abnimmt ( $I(\ell) \sim c \ell^{-\gamma}$ mit $\gamma \in (0, 1)$ ). Diese „statistische Diskrepanz" legt nahe, dass aktuelle Modelle suboptimal für die Erfassung von Langzeitabhängigkeiten (Prozesse mit Langzeitgedächtnis) in der natürlichen Sprache sind, die statistisch am besten durch Potenzgewichte vorhergesagt werden (wie sie in ARFIMA-Prozessen zu sehen sind).

Bestehende Lösungen für lange Kontexte – wie Eviction-Caches (binäres Behalten/Evakuieren), Zustandsraummodelle mit festen exponentiellen Rekursionen oder quantisierte Caches – versagen darin, einen pro-Token, inhaltsadaptiven Potenzgesetz-Zerfall zu bieten. Darüber hinaus bietet die fraktionale Kalkulation (insbesondere die gewichtete Summe nach Grünwald–Letnikov) zwar die korrekte mathematische Struktur für Potenzgesetz-Speicher, ist jedoch inhärent nicht-Markovisch, was bedeutet, dass sie ohne Approximation nicht auf eine rekursive Form mit fester Dimension reduziert werden kann.

Methodik: Der VORT-Mechanismus

Die Autoren stellen den Variable-Order Retention Transformer (VORT) vor, eine Speicherarchitektur, die entwickelt wurde, um die nicht-Markovische Natur der fraktionalen Kalkulation aufzulösen und gleichzeitig die Recheneffizienz zu bewahren.

1. Sum-of-Exponentials (SOE)-Approximation

Um die für die fraktionale Summe nach Grünwald–Letnikov (GL) erforderliche Berechnung handhabbar zu machen, verwendet VORT eine Zerlegung in eine Summe von Exponentialfunktionen (SOE).

Integraldarstellung: Die GL-Gewichte $w^{(\alpha)}_j$ werden über ein Integral vom Laplace-Typ dargestellt, das eine Dichtefunktion $\rho_\alpha(\lambda)$ beinhaltet.
Quadratur: Das Integral wird mittels Gauss–Laguerre-Quadratur (speziell Gauss–Legendre nach einer logarithmischen Variablentransformation) approximiert, wobei der Kern in $S$ abklingende Exponentialfunktionen zerlegt wird:
$\hat{w}^{(\alpha)}_j \approx \sum_{s=1}^S c_s^{(\alpha)} (\lambda_s^{(\alpha)})^j$
Markovische Rekursion: Jeder Exponentialterm erlaubt eine exakte einstufige Markov-Rekursion. Dies ermöglicht die Aktualisierung des fraktionalen Zustands in $O(S d_v)$ pro Schritt, wobei $S = O(\log(T/\varepsilon))$ Terme für eine $\varepsilon$ -uniforme Genauigkeit über einen Horizont $[1, T]$ ausreichen.

2. Variable-Order-Routing

Im Gegensatz zu Modellen mit festem fraktionalem Ordnungswert weist VORT jedem Token $x_i$ einen lernbaren fraktionalen Ordnungswert $\alpha_i \in [\delta, 1]$ zu.

Routing-Logik: Der Ordnungswert wird durch eine Funktion der kontextuellen Entropie des Tokens und eines Entitätsindikators (von einer flachen Named-Entity-Recognition-Abfrage) bestimmt.
- Hohe Entropie/Nicht-Entitäts-Token: Erhalten einen niedrigen $\alpha_i$ (aggressive Kompression).
- Entitäts-Token: Erhalten einen hohen $\alpha_i$ (nahezu verlustfreie Aufbewahrung).
Bank-Architektur: Um die Effizienz zu wahren, werden Token an eine von $K$ parallelen Banken weitergeleitet, wobei jede Bank mit einem festen fraktionalen Ordnungswert $\alpha_k$ arbeitet. Das System akkumuliert Werte in diesen Banken unter Verwendung der SOE-Rekursion.

3. Schlüsselbasierte lineare Aufmerksamkeitswiedergewinnung

Die Wiedergewinnung erfolgt über einen linearen Aufmerksamkeitsakkumulator. Durch die Approximation der Softmax-Aufmerksamkeitswerte mit Zufallsmerkmalen $\phi(q)^\top \phi(k)$ führt das System explizite Zustandsmatrizen $G_t$ und Vektoren $b_t$ , die sich über dieselben SOE-Rekursionen entwickeln. Dies resultiert in einer exakten pro-Schritt-Rekursion mit $O(K S d_\phi d_v)$ und vermeidet die quadratischen Kosten der Standardaufmerksamkeit.

Hauptbeiträge und theoretische Ergebnisse

Die Arbeit stellt vier primäre theoretische Ergebnisse und einen Konvergenzsatz vor:

SOE-Näherungstheorem (Theorem 3.1): Beweist die geometrische Konvergenz der SOE-Näherung. Die Fehlergrenze beruht auf der Analytizität des Integranden nach einer logarithmischen Variablentransformation und zeigt, dass $S = O(\log(T/\varepsilon))$ Terme für eine hohe Genauigkeit ausreichen.
Quantisierungsschranke (Theorem 4.1): Legt eine Schranke für den Fehler bei der Quantisierung des fraktionalen Ordnungswerts $\alpha$ auf dem Intervall $[\delta, 1]$ fest. Entscheidend ist, dass sie eine korrekte Analyse in der Nähe von $\alpha = 0$ liefert und zeigt, dass der Kern gegen Null schrumpft, anstatt zu divergieren.
Skalierungsuntergrenze (Proposition 4.2): Ein direktes $L^2$ -Energieargument, das zeigt, dass für jeden fraktionalen Ordnungswert $\alpha > 1/2$ jede Mischung aus $M$ festen Exponentialfunktionen mit einer minimalen Abklingrate $\Lambda > 0$ einen $L^2([1, T])$ -Fehler verursacht, der mit $T \to \infty$ wächst. Dies beweist, dass feste exponentielle Modelle (einschließlich Zustandsraummodelle) die Potenzgesetz-Aufbewahrung für lange Horizonte asymptotisch nicht nachbilden können.
Konvergenz der Gradientenplastizität (Theorem 5.1): Zeigt die lineare Konvergenz einer auf Gradienten basierenden Plastizitätsregel zur Verfeinerung von $\alpha_i$ unter der Polyak–Łojasiewicz-Bedingung (PL).

Experimentelle Ergebnisse

Die Autoren validieren die Architektur durch drei synthetische und semi-synthetische Experimente:

Zipf-verteilte Wiedergewinnung: In einer Aufgabe, bei der Anker-Token an Zipf-verteilten Verzögerungen platziert wurden, behielt das Potenzgesetz-Modell (PL) bei langen Verzögerungen (>1000) eine Genauigkeit von 79,4 %, während ein exponentielles Modell auf 52,3 % abfiel. Eine 5-Komponenten-Mischung (M5) verbesserte sich auf 61,8 %, schloss die Lücke jedoch nicht, was mit der theoretischen Untergrenze übereinstimmt.
Entity-Label-Kopie (uniforme Verzögerungen): Um „Prior-Matching" auszuschließen (bei dem das Modell nur erfolgreich ist, weil die Verzögerungsverteilung mit dem Kern übereinstimmt), verwendete eine zweite Aufgabe gleichmäßig verteilte Verzögerungen. Das Potenzgesetz-Modell übertraf erneut signifikant die exponentielle Baseline (82,7 % vs. 58,4 % bei langen Verzögerungen), was bestätigt, dass der Vorteil struktureller und nicht verteilerbedingter Natur ist.
PG-19-Sprachmodellierung: Auf einer Teilmenge des PG-19-Korpus erreichte das Potenzgesetz-Modell bei Kontextlängen >4096 1,56 Bits pro Zeichen (BPC), verglichen mit 1,68 BPC für die exponentielle Baseline. Der Vorteil wuchs mit der Kontextlänge.

Gelerntes Verhalten: Die Analyse der gelernten $\alpha_i$ -Verteilungen zeigte eine bimodale Trennung: Entitäts-Token gruppierten sich um $\alpha \approx 0,80$ (hohe Aufbewahrung), während Funktionswörter und Konnektoren sich um $\alpha \approx 0,35$ gruppierten (hohe Kompression), was den adaptiven Routing-Mechanismus validiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass VORT einen rechnerisch effizienten Mechanismus zur Implementierung von Potenzgesetz-Speicher bereitstellt, der theoretisch mit den Langzeitabhängigkeiten der natürlichen Sprache übereinstimmt.

Theoretische Ausrichtung: Sie schließt die Lücke zwischen der statistischen Notwendigkeit von Potenzgewichten für Prozesse mit Langzeitgedächtnis und der rechnerischen Anforderung an Markov-Rekursionen.
Architektonischer Vorteil: Durch die Verwendung von SOE erreicht VORT eine lineare Komplexität $O(n)$ und bewahrt gleichzeitig die heavy-tailed-Eigenschaften der Aufbewahrung, die exponentielle Modelle über große Distanzen verlieren.
Adaptivität: Der Mechanismus mit variablem Ordnungswert ermöglicht es dem Modell, Speicherressourcen dynamisch zuzuweisen, irrelevante Kontexte zu komprimieren und kritische Entitäten zu bewahren.

Die Autoren weisen auf Einschränkungen hin, darunter dass der Konvergenzbeweis für Plastizität lokal ist, die Untergrenze primär für $\alpha > 1/2$ eng ist und die aktuellen Experimente Pilotmaßstab haben. Sie gehen davon aus, dass eine vollständige Evaluierung auf Benchmarks wie RULER und 128K-Kontext-Nadel-im-Heuhaufen für eine umfassende Validierung erforderlich ist.