💬 NLP

OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention

Das Papier stellt Online Scaled DeltaNet (OSDN) vor, ein lineares Aufmerksamkeitsmodell, das die Delta-Regel durch Einbeziehung eines online aktualisierten diagonalen Vorkonditionierers für die skalenweise Merkmalsanpassung erweitert, wodurch eine nachweisbare supergeometrische Konvergenz erreicht und das assoziative Abrufen im Kontext erheblich verbessert wird, während die hardware-effiziente Parallelität beibehalten wird.

Ursprüngliche Autoren: Chenyu Zhou, Hongpei Li, Yuerou Liu, Jianghao Lin, Dongdong Ge, Yinyu Ye

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chenyu Zhou, Hongpei Li, Yuerou Liu, Jianghao Lin, Dongdong Ge, Yinyu Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine sehr lange Geschichte auswendig zu lernen, um später Fragen dazu beantworten zu können. In der Welt der KI wird dies als „in-context learning" (Lernen im Kontext) bezeichnet. Die KI liest die Geschichte (den Kontext) und aktualisiert ihr internes Gedächtnis, um wichtige Details zu speichern.

Lange Zeit war der beste Weg, dies zu tun, wie eine riesige Bibliothek mit einem perfekten Index (genannt „Softmax Attention"). Doch diese Bibliothek ist langsam und benötigt einen enormen Speicherplatz. Neuere, schnellere Methoden (wie DeltaNet) verhalten sich eher wie eine Person, die Notizen in einem kleinen Notizbuch macht. Sie sind schnell und effizient, haben aber manchmal Schwierigkeiten, spezifische Details zu erinnern, wenn die Geschichte zu lang wird oder wenn dieselben Wörter häufig vorkommen. Sie neigen dazu, die Notizen miteinander zu „verwischen".

Diese Arbeit stellt eine neue Methode namens OSDN (Online Scaled DeltaNet) vor, um dieses Verwischen zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Einheitsgrößen"-Stift

Stellen Sie sich vor, die KI schreibt in ihr Notizbuch. Jedes Mal, wenn sie ein neues Wort (ein „Token") sieht, schreibt sie eine Notiz.

Alte Methode (DeltaNet): Die KI verwendet einen einzigen Stift mit einem festen Tintenfluss. Wenn sie eine winzige, feine Einzelheit schreiben muss, ist der Stift zu dick und verschmiert sie. Wenn sie eine riesige, fette Überschrift schreiben muss, ist der Stift zu dünn und die Tinte geht aus. Sie behandelt jedes Informationselement mit exakt derselben „Schrittgröße" oder Intensität.
Das Problem: Einige Fakten in der Geschichte sind selten und benötigen eine starke, klare Notiz. Andere sind häufig und benötigen eine leichte Berührung. Die Verwendung desselben „Stiftdrucks" für alles führt zu Fehlern beim Abrufen.

2. Die Lösung: Der „intelligente, justierbare Stift" (OSDN)

OSDN gibt der KI einen intelligenten, justierbaren Stift. Anstatt einer festen Einstellung hat der Stift für jeden einzelnen Buchstaben des Alphabets (oder jedes Merkmal der Daten) einen Regler.

Wie es lernt: Während die KI die Geschichte liest, prüft sie ständig: „Habe ich diese Notiz richtig geschrieben?" Wenn die Notiz zu blass ist, dreht sie das Rad für diesen spezifischen Buchstaben beim nächsten Mal hoch. Wenn sie zu dunkel ist, dreht sie es herunter.
Der magische Trick: Die Arbeit beweist, dass dieser „Regler" keinen komplizierten, langsamen Computer zur Berechnung benötigt. Er kann sofort ermittelt werden, einfach indem man das geschriebene Wort betrachtet. Dies ermöglicht es der KI, ihre Geschwindigkeit beizubehalten und gleichzeitig viel schlauer darüber zu werden, wie sie schreibt.

3. Der „Vergessens"-Mechanismus (APF)

Manchmal ändert die Geschichte das Thema. Ein Fakt, der am Anfang wichtig war, könnte am Ende irrelevant sein.

Das Problem: Wenn die KI ihre Stiftregler weiterhin basierend auf alten Themen anpasst, könnte sie verwirrt werden, wenn die Geschichte zu einem neuen Thema wechselt.
Die Lösung (APF): OSDN enthält eine Funktion namens Adaptive Preconditioner Forgetting (Adaptiver Vorbedingungser-Vergessensmechanismus). Stellen Sie sich dies als eine „neue Seite"-Taste vor. Wenn die KI bemerkt, dass sich das Thema verschoben hat, setzt sie ihre Stiftregler für das neue Thema sanft zurück, damit sie nicht in den Einstellungen des vorherigen Kapitels stecken bleibt.

4. Warum dies wichtig ist (Die Ergebnisse)

Die Autoren testeten dies an KI-Modellen unterschiedlicher Größen (von klein bis sehr groß).

Der „Gedächtnistest": Sie gaben der KI eine Geschichte und baten sie dann, spezifische Details zu erinnern, insbesondere wenn diese Details zweimal erschienen (wie die Vorstellung eines Charakters, der später erneut erwähnt wird).
Das Ergebnis:
- Bei mittlerer Größe verbesserte OSDN die Fähigkeit, wiederholte Details zu erinnern, um 32 % im Vergleich zur alten Methode.
- Bei massiver Größe (1,3 Milliarden Parameter) verbesserte es den Abruf aus dem Gedächtnis um 39 %, während die KI genauso gut bei allgemeinen Aufgaben blieb (wie das Schreiben von Sätzen oder das Beantworten allgemeiner Fragen).
- Entscheidend ist, dass dies ohne signifikante Verlangsamung der KI geschah. Es ist wie der Einbau eines präziseren Motors in ein Auto, ohne das Auto schwerer oder langsamer zu machen.

Zusammenfassung

Stellen Sie sich OSDN vor, als würde man einer KI beibringen, ein besserer Notiznehmer zu sein. Anstatt alles mit demselben Druck zu kritzeln, lernt sie, bei wichtigen, seltenen Details fester zu drücken und bei häufigen leichter. Sie weiß auch, wann sie die Tafel für ein neues Thema reinigen muss. Dies ermöglicht es der KI, komplexe Geschichten viel besser zu erinnern, ohne ihre Geschwindigkeit oder Effizienz zu verlieren.

Was die Arbeit NICHT behauptet:

Sie behauptet nicht, dass dies KI „bewusst" macht oder in der Lage ist, Emotionen zu fühlen.
Sie behauptet nicht, dass dies alle KI-Probleme löst (wie Schlussfolgern oder Mathematik); sie zielt spezifisch auf die Fähigkeit ab, Informationen aus einem langen Text zu erinnern und abzurufen.
Sie schlägt nicht vor, dass dies bereits für medizinische Diagnosen oder den kritischen Einsatz in der realen Welt bereit ist; es ist ein Forschungsfortschritt darin, wie KI-Modelle Textsequenzen verarbeiten.

Technische Zusammenfassung: OSDN: Verbesserung der Delta-Regel durch nachweisbare Online-Vorkonditionierung in linearer Aufmerksamkeit

1. Problemstellung

Lineare Aufmerksamkeit und State-Space-Modelle (SSMs) bieten eine Inferenzkomplexität von $O(N)$ und Alternativen mit konstantem Speicherbedarf zu Softmax-Aufmerksamkeit, was sie für die Verarbeitung langer Sequenzen geeignet macht. Allerdings haben sie oft Schwierigkeiten mit dem assoziativen Abruf im Kontext (in-context associative recall), insbesondere im Vergleich zu Softmax-basierten Transformern.

Die Delta-Regel (wie in DeltaNet implementiert) versucht, diese Lücke zu schließen, indem sie die rekurrente Zustandsaktualisierung als einen einzelnen Schritt des Online-Gradientenabstiegs (OGD) auf einem pro-Token-Regressionsverlust interpretiert: $f_t(S) = \frac{1}{2}\|S k_t - v_t\|_F^2$ . Die Aktualisierungsregel lautet $S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$ , wobei $\beta_t$ ein skalares Gate ist.

Die Kernlimitierung: Das skalare Gate $\beta_t$ wirkt als einheitliche Lernrate, die auf alle Schlüsseldimensionen angewendet wird. Dies ignoriert die merkmalsspezifische Krümmung des inneren Ziels. Bei Aufgaben zum assoziativen Abruf weisen verschiedene Schlüssel (z. B. häufige vs. seltene Identifikatoren, stabile vs. hoch-entropische Werte) unterschiedliche empirische Krümmungen auf. Eine einzelne skalare Schrittweite zwingt zu einem Kompromiss: Eine Erhöhung, um veraltete Speicher für eine Richtung zu überschreiben, kann eine andere Richtung überkorrigieren, die bereits gut kalibriert ist. Standardadaptive Optimierer (wie Adam) verwenden diagonale Vorkonditionierung, um dies zu adressieren, doch die Anwendung solcher Mechanismen auf rekurrente Schichten erfordert typischerweise dichte Zustände zweiter Ordnung oder unterbricht die hardwarefreundlichen parallelen Chunk-Pipelines (wie die WY-Transformation), die DeltaNet effizient machen.

2. Methodik: Online Scaled DeltaNet (OSDN)

Die Autoren schlagen OSDN vor, das das skalare Gate um einen diagonalen Vorkonditionierer $D_t = \text{diag}(d_t)$ erweitert, der online über Hypergradienten-Feedback gelernt wird.

2.1. Algebraische Äquivalenz und Hardware-Erhaltung

Eine zentrale Erkenntnis von OSDN ist, dass die Rechts-Vorkonditionierung des Gradientenschritts algebraisch äquivalent zu einer merkmalsspezifischen Skalierung des Schreib-seitigen Schlüssels ist.
Die Standardaktualisierung:
$S_t = S_{t-1} - \beta_t \nabla f_t(S_{t-1}) D_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)(d_t \odot k_t)^\top$
Durch Definition eines vorkonditionierten Schlüssels $\tilde{k}_t = d_t \odot k_t$ wird die Aktualisierung zu:
$S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)\tilde{k}_t^\top$
Diese Transformation ermöglicht es OSDN, die parallele Chunk-WY-Pipeline von DeltaNet strikt zu erhalten. Die Implementierung erfordert lediglich den Ersatz des Speicherschlüssels $K$ durch $\tilde{K}$ in der Chunk-Gramm-Matrix und den intra-Chunk-Werten, wobei kein Overhead durch hochdimensionale Zustände entsteht, außer dem $O(K)$ -Vorkonditionierer-Vektor.

2.2. Entkoppeltes Hypergradienten-Feedback

Der Vorkonditionierer $d_t$ wird über Online-Gradientenabstieg (OGD) auf einem Hypergradienten-Surrogat aktualisiert, das aus dem Online Scaled Gradient Method (OSGM)-Rahmenwerk [18] abgeleitet ist.
Das Surrogat-Verlustmaß für den Vorkonditionierer lautet:
$h_t(d_t) = \frac{f_t(S_t) - f_t(S_{t-1})}{\|\nabla f_t(S_{t-1})\|_F^2}$
Entscheidend ist, dass aufgrund der exakt-quadratischen Struktur des inneren Regressionsverlusts $f_t$ dieses Surrogat einen geschlossenen Ausdruck zulässt, der nur vom Schlüssel $k_t$ und dem skalaren Gate $\beta_t$ abhängt und ihn vom hochdimensionalen Zustand $S_t$ , dem Wert $v_t$ oder dem Residuum $u_t$ entkoppelt.
$h_t(d_t) = \frac{(1 - \beta_t \langle d_t, k_t^2 \rangle)^2 - 1}{2 \|k_t\|_2^2}$
Diese Entkoppelung ermöglicht eine zweiphasige Implementierung:

Phase 1: Ein leichter $O(K)$ -Scan über den Schlüsselstrom zur Berechnung der Sequenz vorkonditionierter Schlüssel $\{\tilde{k}_t\}$ und zur Aktualisierung von $d_t$ .
Phase 2: Der Standard-Chunk-DeltaNet-Durchlauf unter Verwendung von $\tilde{K}$ anstelle von $K$ .

2.3. Adaptive Vorkonditionierer-Vergessung (APF)

Um nicht-stationäre Sprachkontexte zu handhaben, in denen sich Schlüsselverteilungen verschieben, führen die Autoren APF ein. Dies fügt ein gelerntes, tokenweises und headweises Behaltens-Gate $r_{t,h}$ hinzu, das nur auf den Vorkonditionierer-Zustand $d_t$ angewendet wird (nicht auf den Speicherzustand $S_t$ ):
$\bar{d}_{t+1} = r_{t,h} d_t + \eta \nabla_d h_t(d_t)$
Dies erhält die affine Rekurrenzstruktur, die für den zweiphasigen Scan erforderlich ist, und ermöglicht dem Meta-Optimierer gleichzeitig, veraltete Kalibrierung zu „vergessen".

3. Theoretische Garantien

Die Arbeit stellt zwei Konvergenzgarantien auf Basis der exakt-quadratischen Natur des inneren Verlusts vor:

Super-geometrische Konvergenz im Populationslimit (Satz 5.1): Gegen einen idealen Rechts-Newton-Vergleichswert ( $D^\star = \Sigma_k^\dagger$ ) kontrahiert die Suboptimalität des globalen Ziels, wenn der Online-Lerner sublineares Bedauern erreicht, mit einer super-geometrischen Rate von $O((C/T)^T)$ . Dies ist signifikant schneller als die Standard-geometrische (lineare) Konvergenz.
Algorithmus-lokale Residuen-Kontraktion (Satz 5.2): Für die implementierte diagonale Aktualisierung ist das Produkt der tokenlokalen Residuenverhältnisse $\prod_{t=1}^T \frac{f_t(S_t)}{f_t(S_{t-1})}$ beschränkt. Wenn ein diagonaler Vergleichswert die gated-Newton-Bedingung erfüllt ( $\beta_t \langle d^\star, k_t^2 \rangle = 1$ ), ist die Kontraktionsrate ebenfalls super-geometrisch, spezifisch $O((1/\sqrt{T})^T)$ unter Standard-OGD-Bedingungen für Bedauern.

4. Experimentelle Ergebnisse

Experimente wurden an DeltaNet, Gated DeltaNet (GDN) und Kimi Delta Attention (KDA)-Backbones mit 340M und 1,3 Mrd. Parametern durchgeführt.

4.1. Abruf im Kontext (340M-Skala)

Leistung: Vanilla OSDN verbesserte den JRT-artigen Abruf im Kontext um 32 % gegenüber dem Baseline-DeltaNet (0,150 $\to$ 0,198). Der Gewinn konzentrierte sich auf wiederholte Kontext-Aufgaben (z. B. „JRT-twice"-Varianten), bei denen Schlüssel wiederkehren und der Vorkonditionierer kalibrieren kann.
APF-Auswirkung: OSDN-APF behielt einen Gewinn von 17 % (0,176) bei und lieferte die beste WikiText/LAMBADA-Perplexität unter DeltaNet-Varianten (30,99 vs. 32,00).
Generalisierung: Auf breiteren Benchmarks (Commonsense, LongBench) blieben OSDN-Varianten auf Augenhöhe mit ihren Baselines, was bestätigt, dass der Mechanismus gezielt und kein universeller Leistungsbooster ist.

4.2. Skalierung auf 1,3 Mrd. Parameter

Residuen-Kontraktion: Das mechanismusspezifische Signal verstärkte sich im großen Maßstab. Das geometrische Mittel der Residuenverhältnisse ( $q_{geo}$ ) sank von 0,432 auf 0,265 (eine Reduktion um 39 %), was die bei 340M beobachtete Verbesserung fast verdoppelt.
Downstream-Parität: Trotz der massiven Verbesserung der internen Residuen-Kontraktion blieben Downstream-Metriken (WikiText/LAMBADA-Perplexität, Commonsense, LongBench) auf Augenhöhe mit der 1,3-Mrd.-DeltaNet-Baseline, was zeigt, dass der Mechanismus effektiv übertragen wird, ohne allgemeine Fähigkeiten zu beeinträchtigen.

4.3. Effizienz

Durchsatz: OSDN-Varianten verursachten einen minimalen Inferenz-Overhead. Bei 340M lagen die Durchsatzänderungen innerhalb von $\pm 2,2\%$ . Bei 1,3 Mrd. war OSDN-APF 6,8 % langsamer als die Baseline, was auf den zusätzlichen sequentiellen Scan für den Vorkonditionierer zurückzuführen ist.
Zustands-Overhead: Der persistente rekurrente Zustand erhöhte sich nur um $\le 0,05\%$ aufgrund des $O(K)$ -Vorkonditionierer-Vektors.

5. Bedeutung und Behauptungen

Die Arbeit positioniert OSDN als minimale, gezielte Erweiterung der Delta-Regel, die die Lücke zwischen skalaren Updates erster Ordnung und adaptiver Optimierung schließt.

Verbesserung auf Mechanismusebene: Der Hauptbeitrag ist eine nachweisbare, mechanismusspezifische Verbesserung des assoziativen Abrufs durch Online-Vorkonditionierung, validiert durch eine direkte Diagnose des Residuen-Kontraktionsverhältnisses.
Hardware-Kompatibilität: Im Gegensatz zu anderen Methoden zur Vorkonditionierung zweiter Ordnung oder dichten Vorkonditionierern erhält OSDN die parallele Chunk-Pipeline und die $O(K)$ -Zustandskomplexität, was sie für den Einsatz im großen Maßstab praktikabel macht.
Skalierbarkeit: Die Ergebnisse zeigen, dass die Vorteile der Online-Vorkonditionierung im Milliarden-Parameter-Maßstab übertragen und verstärkt werden, was darauf hindeutet, dass die „Krümmungs-Mismatch" in linearer Aufmerksamkeit eine fundamentale Engstelle ist, die ohne architektonischen Umbau adressiert werden kann.
Limitationen: Die Autoren weisen ausdrücklich darauf hin, dass OSDN kein universeller Benchmark-Verbesserer ist; Gewinne konzentrieren sich auf Abrufaufgaben mit wiederkehrenden Schlüsseln. Die theoretischen Garantien beruhen auf der Annahme eines exakt-quadratischen inneren Verlusts und monotonem Abstieg, was idealisierte Bedingungen sind. Die Methode behauptet nicht, alle Einschränkungen des Lernens im Kontext zu lösen, sondern adressiert spezifisch die Geometrie des Schreibschritts der Delta-Regel.