🤖 machine learning

Kaczmarz Linear Attention

Das Papier stellt Kaczmarz Linear Attention (KLA) vor, eine modifizierte Gated DeltaNet, die ihren empirisch gelernten Aktualisierungskoeffizienten durch einen theoretisch abgeleiteten, schlüsselnorm-normalisierten Kaczmarz-Schrittweitenparameter ersetzt, was zu überlegener Perplexität, Langkontextstabilität und Decodiereffizienz führt, ohne die Architektur oder die Zustandsform des Modells zu verändern.

Ursprüngliche Autoren: Jiaxuan Zou, Ruifeng Ren, Yong Liu

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiaxuan Zou, Ruifeng Ren, Yong Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein sehr langes Buch zu lesen. Der Roboter muss sich daran erinnern, was er zuvor gelesen hat, um den aktuellen Satz zu verstehen.

Das Problem: Der „quadratische" Engpass
Traditionelle KI-Modelle (Transformer) funktionieren wie ein Schüler, der für jedes neue Wort, das er liest, durch das gesamte Buch zurückblättern muss, um jedes vorherige Wort zu überprüfen und zu sehen, wie sie zusammenhängen. Wenn das Buch kurz ist, ist das in Ordnung. Aber wenn das Buch 100.000 Seiten lang ist, muss der Schüler für jedes einzelne Wort eine enorme Menge an Arbeit leisten. Dies wird so langsam und teuer, dass eine Skalierung praktisch unmöglich ist.

Die Lösung: Der „rekurrente Zustand"
Neuere Modelle versuchen, dies zu beheben, indem sie wie ein Schüler mit einem kleinen, fest großen Notizbuch agieren. Anstatt zum ganzen Buch zurückzublättern, aktualisieren sie einfach ihr Notizbuch, während sie lesen. Sie schreiben die wichtigsten Teile auf, vergessen den Rest und machen weiter. Dies ist schnell (lineare Zeit), aber schwer richtig zu machen: Was sollten sie aufschreiben? Wie viel sollten sie löschen? Und wie sollten sie die Notiz aktualisieren, wenn sie dasselbe Thema wiedersehen?

Der vorherige Versuch: Gated DeltaNet (GDN)
Ein beliebtes Modell namens Gated DeltaNet (GDN) verwendet einen „Notizbuch"-Ansatz. Wenn es eine neue Information sieht, berechnet es die Differenz zwischen dem, was es glaubt zu wissen, und dem, was es tatsächlich sieht, und schreibt diese Differenz in das Notizbuch.

GDN hat jedoch einen Fehler: Es verwendet eine „gelernte Vermutung" (eine Zahl, die es während des Trainings ermittelt), um zu entscheiden, wie groß die Änderung sein soll. Es ist wie ein Schüler, der rät: „Hmm, ich denke, ich sollte dies mit einem Marker der Größe 5 aufschreiben." Manchmal verwenden sie einen Marker, der zu groß ist (die Seite wird verschmiert), und manchmal zu klein (die Schrift ist schwach und geht verloren). Diese Vermutung ist nur eine Gewohnheit, die das Modell gelernt hat, keine mathematische Regel.

Die neue Idee: Kaczmarz Linear Attention (KLA)
Die Autoren dieses Papiers, Jiaxuan Zou und Kollegen, fragten: „Können wir aufhören zu raten und Mathematik verwenden, um genau zu entscheiden, wie groß die Änderung sein sollte?"

Sie untersuchten eine alte mathematische Methode namens Kaczmarz-Projektion.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Linie auf ein Blatt Papier zu zeichnen, die durch einen bestimmten Punkt verläuft. Sie haben ein Lineal (Ihren aktuellen Zustand). Wenn Ihr Lineal den Punkt nicht trifft, müssen Sie es ein wenig schieben.
Die Erkenntnis: Die Kaczmarz-Methode besagt, dass der beste Weg, das Lineal zu schieben, darin besteht, zu messen, wie „stark" oder „laut" der Punkt ist. Wenn der Punkt sehr laut ist (ein starkes Signal), benötigen Sie nur eine winzige Schubs, um ihn zu treffen. Wenn der Punkt leise ist (ein schwaches Signal), benötigen Sie einen großen Schubs.

In der Sprache des Papiers betrachten sie den „Key" (das Signal) und messen seine Stärke (seine „Norm"). Sie berechnen dann eine präzise Schrittweite:

Schrittweite = (Lernrate) / (Stärke des Signals)

Dies ist der Kaczmarz-Koeffizient.

Was hat sich geändert?
Die Autoren haben keinen neuen Roboter oder ein neues Notizbuch gebaut. Sie haben die Hardware nicht verändert. Sie haben einfach die „ratende" Zahl im GDN-Modell gegen diese präzise, mathematisch abgeleitete Zahl ausgetauscht.

Alter Weg: „Ich werde dies mit einer Markergröße von 0,5 aufschreiben, weil mich meine Trainingsdaten dazu angewiesen haben."
Neuer Weg (KLA): „Ich werde dies mit einer Markergröße von 0,5 aufschreiben, geteilt durch die Lautstärke dieses Signals."

Die Ergebnisse
Da diese neue Regel mathematisch perfekt für die spezifische Aufgabe des Aktualisierens des Speichers ist, funktioniert das Modell besser:

Intelligenter: Es sagt das nächste Wort in einem Satz genauer voraus (niedrigere „Perplexität") als die bisherigen besten Modelle.
Längeres Gedächtnis: Es kann viel längere Kontexte (bis zu 65.000 Wörter) bewältigen, ohne verwirrt zu werden oder Dinge zu vergessen, während das alte Modell zu kämpfen begann.
Besser bei Aufgaben: In Tests, bei denen das Modell eine spezifische „Nadel" in einem riesigen „Heuhaufen" aus Text finden musste, lag KLA zu 100 % richtig, während andere daneben lagen.
Genau so schnell: Da sie nur die mathematische Formel für die Aktualisierung und nicht die Struktur des Notizbuchs geändert haben, läuft das Modell genauso schnell wie das alte. Tatsächlich decodiert es (generiert Text) bei langen Längen 2,1-mal schneller.

Zusammenfassung
Das Papier stellt KLA vor, ein Modell, das die gleiche schnelle, effiziente Struktur wie sein Vorgänger beibehält, aber eine „ratende" Aktualisierungsregel durch eine präzise, mathematisch abgeleitete ersetzt. Es ist wie das Nehmen eines Autos, das bereits gut fährt, und das Austauschen der Vermutungen des Fahrers gegen ein perfektes GPS-Navigationssystem. Das Auto ist dasselbe, aber es erreicht das Ziel genauer und effizienter.

Technische Zusammenfassung: Kaczmarz Lineare Aufmerksamkeit (KLA)

Problemstellung

Die Modellierung von Sprachdaten mit langem Kontext wird durch die quadratischen Rechen- und Speicherkosten der herkömmlichen Softmax-Aufmerksamkeit in Transformern behindert. Während rekurrente Modelle mit linearer Zeitkomplexität dieses Problem adressieren, indem sie den Kontext in einen Zustand fester Größe komprimieren, wird die Gestaltung der Zustands-Aktualisierungsregel zum kritischen Engpass. Bestehende Ansätze, wie Gated DeltaNet (GDN), nutzen eine „Delta-Regel", um das Residuum zwischen einem Zielwert und der aktuellen Zustandsvorhersage zu schreiben, wodurch bestehende Assoziationen bearbeitet statt nur akkumuliert werden.

GDN verlässt sich jedoch auf einen gelernten skalaren Koeffizienten, um Vergessen und Aktualisieren auszubalancieren. Die Autoren argumentieren, dass dieser Koeffizient eine empirische Designentscheidung und kein theoretisch abgeleiteter Schrittweite ist. Ein unangemessener Koeffizient kann zu suboptimalen Aktualisierungsmagnituden führen: eine Überkorrektur bei Keys mit großer Norm und eine Unterkorrektur bei Keys mit kleiner Norm, was zu einer Zustandskorruption und suboptimalen Abringleistung führt.

Methodik: Kaczmarz Lineare Aufmerksamkeit

Die Arbeit schlägt Kaczmarz Lineare Aufmerksamkeit (KLA) vor, eine Modifikation von GDN, die den gelernten Skalar durch eine theoretisch abgeleitete Schrittweite basierend auf der Kaczmarz-Projektionsmethode ersetzt.

Theoretische Herleitung

Die Autoren formulieren den Schreibvorgang für Key-Value-Paare als ein restringiertes Optimierungsproblem. Für ein Token $t$ besteht das Ziel darin, den Zustand $S_t$ zu finden, der dem verfallenen vorherigen Zustand $\tilde{S}_{t-1}$ am nächsten liegt und die lineare Restriktion $S_t^T k_t = v_t$ erfüllt (wobei $k_t$ der Key und $v_t$ der Value ist).

Optimierungsziel: $\min_S \frac{1}{2}\|S - \tilde{S}_{t-1}\|_F^2$ unter der Bedingung $S^T k_t = v_t$ .
Lösung: Die optimale Lösung ist die orthogonale Projektion von $\tilde{S}_{t-1}$ auf die Restriktions-Hyperebene. Dies ergibt eine Schrittweite (Koeffizient) von $\beta_t = 1/\|k_t\|_2^2$ .

Die KLA-Aktualisierungsregel

KLA generalisiert diese exakte Projektion in eine praktische Aktualisierungsregel, die ein lernbares Entspannungs-Gate $\eta_t$ und einen numerischen Stabilisator $\epsilon$ einschließt:
$\beta_t = \frac{\eta_t}{\|k_t\|_2^2 + \epsilon}$
Die Zustandsaktualisierung lautet:
$S_t = \tilde{S}_{t-1} + \beta_t k_t e_t^T$
wobei $e_t = v_t - \tilde{S}_{t-1}^T k_t$ das Residualfehler ist.

Wichtige Eigenschaften

Die Arbeit zeigt, dass dieser Koeffizient im unentspannten Fall (wo $\eta_t=1, \epsilon=0$ ) drei wünschenswerte Eigenschaften gleichzeitig erfüllt:

Orthogonale Projektion: Er führt die minimal-normierte Änderung des Zustands durch, um die Restriktion zu erfüllen.
Exakte Liniensuche: Er ist der exakte Minimierer des pro-Token-Verlusts entlang der Aktualisierungsrichtung.
Normalisierter Gradientenschritt: Er wirkt als normalisierter Stochastischer Gradientenabstieg (SGD)-Schritt.

Implementierung

KLA ist als Drop-in-Ersatz für GDN konzipiert. Es bewahrt:

Die Zustandsform ( $S \in \mathbb{R}^{d_k \times d_v}$ ).
Die Gate-Mechanismen (Verfall- und Aktualisierungsgates).
Die Struktur der linearen Rekursion.
Den parallelisierten Trainingsalgorithmus nach Blöcken (chunkwise).

Die einzige strukturelle Änderung ist die Berechnung der diagonalen Koeffizientenmatrix $B = \text{Diag}(\beta_1, \dots, \beta_C)$ innerhalb des Block-Lösers. Es werden keine neuen Hardware-Kernels oder Zustandslayouts benötigt.

Wichtige Beiträge

Selbstnormalisierte Delta-Regel: Herleitung des KLA-Koeffizienten aus der Kaczmarz-Projektion, wobei bewiesen wird, dass er eine orthogonale Projektion, ein exakter Liniensuche-Minimierer und ein normalisierter Gradientenschritt für den pro-Token-Verlust ist.
Drop-in-Rekurrenter Algorithmus: Nachweis, dass KLA die GDN-Rekursion und den Block-Lösner beibehält und lediglich eine Änderung der diagonalen Koeffizientenmatrix erfordert.
Empirische Gewinne: Validierung, dass KLA eine niedrigere Perplexität und eine bessere Zustandsverfolgung als GDN und andere lineare Zeit-Baselines ohne architektonische Erweiterung erreicht.
Erhaltene Effizienz: Bestätigung, dass KLA die $O(n)$ Zeit-/Speicherkomplexität beibehält und die Prefill-Latenz von GDN erreicht, während der Durchsatz beim Decodieren verbessert wird.

Experimentelle Ergebnisse

Die Experimente wurden im Maßstab von 0,4 Milliarden Parametern mit einem 1-Milliarden-Token-Budget auf dem SlimPajama-672B-Datensatz durchgeführt.

Sprachmodellierung

Validierungs-Perplexität (PPL): KLA erreichte 8,09 PPL und übertraf damit GDN (8,50), DeltaNet (8,26), GLA (8,42), Longhorn (8,79) und Mamba2 (9,41).
Extrapolation langer Kontexte: Ohne Feinabstimmung für lange Kontexte behielt KLA über Kontextlängen von 1K bis 65K Token hinweg die niedrigste Perplexität bei und zeigte einen konsistenten Vorteil von 3,7–4,1 PPL gegenüber GDN.

Synthetische Aufgaben

Single-Needle-in-a-Haystack (S-NIAH): KLA erreichte 100 % Genauigkeit über alle getesteten Kontextlängen (1K–8K), während GDN leicht abfiel und Mamba2 signifikant versagte.
Multi-Query Associative Recall (MQAR): KLA verbesserte die Genauigkeit der 8-fachen Längsextrapolation um 7,03 Punkte gegenüber GDN (73,84 % vs. 66,81 %).
Stack & Palindrom: KLA zeigte in Aufgaben zur Zustandsverfolgung und Umkehrung eine wettbewerbsfähige oder überlegene Leistung.

Effizienz

Prefill-Latenz: KLA entsprach der Prefill-Latenz von GDN (z. B. ~1220 ms bei 131K Kontext), was bestätigt, dass die Berechnung des Kaczmarz-Koeffizienten die dominierenden Kosten des Block-Kernels nicht beeinflusst.
Decode-Durchsatz: Bei 32K Kontext erreichte KLA 3,54 Token/s, was 2,1-fach höher ist als bei GDN (1,65 Token/s) und 1,7-fach höher als bei Mamba2.

Ablationsstudien

Die Autoren untersuchten die Normalisierungsstrategie, den Gate-Mechanismus und die Zustandserweiterung. Die Ergebnisse zeigten, dass die Key-Norm-Normalisierung für die Stabilität entscheidend ist; ihre Entfernung oder die alleinige Verwendung eines gelernten Skalars führte zu einer signifikanten Verschlechterung der Stabilität beim Vor-Training (PPL) und der Leistung in synthetischen Aufgaben.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der key-norm-normalisierte Kaczmarz-Koeffizient eine „Designachse erster Ordnung" für Delta-Regel-Sequenzmodelle ist. Indem der Schreibvorgang als restringierte Projektion behandelt wird, löst KLA das Problem suboptimaler Aktualisierungsmagnituden, das in empirisch gelernten Skalaren inhärent ist.

Die Bedeutung liegt darin, dass diese Verbesserungen ohne Änderung des rekurrenten Zustands, des Hardware-Kernels oder der architektonischen Komplexität erreicht werden. Die Autoren gehen davon aus, dass der Koeffizient selbst, und nicht die Zustandskapazität oder die Gate-Struktur, der primäre Faktor ist, der bestimmt, ob ein Delta-Regel-Schreibvorgang sein lokales Regressionsproblem erfolgreich löst. Dies legt nahe, dass zukünftige Modelle mit linearer Zeitkomplexität erhebliche Gewinne in Genauigkeit, Extrapolation und Decodiereffizienz erzielen können, indem sie einfach diesen theoretisch fundierten Schrittweite übernehmen.