💻 computer science

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

Gated DeltaNet-2 führt einen neuartigen linearen Aufmerksamkeitsmechanismus ein, der kanalweise Lösch- und Schreiboperationen über separate Gatter entkoppelt, um die Einschränkungen skalarer Kopplung bei früheren Modellen zu überwinden, und erzielt damit State-of-the-Art-Leistung in der Sprachmodellierung sowie bei Aufgaben zur Retrieval in langen Kontexten.

Ursprüngliche Autoren: Ali Hatamizadeh, Yejin Choi, Jan Kautz

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ali Hatamizadeh, Yejin Choi, Jan Kautz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem mit „zu viel Speicher"

Stellen Sie sich einen superschlauen Bibliothekar (das KI-Modell) vor, der ein sehr langes Buch lesen muss, um eine Frage zu beantworten.

Der alte Weg (Standard-Transformer): Der Bibliothekar führt für jedes einzelne Wort, das er je gelesen hat, einen riesigen, wachsenden Stapel von Karteikarten. Wenn das Buch 100.000 Wörter lang ist, ist der Stapel enorm. Das nimmt viel Schreibtischfläche (Speicher) in Anspruch und macht die Suche nach Informationen langsam.
Der neuere Weg (Lineare Aufmerksamkeit): Um Platz zu sparen, verwendet der Bibliothekar ein einziges, festes Notizbuch. Anstatt alles aufzuschreiben, fasst er die Geschichte zusammen, während er liest. Wenn das Notizbuch voll wird, muss er etwas löschen, um etwas Neues zu schreiben.

Das Problem bei diesem „festen Notizbuch" ist Interferenz. Wenn der Bibliothekar eine Seite löscht, um eine neue Geschichte zu schreiben, könnte er versehentlich ein wichtiges Detail aus der Vergangenheit auslöschen, das er später noch braucht. Es ist, als würde man versuchen, eine neue Einkaufsliste auf einen Zettel zu schreiben, auf dem bereits Ihre Telefonnummer steht; wenn Sie über die Nummer krakeln, verlieren Sie sie.

Die vorherige Lösung: Der „Einheitslöscher"

Forscher versuchten, dies mit Modellen wie KDA und Gated DeltaNet zu beheben. Sie gaben dem Bibliothekar einen speziellen „Löscher" und einen „Stift".

Allerdings hatten diese Modelle einen Fehler: Der Löscher und der Stift waren miteinander verknüpft.
Stellen Sie sich einen einzigen Schalter vor, der zwei Dinge gleichzeitig steuert:

Wie viel vom alten Text wegradiert werden soll.
Wie viel vom neuen Text festgehalten werden soll.

Wenn der Bibliothekar ein bestimmtes Wort aus der Vergangenheit wegradieren wollte, aber den Rest der Seite behalten, konnte er das nicht. Der Schalter zwang ihn entweder, die ganze Seite zu löschen oder die ganze neue Geschichte zu schreiben. Er konnte nicht präzise sein. Sie waren „aneinander gekettet".

Die neue Lösung: Gated DeltaNet-2

Gated DeltaNet-2 ist eine neue Version dieses Notizbuchsystems des Bibliothekars. Seine Hauptinnovation ist die Entkopplung (das Entwirren) des Löschers vom Stift.

Anstatt eines Schalters verfügt das Modell nun über zwei unabhängige Steuerungen:

Das „Lösch-Gate" (Der Löscher): Diese Steuerung betrachtet die alten Informationen. Sie entscheidet genau, welche spezifischen Teile der alten Geschichte wegradiert werden sollen. Es ist, als hätte man einen Präzisionslöscher, der nur das Wort „Apfel" entfernen kann, ohne das Wort „Orange" daneben zu berühren.
Das „Schreib-Gate" (Der Stift): Diese Steuerung betrachtet die neuen Informationen. Sie entscheidet genau, welche Teile der neuen Geschichte aufgeschrieben werden sollen. Es ist, als hätte man einen Stift, der nur die neuen Zutaten schreibt, die Sie gekauft haben, ohne die ganze Liste neu zu schreiben.

Die Analogie:
Stellen Sie sich die Notizbuchseite als digitale Whiteboard vor.

Altes Modell: Sie haben eine Fernbedienung. Wenn Sie auf „Aktualisieren" drücken, wischt sie 50 % der Tafel aus und schreibt 50 % neue Dinge. Sie können nicht wählen, was gelöscht oder was geschrieben wird.
Gated DeltaNet-2: Sie haben einen Laserpointer und einen Marker. Sie können den Laser verwenden, um nur die spezifischen alten Fakten auszumerzen, die falsch sind (das „Lösch-Gate"), und dann den Marker verwenden, um nur die spezifischen neuen Fakten zu schreiben, die wichtig sind (das „Schreib-Gate").

Warum das wichtig ist (Die Ergebnisse)

Das Papier testete dieses neue „Zwei-Gate-System" gegen andere intelligente Modelle (wie Mamba-2, Mamba-3 und das ursprüngliche KDA) an einem Modell mit 1,3 Milliarden Parametern, das auf einer riesigen Menge an Bildungstexten trainiert wurde.

Hier ist, was sie herausfanden:

Besser im Finden der „Nadel im Heuhaufen":
Stellen Sie sich einen Test vor, bei dem der Bibliothekar einen bestimmten Satz finden muss, der in einem 100-seitigen Dokument versteckt ist.
- Die alten Modelle gerieten manchmal in Verwirrung, weil der „verknüpfte" Löscher versehentlich die Nadel auslöschte, während er versuchte, neue Informationen zu schreiben.
- Gated DeltaNet-2 war hier am besten. Da es selektiv nur die ablenkenden Informationen löschen und gleichzeitig die wichtige „Nadel" schützen konnte, erinnerte es sich viel besser an die richtige Antwort, selbst in sehr langen Dokumenten.
Schlussfolgern mit mehr Intelligenz:
Bei Tests mit gesundem Menschenverstand (wie „Wenn ich eine Tasse auf einen Tisch stelle, wo ist die Tasse?") erzielte das neue Modell höhere Punktzahlen als seine Konkurrenten. Es scheint, dass die Fähigkeit, den Speicher präzise zu bearbeiten, dem Modell hilft, Zusammenhänge besser zu verstehen.
Geschwindigkeit und Effizienz:
Trotz der komplexeren Steuerungen (zwei Gates statt eines) wurde das Modell nicht signifikant langsamer. Es verarbeitet Text immer noch mit einer Geschwindigkeit, die den anderen effizienten Modellen ähnelt, was es für den praktischen Einsatz geeignet macht.

Zusammenfassung

Gated DeltaNet-2 ist eine intelligentere Methode für KI, ihr Kurzzeitgedächtnis zu verwalten. Indem es den Akt des Vergessens (Löschen alter Daten) vom Akt des Lernens (Schreiben neuer Daten) trennt, vermeidet das Modell den „Kollateralschaden" des versehentlichen Löschens wichtiger Informationen. Dies ermöglicht es ihm, längere Geschichten und komplexe Aufgaben genauer zu bewältigen als frühere Methoden, und zwar bei gleichzeitig geringem Speicherverbrauch und hoher Geschwindigkeit.

Technische Zusammenfassung: Gated DeltaNet-2

Problemstellung

Lineare Aufmerksamkeitsmechanismen bieten eine überzeugende Alternative zur Standard-Softmax-Aufmerksamkeit, indem sie den unbegrenzten Cache durch einen rekurrenten Zustand fester Größe ersetzen, wodurch die Sequenzmischung auf lineare Zeit reduziert und die Dekodierung auf konstanten Speicherbedarf gesenkt wird. Dennoch bleibt ein fundamentaler Engpass in Delta-Regel-Modellen (wie DeltaNet, Gated DeltaNet und Kimi Delta Attention/KDA) bestehen. Zwar verbessern diese Modelle das Speichermanagement durch gezielte Überschreibungen von Assoziationen, doch sie verlassen sich auf ein skalares Gate ( $\beta_t$ ), um zwei unterschiedliche Operationen gleichzeitig zu steuern:

Löschen: Entscheidung darüber, wie viel vom alten Inhalt (gelesen von der Schlüssel-Seite) entfernt werden soll.
Schreiben: Entscheidung darüber, wie viel vom neuen Inhalt (von der Wert-Seite) festgeschrieben werden soll.

Die Arbeit argumentiert, dass die Behandlung dieser Vorgänge als eine einzige skalare Entscheidung eine Modellierungsbeschränkung darstellt. Das Löschen wirkt auf der Schlüsselebenenachse (bestimmt, welche Koordinaten des alten Lesevorgangs entfernt werden), während das Schreiben auf der Wertachsenachse wirkt (bestimmt, welche Koordinaten des eingehenden Werts festgeschrieben werden). Die Kopplung dieser Entscheidungen begrenzt die Fähigkeit des Modells, komprimierten Speicher selektiv zu bearbeiten, ohne bestehende Assoziationen zu durcheinanderzubringen, insbesondere in Langkontext-Szenarien, in denen viele Assoziationen um denselben endlichen Zustandsraum konkurrieren.

Methodik: Gated DeltaNet-2

Die Autoren schlagen Gated DeltaNet-2 vor, eine rekurrente Aufmerksamkeitsschicht, die die Lösch- und Schreiboperationen innerhalb der Delta-Regel entkoppelt.

1. Gated Delta-Regel-2

Die Kerninnovation besteht in der Trennung des skalaren Gates in zwei unabhängige, kanalweise Gates:

Lösch-Gate ( $b_t \in [0, 1]^{d_k}$ ): Ein kanalweiser Vektor, der auf die Schlüsseldimension angewendet wird. Er gewichtet die Koordinaten des aktuellen Lesevorgangs ( $e_t = b_t \odot k_t$ ), um zu bestimmen, welche Teile des alten Zustands gelöscht werden.
Schreib-Gate ( $w_t \in [0, 1]^{d_v}$ ): Ein kanalweiser Vektor, der auf die Wertdimension angewendet wird. Er gewichtet die Koordinaten des eingehenden Werts ( $z_t = w_t \odot v_t$ ), um zu bestimmen, welche Teile des neuen Werts festgeschrieben werden.

Die Zustand-Aktualisierungsgleichung lautet:
$S_t = (I - k_t(b_t \odot k_t)^\top) D_t S_{t-1} + k_t(w_t \odot v_t)^\top$
Wobei $D_t = \text{Diag}(\alpha_t)$ den kanalweisen Zerfall darstellt, der von KDA übernommen wurde.

Diese Formulierung verallgemeinert vorherige Modelle:

Wenn $b_t$ und $w_t$ an dasselbe skalare $\beta_t$ gebunden sind, ergibt sich KDA.
Wenn auch der Zerfall $\alpha_t$ an ein Skalar gebunden ist, ergibt sich Gated DeltaNet.

2. Perspektive des Fast-Weight-Updates

Die Autoren interpretieren das Update als Online-Optimierungsschritt bezüglich eines lokalen Regressionsverlusts. Das Modell minimiert den Abstand zwischen dem neuen Zustand und einem zerfallenen Speicher, unterliegt jedoch einer assoziativen Bearbeitung, die den Lese-Wert ( $\bar{S}_{t-1}^\top e_t$ ) in Richtung des gegateeten Ziels ( $z_t$ ) korrigiert. Diese Sichtweise verdeutlicht, dass das Update den gegateeten alten Lesevorgang subtrahiert, bevor der gegateete neue Wert addiert wird.

3. Effizientes Chunkweises Paralleles Training

Um die Trainingseffizienz zu erhalten, leiten die Autoren einen WY-Algorithmus (ähnlich wie bei KDA) her, der den kumulativen kanalweisen Zerfall in die Rang-eins-Löschfaktoren absorbiert.

Zerfallsabsorption: Der kanalweise Zerfall wird in die Lösch- ( $\bar{E}$ ) und Schreib- ( $Z$ ) Matrizen normalisiert, sodass die Rekursion als reine asymmetrische Delta-Aktualisierung ausgedrückt werden kann.
Trianguläres Lösen: Die chunkweise Berechnung beinhaltet das Lösen eines unteren triangulären Systems $(I+T)^{-1}$ , um Hilfsmatrizen $Y$ (Löschseite) und $U$ (Schreibseite) zu berechnen.
Gate-bewusster Rückwärtspass: Ein kritischer technischer Beitrag ist die Herleitung des Rückwärtspasses. Im Gegensatz zu skalargateeten Modellen, bei denen der Gate-Faktor aus Punktprodukten herausgezogen werden kann, erfordert Gated DeltaNet-2, dass die kanalweisen Gates ( $b_t$ und $w_t$ ) direkt in die Akkumulation der Gradienten für die Hilfsmatrizen integriert werden. Dies gewährleistet einen korrekten Gradientenfluss, ohne die effiziente chunkweise Struktur zu brechen.

4. Architektur

Das Modell wird als Token-Mixer in einem Standard-Transformer-artigen Block implementiert. Es unterstützt sowohl nur-rekurrente als auch hybride Konfigurationen. Die hybride Variante verflechtet den Gated DeltaNet-2-Mixer mit Sliding-Window-Aufmerksamkeit (SWA), um exakte lokale Interaktionen zu handhaben, während die rekurrente Schicht langreichweitige Abhängigkeiten verwaltet.

Wichtige Ergebnisse

Das Modell wurde mit 1,3 Milliarden Parametern trainiert, die auf 100 Milliarden FineWeb-Edu-Tokens basierten, und gegen Mamba-2, Gated DeltaNet, KDA, Mamba-3 (SISO/MIMO) und Transformer verglichen.

Sprachmodellierung & Schlussfolgern: Gated DeltaNet-2 erzielte in beiden rekurrenten und hybriden Einstellungen die stärksten Gesamtergebnisse sowohl bei Perplexität (WikiText, LAMBADA) als auch bei Zero-Shot-Commonsense-Schlussfolgerungs-Benchmarks (PIQA, HellaSwag usw.).
Langkontext-Wiedergewinnung (RULER): Die signifikantesten Verbesserungen wurden bei den Multi-Key Needle-In-A-Haystack (MK-NIAH)-Aufgaben beobachtet. In diesen Szenarien, in denen ein Zustand fester Größe konkurrierende Assoziationen trennen muss, übertraf Gated DeltaNet-2 alle Baselines, insbesondere mit zunehmender Kontextlänge (bis zu 8.000 Tokens).
Realwelt-Wiedergewinnung: Bei Aufgaben, die Extraktion und Beantwortung von Fragen beinhalten (SQuAD, TriviaQA, DROP), erreichte das hybride Gated DeltaNet-2-Modell die höchste durchschnittliche Genauigkeit und demonstrierte Robustheit in verrauschten, realweltlichen Kontexten.
Effizienz: Durchsatzanalysen auf H100-GPUs zeigten, dass Gated DeltaNet-2 eine nahezu flache Skalierung beibehält, wenn die Sequenzlänge wächst, mit nur einem moderaten konstanten Overhead im Vergleich zu KDA aufgrund der zusätzlichen kanalweisen Gates.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Entkopplung der aktiven Speicherbearbeitung direkt den Hauptdruckpunkt der rekurrenten Zustandsfeste adressiert: Interferenz zwischen vielen komprimierten Assoziationen.

Modellierungsflexibilität: Durch die Trennung von Löschen und Schreiben kann das Modell den breiten Kontext über Zerfall bereinigen, spezifische veraltete Assoziationen über das Lösch-Gate entfernen und nur die notwendigen Wertkanäle über das Schreib-Gate einfügen. Diese Flexibilität ermöglicht es dem Modell, KDA und Gated DeltaNet als Spezialfälle wiederherzustellen, während es bei Bedarf komplexere Kanalstrukturen lernt.
Empirische Validierung: Ablationsstudien bestätigen, dass beide Gates zur Leistung beitragen, wobei das kanalweise Lösch-Gate ( $b_t$ ) den Großteil der Verbesserungen in Sprachmodellierung und Wiedergewinnung ausmacht.
Praktikabilität: Die Arbeit zeigt, dass fortschrittliche Speicherkontrollmechanismen in lineare Aufmerksamkeit integriert werden können, ohne die für das Training in großem Maßstab erforderliche parallele Trainingseffizienz zu beeinträchtigen.

Die Autoren kommen zu dem Schluss, dass Gated DeltaNet-2 einen Schritt nach vorne in der „rekurrenten Aufmerksamkeit-Frontier" darstellt und einen ausdrucksstärkeren und effizienteren Mechanismus für das Management komprimierten Speichers in Langkontext-Szenarien bietet.