💻 computer science

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

Gated DeltaNet-2 introduceert een nieuw lineair attentiemechanisme dat kanaalgewijze wis- en schrijfbewerkingen ontkoppelt via aparte poorten om de beperkingen van scalair-gekoppelde bewerkingen in eerdere modellen te overwinnen, waardoor state-of-the-art prestaties worden behaald in taalmodellering en taken voor het ophalen van lange contexten.

Oorspronkelijke auteurs: Ali Hatamizadeh, Yejin Choi, Jan Kautz

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali Hatamizadeh, Yejin Choi, Jan Kautz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het Probleem met "Te Veel Geheugen"

Stel je een superslimme bibliothecaris (het AI-model) voor die een zeer lang boek moet lezen om een vraag te beantwoorden.

De Oude Manier (Standaard Transformers): De bibliothecaris houdt een gigantische, groeiende stapel indexkaarten bij voor elk enkel woord dat ze ooit hebben gelezen. Als het boek 100.000 woorden lang is, is de stapel enorm. Dit neemt veel bureauplats (geheugen) in beslag en maakt het zoeken traag.
De Nieuwere Manier (Lineaire Aandacht): Om ruimte te besparen, gebruikt de bibliothecaris een enkel, vast formaat notitieboekje. In plaats van alles op te schrijven, vatten ze het verhaal samen naarmate ze vorderen. Als het notitieboekje vol raakt, moeten ze iets wissen om iets nieuws te kunnen schrijven.

Het probleem met dit "vaste notitieboekje" is interferentie. Als de bibliothecaris een pagina wist om een nieuw verhaal te schrijven, kunnen ze per ongeluk een belangrijk detail uit het verleden wissen dat ze later nog nodig hebben. Het is alsof je een nieuwe boodschappenlijst probeert te schrijven op een post-it die al je telefoonnummer bevat; als je over het nummer krabbelt, ben je het kwijt.

De Vorige Oplossing: De "Eén-Grootte-Voor-Allen" Gummie

Onderzoekers probeerden dit op te lossen met modellen zoals KDA en Gated DeltaNet. Ze gaven de bibliothecaris een speciale "gummie" en een "pen".

Echter, deze modellen hadden een gebrek: De gummie en de pen waren aan elkaar gekoppeld.
Stel je een enkele schakelaar voor die twee dingen tegelijk regelt:

Hoeveel van de oude tekst je moet wegvegen.
Hoeveel van de nieuwe tekst je moet vastleggen.

Als de bibliothecaris een specifiek woord uit het verleden wilde wegvegen maar de rest van de pagina wilde behouden, konden ze dat niet. De schakelaar dwong hen om óf de hele pagina te wissen óf het hele nieuwe verhaal te schrijven. Ze konden niet precies zijn. Ze zaten "aan elkaar vastgeplakt".

De Nieuwe Oplossing: Gated DeltaNet-2

Gated DeltaNet-2 is een nieuwe versie van dit notitieboekjesysteem van de bibliothecaris. De belangrijkste innovatie is het ontkoppelen (ontwarren) van de gummie van de pen.

In plaats van één schakelaar heeft het model nu twee onafhankelijke bedieningselementen:

De "Wis-poort" (De Gummie): Deze bediening kijkt naar de oude informatie. Het beslist precies welke specifieke delen van het oude verhaal weggeveegd moeten worden. Het is alsof je een precisiegummie hebt die alleen het woord "appel" kan verwijderen zonder het woord "sinaasappel" ernaast aan te raken.
De "Schrijf-poort" (De Pen): Deze bediening kijkt naar de nieuwe informatie. Het beslist precies welke delen van het nieuwe verhaal opgeschreven moeten worden. Het is alsof je een pen hebt die alleen de nieuwe ingrediënten die je hebt gekocht kan opschrijven, zonder de hele lijst opnieuw te schrijven.

De Analogie:
Stel je de pagina van het notitieboekje voor als een digitaal whiteboard.

Oud Model: Je hebt een afstandsbediening. Als je op "Update" drukt, veegt het 50% van het bord weg en schrijft het 50% nieuwe dingen. Je kunt niet kiezen wat er wordt weggeveegd of wat er wordt geschreven.
Gated DeltaNet-2: Je hebt een laserpointer en een marker. Je kunt de laser gebruiken om alleen de specifieke oude feiten die verkeerd zijn weg te zappen (de "Wis-poort"), en vervolgens de marker gebruiken om alleen de specifieke nieuwe feiten die belangrijk zijn op te schrijven (de "Schrijf-poort").

Waarom Dit Belangrijk Is (De Resultaten)

Het paper testte dit nieuwe "twee-poort" systeem tegen andere slimme modellen (zoals Mamba-2, Mamba-3 en de originele KDA) op een model met 1,3 miljard parameters dat getraind was op een enorme hoeveelheid educatieve tekst.

Hier is wat ze ontdekten:

Beter in het Vinden van de "Naald in de Hooiberg":
Stel je een test voor waarbij de bibliothecaris één specifieke zin moet vinden die verborgen zit in een document van 100 pagina's.
- De oude modellen raakten soms in de war omdat de "gekoppelde" gummie per ongeluk de naald wegwiste terwijl ze probeerden nieuwe informatie te schrijven.
- Gated DeltaNet-2 was hierin het beste. Omdat het selectief alleen de afleidende informatie kon wissen terwijl het de belangrijke "naald" beschermde, onthield het het juiste antwoord veel beter, zelfs in zeer lange documenten.
Slimmere Redenering:
Bij tests met gezond verstand (zoals "Als ik een kopje op een tafel zet, waar is het kopje dan?") scoorde het nieuwe model hoger dan zijn concurrenten. Het lijkt erop dat het vermogen om het geheugen precies te bewerken het model helpt om relaties beter te begrijpen.
Snelheid en Efficiëntie:
Ondanks dat het complexere bedieningselementen heeft (twee poorten in plaats van één), werd het model niet significant trager. Het verwerkt tekst nog steeds met een snelheid die vergelijkbaar is met de andere efficiënte modellen, waardoor het praktisch bruikbaar is voor gebruik in de echte wereld.

Samenvatting

Gated DeltaNet-2 is een slimmere manier voor AI om zijn korte-termijngeheugen te beheren. Door het handelen van vergeten (oude data wissen) te scheiden van het handelen van leren (nieuwe data schrijven), voorkomt het model de "neveneffecten" van het per ongeluk verwijderen van belangrijke informatie. Hierdoor kan het langere verhalen en complexe taken nauwkeuriger aan dan eerdere methoden, terwijl het tegelijkertijd het geheugengebruik laag houdt en de snelheid hoog.

Technische Samenvatting: Gated DeltaNet-2

Probleemstelling

Lineaire attentiemechanismen bieden een overtuigend alternatief voor standaard softmax-attentie door de onbegrensde cache te vervangen door een recurrente toestand met vaste grootte, waardoor sequentiemenging wordt gereduceerd tot lineaire tijd en decoding tot constante geheugengebruik. Er blijft echter een fundamentele bottleneck bestaan in delta-regelmodellen (zoals DeltaNet, Gated DeltaNet en Kimi Delta Attention/KDA). Hoewel deze modellen het geheugensbeheer verbeteren door gerichte overschrijvingen van associaties mogelijk te maken, vertrouwen ze op een scalair poortsignaal ( $\beta_t$ ) om twee verschillende bewerkingen tegelijkertijd te regelen:

Wissen: Bepalen hoeveel van de oude inhoud (gelezen aan de sleutelzijde) moet worden verwijderd.
Schrijven: Bepalen hoeveel van de nieuwe inhoud (van de waarde-zijde) moet worden vastgelegd.

Het artikel betoogt dat het behandelen hiervan als één enkele scalair besluit een beperking in de modellering is. Wissen werkt op de sleutel-as (bepalend welke coördinaten van de oude lezing moeten worden verwijderd), terwijl schrijven werkt op de waarde-as (bepalend welke coördinaten van de binnenkomende waarde moeten worden vastgelegd). Het koppelen van deze beslissingen beperkt het vermogen van het model om gecomprimeerd geheugen selectief te bewerken zonder bestaande associaties te verstoren, vooral in scenario's met lange context waar veel associaties concurreren om dezelfde eindige toestandsruimte.

Methodologie: Gated DeltaNet-2

De auteurs stellen Gated DeltaNet-2 voor, een recurrente attentielaag die de wis- en schrijfoperaties binnen de delta-regel ontkoppelt.

1. Gated Delta-regel-2

De kerninnovatie is de scheiding van het scalair poortsignaal in twee onafhankelijke, kanaal-voor-kanaal poortsignalen:

Wis-poort ( $b_t \in [0, 1]^{d_k}$ ): Een vector per kanaal die wordt toegepast op de sleutel-dimensie. Deze weegt de coördinaten van de huidige lezing ( $e_t = b_t \odot k_t$ ) om te bepalen welke delen van de oude toestand worden gewist.
Schrijf-poort ( $w_t \in [0, 1]^{d_v}$ ): Een vector per kanaal die wordt toegepast op de waarde-dimensie. Deze weegt de coördinaten van de binnenkomende waarde ( $z_t = w_t \odot v_t$ ) om te bepalen welke delen van de nieuwe waarde worden vastgelegd.

De toestandswisupdate-vergelijking wordt:
$S_t = (I - k_t(b_t \odot k_t)^\top) D_t S_{t-1} + k_t(w_t \odot v_t)^\top$
Waarbij $D_t = \text{Diag}(\alpha_t)$ de kanaal-voor-kanaal verval vertegenwoordigt die is overgenomen van KDA.

Deze formulering generaliseert eerdere modellen:

Als $b_t$ en $w_t$ zijn gekoppeld aan hetzelfde scalair $\beta_t$ , wordt KDA hersteld.
Als het verval $\alpha_t$ ook aan een scalair is gekoppeld, wordt Gated DeltaNet hersteld.

2. Perspectief van snelle gewichtsupdate

De auteurs interpreteren de update als een online optimalisatiestap op een lokaal regressieverlies. Het model minimaliseert de afstand tussen de nieuwe toestand en een vervallen geheugen, onderworpen aan een associatieve bewerking die de gelezen waarde ( $\bar{S}_{t-1}^\top e_t$ ) corrigeert naar het gepoorteerde doel ( $z_t$ ). Dit perspectief maakt duidelijk dat de update de gepoorteerde oude lezing aftrekt voordat de gepoorteerde nieuwe waarde wordt toegevoegd.

3. Efficiënte chunksgewijze parallelle training

Om trainings-efficiëntie te behouden, leiden de auteurs een WY-algoritme af (vergelijkbaar met KDA) dat de cumulatieve kanaal-voor-kanaal verval absorbeert in de rang-een wisfactoren.

Vervalabsorptie: Het kanaal-voor-kanaal verval wordt genormaliseerd in de wis- ( $\bar{E}$ ) en schrijf- ( $Z$ ) matrices, waardoor de recurrentie kan worden uitgedrukt als een pure asymmetrische delta-update.
Driehoekig oplossen: De chunksgewijze berekening omvat het oplossen van een onder-driehoekig stelsel $(I+T)^{-1}$ om auxiliaire matrices $Y$ (wis-zijde) en $U$ (schrijf-zijde) te berekenen.
Poortbewuste terugwaartse pass: Een cruciale technische bijdrage is de afleiding van de terugwaartse pass. In tegenstelling tot scalair-gepoorteerde modellen, waarbij de poortfactor uit puntproducten kan worden gehaald, vereist Gated DeltaNet-2 dat de kanaal-voor-kanaal poortsignalen ( $b_t$ en $w_t$ ) direct worden ingebakken in de accumulatie van gradiënten voor de auxiliaire matrices. Dit zorgt voor correcte gradiëntstroom zonder de efficiënte chunksgewijze structuur te verbreken.

4. Architectuur

Het model is geïmplementeerd als een token-mixer in een standaard Transformer-stijl blok. Het ondersteunt zowel alleen-recurrente als hybride configuraties. De hybride variant wisselt de Gated DeltaNet-2 mixer af met Sliding-Window Attention (SWA) om exacte lokale interacties te verwerken, terwijl de recurrente laag lange-afstand afhankelijkheden beheert.

Belangrijkste Resultaten

Het model werd geëvalueerd met 1,3 miljard parameters getraind op 100 miljard FineWeb-Edu tokens, vergeleken met Mamba-2, Gated DeltaNet, KDA, Mamba-3 (SISO/MIMO) en Transformers.

Taalmodellering & Redeneren: Gated DeltaNet-2 behaalde de sterkste algemene resultaten in zowel recurrente als hybride instellingen voor perplexiteit (WikiText, LAMBADA) en zero-shot gezond verstand redeneren benchmarks (PIQA, HellaSwag, enz.).
Retrieval met lange context (RULER): De meest significante winsten werden waargenomen in de Multi-Key Needle-In-A-Haystack (MK-NIAH) taken. In deze scenario's, waar een toestand met vaste grootte concurrerende associaties moet scheiden, presteerde Gated DeltaNet-2 beter dan alle baselines, vooral naarmate de contextlengte toenam (tot 8K tokens).
Retrieval in de echte wereld: Op taken die extractie en vragen beantwoorden omvatten (SQuAD, TriviaQA, DROP) behaalde het hybride Gated DeltaNet-2-model de hoogste gemiddelde nauwkeurigheid, wat robuustheid demonstreert in ruige, real-world contexten.
Efficiëntie: Doorvoeranalyse op H100 GPU's toonde aan dat Gated DeltaNet-2 een bijna vlakke schaling behoudt naarmate de sequentielengte groeit, met slechts een bescheiden constante overhead ten opzichte van KDA vanwege de extra kanaal-voor-kanaal poortsignalen.

Betekenis en Claims

Het artikel claimt dat het ontkoppelen van de actieve geheugenbewerking direct de primaire drukpunt van recurrentie met vaste staat aanpakt: interferentie tussen veel gecomprimeerde associaties.

Modelleringsflexibiliteit: Door wissen en schrijven te scheiden, kan het model brede context wissen via verval, specifieke verouderde associaties verwijderen via de wis-poort, en alleen de noodzakelijke waardenkanalen invoegen via de schrijf-poort. Deze flexibiliteit stelt het model in staat om KDA en Gated DeltaNet als speciale gevallen te herstellen, terwijl het complexere kanaalstructuren leert wanneer nodig.
Empirische Validatie: Ablatiestudies bevestigen dat beide poortsignalen bijdragen aan de prestaties, waarbij de kanaal-voor-kanaal wis-poort ( $b_t$ ) verantwoordelijk is voor het grootste deel van de winst in taalmodellering en retrieval.
Praktijktoepasbaarheid: Het werk toont aan dat geavanceerde geheugenbeheermechanismen kunnen worden geïntegreerd in lineaire attention zonder de parallelle trainings-efficiëntie op te offeren die vereist is voor training op grote schaal.

De auteurs concluderen dat Gated DeltaNet-2 een stap voorwaarts is in de "frontier van recurrente attention", en een expressiever en efficiënter mechanisme biedt voor het beheer van gecomprimeerd geheugen in scenario's met lange context.