🤖 machine learning

Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences

Dit artikel introduceert Preconditioned DeltaNet, een methode die kringsbewuste preconditionering toepast op lineaire recurrente operatoren om de kromming van de least-squares-verliesfunctie te benutten, wat leidt tot consistente prestatieverbeteringen in taalkundige en synthetische benchmarks.

Oorspronkelijke auteurs: Neehal Tumma, Noel Loo, Daniela Rus

Gepubliceerd 2026-04-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Neehal Tumma, Noel Loo, Daniela Rus

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een kunstmatige intelligentie (zoals een chatbot) een heel lang verhaal moet lezen en onthouden. De huidige technologie, die we "Softmax Attention" noemen, werkt als een student die bij elke nieuwe zin het hele boek opnieuw doorbladerd om te zien wat er eerder stond. Dit werkt goed voor korte verhalen, maar bij een hele roman wordt het een enorme, trage klus.

Om dit op te lossen, hebben onderzoekers een nieuwe manier bedacht: Recurrente modellen. Deze werken als een slimme notitieblok. In plaats van het hele boek te lezen, houden ze een samenvatting bij die ze bij elke nieuwe zin updaten. Het probleem? De huidige "notitieblok-methoden" (zoals DeltaNet) zijn soms te simpel. Ze vergeten details of onthouden dingen verkeerd omdat ze niet goed begrijpen hoe belangrijk een bepaalde informatie is.

Deze paper introduceert Preconditioned DeltaNet. Laten we dit uitleggen met een paar creatieve analogieën.

1. Het Probleem: De "Stomme" Notitieblok

Stel je voor dat je een notitieblok hebt om een gesprek te onthouden.

De oude methode (DeltaNet): Als je een nieuwe zin hoort, schrijf je deze op en wis je een beetje van het oude. Maar je wis het allemaal evenveel. Het is alsof je een vlek op je shirt probeert te verwijderen met een spons die overal even hard drukt. Soms wil je alleen de vlek verwijderen en de rest intact laten, maar de oude methode verwatert ook de goede informatie.
Het gebrek: De oude methode kijkt niet naar de "kromming" van de informatie. In wiskundetaal: ze negeren de krul in de data. Ze denken dat alle informatie even rechtlijnig is, terwijl het in werkelijkheid vaak gebogen en complex is.

2. De Oplossing: De "Slimme Bril" (Preconditioning)

De auteurs zeggen: "Laten we die notitieblok-methode een bril geven."

Deze bril heet Preconditioning.

Zonder bril: Je kijkt naar de wereld (de data) en ziet alles een beetje wazig of vervormd. Je probeert een lijn te trekken door de punten, maar omdat je de wereld niet goed ziet, trek je de lijn scheef.
Met de bril (Preconditioning): De bril corrigeert de vervorming. Hij zorgt dat je precies ziet welke richting "krom" is en welke "recht". Hierdoor kun je je notitieblok veel nauwkeuriger updaten. Je wis alleen de juiste dingen en houdt de rest perfect op zijn plek.

In de paper noemen ze dit het "curvature-aware" (krommings-bewuste) aspect. Het is alsof je niet meer op een vlakke weg rijdt, maar een auto hebt met een stuurbesturing die automatisch de bochten in de weg herkent en corrigeert.

3. De Twee Manieren om de Bril te dragen

De onderzoekers ontdekten iets fascinerends: je kunt die bril op twee manieren dragen, en beide werken goed, maar op verschillende plekken:

De "Lees-bril" (ATQ - Apply To Query): Je draagt de bril als je vraagt om informatie. Je kijkt naar je vraag door de bril, zodat je precies weet wat je moet zoeken in je geheugen. Dit werkt goed voor modellen die lijken op "Lineaire Aandacht".
De "Schrijf-bril" (ATK - Apply To Key): Je draagt de bril als je iets schrijft in je geheugen. Je kijkt naar de sleutel (de informatie) door de bril voordat je hem opslaat, zodat je weet hoe je hem het beste moet vastleggen. Dit is wat ze toepassen op DeltaNet.

De paper toont aan dat als je DeltaNet (de schrijfmethode) deze bril geeft, het plotseling net zo goed wordt als de theoretisch perfecte methode, maar dan veel sneller.

4. Waarom is dit zo snel? (De "Chunk" Truc)

Je zou denken: "Als je een bril moet berekenen voor elk woord, wordt dat niet weer traag?"
Nee! De onderzoekers hebben een slimme truc bedacht. Ze berekenen de bril niet voor elk woord afzonderlijk, maar voor een blok (een "chunk") van woorden tegelijk.

Analogie: In plaats van dat je voor elke auto in een file apart de route berekent, bereken je de route voor een hele colonne auto's tegelijk op één groot scherm. Dit maakt het supersnel, zelfs op gewone computers.

5. Het Resultaat: Slimmer en Sneller

Wanneer ze dit nieuwe systeem (Preconditioned DeltaNet) testen, zien ze twee dingen:

Het onthoudt beter: Bij taken waar het model moet zoeken in een lang verhaal (zoals "vind de naam van de persoon die 5000 woorden geleden werd genoemd"), slaagt het veel vaker dan de oude modellen.
Het is efficiënt: Het kost niet veel meer rekenkracht, maar levert wel een grote verbetering op in de kwaliteit van de antwoorden.

Samenvatting in één zin

Deze paper introduceert een nieuwe manier om AI-modellen te laten onthouden: door ze een "slimme bril" te geven die de kromming van de informatie corrigeert, waardoor ze langere teksten beter begrijpen en onthouden, zonder dat het trager wordt.

Het is alsof je van een fiets zonder versnellingen (oude methode) overstapt op een fiets met een automatische versnelling die perfect past bij het terrein (Preconditioned DeltaNet). Je komt sneller en makkelijker aan op je bestemming.

Probleemstelling

De schaalbaarheid van Large Language Models (LLMs) naar langere contexten wordt momenteel beperkt door de kwadratische rekentijd van softmax-attention. Om dit op te lossen, zijn sub-kwadratische recurrente operatoren ontwikkeld, zoals Mamba-2, DeltaNet, Gated DeltaNet (GDN) en Kimi Delta Attention (KDA).

Hoewel deze modellen efficiënt zijn, worden ze vaak geanalyseerd via het Test-Time Regression (TTR) kader. In dit kader worden recurrente toestanden gezien als online least-squares schatters die een lineaire mapping van sleutels (keys) naar waarden (values) leren. Bestaande delta-rule modellen (zoals DeltaNet) worden geïnterpreteerd als eerste-orde benaderingen (online gradient descent) van dit convex optimalisatieprobleem.

De kernbeperking: Deze benaderingen negeren de kromming (curvature) van de least-squares loss-functie. Ze behandelen de optimalisatie alsof de ruimte vlak is, terwijl de werkelijke geometrie (bepaald door de Gram-matrix van de sleutels) gekromd is.
Bestaande oplossingen: Modellen zoals Mesalayer en MesaNet proberen de exacte least-squares oplossing te vinden, maar lijden respectievelijk onder gebrek aan paralleliseerbaarheid of numerieke instabiliteit.

Methodologie

De auteurs introduceren Preconditioning in lineaire recurrente netwerken om de kromming van de optimalisatieruimte te benutten, zonder de efficiëntie of stabiliteit te verliezen.

1. Theoretische Grondslag: Exacte Preconditioning

De auteurs tonen aan dat als men de exacte inverse van de Gram-matrix ( $G_t^{-1}$ ) gebruikt als preconditioner, er een equivalentie ontstaat tussen:

Linear Attention (met een "Apply-to-Query" of ATQ transformatie).
DeltaNet (met een "Apply-to-Key" of ATK transformatie).
In dit exacte geval lossen beide methoden de least-squares probleemstelling exact op. De update-regel voor DeltaNet wordt dan een gepreconditioneerde SGD-stap:
$S_t = S_{t-1} + (v_t - S_{t-1}k_t)\tilde{k}_t^\top$
waarbij $\tilde{k}_t = G_{t-1}^{-1}k_t$ de gepreconditioneerde schrijfsleutel is.

2. Praktische Implementatie: Diagonale Benadering

Het exact berekenen van de inverse Gram-matrix is te duur voor parallelle verwerking. De auteurs kiezen daarom voor een diagonale benadering van de Gram-matrix, vergelijkbaar met hoe optimizers zoals Adam werken.

Ze accumuleren de elementsgewijze tweede momenten van de sleutels: $A_t = A_{t-1} + k_t \odot k_t$ .
De preconditioner wordt dan $B_t \approx A_t^{-1}$ .
Om numerieke stabiliteit te garanderen (voorkomen van NaNs en extreme waarden), wordt een niet-lineaire transformatie toegepast op $A_t$ (log-space transformatie gevolgd door een "squash" functie) om de preconditioner $B_t$ te beperken tot een stabiel interval $[1/x, x]$ .

3. DGPS Taxonomie

De auteurs stellen een nieuw ontwerpkader voor, genaamd DGPS, dat lineaire recurrente modellen decomposeert in vier orthogonale assen:

Decay ( $\alpha_t$ ): Vergeten van oude informatie.
Gain ( $\beta_t$ ): Schaal van de update.
Preconditioner ( $P_t$ ): Correctie van de kromming (ATK of ATQ).
Solve (Offline vs. Online): Hoe de regressie wordt opgelost.

Dit kader maakt het mogelijk om bestaande modellen (zoals GDN en KDA) te combineren met preconditioning, wat leidt tot nieuwe varianten: PGDN (Preconditioned Gated DeltaNet) en PKDA (Preconditioned Kimi Delta Attention).

4. Chunkwise Parallelisme

Een cruciale bijdrage is het afleiden van efficiënte chunkwise parallelle algoritmen voor deze preconditioned varianten. In tegenstelling tot eerdere exacte methoden (zoals MesaNet) die sequentieel moeten werken, kunnen de diagonale preconditioners worden berekend binnen chunks, waardoor ze volledig compatibel zijn met GPU-acceleratie en hoge doorvoersnelheden.

Belangrijkste Bijdragen

Theoretische Equivalentie: Het aantonen dat Linear Attention en DeltaNet equivalent zijn onder exacte preconditioning, wat een brug slaat tussen twee verschillende families van lineaire attention-modellen.
Efficiënte Preconditioned Recurrenten: De ontwikkeling van PDN, PGDN en PKDA die diagonale preconditioning toepassen op de schrijfsleutels (ATK), wat leidt tot een betere benadering van de least-squares oplossing dan de originele modellen.
Chunkwise Parallelisme: Het bieden van een implementatie die de rekentijd van preconditioning minimaliseert, waardoor deze modellen net zo snel zijn als hun niet-preconditioneerde tegenhangers (met slechts ~10% overhead).
Nieuwe Taxonomie (DGPS): Een gestructureerd kader om lineaire recurrente modellen te ontwerpen en te analyseren, wat de ruimte voor toekomstig onderzoek uitbreidt.

Resultaten

De auteurs evalueren hun modellen op synthetische taken en taalmodelleringsbenchmarks op schalen van 340M en 1B parameters.

Synthetische Taken (MQAR & S-NIAH): Op taken die geheugen en recall vereisen (zoals Multi-Query Associative Recall en Needle-In-A-Haystack), presteren de preconditioned modellen (PGDN, PKDA) consistent beter dan de baselines (GDN, KDA). Ze tonen een verbeterde capaciteit om informatie over lange afstanden te onthouden.
Taalmodelleringsbenchmarks: Op de SlimPajama dataset (commonsense reasoning, in-context retrieval) tonen de preconditioned modellen een verbeterde prestatie in zowel perplexiteit als zero-shot nauwkeurigheid.
- Bijvoorbeeld: PGDN presteerde beter dan GDN op commonsense reasoning taken bij de 340M schaal.
Efficiëntie: De doorvoersnelheid (tokens per seconde) van PGDN en PKDA is slechts ongeveer 10% lager dan die van GDN en KDA, wat aanzienlijk efficiënter is dan MesaNet (die >20% trager is).
Stabiliteit: De voorgestelde parameterisatie (met de squash-functie en log-space transformatie) lost de trainingsinstabiliteiten op die vaak voorkomen bij exacte least-squares methoden.

Betekenis en Impact

Dit werk is significant omdat het een theoretisch onderbouwd mechanisme (preconditioning) introduceert dat de beperkingen van huidige lineaire recurrente modellen (het negeren van kromming) oplost, zonder de praktische voordelen (snelheid, parallelisme) op te offeren.

Het toont aan dat curvature-aware modeling essentieel is voor het verbeteren van de recall-capaciteiten van LLMs.
Het biedt een nieuwe route voor het ontwerpen van efficiënte architecturen die dichter bij de optimale least-squares oplossing komen dan eerdere benaderingen.
De DGPS-taxonomie biedt een gemeenschappelijke taal voor onderzoekers om nieuwe recurrente modellen te ontwerpen door de vier assen (Decay, Gain, Preconditioner, Solve) onafhankelijk te manipuleren.

Kortom, Preconditioned DeltaNet combineert de beste eigenschappen van theoretische optimalisatie en praktische efficiëntie, wat leidt tot robuustere en performantere modellen voor lange contexten.