Technische Samenvatting: OSDN: Verbetering van de Delta-regel met Bewijsbaar Online Preconditioneren in Lineaire Aandacht

1. Probleemstelling

Lineaire aandacht en state-space modellen (SSM's) bieden een inferentiecomplexiteit van $O(N)$ en alternatieven met constante geheugengebruik voor softmax-aandacht, waardoor ze geschikt zijn voor verwerking van lange sequenties. Ze worstelen echter vaak met associatief herinneren in context, vooral in vergelijking met op softmax gebaseerde transformers.

De Delta-regel (zoals geïmplementeerd in DeltaNet) probeert deze kloof te overbruggen door de recurrente statupdate te interpreteren als een enkele stap van online gradient descent (OGD) op een per-token regressieverlies: $f_t(S) = \frac{1}{2}\|S k_t - v_t\|_F^2$. De updateregel is $S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$, waarbij $\beta_t$ een scalair portier is.

De Kernbeperking: De scalare poort $\beta_t$ fungeert als een uniforme leersnelheid die op alle sleutel-dimensies wordt toegepast. Dit negeert de kromming per kenmerk van het interne doel. Bij taken voor associatief herinneren vertonen verschillende sleutels (bijv. frequente versus zeldzame identificatoren, stabiele versus hoog-entropische waarden) verschillende empirische krommingen. Een enkele scalare stapgrootte dwingt tot een compromis: het verhogen ervan om verouderd geheugen te overschrijven voor de ene richting kan een andere richting die al goed gekalibreerd is, te sterk corrigeren. Standaard adaptieve optimalisatoren (zoals Adam) gebruiken diagonaal preconditioneren om dit aan te pakken, maar het toepassen van dergelijke mechanismen op recurrente lagen vereist doorgaans dichte toestanden van de tweede orde of doorbreekt de hardware-vriendelijke chunksgewijze parallelisatiepijplijnen (zoals de WY-transformatie) die DeltaNet efficiënt maken.

2. Methodologie: Online Scaled DeltaNet (OSDN)

De auteurs stellen OSDN voor, dat de scalare poort aanvult met een diagonale preconditioner $D_t = \text{diag}(d_t)$, die online wordt geleerd via hypergradiëntfeedback.

2.1. Algebraïsche Equivalentie en Hardwarebehoud

Een kerninzicht van OSDN is dat het preconditioneren van de gradiëntstap aan de rechterkant algebraïsch equivalent is aan een schaalverandering per kenmerk van de schrijfkant-sleutel.
De standaardupdate:
$$S_t = S_{t-1} - \beta_t \nabla f_t(S_{t-1}) D_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)(d_t \odot k_t)^\top$$
Door een gepreconditioneerde sleutel te definiëren als $\tilde{k}_t = d_t \odot k_t$, wordt de update:
$$S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)\tilde{k}_t^\top$$
Deze transformatie stelt OSDN in staat om de chunksgewijze WY-parallelle pijplijn van DeltaNet strikt te behouden. De implementatie vereist alleen het vervangen van de opslagsleutel $K$ door $\tilde{K}$ in de chunk-Gram-matrix en intra-chunk scores, wat geen overhead van toestanden in hoge dimensie met zich meebrengt boven de $O(K)$ preconditionervector.

2.2. Ontkoppelde Hypergradiëntfeedback

De preconditioner $d_t$ wordt bijgewerkt via Online Gradient Descent (OGD) op een hypergradiëntsurrogaat afgeleid van het Online Scaled Gradient Method (OSGM)-framework [18].
Het surrogaatverlies voor de preconditioner is:
$$h_t(d_t) = \frac{f_t(S_t) - f_t(S_{t-1})}{\|\nabla f_t(S_{t-1})\|_F^2}$$
Cruciaal is dat, vanwege de exact-kwadratische structuur van het interne regressieverlies $f_t$, dit surrogaat een gesloten vormuitdrukking toestaat die alleen afhankelijk is van de sleutel $k_t$ en de scalare poort $\beta_t$, waardoor het wordt ontkoppeld van de toestanden in hoge dimensie $S_t$, de waarde $v_t$ of het residu $u_t$.
$$h_t(d_t) = \frac{(1 - \beta_t \langle d_t, k_t^2 \rangle)^2 - 1}{2 \|k_t\|_2^2}$$
Deze ontkoppeling maakt een tweefasige implementatie mogelijk:

1. Fase 1: Een lichtgewicht $O(K)$ scan over de sleutelstroom om de reeks gepreconditioneerde sleutels $\{\tilde{k}_t\}$ te berekenen en $d_t$ bij te werken.
2. Fase 2: De standaard chunksgewijze DeltaNet-passage met gebruik van $\tilde{K}$ in plaats van $K$.

2.3. Adaptief Vergeten van Preconditioners (APF)

Om niet-stationaire taalkontexten aan te pakken waar sleutelverdelingen verschuiven, introduceren de auteurs APF. Dit voegt een geleerde, token-gewijze, hoofd-gewijze retentiepoort $r_{t,h}$ toe die alleen op de preconditionertoestand $d_t$ wordt toegepast (niet op de geheugentoestand $S_t$):
$$\bar{d}_{t+1} = r_{t,h} d_t + \eta \nabla_d h_t(d_t)$$
Dit behoudt de affiene recurrente structuur die nodig is voor de tweefasige scan, terwijl het de meta-optimizer toestaat om verouderde kalibratie te "vergeten".

3. Theoretische Garanties

Het artikel stelt twee convergentiegaranties vast op basis van de exact-kwadratische aard van het interne verlies:

1. Super-geometrische Convergentie in Populatie-Limiet (Stelling 5.1): Tegenover een ideale Newton-vergelijker aan de rechterkant ($D^\star = \Sigma_k^\dagger$), als de online leerder sublineaire regret bereikt, krimpt de suboptimaliteit van het globale doel met een super-geometrische snelheid van $O((C/T)^T)$. Dit is aanzienlijk sneller dan standaard geometrische (lineaire) convergentie.
2. Residukrimping op Algoritmisch Lokaal Niveau (Stelling 5.2): Voor de geïmplementeerde diagonale update is het product van token-lokale residu-ratio's $\prod_{t=1}^T \frac{f_t(S_t)}{f_t(S_{t-1})}$ begrensd. Als een diagonale vergelijkingsvoorwaarde voldoet aan de gepoorte Newton-voorwaarde ($\beta_t \langle d^\star, k_t^2 \rangle = 1$), is de krimpingsnelheid ook super-geometrisch, specifiek $O((1/\sqrt{T})^T)$ onder standaard OGD-regretgrenzen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op DeltaNet, Gated DeltaNet (GDN) en Kimi Delta Attention (KDA) backbones op schalen van 340M en 1,3B parameters.

4.1. Herinneren in Context (340M Schaal)

• Prestatie: Vanilla OSDN verbeterde JRT-stijl herinneren in context met 32% ten opzichte van de baseline DeltaNet (0,150 $\to$ 0,198). De winst was geconcentreerd op taken met herhaalde context (bijv. "JRT-twice" varianten), waar sleutels terugkeren, waardoor de preconditioner kan kalibreren.
• Invloed van APF: OSDN-APF behield een winst van 17% (0,176) en bood de beste WikiText/LAMBADA perplexiteit onder DeltaNet-varianten (30,99 versus 32,00).
• Generalisatie: Op bredere benchmarks (Commonsense, LongBench) bleven OSDN-varianten gelijk aan hun baselines, wat bevestigt dat het mechanisme gericht is en geen universele prestatieboosters.

4.2. Schalen naar 1,3B Parameters

• Residukrimping: Het signaal op mechanismeniveau werd versterkt bij schaalvergroting. De geometrische gemiddelde residu-ratio ($q_{geo}$) daalde van 0,432 naar 0,265 (een reductie van 39%), wat de verbetering bij 340M bijna verdubbelde.
• Pariteit Downstream: Ondanks de enorme verbetering in de interne residukrimping, bleven downstream-metrics (WikiText/LAMBADA perplexiteit, Commonsense, LongBench) gelijk aan de 1,3B DeltaNet-baseline, wat aantoont dat het mechanisme effectief overdraagt zonder de algemene capaciteiten te verslechteren.

4.3. Efficiëntie

• Doorvoer: OSDN-varianten veroorzaakten minimale inferentie-overhead. Bij 340M lagen de doorvoerwijzigingen binnen $\pm 2,2\%$. Bij 1,3B was OSDN-APF 6,8% trager dan de baseline, toegeschreven aan de extra sequentiële scan voor de preconditioner.
• Overhead van Toestanden: De persistente recurrente toestand nam toe met slechts $\le 0,05\%$ door de $O(K)$ preconditionervector.

5. Betekenis en Claims

Het artikel positioneert OSDN als een minimale, gerichte uitbreiding van de Delta-regel die de kloof overbrugt tussen eerste-orde scalare updates en adaptieve optimalisatie.

• Verbetering op Mechanismeniveau: De primaire bijdrage is een bewezen, mechanisme-gebaseerde verbetering in associatief herinneren via online preconditioneren, gevalideerd door een directe diagnose van de residukrimpingsratio.
• Hardware-compatibiliteit: In tegenstelling tot andere methoden voor tweede-orde of dichte preconditionering, behoudt OSDN de chunksgewijze parallelle pijplijn en de $O(K)$ toestandscomplexiteit, waardoor het praktisch is voor implementatie op grote schaal.
• Schalbaarheid: De resultaten tonen aan dat de voordelen van online preconditioneren overdragen en versterken op de schaal van miljarden parameters, wat suggereert dat de "krommingsmismatch" in lineaire aandacht een fundamentele bottleneck is die kan worden aangepakt zonder een volledige architecturale overhaal.
• Beperkingen: De auteurs merken expliciet op dat OSDN geen universele benchmarkverbeteraar is; winsten zijn geconcentreerd op ophaaltaken met herhalende sleutels. De theoretische garanties zijn gebaseerd op de aanname van exact-kwadratisch intern verlies en monotoon dalen, wat geïdealiseerde voorwaarden zijn. De methode claimt niet alle beperkingen van leren in context op te lossen, maar adresseert specifiek de geometrie van de schrijfstap van de Delta-regel.