Technische Samenvatting: CARVE (Content-Aware Recurrent with Value Efficiency)

1. Probleemstelling

Recurrente sequentiemodellen gebaseerd op de delta-regel familie (bijv. GDN-2) comprimeren de context uit het verleden in een state-matrix $S_t \in \mathbb{R}^{d_v \times d_k}$ met een vaste grootte. Terwijl de state-of-the-art GDN-2 volledige elementgewijze matrix-gates gebruikt voor wissen en schrijven, identificeren de auteurs drie intrinsieke structurele defecten die de efficiëntie en capaciteit beperken:

1. Memory-Blind Gating: Zowel de erase-gate ($B_t$) als de write-gate ($W_t$) worden uitsluitend berekend vanuit de binnenkomende token $x_t$. Het model kan de huidige staat $S_{t-1}$ niet observeren voordat het beslist wat het moet vergeten, waardoor het onmogelijk is om content-afhankelijke selectieve vergetelheid uit te voeren (bijv. het beschermen van hoogwaardige associaties terwijl verouderde ruis wordt opgeruimd).
2. Write-Gate Bandwidth Bottleneck: De write-gate projectie in GDN-2 brengt de input in kaart naar een volledige $d_v \times d_k$ matrix. Dit brengt een parameteraantal en geheugenvoetafdruk met zich mee die gelijk zijn aan de value-projectie zelf, maar de auteurs stellen dat deze per-waarde selectiviteit een verwaarloosbaar expressief rendement biedt voor de kern van de associatieve recall-taak.
3. Vernietiging van Chunk-Parallelisme: Efficiënte training van delta-regel modellen vertrouwt op de WY-vormige driehoekige chunk-solver, die tokens in een enkele lineaire systeem groepeert. Echter, de erase-gate van GDN-2 werkt echter op zowel de value- als de key-as. Deze koppeling dwingt het intra-chunk systeem om te deconstrueren in $d_v$ onafhankelijke oplossingen (één per value-rij), waardoor de trainingsdoorvoer van parallelle $O(\log T)$ naar seriële recurrente kosten instort.

2. Methodologie: De CARVE Architectuur

CARVE lost deze drie problemen tegelijkertijd op door middel van één enkele architecturale beperking: het beperken van alle gating tot enkel de key-as. Deze beperking is bewezen de noodzakelijke en voldoende voorwaarde te zijn zodat de WY-vormige chunk-solver geldig blijft.

2.1 Content-Aware Erase via Output Reuse

Om memory-aware gating mogelijk te maken zonder de prohibitieve kosten van het lezen van de state-matrix $S_{t-1}$ uit het High-Bandwidth Memory (HBM), introduceert CARVE een nieuw readout-mechanisme:

• Mechanisme: De recurrente output-tensor $o_t = S_{t-1}q_t$ wordt al berekend en door de kernel naar het HBM geschreven. CARVE hergebruikt deze tensor om de chunk-gemiddelde $m_c = \frac{1}{L}\sum o_t$ te berekenen.
• Gating: Dit chunk-gemiddelde dient als een content-signaal dat door een met nul geïnitialiseerde low-rank projectie $U_b$ wordt gestuurd om de erase-gate te moduleren: $b_{c,t} = \sigma(b_{x,t} + U_b m_c)$.
• Efficiëntie: Dit voegt nul extra HBM-verkeer toe. Het signaal is één chunk "verouderd", maar theoretische analyse toont aan dat de resulterende gate-perturbatie afneemt als $O(1/\sqrt{L})$, waarbij empirisch een vlakke afwijking van 0,18% wordt gemeten bij chunk-lengtes tot $L=128$.

2.2 Scalar Value Write Gate

CARVE vervangt de $d_v$-dimensionale per-waarde write-gate projectie door een enkele scalaire $w_{h,t}$ per attention head, die uniform over alle value-kanalen wordt uitgezonden (broadcast).

• Impact: Dit vermindert de write-gate parameters met een factor $d_v$ (bijv. van 589.824 naar 9.216 per laag bij $H=12, d_v=768$).
• Theoretische Garantie: De auteurs bewijzen (Theorema 15) dat een scalar voldoende is voor single-slot associatieve recall, waardoor deze reductie verliesloos is voor de kernopgave.

2.3 Key-Axis Decay en Fusion

De architectuur maakt gebruik van een exponentiële decay-gate strikt op de key-as. De decay-activatie is direct binnen de Triton-kernel gefuseerd ("gate-in-kernel"), waardoor het opslaan van een volledige sequentie-activatietensor wordt geëlimineerd, wat geheugen bespaart en de doorvoer verbetert.

3. Belangrijkste Bijdragen en Theoretische Garanties

Het artikel biedt zes formele theoretische resultaten die de vormgeving onderbouwen:

1. Chunkability Boundary (Theorema 11): Bewijst dat key-as-only erase de exacte noodzakelijke en voldoende voorwaarde is voor de WY-vormige driehoekige chunk-solver om te functioneren zonder decompositie.
2. Subsumption Hierarchy (Theorema 1): Stelt vast dat CARVE strikt de memory-blind key-axis architecturen, scalar-gated netwerken en de oorspronkelijke delta-regel generaliseert.
3. Incomparability (Propositie 2): Demonstreert dat CARVE en GDN-2 in structureel verschillende subspaces opereren; geen van beide bevat de ander, maar CARVE biedt superieure memory-geconditioneerde capaciteiten.
4. Lyapunov Stability (Theorema 4): Toont aan dat CARVE's bi-axiale gating (decay + erase) een strikter contractieratio biedt dan GDN-2, wat garandeert dat de state-normen begrensd blijven.
5. Gradient Flow (Theorema 5): Begrenst gradiënt-normen en laat zien dat CARVE geen nieuwe vanishing gradient pathologieën introduceert.
6. Expressivity Separation (Theorema 7): Bewijst dat CARVE de "Selective Key Overwrite" (SKO) taak kan oplossen met $O(d_v + d_k)$ parameters, terwijl elke memory-blind gate faalt ongeacht de breedte.

4. Empirische Resultaten

Geëvalueerd op de 1.3B parameter schaal op 100B tokens van FineWeb-Edu met behulp van NVIDIA H100 GPU's (gemiddeld over drie seeds):

• Taalmodellering: Op WikiText bereikt CARVE een perplexiteit van 15,72 vergeleken met de 15,90 van GDN-2 (een reductie van $-0,18$, een 4,5$\sigma$ effect). De hybride variant (CARVE + Sliding Window Attention) bereikt 15,41 versus 15,62.
• Redeneringsbenchmarks: CARVE leidt alle recurrente baselines met een gemiddelde van +0,63 procentpunt op negen gangbare common-sense redeneertaken.
• In-Context Retrieval (RULER): Stelt de state-of-the-art in op elke Single-Needle (S-NIAH) en Multi-Key Needle (MK-NIAH) contextlengte, waarbij het Mamba-3 en GDN-2 overtreft.
• Real-World Retrieval: Staat bovenaan alle zes de real-world recall benchmarks (SWDE, SQuAD, FDA, etc.) in zowel recurrente als hybride configuraties.
• Hardware Efficiëntie:
  • Doorvoer: 93,36K tokens/sec, binnen 0,4% van de GDN-2 baseline (statistisch verwaarloosbaar verschil).
  • Geheugen: Piekuurgebruik is 13% lager (6,54 GB versus 7,50 GB).
  • Parameters: Mixer-parameters zijn 19% minder dankzij de scalaire write-gate.

5. Betekenis en Claims

Het artikel claimt dat CARVE de eerste architectuur is in de gated delta-familie die simultaan het volgende bereikt:

1. Content-aware gating (het observeren van het geheugen vóór het vergeten) tegen nul extra geheugenkosten.
2. Volledige WY-vormige chunk-parallel training (behoud van hoge doorvoer).
3. Verminderd aantal parameters (via scalaire write-gates).

De auteurs benadrukken dat deze verbeteringen geen benaderingen zijn, maar gebaseerd zijn op formele bewijzen en hardwaremetingen. Het ontwerp lost de "drie-weg spanning" tussen rijkere gating, lagere bandbreedte en parallelle training op die voorheen modellen zoals GDN-2 beperkten. Het artikel concludeert dat het vermogen om "naar zijn eigen geheugen te kijken voordat het beslist wat het moet vergeten" haalbaar is tegen nul extra kosten door output-tensoren te hergebruiken, wat recurrente taalmodellen fundamenteel verbetert.

Erkende Beperkingen: Het content-signaal is afhankelijk van het gemiddelde van de vorige chunk; derhalve ontvangen sequenties korter dan twee chunks geen content-signaal. De evaluatie is momenteel beperkt tot pre-training, en het gedrag tijdens fine-tuning of instructie-volgende regimes blijft een openstaande vraag.