Technische Samenvatting: Generieke Triple-Latente Compressie met Gated Associatieve Retrieval

Probleemstelling

Standaard sequentiemodellering vertrouwt op volledige self-attention om hogere-orde tokeninteracties te vangen, wat een kwadratische computationele kosten met zich meebrengt en sterk geoptimaliseerde kernels vereist. Hoewel recurrente en lineaire alternatieven (bijv. RetNet, Mamba, RWKV) efficiëntie bieden via gecomprimeerde staten, offeren zij vaak expressiviteit op, met name bij het modelleren van complexe, hogere-orde afhankelijkheden die verder gaan dan paarinteracties.

Dit paper onderzoekt een specifieke vraag: Kan een generieke latente staat triple-achtige tokeninteracties effectief genoeg comprimeren om de prestaties op standaard taalmodellering-benchmarks te verbeteren, zonder te vertrouwen op expliciete enumeratie van token-triplets of benchmark-specifieke parsing? De auteurs beogen te bepalen of latente compressie alleen al in staat is om de voordelen van hogere-orde interacties te herstellen en of exacte retrieval (associatieve recall) geïntegreerd kan worden in een dergelijk gecomprimeerd framework.

Methodologie

1. Generieke Triple-Latente Architectuur

De kernbijdrage is een familie van recurrente, ongetypeerde modellen die een lopende tokenstaat bijhouden naast een gecomprimeerd paar-geheugendoorgang. In tegen tegenstelling tot getypeerde latente modellen, ontvangen deze architecturen alleen ruwe token-ID's en gebruiken zij geen taakspecifieke symbolische koppen.

• State Update: Een lopende staat $s_t$ wordt bijgewerkt via een geleerde retentie-gate $\lambda_t$:
  $$s_t = \lambda_t \odot s_{t-1} + (1 - \lambda_t) \odot a_t$$
• Compressed Pair Memory: Een dichte paar-geheugen $P_t$ slaat interacties op tussen de vorige staat en een huidige write-vector $b_t$:
  $$P_t = \gamma_t \odot P_{t-1} + (1 - \gamma_t) \odot (s_{t-1} \otimes b_t)$$
  waarbij $P_t \in \mathbb{R}^{H \times S \times S}$.
• Readout: Het model bevraagt het gecomprimeerde geheugen met een linker query $q^\ell_t$ en componeert het resultaat met een rechter query $q^r_t$ om een hogere-orde feature te vormen vóór compressie:
  $$o_t = W_o \text{vec}((P_t q^\ell_t) \odot q^r_t)$$

2. Architectuurvarianten

De studie evalueert drie specifieke varianten tegenover een standaard Transformer-baseline:

• Triple-Latent: Gebruikt dicht paar-geheugen $P_t$.
• Triple-Slot: Vervangt het dichte geheugen door geleerde slots die low-rank linker- en rechterfactoren opslaan.
• Triple-Hybrid: Behoudt het dichte paar-geheugen en voegt een lokale convolutionele pad toe vóór de recurrente stack.

3. Compatibiliteitsbaseline (Transformer+Triple)

Om het voordeel van triple-interacties te isoleren van de vervanging van attention, wordt een compatibiliteitsbaseline geïntroduceerd. Dit model behoudt een standaard Transformer-stack maar voegt een enkele triple-latente laag toe aan de output als een additieve hogere-orde residu-kop, waarbij de standaard self-attention key-value lookups behouden blijven.

4. Gated Hybrid Associative Retrieval

In het besef dat latent-alleen modellen falen bij exacte retrieval, stellen de auteurs een recall-georiënteerde hybrid voor. Dit ontwerp behoudt de triple-latente stack voor compressie, maar voegt een aparte, expliciete key-value geheugenpad toe voor retrieval:

• Memory Write: Key-value paren $(k_{t-1}, v_t)$ worden geschreven met behulp van geleerde projecties.
• Retrieval: Queries worden gegenereerd uit de vorige token-representatie ($q_t = W_q e_{t-1}$) om top-k gelijkenisscores te berekenen tegen opgeslagen keys.
• Gated Late Fusion: De teruggevonden vector wordt via een geleerde read gate en logit fusion samengevoegd bij de outputlaag, zodat de verlieslatende recurrente compressiepad ongemoeid blijft door de retrieval-writes.

Experimentele Opzet

De evaluatie maakt gebruik van een "bewust eenvoudige" benchmark-stack:

1. Byte-level WikiText-2: Autoregressieve taalmodellering op ruwe UTF-8 bytes (259-token vocabulaire).
2. MiniMind Tokenized Benchmark: Een pretraining benchmark met een specifieke tokenizer en corpus, volgend op een strikt 120-stappen protocol met drie seeds.
3. Associative Recall: Een synthetische stress-test bestaande uit key-value paren, random fillers en een finale query.
4. Throughput Profiling: Metingen op Apple MPS over verschillende sequentielengtes.

Belangrijkste Resultaten

Taalmodellering Prestaties

• Matched-Width Setting: Alle drie de triple-latente varianten presteerden beter dan de Transformer-baseline op byte-level WikiText-2. De Triple-Hybrid bereikte 4.766 bits-per-byte (BPB) vergeleken met de 5.124 van de Transformer.
• Parameter-Matched Setting: Zelfs met minder parameters behield de Triple-Hybrid een voordeel (5.067 BPB vs. 5.124 BPB). Een gerichte sweep vond een configuratie (d=64, state dim=8) die 4.806 gemiddelde BPK bereikte over drie seeds, wat de Transformer (5.143) significant overtrof.
• MiniMind Benchmark: Alle triple-augmented modellen verbeterden de gemiddelde token loss ten opzien van de Transformer. De Gated Hybrid was het sterkste model (6.766 loss), gevolgd door Triple-Hybrid (7.035) en de compatibiliteitsbaseline transformer_plus_triple (7.239).

Associative Recall

• Latent-Only Failure: De basis triple-latent familie faalde bij het verbeteren van de associative recall, met prestaties nabij toevalsniveau (~13.4%) vergeleken met de 25.4% van de Transformer.
• Gated Hybrid Success: De recall-georiënteerde gated hybrid verbeterde de prestaties aanzienlijk, met een 41.9% gemiddelde recall over drie seeds (vs. 25.0% voor Transformer en 11.6% voor de plain Triple-Hybrid). De beste seed bereikte 100.0% nauwkeurigheid.
• Instabiliteit: De hoge recall-prestatie is zeer seed-gevoelig en niet-monotoon met betrekking tot breedte. Een daaropvolgende hertraining met warmup en curriculum scheduling slaagde er niet in de hoge-recall modus te reproduceren en stortte terug naar een gemiddelde van ~12.7% recall.

Systeemprestaties

• Throughput: Geen van de modellen behaalde een winst in wall-clock throughput. Vanwege de huidige Python-loop referentie-implementatie (gebrek aan gefuseerde kernels, de Triple-Hybrid was ~32.7x trager dan de Transformer bij sequentielengte 64, en de Gated Hybrid was ~106.5x trager.
• Compute Estimate: Analytische FLOP-schattingen suggereren dat de Triple-Hybrid ~0.80x de dominante forward FLOPs van de Transformer gebruikt, wat aangeeft dat het prestatieverschil een implementatiefout is en geen architecturale beperking.

Betekenis en Claims

Het paper positioneert deze resultaten als bewijs voor twee afzonderlijke conclusies:

1. Latente Compressie is Effectief voor Generieke Modellering: De basis triple-latent familie toont aan dat generieke latente compressie succesvol hogere-orde tokeninteracties kan vangen, wat de prestaties van taalmodellering verbetert op zowel byte-level als getokeniseerde benchmarks, zonder dat hiervoor expliciete triplet-enumeratie of taakspecifieke parsing nodig is. De winst blijft bestaan, zelfs bij benaderende parameter-matching.

2. Scheiding van Compressie en Retrieval: Exacte retrieval profiteert van een apart, gated geheugenpad in plaats van gedwongen te worden in een enkele gecomprimeerde staat. Hoewel de latent-alleen modellen falen bij retrieval, maakt de toevoeging van een aparte key-value pad met late gated fusion het mogelijk om de Transformer te overtreffen op associatieve recall-taken.

Beperkingen en Kanttekeningen:

• De resultaten zijn gebaseerd op kleinschalige experimenten (Apple MPS) en korte trainingshorizonten.
• De hoge-recall prestatie is momenteel instabiel over verschillende seeds en breedtes.
• De throughput-resultaten weerspiegelen een research-grade Python-implementatie; de auteurs merken op dat een productie-klaar systeem gefuseerde recurrente scans, on-device associatieve lookup en gecompileerde backward paths zou vereisen om het gunstige rekenprofiel te realiseren.

De auteurs concluderen dat hoewel dit nog geen praktische vervanging is voor standaard attention vanwege de onvolwassenheid van de implementatie en stabiliteitsproblemen, het wel betekenisvol bewijs levert dat latente compressie en exacte retrieval samen kunnen bestaan in een enkele generieke architectuur wanneer ze via aparte paden worden gerouteerd.