🤖 machine learning

Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection

Dit artikel introduceert PRECOG en SMC, een retrieval-augmented generatiesysteem voor State-Space Models dat documentcorpora vooraf encodeert in vaste verborgen toestanden om $O(1)$ contextinjectie te bereiken, wat interactieve edge language models mogelijk maakt met enorme snelheidsverbeteringen ten opzichte van traditionele Transformer-gebaseerde RAG.

Oorspronkelijke auteurs: Anusha Madan Gopal, Aras Pirbadian, Kristofor D. Carlson, M Anthony Lewis, Jonathan Tapson

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Anusha Madan Gopal, Aras Pirbadian, Kristofor D. Carlson, M Anthony Lewis, Jonathan Tapson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren vragen te beantwoorden door hem een enorme bibliotheek aan boeken te voeren. In de wereld van kunstmatige intelligentie is de meest populaire manier om dit te doen alsof je de robot een stapel papier geeft en zegt: "Lees elk afzonderlijk woord van deze papieren voordat je mijn vraag beantwoordt." Dit werkt, maar het is traag. Als de stapel enorm is, moet de robot een lange tijd besteden aan alleen al het lezen van de context voordat hij zelfs maar "Hallo" kan zeggen. Bovendien moet de robot elk woord dat hij net heeft gelezen onthouden, wat veel geheugen kost, zoals proberen een hele encyclopedie in je hoofd te houden terwijl je praat.

Wetenschappers hebben gezocht naar een manier om dit proces sneller en lichter te maken, vooral voor robots die leven op kleine apparaten zoals telefoons of slimme apparaten, waar het geheugen beperkt is en snelheid alles is. Ze verkennen een ander soort hersenarchitectuur genaamd een "State-Space Model" (SSM). Denk aan een SSM niet als een robot die een boek pagina voor pagina leest en elk woord uit het hoofd leert, maar als een robot die een boek leest en vervolgens het hele verhaal direct comprimeert tot één enkele, kleine, magische samenvattingskaart. Deze kaart bevat de betekenis van wat er is gelezen, maar niet de woorden zelf, en het maakt niet uit waar in het boek het verhaal zich afspeelde. De grote vraag die onderzoekers stellen is: Kunnen we deze "samenvattingskaart"-truc gebruiken om het trage leesgedeelte volledig over te slaan? Als we dat kunnen, kunnen we AI maken die vragen direct beantwoordt, zelfs op kleine apparaten, zonder dat we een enorme computer in de cloud nodig hebben.

Dit artikel introduceert een slimme truc genaamd PRECOG (wat staat voor Pre-Computed Context Injection) die zegt: "Ja, dat kunnen we." De auteurs, werkend met een specifiek type AI-model genaamd TENNs-LLM, hebben ontdekt hoe ze een tekstblok kunnen nemen, het één keer door de AI kunnen laten lopen om een kleine "samenvattingskaart" (een verborgen toestand) te creëren, en deze vervolgens op te slaan. Later, wanneer een gebruiker een vraag stelt, in plaats van de AI de tekst opnieuw te laten lezen, haalt het systeem simpelweg de opgeslagen samenvattingskaart erbij en plaatst deze direct in de hersenen van de AI. Het is alsof je het lezen van de tekst tijdens een toets overslaat en de student gewoon de voorbereide aantekeningen geeft die hij al heeft bestudeerd.

De resultaten zijn verbijsterend wat betreft snelheid. Op de specifieke edge-hardware die het team testte, duurde de oude manier van het "lezen" van de context ongeveer 27 seconden om alleen al het eerste antwoord te krijgen. Met PRECOG daalde die tijd naar minder dan 6 milliseconden. Dat is een versnelling van ongeveer 4.500 keer, waardoor een proces dat onbruikbaar was, veranderde in iets dat direct en interactief aanvoelt. Het artikel bewijst wiskundig dat deze kortere weg de AI niet "dom" maakt; de antwoorden zijn net zo goed als wanneer de tekst woord voor woord zou zijn gelezen, omdat de manier waarop dit specifieke type AI werkt, toestaat dat de samenvattingskaart een perfecte vervanging is voor de tekst.

Het artikel introduceert ook een tweede functie genaamd SMC (Structured Memory Consolidation). Als PRECOG gaat over het onthouden van een bibliotheek aan boeken, dan gaat SMC over het onthouden van een mensenleven. Het organiseert de langetermijngeheugens van de AI (zoals je voorkeuren of eerdere gesprekken) in verschillende "mappen" of clusters, zoals "Emoties", "Feiten" of "Locaties". Het kan vervolgens direct de juiste map in de hersenen van de AI laden wanneer je een gesprek begint, zodat de AI onthoudt wie je bent en wat je leuk vindt, zonder dat je het elke keer opnieuw hoeft te herinneren. Dit hele systeem is ontworpen om te werken op kleine, energiezuinige apparaten, wat het mogelijk maakt om een superintelligente, geheugenrijke AI-assistent direct in je broekzak te hebben.

De auteurs zijn zeer zelfverzekerd over hun wiskunde. Ze hebben bewezen dat voor dit specifieke type AI, de "samenvattingskaart"-methode geen benadering of een gok is, maar wiskundig identiek is aan het lezen van de tekst. Ze wijzen echter ook uit dat deze truc alleen werkt voor dit specifieke type AI-architectuur. De meer gangbare AI-modellen (genaamd Transformers) zijn anders gebouwd; ze raken in de knoop met de volgorde van woorden, waardoor je niet zomaar een samenvattingskaart voor hen kunt gebruiken. Voor die modellen moet je de tekst nog steeds elke keer lezen. Maar voor de toekomst van kleine, snelle, edge-gebaseerde AI suggereert dit artikel een pad waarbij we krachtig geheugen kunnen hebben zonder de zware bagage van traag lezen.

Technische Samenvatting: Gestructureerd Geheugen voor Edge Language Models via O(1) SSM State Injection

1. Probleemstelling

De praktische inzet van Retrieval-Augmented Generation (RAG) op edge-apparaten wordt momenteel beperkt door twee structurele beperkingen van de dominante Transformer-architectuur:

Lineaire Prefill-kosten: In-context RAG vereist het opnieuw verwerken van retrieved context-tokens token voor token tijdens de prefill-fase. Dit legt een latentie- en energiekosten op die proportioneel zijn aan de contextlengte ( $O(L_{context})$ ), wat prohibitief is op bandbreedtebeperkte edge-hardware.
Positie-verstrengelde KV-caches: Transformer Key-Value (KV) caches bevatten positionele encodings (rotary of absoluut), waardoor ze niet herbruikbaar zijn over verschillende contexten of posities. Bovendien groeit de cachegrootte lineair met de contextlengte, wat een opslagbottleneck creëert die slecht schaalt met de corpusgrootte.

State-Space Models (SSMs) bieden een theoretisch alternatief door de voorgaande context te comprimeren in een vaste, positie-onafhankelijke recurrente verborgen staat (hidden state). Echter, bestaande RAG-implementaties vertrouwen nog steeds op token-voor-token ingestie, waardoor ze er niet in slagen de unieke algebraïsche eigenschappen van SSMs te benutten die de prefill-kosten volledig zouden kunnen elimineren.

2. Methodologie

Het paper introduceert PRECOG (Pre-Computed Context Injection) en SMC (Structured Memory Consolidation), twee mechanismen die de tijd-translatie-invariantie van SSMs exploiteren om de context-ingestie te omzeilen.

PRECOG: Pre-Computed Context Injection

PRECOG herformuleert RAG door de verborgen staten van retrieved documenten offline voor te berekenen en deze direct op het moment van de query te injecteren.

Offline Indexering: Document-corpora worden opgedeeld in chunks. Een SSM language model verwerkt elke chunk om de uiteindelijke verborgen staat ( $\bar{h}^{(i)}$ ) voor elke laag vast te leggen. Deze vaste staten (192 KB voor het 1.2B parameter model) worden op flash-opslag opgeslagen, vergezeld van lichtgewicht sentence-encoder sleutels voor retrieval.
Query-Time Injectie: Bij ontvangst van een query identificeert het systeem de top- $k$ overeenkomende chunks via hun sleutels. In plaats van de tekst opnieuw in te voeren, laadt het systeem de corresponderende vooraf berekende verborgen staten en injecteert deze als de initiële recurrente staat ( $\bar{h}_{init}$ ) van het model. Het model verwerkt vervolgens alleen de query-tokens.
Theoretische Garantie (Theorem 1): Het paper bewijst dat voor elke initiële staat $h_0$ , context $c$ en query $q$ , de staat-trajectorie $S(h_0, c \oplus q)$ algebraïsch identiek is aan $S(S(h_0, c), q)$ . Omdat SSM-updates alleen afhangen van de huidige staat en het huidige token (en niet van de absolute positie), is het injecteren van een vooraf berekende staat wiskundig equivalent aan het sequentieel verwerken van de context-tokens. Dit garandeert dat PRECOG de antwoordkwaliteit van in-context RAG exact evenaart (modulo kwantiseringsruis).

SMC: Structured Memory Consolidation

SMC breidt het staat-injectiemechanisme uit naar persistent, on-device geheugen voor het accumuleren van gebruikersvoorkeuren, interactiegeschiedenis en logs.

Hiërarchische Clustering: Interactie-chunks worden gerouteerd naar cognitieve domein-clusters (bijv. Emotioneel, Temporeel, Spatiaal, Factueel) en verder naar sub-clusters op basis van recall-patronen (episodisch versus semantisch).
Fidelity-Storage Dial: Een parameter $K$ $K$ regelt de retentie van staten per chunk:
- $K=N_c$ : Lossless episodisch geheugen (alle staten behouden).
- $K=1$ : Semantisch geheugen (alleen de finale staat behouden, identiek aan PRECOG-chunks).
O(1) Sessie Initialisatie: Aan het begin van een sessie identificeert het systeem het dominante domein en injecteert de bijbehorende geconsolideerde semantische staat direct in de SSM. Dit initialiseert het model met een geschiedenis van interacties zonder tokens opnieuw in te voeren, waardoor een $O(1)$ latentie behouden blijft, ongeacht de geaccumuleerde geschiedenislengte.

3. Belangrijkste Bijdragen

Algoritmische Herstructurering van RAG: Het paper demonstreert dat de kosten van context-ingestie kunnen worden teruggebracht van $O(L_{context})$ naar $O(1)$ door vooraf berekende SSM verborgen staten te injecteren, een mechanisme dat structureel onmogelijk is voor Transformers vanwege positie-verstrengeling.
Exacte Equivalentie Bewijs: Theorem 1 biedt een formele garantie dat PRECOG identieke staat-trajectorieën produceert als in-context RAG, wat verzekert dat de versnelling niet ten koste gaat van de antwoordkwaliteit.
Verenigde Geheugen-Substraat: Dezelfde staat-injectie-primitive verenigt statische corpus-retrieval (PRECOG) en dynamisch persistent geheugen (SMC), waardoor edge-modellen geretrieved kennis en gebruikersgeschiedenis in één enkele query-stap kunnen fuseren.
Haalbaarheid van Edge Deployment: Door deze methoden te implementeren op TENNs-LLM (een 1.2B-parameter gated-SSM met een totale verborgen staat van 192 KB), demonstreren de auteurs dat staat-gebaseerde retrieval praktisch is op neuromorfische edge-hardware, waar de kleine staat-footprint binnen de on-chip geheugenbeperkingen past.

4. Resultaten

Het systeem werd geëvalueerd op de SQuAD v1.1 development set met behulp van een 1.2B parameter TENNs-LLM backbone.

Kwaliteit: PRECOG (top-1 injectie) behaalde een Exact Match (EM) van 58.0 en een F1 van 73.4, wat de in-context RAG baseline (EM 58.2, F1 73.6) evenaart binnen de grenzen van FP16-kwantiseringsruis. Dit valideert empirisch de theoretische equivalentie.
Latentie: Op edge-hardware (gesimuleerde neuromorfische processor) reduceert PRECOG de prefill-latentie van ~27 seconden (vereist voor de in-context ingestie van een 512-token chunk) naar <6 ms voor de retrieval en injectie-overhead zelf. De totale Time to First Token (TTFT), inclusief de tijd om de query-tokens te verwerken, is ongeveer 585 ms. De ~4.500× versnelling die in het paper wordt genoemd, verwijst specifiek naar de eliminatie van de ~27 s context-ingestie fase, niet naar de totale query-latentie.
Opslagefficiëntie: Voor een 512-token chunk vereist de PRECOG-staat 192 KB, terwijl een vergelijkbare Transformer KV-cache ~16 MB vereist (een reductie van 85×). Voor een corpus van 10.000 chunks vereist PRECOG 1.9 GB opslag versus 160 GB voor een hypothetische KV-cache benadering, wat de laatste onhaalbaar maakt op consumentenapparaten.
Ablaties:
- Injectie Diepte: Het injecteren van alleen de onderste 12 lagen (96 KB) behield 99% van de volledige laag F1-score, wat wijst op potentieel voor verdere opslagoptimalisatie.
- Chunk Lengte: Prestaties komen overeen met in-context RAG voor chunks tot ~600 tokens (de effectieve geheugenhorizon van het model). Hierboven degradeert PRECOG geleidelijk naarmate de SSM verre tokens natuurlijk vergeet, wat het gedrag van in-context RAG met dezelfde backbone spiegelt.

5. Betekenis en Claims

Het paper claimt dat PRECOG en SMC een fundamentele verschuiving betekenen in hoe retrieval en geheugen worden afgehandeld voor edge language models. De betekenis ligt in:

Architecturale Exclusiviteit: Het mechanisme steunt op de tijd-translatie-invariantie van SSMs, wat het "architecturaal onmogelijk" maakt voor Transformer KV-caches.
Edge Leefbaarheid: Het lost de "prefill bottleneck" op die momenteel interactieve RAG op bandbreedtebeperkte apparaten verhindert, wat een verschuiving mogelijk maakt van cloud-afhankelijke inferentie naar on-device, lage-latentie interactie.
Ontwerpprincipe: De auteurs stellen dat naarmate SSMs de kwaliteit kloof met Transformers dichten, hun structurele eigenschappen (vaste grootte, positie-onafhankelijke staten) een nieuwe klasse van retrieval-, caching- en geheugenuitbreidingsalgoritmen zullen mogelijk maken die ontoegankelijk zijn voor attention-gebaseerde architecturen.

Het paper blijft bescheiden over beperkingen en erkent dat PRECOG de eindige geheugenhorizon van de SSM erft (geen informatie kan herstellen die de backbone zou vergeten) en dat de top- $k$ compositie heuristiek (voor multi-chunk retrieval) een benadering is zonder de exacte garantie van top-1 injectie. Daarnaast zijn de neuromorfische deployment cijfers gebaseerd op FPGA-metingen en 12 nm vermogenssimulaties, in afwachting van fysieke tape-out verificatie.