🤖 machine learning

Context by Distinct Information: An Auditable Dirichlet-Process Working Memory for Long, Redundant Context Streams

Dit artikel stelt een auditeerbare werkgeheugenarchitectuur voor die context organiseert op basis van taakafhankelijkheid—waarbij herinnerings-, samenvattings- en lokaliteitsinformatie aan afzonderlijke componenten wordt toegewezen—waardoor het geheugen kan schalen met het aantal afzonderlijke informatie-items in plaats van met het totale aantal tokens, wat de efficiëntie en interpreteerbaarheid in lange, redundante stromen verbetert.

Oorspronkelijke auteurs: Siddharth Pal, Viktoria Rojkova

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siddharth Pal, Viktoria Rojkova

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een lang, chaotisch verhaal te onthouden. Misschien is het een transcript van een gesprek, een logboek van computercatastrofes of een lijst met medische codes. De standaard manier waarop AI dit aanpakt, is als een student die voor een toets leert door te stampen: ze proberen elk enkel woord te onthouden in de volgorde waarin het werd uitgesproken. Als het verhaal 10.000 woorden lang is, wordt het brein van de student volgepropt met 10.000 kleine briefjes. Zelfs als het verhaal steeds dezelfde drie grappen herhaalt, schrijft de student nog steeds elke "haha" en "lol" op.

Dit artikel suggereert een slimmere manier: Onthoud niet de woorden; onthoud de ideeën.

De "Nieuw Idee"-regel

De auteurs stellen een systeem voor dat werkt als een zeer kieskeurige bibliothecaris. In plaats van voor elke keer dat iemand "pizza" noemt een nieuw boek in het archief te leggen, controleert de bibliothecaris eerst de planken.

Als "pizza" al op de plank staat, negeert de bibliothecaris de nieuwe vermelding en werkt hij alleen de gebruiksstatistieken bij.
Als "pizza" nieuw is (een "novum"), dan maakt de bibliothecaris een gloednieuwe plek voor het aan.

Dit wordt een Dirichlet-Process Working Memory genoemd. In gewone mensentaal: een geheugen dat alleen groeit wanneer het iets tegenkomt dat het nog niet eerder heeft gezien. Als een datastroom vol zit met herhalingen (redundant), blijft dit geheugen klein. Als de data vol zit met unieke feiten, groeit het geheugen.

De Drie Soorten Geheugens

Het artikel betoogt dat één maat niet voor iedereen past. Afhankelijk van de taak heb je drie verschillende soorten geheugendozen nodig:

Het "Recency" Venster (De Kortetermijnbuffer):
- Wat het is: Een bewegend venster dat slechts de laatste paar seconden of woorden onthoudt.
- Wanneer te gebruiken: Wanneer het antwoord afhangt van wat er nu gebeurt.
- De bevinding: Bij korte taken (zoals het voorspellen van het volgende karakter in een zin) is dit simpele venster eigenlijk beter dan het fancy nieuwe systeem. Het artikel sluit expliciet de gedachte uit dat het nieuwe systeem een "universele winnaar" is voor alles.
De "Summary" Stream (De Recurrente Staat):
- Wat het is: Een gecomprimeerde, lopende samenvatting van het hele verhaal, zoals een weerbericht dat zegt: "het regent al de hele week."
- Wanneer te gebruiken: Wanneer het antwoord afhangt van het gemiddelde of de trend over een lange periode.
- De bevinding: Bij het voorspellen van de kosten van een medische claim wint het "samenvattingsgeheugen". De "nieuwe idee"-cache (de kieskeurige bibliothecaris) doet hier eigenlijk niets nuttigs, omdat de taak niet vereist dat specifieke items uit het verleden worden opgehaald; het heeft alleen de algemene sfeer nodig.
De "Distinct Item" Cache (De Kieskeurige Bibliothecaris):
- Wat het is: Het door nieuwheid gereguleerde systeem dat alleen unieke items opslaat.
- Wanneer te gebruiken: Wanneer het antwoord afhangt van het onthouden van een specifieke gebeurtenis uit het verleden, zoals: "Wat was de diagnosecode voor Patiënt X drie maanden geleden?"
- De bevinding: Hier gebeurt de magie. Bij taken zoals het voorspellen van de volgende medische code of het vinden van een plek die je 500 frames geleden hebt bezocht, verslaat dit systeem de standaard aanpak van "alles onthouden".

De Grote Overwinningen (en de Limieten)

Het "Halve de Werking"-resultaat:
In experimenten met tekst (met een dataset genaamd enwik8) slaagde het nieuwe systeem erin om het volgende karakter net zo goed te voorspellen als het standaard systeem, maar het besteedde aandacht aan slechts 49% tot 53% van de tokens. Het sloeg de herhalingen over.

De adder onder het gras: Het artikel merkt op dat hoewel het lezen sneller en goedkoper is, het schrijven (controleren of een item echt nieuw is) langzamer is. Het is een afweging: je besteedt meer tijd aan het organiseren van de bibliotheek zodat je er later sneller uit kunt lezen.

Het "Lange Verhaal"-voordeel:
Naarmate het verhaal langer wordt, groeit het voordeel.

Bij een lengte van 256 tokens was het nieuwe systeem iets slechter dan het oude.
Bij 512 tokens waren ze ongeveer gelijk.
Bij 1.024 tokens was het nieuwe systeem duidelijk beter en versloeg het standaard systeem met 0,300 bits per karakter. Het artikel suggereert dat voor zeer lange contexten het overslaan van de herhalingen een game-changer is.

De "Real-World" Test:
De auteurs testten dit op echte data, zoals ziekenhuisgegevens (MIMIC-IV) en verzekeringsclaims (DE-SynPUF).

Bij een taak om de volgende medische code te voorspellen, versloeg het nieuwe systeem het standaard "sliding window" met een aanzienlijke marge (ongeveer 0,311 bits per gebeurtenis bij een horizon van 1.024 gebeurtenissen).
Echter, bij een taak om de kosten van een claim te voorspellen, was het nieuwe systeem neutraal. Het hielp niet, maar het schaadde ook niet. Het "samenvattingsgeheugen" was daar de held. Dit bewijst het kernpunt van het artikel: je moet het type geheugen afstemmen op de taak.

Waar het Papier "Nee" Tegen Zegt

Het is belangrijk om te weten wat dit artikel niet beweert:

Het is geen wondermiddel voor alles. De auteurs geven expliciet aan dat voor korte, lokale taken een simpel sliding window nog steeds de beste keuze is.
Het lost "Distribution Shift" niet op. In een experiment met computerlogs (BGL) faalde het systeem volledig. Waarom? Omdat het patroon van fouten in de loop van de tijd veranderde (de "template distribution drift"). Het systeem kon zich niet aanpassen aan de nieuwe realiteit. Het artikel geeft toe dat dit een harde grens is: als de regels van het spel veranderen, raakt het geheugen in de war.
Het is nog niet klaar voor complexe menselijke gesprekken. Het artikel beweert niet dat dit werkt voor chatbots met meerdere beurten of retrieval-agents waarbij je nuance, tegenstrijdigheden of wie wat zei, moet begrijpen. Het is een "primitief" (een bouwsteen), geen afgewerkt product.

De Kernboodschap

Het artikel suggereert dat we moeten stoppen met context te behandelen als een lange, saaie lijst met tokens. In plaats daarvan moeten we context behandelen als een verzameling van onderscheidende items.

Als je een specifiek feit uit het verleden moet onthouden, gebruik dan een Novelty Cache (de kieskeurige bibliothecaris).
Als je de algemene trend moet kennen, gebruik dan een Summary (het weerbericht).
Als je alleen de laatste paar seconden nodig hebt, gebruik dan een Window (de kortetermijnbuffer).

De auteurs hebben dit gemeten op publieke data en vonden dat door deze hulpmiddelen te combineren, je een geheugen kunt bouwen dat auditbaar is (je kunt precies zien wat het heeft onthouden) en efficiënt (het schaalt met het aantal unieke zaken, niet met het totaal aantal woorden). Maar ze zijn voorzichtig in hun conclusie: dit is een begin, niet de eindstreep. Het systeem werkt geweldig wanneer de data repetitief en stabiel is, maar het worstelt wanneer de data van mening verandert.

Technische Samenvatting: Een Controleerbaar Dirichlet-proces Werkgeheugen voor Lange, Redundante Contextstromen

1. Het Probleem: Token-gecentreerde versus Informatie-gecentreerde Context

Huidige ontwerpen voor context engineering behandelen de token als de fundamentele eenheid van geheugen. Of het nu gaat om begrensde recurrente toestanden, volledige key–value (KV) caches, of vaste venster-evictiebeleid, deze systemen schalen het geheugen en de rekenkracht lineair of kwadratisch met het aantal tokens. Deze aanpak is inefficiënt voor lange, redundante stromen waarbij dezelfde informatie (bijv. een naam, een tool-status, een log-template of een code) frequent voorkomt. In dergelijke scenario's hangt de taak vaak af van de onderscheidende informatie die de stroom draagt, in plaats van het ruwe aantal tokens.

Het artikel stelt dat het meten van context in tokens herhaalde bewijslast herhaaldelijk in rekening brengt. In plaats daarvan stellen de auteurs een context engineering-primitief voor waarbij het geheugen schaalt met het aantal onderscheidende items (novelty classes) in plaats van het aantal geobserveerde tokens.

2. Methodologie: Een Gedecomposeerd Werkgeheugen

Het artikel introduceert een werkgeheugenarchitectuur die de context decomponeert op basis van hoe een taak afhankelijk is van het verleden, waarbij elk type afhankelijkheid wordt toegewezen aan een specifieke geheugenstructuur:

Recall-gedragen Informatie: Informatie waarbij een latere query afhankelijk is van een specifiek eerder item (bijv. een zeldzame code of een specifieke entiteit). Dit wordt afgehandeld door een content-geadresseerde novelty cache.
Samenvattings-gedragen Informatie: Informatie waarbij het doel afhankelijk is van een langetermijnaggregatie of een vloeiende geschiedenis. Dit wordt afgehandeld door een recurrente toestand (bijv. een state-space model).
Localiteit-gedragen Informatie: Informatie waarbij het doel voornamelijk afhankelijk is van het onmiddellijke verleden. Dit wordt afgehandeld door een recentievenster.

De Novelty-Gated Cache

Het kernmechanisme is een allocate-on-novelty cache, afgeleid van een begeleid mechanisme-artikel (Pal en Rojkova, 2026). Het werkt als volgt:

Allocatieregel: Voor een binnenkomend key–value paar $(k_t, v_t)$ wordt novelty berekend als $nov_t = 1 - \max_{i} \text{sim}(k_t, \kappa_i)$ , waarbij $\kappa_i$ de bestaande slot-keys zijn.
Besluit: Als $nov_t > \tau$ (een drempelwaarde), wordt een nieuwe slot toegevoegd. Zo niet, dan wordt het binnenkomende paar samengevoegd met de meest gelijkaardige bestaande slot.
Leesoperatie: Queries attenderen alleen op de bezette slots, niet op de volledige tokenstroom.
Theoretische Basis: Deze regel komt overeen met de small-variance maximum-a-posteriori limiet van een Dirichlet-proces mengeling (DP-means), optredend als een differentieerbare geheugenoperator.

Architectuur

Het sequentiemodel is een standaard residual stack. De mixing operator (read) binnen elke block kan zijn:

Diagonale state-space convolutie (fixed-state).
Volledige causale aandacht (groeiende token cache).
Novelty-gated causale aandacht (content-addressed cache).
Gekoppelde Reads: De voorgestelde component koppelt een recurrent pad (dat de geschiedenis integreert) met de novelty-gated cache (die onderscheidende items oproept).

3. Belangrijkste Bijdragen

Context Decompositie: Het artikel stelt vast dat context niet monolithisch is. Het scheidt recall-gedragen, samenvattings-gedragen en localiteit-gedragen informatie, en demonstreert dat een enkel geheugenbeleid (bijv. een sliding window of full attention) suboptimaal is voor gemengde afhankelijkheden.
Controleerbaar Geheugen: In tegen tegenstelling tot opake recurrente toestanden of fixed-budget eviction caches, behoudt de novelty-gated cache een inspecteerbare tabel van behouden items. In gestructureerde domeinen komen slots overeen met expliciete objecten (templates, medicijnen, codes, plaatsen), waardoor het systeem kan rapporteren wat er behouden is en waarom (via merge provenance).
End-to-End Validatie: Het artikel gaat verder dan mechanisme-niveau bewijzen en traint modellen end-to-end, waarbij wordt aangetoond dat de novelty-gated cache succesvol gekoppeld kan worden aan recurrente samenvattingen om de performance van full-attention te evenaren of te overtreffen tegen een fractie van de kosten.

4. Experimentele Resultaten

A. Mechanisme-niveau Bewijs (Echte Stromen)

Op vier publieke, ground-truthed stromen slaagde het kale allocate-on-novelty mechanisme erin data te comprimeren tot onderscheidende item-representaties:

Systeemlogs (Loghub HDFS): Comprimeerde 2.000 regels naar 15 templates (143× redundantie), waarbij de ground-truth templates werden hersteld met 0,89 nauwkeurigheid.
Klinisch (MIMIC-IV): Reduceerde 18.087 receptie-events naar 628 slots (29× redundantie), wat de attention memory performance evenaarde bij 1/29e van de grootte.
Claims (DE-SynPUF): Reduceerde 150.000 diagnose-events naar 3.933 slots (38× redundantie), waarbij een 0,989 recall van ICD-9 hoofdstukken werd bereikt. Fixed-budget eviction faalde (0,30 recall).
Mapping (KITTI): Behield exact één slot per plaats, wat een 1,00 revisit recall opleverde, terwijl sliding windows en heavy-hitter policies faalden op lange trajecten.

B. Karakter-niveau Controle (enwik8)

Novelty vs. Full Attention: Novelty-gated attention bereikte pariteit met full attention (2,073 vs. 2,087 bits per karakter) terwijl het slechts 49% van de tokens attendeerde.
De Gekoppelde Component: Het combineren van state-space recurrentie met de novelty-gated cache bereikte 1,877 bpc (attenderend aan 53% van de tokens), wat de performance van state-space + full attention (1,932 bpc) evenaarde maar met een aanzienlijk kleinere cache grootte.
Signaal vs. Approximatie: Het toevoegen van de gated cache naast full attention verbeterde de performance verder (1,836 bpc), wat bewijst dat de cache uniek signaal levert in plaats van enkel attention te benaderen.

C. Context Schaling (Horizon Sweep)

Naarmate de sequentielengte toenam van 256 naar 1.024 tokens, degradeerde de full attention performance aanzienlijk (2,36 naar 2,69 bpc).
De gekoppelde component bleef bijna vlak (2,42 naar 2,39 bpc), waardoor de performance kloof vergroot werd naar +0,300 bpc bij 1.024 tokens.
Het toegelaten fractie nam af naarmate de context langer werd (0,45 naar 0,42), wat wijst op een toenemende exploitatie van redundantie.

D. Domeinspecifieke Bevindingen

Next-Code Predictie (Claims): De gekoppelde component leidde full attention met ~0,3 bits per event bij een 1.024-event horizon. Recency en populariteit-gebaseerde eviction policies faalden, wat bevestigt dat zeldzame, onderscheidende codes deze taak drijven.
Kostenvoorspelling (Claims): Deze taak was samenvattings-gedragen. Recurrent reads presteerden beter dan attention en de cache. De cache was neutraal, wat aantoont dat de cache niet universeel helpt; het geheugenbeleid moet overeenkomen met de taakafhankelijkheid.
Log Stromen: De cache werkte goed op stationaire HDFS logs maar faalde op BGL logs door distributieverschuiving (template drift), wat de claim beperkt tot stromen met stabiele distributies of die een adaptief budget vereisen.
Keep-First vs. Keep-Latest: Voor tekst presteerde het behouden van de laatste occurence van een herhaalde sleutel (Keep-Latest) beter dan Keep-First. Echter, voor gestructureerde claims was Keep-First superieur, wat bevestigt dat de optimale retentiestrategie domeinafhankelijk is.

5. Betekenis en Claims

Het artikel claimt bescheiden maar definitief dat context kan schalen met de onderscheidende informatie die een taak nodig heeft, in plaats van met tokens.

Architecturale Primitief: De novelty-gated cache is een levensvatbare, content-geadresseerde en controleerbare werkgeheugencomponent.
Conditionele Superioriteit: Het voordeel van novelty-gated geheugen groeit met de contextlengte en redundantie. Het is echter geen universele vervanging; het is het meest effectief voor recall-gedragen taken. Voor samenvattings-gedragen taken is recurrentie superieur, en voor localiteit-gedragen taken is een sliding window te prefereren.
Controleerbaarheid: Het behouden geheugen is een inspecteerbare tabel van templates, codes of entiteiten, wat transparantie biedt die opake state-space modellen niet kunnen bieden.
Beperkingen: De experimenten zijn kleinschalig, gebruiken publieke data en evalueren nog niet multi-turn assistenten of retrieval-augmented agents. De huidige cosine-gebaseerde gate en merge-regels worden niet geclaimd voldoende te zijn voor complexe semantische feiten (bijv. het oplossen van tegenstrijdigheden of temporele updates) zonder verdere frontend engineering.

De centrale engineering takeaway is dat een praktisch long-context systeem niet alle informatie door één enkel beleid moet dwingen. In plaats daarvan moet het context deconstrueren in onderscheidende item-recall, recurrente samenvattingen en recentievensters, en deze koppelen op basis van de specifieke eisen van de taak.