💬 NLP

PReM: Learning What to Preserve and When to Refresh for Context Compression

PReM is een nieuw context-compressiekader dat dynamisch leert om de interne laag-gewijze KV-geheugen te behouden en te verversen via een toegewijde geheugenlaag en speciale tokens, wat efficiënte lange-context inferentie mogelijk maakt zonder afhankelijk te zijn van externe compressoren of voortijdige retentiebeslissingen te nemen.

Oorspronkelijke auteurs: Bohan Yu, Lei Shen, Chenxi Zhou, Chen Han, Junlin Liu, Wenbo Su, Yu Cheng, Bo Zheng

Gepubliceerd 2026-07-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bohan Yu, Lei Shen, Chenxi Zhou, Chen Han, Junlin Liu, Wenbo Su, Yu Cheng, Bo Zheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe mysteries probeert op te lossen, maar in plaats van één aanwijzing, krijg je een bibliotheek met 32.000 pagina's aan documenten aangeleverd. Je brein (of in dit geval een computerprogramma genaamd een Large Language Model) moet al deze tekst doorlezen om de specifieke feiten te vinden die nodig zijn om een vraag te beantwoorden. Het probleem is dat het vasthouden van die hele bibliotheek in je "werkgeheugen" te zwaar en traag is. Het is alsoal een bibliotheek in een rugzak proberen te dragen terwijl je een wedstrijd loopt; uiteindelijk word je moe, en kun je precies het boek laten vallen dat je nodig hebt.

Om dit op te lossen, hebben wetenschappers tot nu toe twee slimme trucjes geprobeerd. De eerste is "compressie", waarbij ze proberen de bibliotheek te verkleinen tot één enkele, kleine samenvatting voordat je überhaupt begint met lezen. De tweede is "caching", waarbij ze de hele bibliotheek bewaren maar proberen alleen naar de meest populaire pagina's te kijken. Maar beide hebben een gebrek: ze nemen een beslissing over wat ze behouden voordat je de puzzel begint op te lossen. Als het mysterie halverwege verandert en je plotseling een pagina uit de achterkant van het boek nodig hebt die weggegooid is, zit je vast. Je kunt niet teruggaan om het te pakken omdat de beslissing te vroeg is genomen. Dit artikel introduceert een nieuwe manier om dit aan te pakken, door te suggereren dat we in plaats van een statische samenvatting een geheugensysteem nodig hebben dat zichzelf kan bijwerken naarmate het verhaal zich ontvouwt.

Maak kennis met PReM (Preserve and Refresh Memory), een slim nieuw framework dat het geheugen van het model behandelt als een dynamisch, levend notitieblok in plaats van een statische archiefkast. De kern van het idee is simpel maar krachtig: beslis niet één keer wat je gaat houden, maar beslis wat je nu moet houden, en wees klaar om dingen te vervangen op het moment dat het verhaal daarom vraagt.

Zo werkt PReM, met behulp van een leuke analogie. Stel je voor dat je een detective bent die een zaak oplost met een team van assistenten (de verschillende lagen van de AI). Bij de oude methoden zou het team het hele dossier lezen, hun 10 favoriete pagina's kiezen en de rest in een kluis vergrendelen. Als je later een pagina uit de kluis nodig hebt, heb je pech.

PReM verandert de regels. Het houdt het hele dossier bij, maar organiseert het in kleine "chunks" (zoals hoofdstukken). Terwijl de detective begint met het schrijven van de oplossing, fungeert een speciale "Memory Token" (laten we het een Magische Bladwijzer noemen, geschreven als ⟨m⟩) als een signaal. Wanneer de detective deze bladwijzer schrijft, is dat alsof hij zegt: "Wacht! Ik moet even heroverwegen wat er op mijn bureau ligt."

Op dat exacte moment wordt een toegewijde "Memory Manager" (een speciale laag in de AI) wakker. Het kijkt naar de huidige vraag en de Magische Bladwijzer, en scant dan snel alle hoofdstukken. Het besluit: "Oké, voor de volgende stap van dit verhaal hebben we Hoofdstuk 3 en Hoofdstuk 12 absoluut nodig. De rest kunnen we voor nu vergeten." Het vervangt vervolgens de oude hoofdstukken op het bureau door de nieuwe, waarbij de belangrijke details scherp en helder worden gehouden terwijl de onnodige informatie wordt gecomprimeerd tot een kleine samenvatting. Dit gebeurt tijdens het schrijfproces, niet ervoor.

Het artikel laat zien dat dit "refresh"-mechanisme een game-changer is. In tests met 32.000-token contexten (dat is een heleboel tekst!) slaagde PReM erin het geheugen 16 keer en zelfs 32 keer te comprimeren. Ondanks dat er op elk gegeven moment veel minder informatie "op het bureau" lag, gaf het daadwerkelijk beter antwoord op vragen dan modellen die probeerden de hele bibliotheek open te houden. Bijvoorbeeld, op een model met 7 miljard parameters verbeterde PReM de nauwkeurigheid van de antwoorden met wel 12,55 punten vergeleken met de beste bestaande methoden.

De onderzoekers ontdekten ook iets interessants over waar deze memory manager moet zitten. Ze testten of de "Memory Manager" in de vroege, middelste of late delen van de AI-hersenen geplaatst moest worden. Ze kwamen tot de conclusie dat de middelste en late lagen veel beter waren in het beslissen wat ze moesten behouden, terwijl de vroege lagen te traag waren om deze vaardigheid te leren. Het is alsof een ervaren detective (de middelste lagen) de beslissing neemt over welk bewijs relevant is, in plaats van een beginner (de vroege lagen).

Een van de meest verrassende bevindingen is dat PReM zo goed is in dit "geleerde" geheugenbeheer, dat een kleiner model (3 miljard parameters) met PReM de prestaties van grotere modellen (7 miljard parameters) die andere compressietechnieken gebruikten, kan overtreffen. Dit suggereert dat weten wanneer je je geheugen verfrist net zo belangrijk is als hoe groot je brein is.

Het artikel sluit ook enkele ideeën uit. Het laat zien dat het simpelweg gebruiken van de natuurlijke aandacht van de AI (kijken naar waar hij op dat moment op focust) niet genoeg is om te beslissen wat je moet behouden; je hebt een specifiek, getraind systeem nodig om de selectie te maken. Het laat ook zien dat je de tekst niet simpelweg één keer aan het begin kunt comprimeren en dan op het beste kunt hopen; de "statische" aanpak van het behouden van dezelfde gecomprimeerde samenvatting gedurende het hele antwoord leidt tot slechtere resultaten, vooral bij complexe, meerstapsvragen.

Kortom, PReM suggereert dat de toekomst van efficiënte AI niet alleen draait om het verkleinen van data, maar om het bouwen van een geheugen dat ademt. Het leert het bewijs te bewaren dat het nodig heeft voor de huidige stap van het gesprek en weet precies wanneer het op de "ververs"-knop moet drukken om nieuw bewijs in te wisselen voor de volgende stap. Door dit te doen, houdt het de AI snel en efficiënt zonder dat het de aanwijzingen vergeet die nodig zijn om het mysterie op te lossen.

Technische Samenvatting: PReM (Preserve and Refresh Memory)

1. Probleemstelling

Efficiënte inferentie met lange contexten in Large Language Models (LLMs) kampt met een fundamentele spanning tussen het verminderen van computationele kosten en het behouden van toegang tot noodzakelijke contextuele bewijslast. Naarmate de contextlengte toeneemt, groeit de Key-Value (KV) cache, wat de decodeerlatentie en het geheugengebruik aanzienlijk verhoogt.

Bestaande benaderingen om dit te verzachten, zoals KV-cache compressie en contextcompressie, lijden aan twee primaire beperkingen:

Statische Bewijsretentie: De meeste methoden nemen een enkele, vroege beslissing over welke context behouden moet worden. Deze statische compressie slaagt er niet in zich aan te passen aan de evoluerende behoeften van multi-stap redeneren, waarbij verschillende redeneerstappen verschillende stukken bewijs kunnen vereisen.
Ontkoppelde Bewijsselectie: Methoden die vertrouwen op externe compressors scheiden het compressieproces van de generatie. Dit introduceert extra berekeningen en voorkomt dat het model de bewijsselectie dynamisch kan afstemmen op specifieke redeneerstappen.

Het artikel betoogt dat effectieve compressie verder moet gaan dan eenvoudige omvangvermindering; het moet dynamisch nuttig bewijs bewaren en dit verversen wanneer latere redeneerstappen andere informatie vereisen.

2. Methodologie: PReM

PReM (Preserve and Refresh Memory) is een contextcompressiekader dat lange contexten onderhoudt als interne, laag-specifieke KV-geheugens binnen de LLM. In plaats van te vertrouwen op externe compressors, leert PReM te beslissen wat te bewaren en wanneer te verversen op basis van de interne staat van het model.

Kernmechanismen

Laag-specifieke KV-geheugenrepresentatie: De lange context wordt gecodeerd als laag-specifieke KV-staten ( $M_\ell$ ) die binnen het model worden opgeslagen. Deze staten zijn verdeeld in aaneengesloten chunks.
Dedicated Geheugenlaag: Een specifieke laag ( $\ell_m$ $ℓ_{m}$ ) is aangewezen om beslissingen over geheugenselectie te nemen. Deze laag gebruikt een specifieke selectie-query projectiematrix ( $W^c_\ell$ $W_{ℓ}^{c}$ ) om context-chunks te scoren.
- Chunk Selectie: Het model scoort chunks op basis van de huidige query (uit de vraag of een refresh-token).
- Preserve-and-Pool: Geselecteerde chunks worden bewaard op token-niveau granulariteit. Niet-geselecteerde chunks worden gecomprimeerd tot één gemiddelde KV-representant.
De Geheugentoken $\langle m \rangle$ : Een speciale token dient als een expliciet intern signaal voor het verversen van het geheugen. Wanneer het model $\langle m \rangle$ genereert, evalueert de geheugenlaag de context-chunks opnieuw, selecteert nieuwe relevante bewijslast en werkt de gecomprimeerde KV-geheugenstatus bij voor de daaropvolgende lagen. Dit stelt het model in staat om de controle te houden over wanneer te verversen op basis van de huidige redeneerstap.

Training: Phase-Separated Refresh Training

Om het model te trainen om geheugenselectie af te stemmen op generatie, introduceert PReM een Phase-Separated Refresh Training strategie. Elke redeneerstap wordt gesplitst in twee afzonderlijke forward passes:

Geheugen-Selectiefase: Het model verwerkt de input (vraag of $\langle m \rangle$ ) om chunk-scores te berekenen en de top- $k$ bewijs-chunks te selecteren. Deze fase wordt gesuperviseerd met een Memory Selection Loss ( $L_{ms}$ ) die het model aanmoedigt om bewijs-chunks hoger te rangschikken dan niet-bewijs chunks.
Geheugen-Geconditioneerde Generatiefase: Het model genereert het antwoordsegment ( $y_s$ ) geconditioneerd op de nieuw verfriste geheugenstatus die voortvloeit uit de selectiefase.

Om consistentie tussen training en inferentie te garanderen, bevat de trainingsdoelstelling boundary cross-entropy termen ( $L_{bd}$ ). Deze termen verbinden de selectiefase met het eerste antwoord-token en het einde van een antwoordsegment met de volgende $\langle m \rangle$ token, waardoor het model leert de autoregressieve links tussen geheugenupdates en generatie te begrijpen.

3. Belangrijkste Bijdragen

Formulering: Het artikel herformuleert contextcompressie als een geleerd geheugenbehoud- en verversingsprobleem, waardoor de noodzaak voor externe compressors vervalt.
Architectuur: PReM introduceert een dedicated geheugenlaag en een speciale $\langle m \rangle$ token om dynamische, stap-specifieke geheugenupdates binnen de interne KV-staten van de LLM mogelijk te maken.
Trainingsstrategie: Het voorstel van Phase-Separated Refresh Training, dat geheugenselectie ontkoppelt van generatie tijdens de training om ervoor te zorgen dat het model leert te conditioneren op de specifieke geheugenstatus die voor die stap vereist is.
Empirische Validatie: Uitgebreide experimenten die aantonen dat geleerde, dynamische geheugenupdates beter presteren dan statische compressie en full-context prompting.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op 3B en 7B varianten van Qwen2.5-Instruct met 32K-token contexten over zes benchmarks (TriviaQA, SQuAD, NaturalQuestions, 2WikiMQA, HotpotQA, MuSiQue).

Prestaties vs. Baselines: Onder zowel 16× als 32× compressieratio's presteerde PReM beter dan acht sterke baselines, inclusief KV-cache methoden (SnapKV, StreamingLLM, CAKE) en contextcompressie methoden (LongLLMLingua, EXIT, ICAE).
- Op de 3B backbone bij 16× compressie verbeterde PReM het gemiddelde Exact Match (EM) en F1 met respectievelijk 5.30 en 5.15 punten ten opzichte van de sterkste baseline.
- Op de 7B backbone bij 32× compressie liepen de verbeteringen op tot 8.20 (EM) en 9.89 (F1) punten.
Vergelijking met Full Context: PReM presteerde beter dan directe 32K-token prompting (zonder compressie) op zowel 3B als 7B modellen, wat suggereert dat geleerde geheugenselectie effectiever is dan het model bloot te stellen aan de volledige ongefilterde context.
Superioriteit van Kleine Modellen: Het 3B PReM model presteerde beter dan uitgebrachte 7B soft context-compressie baselines (bijv. Activation Beacon), wat aangeeft dat geleerde preservatie en verversing de kleinere backbone-schaal kunnen compenseren.
Efficiëntie: PReM verminderde het piek GPU-geheugen aanzienlijk (bijv. ~19.57GB vs. 30.0GB voor full memory) terwijl het concurrerende inferentielatentie behield. Het gebruik van $\langle m \rangle$ tokens maakt een controleerbare afweging mogelijk tussen decoding computation (verversingsfrequentie) en geheugenbesparing.

5. Betekenis en Claims

Het artikel claimt dat PReM aantoont dat effectieve long-context inferentie generatie-gekoppelde geheugenupdates vereist in plaats van statische contextverkorting. Door de context te onderhouden als intern KV-geheugen en te leren deze dynamisch te verversen, kan het model adaptief toegang krijgen tot de specifieke bewijslast die nodig is voor elke redeneerstap.

De auteurs benadrukken dat hun aanpak de beperkingen van statische retentie en ontkoppelde selectie aanpakt, door te laten zien dat een model kan leren om "te weten wat te bewaren en wanneer te verversen", wat leidt tot superieure prestaties in multi-hop redeneertaken en betere efficiëntie-kwaliteit afwegingen vergeleken met bestaande compressietechnieken. Het werk suggereert dat intern geheugenbeheer, gezamenlijk getraind met generatie, een levensvatbaar pad is om LLM's op te schalen naar langere contexten zonder prohibitieve computationele kosten.