💻 informatica

Break Later or Never: Prefix-Preserving Context Compaction for Coding Agents

Dit artikel behandelt het conflict tussen contextcompressie en prefix-caching in coding agents door "batched observation masking" en "ObsDrop" te introduceren, een techniek op KV-cache-niveau die verouderde tool-observatiedata vrijgeeft terwijl de logische token-prefix behouden blijft, waardoor de doorvoer en latentie aanzienlijk worden verbeterd zonder de taalkwaliteit in gevaar te brengen.

Oorspronkelijke auteurs: Musa Cim, Burak Topcu, Mahmut Kandemir

Gepubliceerd 2026-11-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Musa Cim, Burak Topcu, Mahmut Kandemir

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een computerprogramma voor dat is ontworpen om code te schrijven, softwarebugs op te lossen of complexe technische problemen op te lossen. Deze "coderingsagenten" werken niet in één enkele uitbarsting; ze opereren in een lange, herhalende conversatie met een groot taalmodel. In elke stap denkt de agent na, geeft een commando aan een hulpmiddel (zoals het openen van een bestand of het draaien van een test) en leest vervolgens het resultaat. Vervolgens herhaalt het proces en voegt het nieuwe resultaat toe aan de geschiedenis. Na verloop van tijd groeit deze geschiedenis uit tot een massaal document met tienduizenden woorden. Om het systeem draaiende te houden, moet de computer elk woord van deze conversatie onthouden om de huidige stap te begrijpen. Deze geheugeneis creëert een zware last, waardoor het systeem vertraagt en duur is in gebruik.

Om deze groeiende stapel tekst te beheren, hebben ingenieurs manieren ontwikkeld om de geschiedenis te verkleinen, een proces dat contextcompressie wordt genoemd. De meest gebruikte methode is simpelweg oude delen van de conversatie verwijderen of vervangen door een korte samenvatting. Maar er zit een verborgen valkuil in deze aanpak. Moderne computers zijn ongelooflijk efficiënt in het hergebruiken van werk dat ze al hebben gedaan. Als een nieuw verzoek begint met exact dezelfde woorden als een eerder verzoek, kan de computer het zware werk overslaan en direct naar het nieuwe deel springen. Maar als je het begin van de conversatie verwijdert of herschrijft, zelfs maar een klein beetje, verliest de computer zijn geheugen van het verleden en moet hij de zware berekening vanaf nul opnieuw starten. De onderzoekers achter deze studie ontdekten dat de handeling van het proberen ruimte te besparen door de tekst aan te passen, de computer vaak veel meer werk laat verrichten, wat de besparingen tenietdoet en het systeem soms zelfs trager en duurder maakt.

Het team, gevestigd aan de Pennsylvania State University, zette zich in om dit conflict tussen ruimtebesparing en tijdbesparing te begrijpen. Ze observeerden dat coderingsagenten van nature bijna de volledige geschiedenis van hun conversatie in elke stap herhalen. Omdat de geschiedenis grotendeels alleen wordt aangevuld, zoals een dagboek waarin je alleen nieuwe vermeldingen onderaan schrijft, kan de computer zijn eerdere berekeningen bijna perfect hergebruiken, met een hergebruikpercentage van 98 tot 99 procent. Het grootste deel van deze geheugenkosten komt niet van de gedachten van de agent, maar van de ruwe gegevens die hij ontvangt, zoals de inhoud van bestanden of de logs van softwaretests. De onderzoekers ontdekten dat wanneer zij standaardmethoden gebruikten om deze oude bestanden te verwijderen of samen te vatten, zij de keten van hergebruik doorbraken. De computer werd gedwongen om alles dat na de verwijdering kwam opnieuw te lezen en te berekenen, waardoor een snelle taak een trage, dure taak werd.

Om dit op te lossen, testten de onderzoekers eerst een eenvoudige aanpassing aan de manier waarop de verwijdering plaatsvindt. In plaats van informatie na elke stap te verwijderen, probeerden ze het slechts eens in de paar stappen te verwijderen. Deze kleine verandering, die zij "batched masking" noemen, stelde de computer in staat om zijn geheugen gedurende langere perioden intact te houden. Het verminderde de hoeveelheid tekst die de agent moest meedragen met wel de helft, terwijl het hergebruikpercentage van de computer hoog bleef, tussen de 95 en 98 procent. Deze aanpak verlaagde de kosten voor het draaien van de agent met tot wel 18 procent en zorgde ervoor dat de taken tot 21 procent sneller voltooid werden. Het was een praktische oplossing die geen wijzigingen vereiste in de onderliggende computersoftware, enkel een slimmere manier om de verwijderingen in te plannen.

Echter, het team realiseerde zich dat zelfs deze verbetering nog steeds het herschrijven van de tekst inhield, wat onvermijdelijk de geheugensketen doorbrak op het moment van verwijdering. Ze ontwikkelden vervolgens een geavanceerdere oplossing genaamd ObsDrop. In plaats van woorden uit de tekst te verwijderen die de agent ziet, werkt ObsDrop binnen het geheugen van de computer zelf. Het houdt de tekst precies zoals hij is, zodat de computer het patroon nog steeds kan herkennen en de eerdere berekeningen kan hergebruiken. Maar op de achtergrond laat het stilletjes de geheugenslots vrij die de oude, irrelevante gegevens bevatten, zoals de inhoud van bestanden die niet langer nodig zijn. Dit stelt de computer in staat om de logische geschiedenis intact te houden voor snelheid, terwijl het fysiek de ruimte vrijmaakt die nodig is om meer agenten tegelijkertijd te draaien.

De onderzoekers testten dit nieuwe systeem op krachtige servers die meerdere agenten gelijktijdig draaien. Ze ontdekten dat naarmate het aantal agenten toenam, de standaardmethoden begonnen te worstelen; het systeem vertraagde drastisch naarmate het zonder geheugen kwam te zitten of constant opnieuw moest berekenen. In contrast hiermee behield het ObsDrop-systeem zijn snelheid en efficiëntie. Onder zware belasting stelde het systeem de servers in staat om tussen de 2,45 en 2,85 keer meer werk te verwerken dan voorheen, en in sommige specifieke configuraties bereikte de verbetering zelfs meer dan vijf keer de oorspronkelijke snelheid. Het systeem hanteerde de druk zonder de kwaliteit van het werk dat de agenten produceerden te verliezen.

Dit werk benadrukt een cruciale les voor de toekomst van kunstmatige intelligentie: het beheren van het geheugen van een slimme agent gaat niet alleen over hoeveel tekst je bewaart, maar ook over hoe je het bewaart. Door te begrijpen dat het vermogen van de computer om eerder werk te hergebruiken fragiel is, toonden de onderzoekers aan dat effectief beheer vereist dat de structuur van de conversatie behouden blijft, zelfs terwijl de data wordt weggegooid. Hun nieuwe methode, ObsDrop, biedt een manier om beide te hebben: een slanker geheugenspoor en een sneller, responsiever systeem, wat ervoor zorgt dat deze krachtige coderingsinstrumenten kunnen opschalen om de complexe problemen van morgen aan te kunnen zonder te verdrinken in hun eigen geschiedenis.

Technische Samenvatting: Break Later or Never: Prefix-Preserving Context Compaction for Coding Agents

Probleemstelling

Coding agents werken door herhaaldelijk Large Language Models (LLMs) aan te roepen over groeiende, alleen toevoegbare (append-only) geschiedenissen die bestaan uit redeneringen, tool calls en tool observaties. Deze werklast is uniek gunstig voor prefix caching, aangezien elke nieuwe aanvraag doorga'genen de overgrote meerderheid van de vorige context hergebruikt, waardoor serving engines de dure "prefill"-fase voor herhaalde tokens kunnen overslaan.

Er bestaat echter een kritiek conflict tussen context compactie (nodig om geheugen en kosten te beheren naarmate trajecten groeien) en prefix caching. Traditionele compactiemethoden (bijv. truncatie, masking, samenvatting) herschrijven de prompt-geschiedenis. Omdat prefix caching afhankelijk is van exacte token-matching, invalideert elke bewerking aan de prompt de Key-Value (KV) cache voor dat prefix en alle daaropvolgende tokens. Dit dwingt het systeem om de volledige suffix opnieuw te berekenen (re-prefill), wat de computationele besparingen van caching tenietdoet. Het artikel identificeert dat hoewel tool-observaties (bestandsweergaven, testlogs) het merendeel van de contextkosten vormen, het verwijderen hiervan via prompt-niveau bewerkingen de prefix cache verbreekt, wat een kortere prompt potentieel duurder kan maken om te serveren dan een langere, ongewijzigde prompt.

Methodologie

De auteurs karakteriseren deze interactie en stellen oplossingen voor op twee niveaus: prompt-niveau en KV-cache niveau.

1. Karakterisering en mitigatie op prompt-niveau

Anatomie van de kosten: De studie analyseert trajecten van coding agents op SWE-bench (Verified en Multilingual) met behulp van de Qwen3-Coder en Devstral-Small modellen. Het stelt vast dat zonder compactie de prefix-cache hit rates 98–99% zijn. De kosten worden gedomineerd door het opnieuw lezen van tool-observaties, niet door herberekening.
Evaluatie van bestaande policies:
- Sliding Window: Verwerpt de oudste beurten. Hoewel dit de promptlengte vermindert, verschuift het het startpunt van de prefix, wat bij elke stap een 100% re-prefill van het venster veroorzaakt. Dit resulteert in hoge serving costs en lage taaksuccespercentages.
- Observation Masking: Vervangt oude observaties door placeholders. Hoewel dit de taaksucces beter behoudt dan sliding windows, bewerkt het nog steeds de prompt bij elke stap, wat de prefix cache invalideert en re-prefills dwingt.
- LLM Summarization: Vervangt de geschiedenis door een samenvatting. Dit introduceert decode-overhead (het genereren van de samenvatting) en kan kritieke informatie verliezen, wat de taaksucces op meertalige benchmarks vermindert.
Batched Observation Masking: De auteurs stellen een eenvoudige mitigatie voor waarbij observation masking slechts één keer elke $k'$ beurten (bijv. elke 8 stappen) wordt toegepast in plaats van elke stap. Dit amorteert de kosten van de prefix invalidatie, waardoor 95–98% prefix reuse behouden blijft terwijl de contextlengte wordt verminderd.

2. ObsDrop: Compactie op KV-niveau

Om het conflict tussen compactie en caching volledig op te lossen, introduceren de auteurs ObsDrop, een mechanisme dat de logische token sequentie (de prompt die naar het model wordt gestuurd) ontkoppelt van de fysieke KV residency (wat in het GPU-geheugen wordt opgeslagen).

Mechanisme: ObsDrop laat de prompt en token-posities ongewijzigd om ervoor te zorgen dat prefix matching geldig blijft. Het laat echter de KV-entries die overeenkomen met verouderde tool-observaties vrij uit het GPU-geheugen.
Implementatie:
- SGLang: Geïmplementeerd binnen de RadixAttention cache. ObsDrop identificeert observation spans, vervangt hun KV-slot indices door een gereserveerde "dead" slot (index 0), en geeft de fysieke slots terug aan de allocator. De attention kernel krijgt vervolgens de instructie om deze dead slots over te slaan.
- Sparse-vLLM: Geïmplementeerd als een onafhankelijke laag die KV-entries voor oude observaties vrijgeeft terwijl de logische prefix structuur behouden blijft.
Optimalisatie: Om runtime overhead te voorkomen, wordt dead slot tracking afgehandeld op de CPU, en worden attention index lijsten in een enkele GPU pass gepruned vóór de kernel executie, waardoor CUDA graphs behouden blijven.

Belangrijkste Bijdragen

Karakterisering: Het artikel toont aan dat prompt-bewerkingen een voorheen over het hoofd geziene component van compactie kosten zijn. In coding agents betekent de hoge mate van prefix reuse dat het breken van de prefix cache vaak duurder is dan de geheugenbesparing die door compactie wordt verkregen.
Prefix-bewuste prompt compactie: De auteurs tonen aan dat batching van observation masking (masking elke $k'$ stappen) een praktische, engine-agnostische oplossing is die 95–98% prefix reuse behoudt terwijl de contextlengte met wel 50% wordt verminderd.
ObsDrop: Een nieuw KV-niveau compactiemechanisme dat geheugen terugwint voor verouderde observaties zonder de logische prompt te wijzigen. Dit stelt het systeem in staat om prefix matching te behouden terwijl de KV residency en attention werkzaamheden worden verminderd.
End-to-End Evaluatie: Uitgebreide evaluatie over SGLang en Sparse-vLLM, gebruikmakend van FlashInfer en Triton backends, onder variërende concurrency niveaus.

Resultaten

Prompt-niveau (Batched Masking):
- Vermindert de gemiddelde contextlengte met tot wel 50%.
- Vermindert de serving kosten met tot wel 18% en de task completion time (TCT) met tot wel 21%.
- Handhaaft taaksuccespercentages die vergelijkbaar zijn met geen compactie.
KV-niveau (ObsDrop):
- Throughput: Onder hoge concurrency (16 agents) bereikt ObsDrop 2.45× tot 2.85× hogere throughput met FlashInfer en tot wel 5.37× met de Triton backend vergeleken met geen compactie.
- Latency: ObsDrop vermindert de tail latency (p95 TTFT) aanzienlijk onder geheugendruk door cache eviction en de daaropvolgende re-prefill cycli te voorkomen die "no compaction" scenario's teisteren.
- Efficiëntie: ObsDrop vermindert het volume van attended tokens met 19–44% over verschillende modellen en engines, wat de compute kosten direct verlaagt.
- Kwaliteit: Taaksuccespercentages blijven dicht bij de "no compaction" baseline, in tegen tegenstelling tot agressieve samenvatting of sliding window benaderingen die de prestaties verslechteren.

Betekenis en Claims

Het artikel betoogt dat effectief contextbeheer voor coding agents niet alleen moet kijken naar welke tokens worden behouden, maar ook naar hoe compactie interageert met de caching mechanismen van het serving systeem.

De Trade-off: De auteurs beweren dat het conflict tussen compactie en prefix caching fundamenteel is. Prompt-niveau bewerkingen brengen onvermijdelijk een breuk in de cache reuse met zich mee, terwijl ObsDrop dit oplost door op KV-niveau te opereren.
Systemische Impact: ObsDrop biedt een primitief waarmee serving engines geheugen kunnen terugwinnen zonder de logische geschiedenis die nodig is voor prefix caching te verbreken. Dit is bijzonder cruciaal onder concurrerende workloads waar geheugendruk leidt tot cache evictions, wat resulteert in een scherpe toename van de tail latency.
Bescheiden Claims: De auteurs erkennen dat het optimale batching interval ( $k'$ ) kan variëren per traject en dat hun implementatie in vLLM verdere ontkoppeling vereist tussen block identity en KV residency. Ze positioneren ObsDrop niet als een universele vervanging voor alle compressietechnieken, maar als een specifieke oplossing voor de unieke "append-only, observation-heavy" werklast van coding agents.

Samenvattend demonstreert het artikel dat door de logische prefix te behouden terwijl de fysieke verouderde observatie data wordt gedropt, agents aanzienlijke prestatie- en kostenverbeteringen kunnen realiseren zonder de taakkwaliteit op te offeren.