Technisch overzicht: Cache-Aware Prompt Compressie (CAPC)

Probleemstelling

Moderne implementaties van Large Language Models (LLM's) vertrouwen steeds vaker op twee verschillende methoden voor kostenreductie: prompt caching (het opslaan van de KV-states van een prefix om gereduceerde tarieven te rekenen voor opeenvolgende leesacties) en prompt compressie (het verminderen van het aantal tokens in de input). Historisch gezien zijn deze technieken als afzonderlijke optimalisaties behandeld. De dominante literatuur over prompt compressie leunt echter op query-bewuste methoden, die een unieke gecomprimeerde prefix genereren voor elke specifieke query.

Deze ontwerpkeuze creëert een fundamenteel conflict met prefix-strikte caching-mechanismen (bijv. Anthropic's cache_control). Omdat de gecomprimeerde prefix bij elke query verandert, wordt de cache-key bij elke aanroep ongeldig gemaakt. Bijgevolg betaalt het systeem voor elke aanroep het volledige, niet-gereduceerde inputtarief, wat de besparingen van zowel compressie als caching effectief tenietdoet. Hoewel de bestaande literatuur vaak uitgaat van een ideale cache-hitrate ($\rho = 1.0$), houdt deze aanname geen rekening met de economische realiteit van echte API's, waar cache-gedrag niet triviaal is en query-bewuste compressie kan resulteren in een netto negatief rendement op investering (ROI).

Methodologie en Empirische Karakterisering

De auteurs pakken dit gat aan door een combinatie van empirische meting, kostenmodellering en algoritmisch ontwerp.

1. Empirische Karakterisering van Anthropic Sonnet 4.6

Het artikel karakteriseert eerst het caching-gedrag van de Anthropic Sonnet 4.6 API via gecontroleerde experimenten ($n=3$ proeven, totale kosten $1,91). Belangrijkste bevindingen zijn:

• Twee-lagen Architectuur: De cache is niet uniform. Het vertoont een scherpe drempel rond de 3.500 tokens.
  • Hot Tier (< 3,5k tokens): De hitrate ($\rho$) vlakt af op ongeveer 0,83 (specifiek 0,833 voor 2k tokens) zelfs na 30 aanroepen. Het is niet 1,0.
  • Persistent Tier (> 3,5k tokens): De hitrate is effectief 1,0 vanaf de tweede aanroep aan toe.
• Token-strikte Ongeldigheid: Cache-invalidatie is strikt gekoppeld aan de token-sequentie. Zelfs minimale mutaties (bijv. een enkele karakterwijziging) resulteren in een cache-miss, hoewel witruimte aan het begin of einde wordt genormaliseerd door de tokenizer.
• Prijsstructuur: De API rekent een premie voor cache-writes ($c_w$) vergeleken met ongecached inputs ($p_{in}$), en een aanzienlijke korting voor cache-reads ($c_r$). Op Sonnet 4.6 is $c_w \approx 1,25 \times p_{in}$ en $c_r \approx 0,10 \times p_{in}$.

2. Kostenmodellering en Crossover-analyse

De auteurs leiden een kostenmodel per aanroep af voor vier strategieën:

• A (Vanilla): Geen cache, geen compressie.
• B (Alleen Cache): Volledige prefix gecached, geen compressie.
• C (Query-bewuste Compressie): Gecomprimeerd per query, geen cache (veroorzaakt elke keer een cache-miss).
• D (CAPC): Query-agnostische compressie + caching.

Het model definieert een crossover-drempel ($\rho_{cross}$) waar de kosten van caching (Strategie B) gelijk zijn aan de kosten van query-bewuste compressie (Strategie C):
$$\rho_{cross}(r) = \frac{c_w - p_{in}/r}{c_w - c_r}$$
De analyse laat zien dat voor hoge compressieratio's ($r \ge 6$), de vereiste hitrate voor caching om query-bewuste compressie te verslaan, de empirische plateau van de Sonnet 4.6 hot tier ($\rho \approx 0,89$) overstijgt. Onder realistische omstandigheden is query-bewuste compressie dus vaak goedkoper dan naïeve caching, wat de gangbare wijsheid tegenspreekt.

3. Het CAPC-algoritme

De voorgestelde oplossing, Cache-Aware Prompt Compression (CAPC), combineert drie componenten:

1. Query-agnostische Compressie: Een statisch document wordt één keer gecomprimeerd (bijv. via zinselectie) tot een vaste prefix $D'$, waardoor de cache-key constant blijft over queries heen.
2. Tier-preserverende Ratio-grens: Om te voorkomen dat overmatige compressie de prefix in de "hot tier" (waar $\rho < 1$) duwt, wordt de compressieratio $r$ begrensd door $r_{max} = \lfloor |D| / 3500 \rfloor$. Dit zorgt ervoor dat de gecomprimeerde prefix in de persistent tier ($\rho \approx 1,0$) blijft.
3. AdaptiveCacheBoundary: Voor evoluerende documenten classificeert een subroutine zinposities als STATIC, QUASI of DYNAMIC op basis van mutatiesnelheden tussen versies, waarbij alleen de stabiele prefix wordt gecached.

Belangrijkste Resultaten

1. LongBench-v2 Synthetische Benchmarks

Op 16 configuraties (4 documentgroottes $\times$ 4 ratio's) was CAPC de goedkoopste strategie in 16/16 gevallen.

• Besparingen: Gemiddelde besparingen van 49% ten opzichte van alleen cache, 64% ten opzichte van query-bewuste compressie, en 90% ten opzichte van vanilla.
• Kwaliteit: CAPC behield de kwaliteit binnen 0,05 van de ongecomprimeerde baseline bij tier-preserverende ratio's.
• Crossover Validatie: Bij $r=6$ was query-bewuste compressie goedkoper dan alleen cache in alle 4/4 configuraties, wat de voorspelling van het crossover-model valideert.

2. Productie-validatie: Enterprise Tool-Using Assistant

Gevalideerd op een 94k-token statische prefix (systeemprompt + 287 MCP tool-definities).

• Kostenreductie: CAPC bij $r=3$ bereikte een kostenreductie van 51,7% ten opzichte van vanilla.
• Kwaliteit: Tool-selectiekwaliteit kwam overeen met alleen cache (0,700 vs 0,703).
• Inzicht: Query-bewuste compressie bij $r=3$ presteerde juist slechter op tool-selectie (0,603) omdat het relevante tool-definities voor de query wegliet. CAP de query-agnostische aanpak behield de volledige catalogus, wat superieur bleek voor tool-augmented agents.
• Impliciete Caching: De studie onthulde dat Anthropic grote tools= arrays impliciet cachet zonder expliciete markers, wat de marginale winst van expliciete caching voor vanilla-strategieën vermindert, maar de winsten van CAPC-compressie niet tenietdoet.

3. Knowledge-Graph RAG (Graphify)

Geïntegreerd met graphify voor codebase-indexering (FastAPI en httpx repositories).

• Architectuur: Laag 1 (gecached, query-agnostisch) bevat graph-metadata; Laag 2 (per-query) haalt broncode op.
• Prestaties: CAPC leverde een 9,3x kostenreductie op FastAPI en 2,4x op httpx vergeleken met "cache-all" (volledige graph-skelet), terwijl een stabiele cache-hitrate van 85%+ werd behouden.
• Kwaliteit: CAPC presteerde beter dan native graphify-queries en embedding-RAG baselines, vooral op codebases waar het model zwakkere voorkennis had (httpx), waarbij een kwaliteitsverbetering van 142% werd behaald ten opzichte van vanilla.

4. Publieke Benchmark: $\tau$-Bench Retail

Geëvalueerd op 50 deterministische taken met database-state beloningen (geen LLM-judge).

• Resultaat: CAPC was de goedkoopste strategie, met een besparing van 7,9% over vanilla terwijl exact dezelfde taakvoltooiingsgraad (36/50) werd behaald als bij vanilla ($z=0,00, p=1,00$).
• Negatieve ROI van Query-Aware: Query-bewuste compressie was 40,1% duurder dan vanilla, wat de eerste productiebevestiging biedt dat query-bewuste methoden een negatieve ROI kunnen hebben op publieke benchmarks.

Betekenis en Claims

Het artikel claimt de eerste systematische karakterisering van de economie van prompt caching te bieden, waarbij verder wordt gekeken dan de geïdealiseerde $\rho=1,0$ aanname. De belangrijkste bijdragen zijn:

1. Empirische Realiteit: Het aantonen dat LLM-caches een twee-lagen architectuur hebben met een niet-triviaal plateau voor de hitrate onder een specifieke token-drempel.
2. Theoretische Inversie: Het bewijzen dat bij hoge compressieratio's query-bewuste compressie vaak goedkoper is dan naïeve caching, wat de conventionele ontwerphiërarchie omkeert.
3. Praktisch Algoritme: Het introduceren van CAPC, dat query-agnostische compressie combineert met expliciete caching en een tier-preserverende beperking.
4. Productie-validatie: Het valideren van deze bevindingen over synthetische benchmarks, enterprise tool-use agents, knowledge-graph RAG-pipelines en publieke deterministische benchmarks.

De auteurs benadrukken dat CAPC geen vervanging is voor indexers (zoals graphify), maar een complementaire "last-mile delivery" laag die de economische kosten optimaliseert voor het leveren van index-afgeleide context aan een LLM. De totale kosten van alle empirische arbeid in het artikel waren $98,96, wat aantoont dat deze bevindingen reproduceerbaar zijn met bescheiden middelen.