Technische Samenvatting: Grounded Cache Routing voor Retrieval-Augmented Generation

Probleemstelling

Moderne Retrieval-Augmented Generation (RAG)-systemen maken steeds vaker gebruik van caching om tokenkosten en Time-to-First-Token (TTFT) te verlagen. Hoewel prefix-level Key-Value (KV)-hergebruik en caching van zoekresultaten door constructie sterke correctheidsgaranties bieden, blijft semantische antwoordcaching op output-niveau kwetsbaar. Naïeve semantische caches lijden onder drie primaire faalmodi:

1. Referentverschuiving: Semantisch vergelijkbare vragen kunnen, afhankelijk van de context, leiden tot verschillende correcte antwoorden.
2. Zoekdrift: Naarmate het onderliggende corpus wordt bijgewerkt, kunnen eerder gecachte bewijzen ongeldig worden of veranderen.
3. Adversariële botsing: Kwaadaardige invoer kan gecachte antwoorden overnemen; in geëvalueerde scenario's werden overnamepercentages gemeld tot wel 86%.

Huidige systemen geven vaak prioriteit aan hoe antwoorden sneller kunnen worden hergebruikt, en negeren de kritieke vraag wanneer hergebruik veilig is. Dit artikel betoogt dat zonder rigoureuze validatie semantische caching een aanzienlijke "unsafe-served rate" (USR) introduceert, waarbij gebruikers onjuiste antwoorden uit de cache ontvangen.

Methodologie: GroundedCache

De auteurs stellen GroundedCache voor, een bewijs-gevalideerde cache-router die fungeert als beleidslaag bovenop bestaande serveringsstapels (bijv. vLLM, RAGCache). In plaats van blind een gecachet antwoord terug te geven voor een semantisch vergelijkbare vraag, accepteert GroundedCache een gecachet antwoord uitsluitend wanneer vier specifieke "poorten" gelijktijdig worden gehaald.

De Vier Validatiepoorten

Gegeven een gecachet item $(q_c, a_c, \sigma_c)$ en een nieuwe vraag $(q, \sigma, C)$, accepteert de router $a_c$ dan en slechts dan als:

1. Vraaggelijkheid (G1): De cosinusgelijkheid tussen de embedding van de nieuwe vraag en de embedding van de gecachete vraag een drempelwaarde ($\tau_q$) overschrijdt.
2. Overlapping van Bewijs (G2): De Jaccard-gelijkheid tussen de handtekening van het nieuwe bewijs (set van chunk-hashes) en de gecachete handtekening een drempelwaarde ($\tau_e$) overschrijdt.
3. Validiteit Bronversie (G3): Gedeelde chunks tussen het nieuwe en het gecachete bewijs dragen dezelfde bronversie-tag, waarmee wordt gegarandeerd dat het corpus niet is gewijzigd.
4. Ondersteuning door Bewijs (G4): De inhoudstokens van het gecachete antwoord worden gedekt door het vers versamelde bewijs. Dit wordt berekend via een deterministische score voor lexicaal overlap (standaard) of optioneel via een lichtgewicht judge LLM.

Als een poort faalt, valt het systeem terug op een standaard RAG-pijplijn: vraag-geconditioneerde compressie van de opgehaalde chunks gevolgd door generatie.

Werklast en Metrieken

Om cache-veiligheid te testen in plaats van alleen hit-rates, synthetiseerden de auteurs een werklast met zes regimes:

• Exacte herhaling & Parafrase: Onschadelijke hergebruiksscenario's.
• Bijna-miss: Lexicaal vergelijkbare vragen met disjuncte gouden documenten.
• Document-drift: Vragen waarbij numerieke tokens in gouden documenten zijn gewijzigd om gecachte antwoorden ongeldig te maken.
• Lange gedeelde-documenten & Bounded-KB CAG: Scenario's die gunstig zijn voor deduplicatie en generatie in context.

De primaire evaluatiemetriek is de Unsafe-Served Rate (USR), gedefinieerd als het aandeel van alle vragen die een verkeerd gecachet antwoord ontvingen. Dit wordt aangevuld met de Answer-Cache Hit Rate (aHR) en de Conditional False-Hit Rate (FH).

Belangrijkste Resultaten

Experimenten werden uitgevoerd op de HotpotQA en mtRAG datasets met 12.000 generaties (Qwen2.5-7B-Instruct geserveerd door vLLM).

Veiligheidsverbeteringen

• HotpotQA: GroundedCache verlaagde de USR naar 0,0% in alle regimes waar naïeve caching niet-nul fouten had. Bijvoorbeeld, in het regime "document drift" had naïeve caching een USR van 35,0%, terwijl GroundedCache 0,0% bereikte.
• mtRAG (Meerdere beurten): Naïeve caching vertoonde catastrofale uitval met een USR variërend van 26,0% tot 51,5% door referentverschuivingen. GroundedCache verlaagde de USR met meer dan een orde van grootte, en bereikte 1,5% in het document-drift regime (een reductie van verkeerde gecachte antwoorden met een factor 34).
• Ablatiestudies: De lexicale ondersteuningspoort (G4) werd geïdentificeerd als het "draggende" veiligheidsmechanisme. Het verwijderen hiervan verhoogde de USR met ongeveer 0,125 op HotpotQA en ongeveer 0,118 op mtRAG. De andere poorten (G1–G3) boden verdediging in diepte tegen een bijna-nul kostprijs, maar waren grotendeels overbodig wanneer G4 actief was.

Prestaties en Latentie

• Latentie: De end-to-end p50-latentie onder GroundedCache bleef binnen 1,04–1,07× van een RAG-baseline zonder cache.
• Afwegingen: Een variant "zonder ondersteuning" (uitschakelen van G4) bood een snelheidswinst van 1,4–1,5×, maar resulteerde in een niet-nul USR (0,125–0,182), wat de afstembare afweging tussen veiligheid en snelheid aantoont.
• Hit-rates: Hoewel GroundedCache de ruwe hit-rate voor antwoordcaches verlaagde (bijv. van 0,41 naar 0,04 op HotpotQA exacte herhaling) om veiligheid te waarborgen, handhaafde het aanzienlijke besparingen in het ophalen door gebruik te maken van het pad voor caching van zoekresultaten.

Betekenis en Beweringen

Het artikel beweert dat de juiste kaderstelling voor het hergebruiken van gecachte antwoorden niet het maximaliseren van snelheid is, maar het kwantificeren en minimaliseren van de unsafe-served rate.

• Beleid boven Kernel: GroundedCache wordt gepresenteerd als een beleidslaag die samenwerkt met bestaande infrastructuur (vLLM APC, LMCache, enz.) zonder wijzigingen te vereisen aan de modelserver, de retriever of de embedding-modellen.
• Metrieken voor Operators: De auteurs betogen dat het rapporteren van USR naast hit-rate en latentie essentieel is voor practitioners om geïnformeerde beslissingen te nemen over hun afwegingen tussen veiligheid en snelheid.
• Robuustheid: Door te valideren tegen vers bewijs en versie-tags, neutraliseert het systeem effectief adversariële botsingen en corpusdrift, wat naïeve semantische caches niet aankunnen.

De auteurs concluderen dat semantische antwoordcaches inherent correctheid inruilen voor snelheid, maar dat de lexicale ondersteuningspoort een goedkope, deterministische mechanisme biedt om te waarborgen dat hergebruik veilig is, waardoor de unsafe-served rate naar bijna nul wordt geduwd terwijl de latentie-voordelen van caching behouden blijven.