CacheSolidarity: Preventing Prefix Caching Side Channels in Multi-tenant LLM Serving Systems

Dit paper introduceert CacheSolidarity, een systeem dat timing-kantekanaal-aanvallen via automatische prefix-caching in multi-tenant LLM-systemen voorkomt door verdachte cache-deling selectief te isoleren, waardoor de prestaties en efficiëntie behouden blijven ten opzichte van bestaande, volledig isolerende verdedigingsmechanismen.

De kern

Stel je voor dat een grote taalmodel (zoals een slimme chatbot) een enorme bibliotheek is waar miljoenen mensen tegelijkertijd boeken komen lezen. Om het allemaal snel te laten gaan, heeft de bibliotheek een slim systeem: Prefix Caching.

Het Probleem: De "Snelle Gang" en de Spion

Stel je voor dat de bibliotheek een snelle gang heeft. Als je een boek leest dat begint met dezelfde eerste pagina als iemand anders die daarvoor was, mag je die eerste pagina overslaan en direct naar de tweede pagina gaan. Dit is razendsnel.

• De Snelle Gang (Cache Hit): Als je de eerste pagina al kent, ben je er zo. Je komt er in 1 seconde.
• De Langslepende Gang (Cache Miss): Als je een nieuw boek begint, moet je eerst de hele eerste pagina lezen. Dit duurt 10 seconden.

Het gevaar: In een drukke bibliotheek (een multi-tenant systeem) zitten er ook spionnen. Een spion probeert te raden wat een ander leest.
De spion doet het volgende:

1. Hij vraagt de bibliothecaris om een boek dat begint met "Hoi, mijn naam is...".
2. Hij kijkt naar de klok.
   • Komt het antwoord in 1 seconde? Dan weet hij: "Aha! Iemand anders had ook 'Hoi, mijn naam is...' in hun boek. De eerste pagina is al gelezen!"
   • Komt het antwoord in 10 seconden? Dan weet hij: "Nee, niemand had dat. De eerste pagina is nieuw."

Door dit spelletje te spelen, woord voor woord, kan de spion langzaam de geheime naam van het slachtoffer reconstrueren. Dit heet een tijdslekkage-aanval.

De Huidige Oplossingen: Te Grof of Te Traag

Tot nu toe hadden bibliotheken twee manieren om dit te voorkomen, maar beide waren niet ideaal:

1. Iedereen in een aparte kamer: Je sluit de snelle gang af voor iedereen. Iedereen moet zijn eigen gang gebruiken, zelfs als ze hetzelfde boek lezen. Dit is veilig, maar het is trager en inefficiënt.
2. Valse tijden: De bibliothecaris doet alsof het altijd 10 seconden duurt, zelfs als het boek al bekend is. Hij voegt "ruis" toe. Dit werkt, maar het maakt het systeem onnodig traag voor de eerlijke gebruikers.

De Nieuwe Oplossing: CacheSolidarity

De onderzoekers van dit paper hebben een slimme, nieuwe oplossing bedacht die ze CacheSolidarity noemen. Het idee is gebaseerd op samenwerking en slimme bewaking.

Stel je voor dat de bibliotheek nu werkt met een slimme bewaker en kleine stickers.

1. De Stickers (Metadata): Elke keer dat iemand een boek leest, krijgt de eerste pagina een sticker met de naam van de lezer erop.
2. De Bewaker (Detector): Als een nieuwe lezer binnenkomt en probeert de snelle gang te gebruiken, kijkt de bewaker naar de sticker.
   • Geen sticker of eigen sticker? Geen probleem, gebruik de snelle gang.
   • Sticker van een ander? De bewaker zegt: "Wacht even! Dit is een gedeelde pagina, maar we weten niet of dit veilig is."
3. De Slimme Stop (Isolatie): Zodra de bewaker ziet dat twee verschillende mensen dezelfde pagina delen, plakt hij een oranje waarschuwingsteken op die pagina.
   • De volgende keer dat iemand anders (een potentiële spion) die pagina probeert te gebruiken, zegt de bewaker: "Stop! Je mag die pagina niet overslaan. Je moet hem zelf lezen."
   • De originele eigenaar van de pagina mag echter gewoon doorlopen.

De Magie:

• Voor de eerlijke gebruikers: Als je een normaal gesprek hebt, delen mensen vaak dezelfde zinnen (zoals "Hoi, hoe gaat het?"). De bewaker laat dit toe. De snelle gang blijft werken voor 90% van de gevallen.
• Voor de spion: Zodra de spion probeert een geheim woord te raden, stopt de bewaker de snelle gang. De spion ziet geen verschil meer in de tijd, omdat hij nu altijd de "lange weg" moet nemen. Hij kan het geheim niet meer raden.

De "Verkeerslichten" (De Activator)

Er is nog een extra slimme toevoeging. De bewaker kijkt ook naar hoe druk het is in de bibliotheek.

• Als het erg druk is (veel mensen tegelijk), is de snelheid van de gang al zo wisselend door de drukte, dat de spion de tijd niet meer goed kan meten. In dat geval schakelt de bewaker de strenge controle even uit om de snelheid te maximaliseren.
• Als het rustig is en de spion kan de tijd perfect meten, gaat de strenge controle direct aan.

Samenvatting in één zin

CacheSolidarity is als een slimme bibliothecaris die niet iedereen in een aparte kamer stopt, maar alleen de specifieke, verdachte gedeelten van een gesprek blokkeert als iemand probeert te spioneren. Hierdoor blijft het systeem snel voor de eerlijke gebruikers, maar onkraakbaar voor de spion.

Het is een win-win: veiligheid zonder snelheid te offeren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CacheSolidarity: Preventing Prefix Caching Side Channels in Multi-tenant LLM Serving Systems" in het Nederlands.

1. Het Probleem: Timing Side Channels in LLM Serving

Grote Taalmodellen (LLM's) maken gebruik van Automatic Prefix Caching (APC) om de inferentie te versnellen. APC hergebruikt eerder berekende modelstaten (Key-Value caches) voor het begin van een verzoek (de prefix) als een nieuw verzoek begint met dezelfde tekst. Hoewel dit de doorvoer aanzienlijk verbetert, introduceert het een timing side channel.

• Het Mechanisme: Een "cache hit" (hergebruik) is aanzienlijk sneller dan een "cache miss" (herberekening). Dit resulteert in meetbare verschillen in de Time-to-First-Token (TTFT).
• De Aanval: In multi-tenant omgevingen (waar meerdere gebruikers dezelfde infrastructuur delen) kunnen aanvallers deze timingverschillen uitbuiten. Door geconstrueerde verzoeken te sturen en de TTFT te meten, kan een aanvalter bepalen of hun invoer overeenkomt met de cache van een ander gebruiker.
• Het Gevolg: Door dit proces iteratief te herhalen, kan een aanvalter de geheime prompts of gevoelige informatie van andere gebruikers stap voor stap reconstrueren (zogenaamde "prompt stealing attacks").

Huidige Defensies en Hun Tekortkomingen:
Bestaande oplossingen zijn vaak te zwaar ("sledgehammer approach"):

1. Volledige isolatie: Gebruikers krijgen hun eigen cache of prefix-sharing wordt volledig uitgeschakeld. Dit elimineert de beveiligingsrisico's maar vernietigt de prestatievoordelen van APC, wat leidt tot hoge latentie en lagere doorvoer voor alle gebruikers.
2. Timing Obfuscation: Ruis wordt toegevoegd om timingverschillen te maskeren. Dit introduceert uniforme vertragingen voor alle verzoeken, zelfs voor veilige gebruikers, en lost het onderliggende probleem van gedeelde cache niet op.
3. Selectieve isolatie (semantisch): Gebruikt zware LLM-analyse om te bepalen of een prompt gevoelig is. Dit is niet schaalbaar en kan fouten maken bij classificatie.

2. Methodologie: CacheSolidarity

CacheSolidarity is een systeemontwerp dat de beveiliging van multi-tenant LLM-systemen garandeert zonder de prestatievoordelen van APC op te offeren. De kerninzicht is dat het niet nodig is om gehele gebruikers te isoleren; het volstaat om alleen de specifieke gedeelde prefixes te isoleren die een aanval mogelijk maken.

Het systeem bestaat uit drie lichtgewicht componenten die samenwerken:

A. KV Cache Extensie

De bestaande Key-Value (KV) cache wordt uitgebreid met minimale metadata per cache-entry:

• OwnerID: Identificeert de gebruiker die de cache-entry oorspronkelijk heeft aangemaakt.
• AttackFlag: Een marker die aangeeft dat deze prefix verdacht wordt van gedeeld gebruik tussen verschillende gebruikers en daarom geïsoleerd moet worden.

B. Detector (Detectiepiplijn)

De Detector controleert cache hits en bepaalt of isolatie nodig is:

• Bij een cache miss: Een nieuwe entry wordt aangemaakt met de OwnerID van de huidige gebruiker en de AttackFlag wordt leeggemaakt.
• Bij een cache hit:
  • Als de OwnerID overeenkomt met de requester: Hergebruik verloopt normaal.
  • Als de OwnerID verschilt (een andere gebruiker probeert dezelfde prefix te gebruiken): De AttackFlag wordt ingesteld op deze entry.
  • Isolatie: Zodra een flag is ingesteld, mogen niet-eigenaren de cache niet verder gebruiken voor die specifieke prefix. Het systeem breekt de hergebruikketen af op dat punt en berekent de resterende tokens opnieuw. Dit voorkomt dat een aanvalter de timing van de volgende token kan meten om de volgende stap van het geheim te raden.

C. Activator (Dynamische Activering)

Niet alle timingverschillen zijn even makkelijk uit te buiten. De exploitatie hangt af van factoren zoals modelgrootte, prefixlengte en systeembelasting (RPS).

• De Activator monitort continu de statistische overlap (via Kernel Density Estimation - KDE) tussen de TTFT-verdelingen van hits en misses.
• Als de overlap hoog is (bij hoge belasting of kleine modellen), zijn hits en misses niet te onderscheiden en is de side channel niet uit te buiten. De isolatie wordt dan tijdelijk gedeactiveerd om prestaties te maximaliseren.
• Als de overlap laag is (lage belasting, grote modellen), wordt de detectie en isolatie geactiveerd.
• Dit zorgt voor een dynamische afweging tussen beveiliging en prestaties.

3. Belangrijkste Bijdragen

1. Gedetailleerde Analyse: Een grondige analyse van de uitbuitbaarheid van APC-timing side channels, waarbij wordt aangetoond dat deze afhankelijk is van prefixlengte, modelgrootte, systeembelasting en hardware.
2. Systeemontwerp: De ontwikkeling van CacheSolidarity, een systeem dat selectief verdachte prefixes isoleert in plaats van hele gebruikers, gebaseerd op het principe van "coöperatieve efficiëntie" (veilige gebruikers profiteren van gedeelde caching).
3. Veiligheidsanalyse: Een formele analyse van de beveiligingsgaranties, die aantoont dat het systeem prompt-diefstal voorkomt zolang er een voorafgaande prefix is die geïsoleerd kan worden.
4. Implementatie en Open Source: Implementatie bovenop de state-of-the-art LLM-serving stack vLLM, met de intentie om de code open-source te maken.

4. Resultaten en Evaluatie

De evaluatie is uitgevoerd op een NVIDIA A100 GPU met diverse LLM-modellen (van 0.5B tot 13B parameters) en verschillende werklasten.

• Prestatiewinst: In vergelijking met methoden die gebruikers volledig isoleren, bereikt CacheSolidarity tot 70% hogere cache-hergebruik en 30% lagere inferentie-latentie.
• Vergelijking met Onbeveiligd: CacheSolidarity presteert binnen 5-10% van de onbeveiligde "Prefix Caching" (vanilla vLLM), wat betekent dat de beveiliging bijna geen kosten oplevert voor de prestaties.
• Beveiliging: Empirische tests tonen aan dat CacheSolidarity de timing-lek volledig sluit. Een aanvalter kan in het beveiligde systeem geen piek in de hit-rate of TTFT meer waarnemen wanneer hij de juiste secret raadt, in tegenstelling tot het onbeveiligde systeem.
• Overhead: De overhead is verwaarloosbaar:
  • Tijd: Gemiddeld slechts 0.007 ms extra per verzoek (0.004 ms voor de Detector, 0.003 ms voor de Activator).
  • Geheugen: Slechts 32 bytes extra per cache-entry voor de metadata.

5. Betekenis en Conclusie

CacheSolidarity demonstreert dat beveiliging in LLM-serving systemen niet hoeft te gaan ten koste van prestaties of schaalbaarheid. Door slimme, context-afhankelijke isolatie van alleen de kwetsbare delen van de cache (de gedeelde prefixes) in plaats van brute-force isolatie van gebruikers, biedt het systeem een praktische oplossing voor een kritiek beveiligingsprobleem.

Het paper benadrukt dat beveiligingsmaatregelen in high-performance systemen adaptief moeten zijn: ze moeten ingrijpen wanneer de dreiging reëel is (lage belasting, grote modellen) en zich terugtrekken wanneer de dreiging verwaarloosbaar is (hoge belasting), zodat de efficiëntie van moderne AI-systemen behouden blijft.