🤖 AI

Can Transformer Memory Be Corrupted? Investigating Cache-Side Vulnerabilities in Large Language Models

Dit artikel introduceert Malicious Token Injection (MTI), een framework dat aantoont dat het verstoren van de key-value cache tijdens inferentie transformer taalmodellen systematisch kan corrumperen, wat de integriteit van de cache onthult als een kritieke en voorheen over het hoofd geziene kwetsbaarheid in de beveiliging van LLM's.

Oorspronkelijke auteurs: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een briljante, sneldenkende student die een lang examen aflegt. Om een vraag te beantwoorden, kijkt deze student niet alleen naar de huidige vraag; ze moeten alles onthouden wat ze tot nu toe hebben opgeschreven om hun antwoord consistent te houden. In de wereld van AI wordt dit "geheugen" de KV Cache genoemd (Key-Value Cache). Het is een digitaal kladblok waarop het model de belangrijkste delen van het gesprek opslaat, zodat het niet telkens het hele boek opnieuw hoeft te lezen als het het volgende woord wil schrijven.

Dit artikel, getiteld "Can Transformer Memory Be Corrupted?", stelt een angstaanjagende maar eenvoudige vraag: Wat gebeurt er als iemand stiekem krabbelt op dat kladblok terwijl de student de toets maakt?

Hier is de uiteenzetting van hun bevindingen met behulp van alledaagse analogieën:

1. De verborgen zwakte: Het "onzichtbare" kladblok

Normaal gesproken maken we ons zorgen over hackers die de tekstboeken van de student veranderen (de trainingsdata van het model) of hen proberen te misleiden met een vreemde vraag (prompt injection). Maar dit artikel vond een andere, geniepiger manier om het systeem te breken.

De onderzoekers realiseerden zich dat het "kladblok" (de KV Cache) vaak onbeschermd wordt gelaten. Zelfs als de tekstboeken en de examenvragen beveiligd zijn, kan een aanvaller die toegang heeft tot de computer waar het model op draait, de getallen op dat kladblok subtiel aanpassen.

De analogie: Stel je een chef-kok voor die een complexe stoofpot bereidt. Het recept is veilig en de ingrediënten zijn vers. Maar als een saboteur stiekem een snufje zout voor suiker vervangt terwijl de chef de pot proeft, kan het hele gerecht misgaan, zelfs als de chef het recept of de ingrediënten niet heeft veranderd.

2. De aanval: "Malicious Token Injection" (MTI)

De auteurs creëerden een tool genaamd MTI V.1 om dit te testen. Ze braken het model niet; ze "duwden" slechts aan het geheugen. Ze probeerden drie manieren om het kladblok te verstoren:

De "Statische" Duw (Gaussian Noise): Een beetje willekeurige statische ruis of ruis toevoegen aan het geheugen, zoals het volume van een radio iets harder zetten totdat de woorden vervormd raken.
De "Gum" (Zeroing): Specifieke delen van het geheugen volledig uitwissen, alsof je met een rode stift over een pagina met aantekeningen gaat.
De "Draai" (Rotation): Het geheugen op zijn zij leggen. De informatie is er nog steeds, maar het wijst in de verkeerde richting, waardoor het model in de war raakt.

3. De resultaten: Kleine duwtjes, grote ravage

De onderzoekers testten dit op populaire AI-modellen (zoals GPT-2 en LLaMA-2). Ze ontdekten dat zelfs minuscule, bijna onzichtbare veranderingen in het geheugen grote problemen veroorzaakten:

Verwarring: Het model begon woorden te raden die het niet zou moeten zeggen. Het werd minder zelfverzekerd en had meer de neiging om feiten te verzinnen (hallucineren).
Taalfalen:
- Eenvoudige taken: Wanneer gevraagd werd of een zin blij of verdrietig was, raakte het model in de war en begon het fouten te maken.
- Complexe taken: Wanneer gevraagd werd om een specifieke feit te vinden in een lang document (zoals een trivia-vraag), faalde het model volledig. Het was alsof de student vergat hoe hij de vraag moest lezen.
- De "Agent" Test: Wanneer de AI optrad als een robot die probeert een reeks stappen te plannen (zoals het boeken van een vlucht), zorgde de corruptie van het geheugen ervoor dat het de weg kwijtraakte en de verkeerde acties koos.

4. Het "Waarom": Hoe het zich verspreidt

Het artikel legt de wiskunde hierachter eenvoudig uit: de AI beslist welk woord het volgende zegt door naar zijn geheugen te kijken. Als het geheugen een klein beetje fout is, verschuift de aandacht van de AI.

De analogie: Stel je voor dat je een vriend probeert te vinden in een drukke kamer. Je kijkt op een kaart (het geheugen). Als iemand een kleine, verkeerde lijn op de kaart tekent, kijk je misschien in de verkeerde hoek. Zodra je in de verkeerde hoek kijkt, valt je hele plan voor de rest van de avond in duigen. Het artikel bewijst dat deze "kleine lijntjes" op de kaart wiskundig kunnen garanderen dat de aandacht van de AI wordt afgeleid.

5. Kunnen we het oplossen? (De verdedigingen)

De onderzoekers probeerden een paar snelle oplossingen om te zien of ze dit konden stoppen:

Het kladblok leegmaken: Periodiek het geheugen schoonvegen.
De aantekeningen randomiseren: Willekeurig delen van het geheugen verbergen om te zien of het model nog steeds kan raden.
Ruis gladstrijken: De getallen middelen om de "statische ruis" te verwijderen.

Het oordeel: Deze oplossingen hielpen een beetje, maar ze waren geen wondermiddel. Ze stopten het ergste van de schade, maar als de aanval sterk was of bleef voortduren, faalde het model nog steeds. Het is als het aanbrengen van een pleister op een snee; het helpt, maar het stopt de mes niet met snijden als de aanvaller blijft proberen.

De kernboodschap

Dit artikel zegt niet dat AI kapot is of dat je het niet meer moet gebruiken. In plaats daarvan luidt het een alarmbel voor de mensen die AI-systemen bouwen en beschermen.

De belangrijkste les: We zijn erg goed geweest in het beschermen van het "brein" van de AI (de trainingsdata) en de "mond" van de AI (de input prompts), maar we hebben het "kortetermijngeheugen" (de KV Cache) grotendeels genegeerd. Als een aanvaller toegang krijgt tot de computer waar de AI op draait, kan hij dat geheugen corrumperen en de AI onbetrouwbaar, verward of gevaarlijk maken, zonder zelfs maar één regel code te veranderen.

De auteurs pleiten voor een nieuw soort beveiliging die dit "kladblok" behandelt als een kritieke veiligheidszone die net zo strikt bewaakt moet worden als de rest van het systeem.

Technische Samenvatting: Onderzoek naar Cache-Zijde Kwetsbaarheden in Large Language Models

Probleemstelling
Hoewel Large Language Models (LLM's) steeds vaker worden beveiligd via safeguards op prompt-niveau en alignment tijdens de training, blijft hun interne inferentie-toestand een onderzochte aanvalsoppervlakte. Specifiek de Key-Value (KV) cache, die intermediaire aandacht-representaties opslaat om autoregressieve decodering te versnellen, introduceert een persistente interne geheugen die toekomstige voorspellingen direct beïnvloedt. In tegenstelling tot prompt injection (dat opereert op de input-interface) of weight poisoning (dat toegang vereist tijdens de training), opereren cache-zijde perturbaties volledig na tokenisatie en embedding. Deze aanvallen omzeilen input-niveau filters en alignment-checks door gecashte key-vectoren te wijzigen, wat potentieel de aandacht-distributies kan beïnvloeden en fouten kan voortplanten door downstream voorspellingen zonder modelparameters of input-prompts te wijzigen.

Methodologie: Het MTI V.1 Framework
Om deze kwetsbaarheid te onderzoeken, introduceren de auteurs MTI V.1 (Malicious Token Injection), een modulair framework dat cache-zijde perturbaties formaliseert. Het framework behandelt de KV-cache als een afzonderlijke robuustheidsgrens en definieert een dreigingsmodel waarbij een tegenstander met inferentie-tijd toegang gecashte keys op geselecteerde lagen en tijdstappen kan verstoren zonder inputs of gewichten te wijzigen.

Het framework karakteriseert perturbaties langs drie assen:

Corruptie-amplitude: De sterkte van de geïnjecteerde perturbatie.
Injectie-frequentie: Hoe vaak perturbaties worden toegepast over decoderingsstappen heen.
Laag-plaatsing: Welke transformer-lagen worden doelwit.

De studie hanteert drie canonieke corruptiemechanismen:

MTI-Gaussian: Injecteert additieve stochastische ruis (getrokken uit een Gaussische distributie) in gecashte keys.
MTI-Zeroing: Verwijdert gecashte keys volledig, wat catastrofale uitwissing simuleert.
MTI-Rotation: Past orthogonale transformaties toe op gecashte keys, waardoor de hoekverbinding met queries verandert terwijl de vector-magnitude behouden blijft.

Daarnaast wordt een geoptimaliseerde variant (Algoritme 1) empirisch gebruikt om perturbaties te berekenen die een adversariële doelstelling maximaliseren via gradiënt-ascensie, hoewel dit verschilt van de niet-adaptieve, norm-gebonden perturbaties die in de theoretische analyse worden gebruikt.

Theoretische Analyse
Het artikel biedt een theoretische analyse die begrenst hoe norm-gelimiteerde cache-perturbaties door aandacht-mechanismen voortplanten.

Perturbatie-naar-Logit Grens: De afwijking in aandacht-scores schaalt lineair met zowel de perturbatie-amplitude ( $\epsilon$ ) als de query-norm ( $\|q_t\|_2$ ). De resulterende afwijking in ongenormaliseerde logits wordt begrensd door $\|\Delta z_t\|_2 \leq \|q_t\|_2 \cdot \epsilon$ .
Softmax Stabiliteit: Onder gebonden-logit aannames is de softmax-mapping Lipschitz-continu. Dit maakt het mogelijk om de afwijkingen in logits te vertalen naar gecontroleerde veranderingen in de aandacht-distributie en output-waarschijnlijkheden.
De analyse stelt vast dat gebonden cache-corruptie gebonden afwijkingen in aandacht-distributies en volgende-token logits induceert, waarmee de worst-case sensitiviteitstrends worden gekarakteriseerd.

Experimentele Resultaten
Het framework werd geëvalueerd over GPT-2 Medium, LLaMA-2 7B, en Gemma-7B modellen op diverse benchmarks inclusief sentiment classificatie (SST-2), extractieve vraagbeantwoording (SQuAD, HotpotQA), samenvatting (CNN/DailyMail), en agentic reasoning pipelines.

Token-niveau Effecten: Cache-perturbaties induceren distributieve verschuivingen (gemeten via KL-divergentie) die een orde van grootte groter zijn dan stochastische variatie. Bijvoorbeeld, rotatie-gebaseerde corruptie op GPT-2 resulteerde in een KL-divergentie van 0.57 en een daling van 16,7% in Top-1 accuratesse.
Degradatie van Downstream Taken: Sensitiviteit varieert per taak. Terwijl SST-2 een matige robuustheid toonde, vertoonde SQuAD (extractieve QA) catastrofaal falen, waarbij F1-scores instortten van 77,4 naar 7,2 onder identieke perturbaties. Dit suggereert dat taken die precieze token-alignement en lang-context redeneren vereisen, zeer gevoelig zijn.
Retrieval-Augmented Generation (RAG): Perturbaties toegepast op de opgehaalde context degradeerden de grounding-getrouwheid aanzienlijk en verhoogden de hallucinatie-ratio's, wat aangeeft dat RAG-pipelines kritisch afhankelijk zijn van cache-integriteit tijdens de bewijsvoering-fase.
Agentic Pipelines: In ReAct en AutoGPT-stijl frameworks vertoonde closed-loop redeneren een gedeeltelijke veerkracht tegen milde perturbaties, hoewel deze robuustheid beperkt was tot milde regimes.
Ablatie-studies: Kwetsbaarheid wordt beheerst door de interactie van laag-plaatsing, perturbatie-sterkte en temporele persistentie. Mid-level lagen bleken consequent kwetsbaarder dan vroege of diepe lagen. Continue corruptie veroorzaakte grotere degradatie dan intermitterende schema's, wat aangeeft dat cache-perturbaties stateful zijn en over tijd cumulatief werken.
Defenses: Lichtgewicht defensies (Cache Reset, Dropout Mask Randomization, Attention Smoothing) werden geëvalueerd. Hoewel ze de baseline accuratesse behielden onder milde perturbaties met minimale runtime overhead, waren ze onvoldoende als standalone safeguards tegen persistente of sterke corruptie.

Betekenis en Claims
Het artikel stelt dat inferentie-tijd cache-corruptie een systematische bedreiging vormt voor de betrouwbaarheid, kalibratie en grounding van moderne LLM-pipelines. Belangrijke bijdragen zijn:

Formalisering van een Dreigingsmodel: Het identificeren van KV-cache integriteit als een cruciale, onderzochte robuustheidsgrens en het formaliseren van cache-zijde perturbatie als een principieel dreigingsmodel voor betrouwbare AI.
Theoretische Grenzen: Het bieden van theoretische grenzen die karakteriseren hoe gebonden cache-corruptie voortplant naar aandacht-distributies en output-logits.
Empirisch Bewijs: Het demonstreren dat cache-perturbaties distributieve verschuivingen en taalfalen induceren binnen taalmodellering, RAG en agentic reasoning, zelfs wanneer prompts en gewichten ongewijzigd blijven.
Diagnostische Nut: Het suggereren dat gecontroleerde cache-perturbaties niet alleen als een dreigingsmodel kunnen dienen, maar ook als een diagnostisch instrument voor het analyseren van aandacht-sensitiviteit en interne modeldynamiek.

De auteurs concluderen dat hoewel eenvoudige defensies een partiële mitigatie bieden, expliciete cache-integriteitsmechanismen of monitoringstrategieën noodzakelijk zijn voor robuuste implementatie. Het werk positioneert inferentie-tijd cache-integriteit als een "first-class robustness boundary" voor toekomstig onderzoek in betrouwbare AI, waarbij benadrukt wordt dat deze bevindingen een robuustheidsgrens karakteriseren in plaats van universele exploiteerbaarheid te beweren in alle deployment-scenario's.