Technische Samenvatting: Een Survey over Vergiftigingsaanvallen, Verdedigingen en Bewijsbare Verdediging in het Tijdperk van LLM's

Probleemstelling

De snelle implementatie van Large Language Models (LLM's) in samengestelde AI-systemen—die retrieval, externe tools, geheugenmodules en autonome agenten integreren—heeft het aanvalsoppervlak voor beveiligingsdreigingen fundamenteel uitgebreid. Waar traditioneel beveiligingsonderzoek zich richtte op evasie-aanvallen tijdens de inferentiefase, vormen vergiftigingsaanvallen (poisoning attacks) een meer verraderlijke dreiging door de integriteit van het model te compromitteren tijdens training, adaptatie of interactie.

Het kernprobleem dat deze survey adresseert, is de fragmentatie van bestaand onderzoek. Eerdere surveys opereerden grotendeels onder een "model-centrisch" dreigparadigma, waarbij de nadruk lag op gewichtvergiftiging (weight poisoning) tijdens pre-training of fine-tuning. Moderne LLM-ecosystemen vertrouwen echter sterk op dynamische externe contexten (bijv. Retrieval-Augmented Generation, in-context learning, agent-workflows). Deze systemen introduceren aanvalsoppervlakken die zich volledig buiten de modelparameters bevinden, zoals vergiftigde retrieval-corpora, gemanipuleerde tool-beschrijvingen en gecompromitteerd langetermijngeheugen. Er bestaat momenteel geen verenigd kader dat zowel gewichtvergiftiging (het manipuleren van parameters) als contextvergiftiging (het manipuleren van de context tijdens inferentie) over de volledige levenscyclus van LLM's omvat, noch is er een geconsolideerde analyse van de transitie van empirische naar mathematisch bewijsbare verdedigingen in dit nieuwe landschap.

Methodologie en Taxonomie

Deze survey hanteert een systematische literatuurstudie om vergiftigingsaanvallen en verdedigingen te categoriseren. De auteurs stellen een omvattende taxonomie voor die bestaand onderzoek organiseert in twee primaire, complementaire categorieën gebaseerd op het aanvalsoppervlak:

1. Gewichtvergiftiging (Weight Poisoning)

Deze categorie betreft kwaadwillige manipulatie van de parameters van een model, waarbij persistente schadelijke gedragingen worden ingebed of interne representaties worden gecorrumpeerd. De survey brengt deze aanvallen in kaart naar specifieke levensfase-stadia:

• Pre-training: Aanvallen op web-schaal corpora (bijv. split-view poisoning, frontrunning poisoning) waarbij aanvallers kwaadaardige data injecteren in fundamentele datasets.
• Fine-tuning & Alignment: Het vergiftigen van instructie-tuning datasets om backdoors in te bedden, of het manipuleren van Reinforcement Learning from Human Feedback (RLHF) beloningssignalen om veiligheidsalignment te degraderen.
• Adaptatie: Het compromitteren van Parameter-Efficient Fine-Tuning (PEFT) modules (bijv. LoRA-adapters) of het samenvoegen van kwaadaardige gewichten in benigne adapters.
• Pre-deployment: Direct het bewerken van modelgewichten of embeddings met behulp van few-shot voorbeelden om backdoors te implanteren zonder hertraining.

2. Contextvergiftiging (Context Poisoning)

Deze categorie richt zich op de externe informatie die dynamisch wordt geïncorporeerd tijdens inferentie, waarbij het gedrag van het model wordt gemanipuleerd zonder de gewichten te wijzigen. De survey identificeert drie primaire domeinen:

• In-Context Learning (ICL): Het vergiftigen van demonstratievoorbeelden of prompts om redenering te sturen (bijv. het backdooren van Chain-of-Thought voorbeelden).
• Retrieval-Augmented Generation (RAG): Het corrumperen van retrieval-corpora om ervoor te zorgen dat vergiftigde passages hoog worden gerankt, waardoor het uiteindelijke antwoord wordt gemanipuleerd, de aandacht wordt gekaapt of bias wordt geïnjecteerd. Dit omvat aanvallen op gespecialiseerde architecturen zoals GraphRAG, Multimodale RAG en Code RAG.
• Agent Flow: Het compromitteren van de omgeving van de agent (indirecte prompt injectie), tool-interfaces (kwaadaardige tool-beschrijvingen/metadata) en persistent geheugen (het graften van kwaadaardige procedurele templates).

De survey classificeert verdedigingen ook in Empirische Verdedigingen (heuristische, praktische mitigatie) en Bewijsbare Verdedigingen (mathematisch gecertificeerde robuustheid).

Belangrijkste Bijdragen

Het artikel onderscheidt zich door drie primaire bijdragen:

1. Verenigde Taxonomie van Gewicht- en Contextvergiftiging: De auteurs introduceren een kader waarin Model Context (retrieval-corpora, agent-geheugen, tool-definities) wordt behandeld als een kritiek aanvalsoppervlak parallel aan Model Weights. Dit brengt systematisch in kaart hoe kwetsbaarheden migreren van trainingspipelines naar inferentie-tijd samengestelde systemen.
2. Multimodale en Agentische Scope: De survey breidt de scope uit voorbij tekstuele modellen naar dreigingen en verdedigingen in graaf-geaugmenteerde RAG, retrieval-augmented diffusiemodellen en agent-workflows die omgeving, tools en geheugen beslaan.
3. Integratie van Bewijsbare Verdedigingen: Het artikel biedt een gestructureerde analyse van de transitie van empirische mitigatie naar mathematisch gecertificeerde robuustheid. Het details hoe technieken zoals Randomized Smoothing en Deep Partition-Aggregation worden aangepast voor discrete token-ruimtes, retrieval-mechanismen en agentische workflows.

Resultaten en Analyse

De survey synthetiseert een enorme hoeveelheid literatuur om de volgende bevindingen te belichten:

• Persistentie en Schaalbaarheid van Aanvallen: Onderzoek geeft aan dat vergiftigingsaanvallen geen enorme hoeveelheden data vereisen om succesvol te zijn. Studies tonen aan dat een bijna constante hoeveelheid vergiftigde samples (bijv. slechts 250 documenten) modellen kan compromitteren, ongeacht de datasetgrootte of modelschaal. Bovendien kan vergiftigde kennis uit pre-training persistent zijn door downstream fine-tuning en domeinspecialisatie.
• Evolutie van Aanvalvectoren: Het dreigingslandschap is verschoven van geïsoleerde, enkelvoudige aanvallen naar samengestelde vergiftiging (compound poisoning). Bijvoorbeeld: een vergiftigd document in een RAG-systeem kan de tool-selectie beïnvloeden, wat vervolgens de geheugenupdates en toekomstige agent-beslissingen verandert.
• Beperkingen van Empirische Verdedigingen: Hoewel empirische verdedigingen (bijv. data-sanitatie, anomaliedetectie, adversarial training) praktische mitigatie bieden, missen ze over het algemeen garanties voor het slechtste scenario (worst-case guarantees) en blijven ze kwetsbaar voor adaptieve aanvallers die het verdedigingsmechanisme kunnen reverse-engineeren.
• Opkomst van Bewijsbare Verdedigingen: Een groeiende hoeveelheid onderzoek biedt rigoureuze mathematische certificaten van robuustheid. Technieken zoals Randomized Smoothing (uitgebreid naar discrete tokens) en formele verificatie worden toegepast om te certificeren dat LLM-voorspellingen stabiel blijven onder begrensde perturbaties, dat RAG-systemen bestand zijn tegen een specif kind aantal vergiftigde documenten, en dat agent tool-selecties aan veiligheidsrestricties voldoen.

Betekenis en Toekomstige Richtingen

Het artikel betoogt dat de evolutie van vergiftigingsaanvallen de evolutie van AI-systemen zelf weerspiegelt. Naarmate LLM's transformeren van op zichzelf staande modellen naar onderling verbonden ecosystemen, richten vergiftigingsdreigingen zich steeds vaker op de informatiepaden (retrieval, geheugen, tools) in plaats van alleen op modelparameters.

De auteurs identificeren verschillende kritieke uitdagingen en toekomstige onderzoeksrichtingen:

• Van Geïsoleerde naar Samengestelde Vergiftiging: Toekomstig onderzoek moet verder gaan dan enkelvoudige component-dreigingsmodellen om te onderzoeken hoe vergiftigingseffecten zich voortplanten over onderling verbonden modules (retrieval, geheugen, tools, redenering).
• Verenigde Dreigingsmodellen en Evaluatie: Er is behoefte aan gestandaardiseerde benchmarks die het volledige spectrum van vergiftigingsdreigingen dekken, inclusief dynamische kennisupdates en cross-component aanvalspropermatie.
• Schaalbare Bewijsbare Verdedigingen: Hoewel bewijsbare verdedigingen cruciale veiligheidsgaranties bieden voor toepassingen met hoge inzet, brengen huidige methoden vaak aanzienlijke computationele overhead met zich mee. Toekomstig werk moet zich richten op compositionele certificering om module-niveau garanties te combineren tot end-to-end systeemgaranties.
• Multimodale en Belichaamde Vergiftiging: Naarmate systemen tekst, afbeeldingen, audio en sensordata verwerken, moeten verdedigingen evolueren om cross-modale vergiftiging en modaliteit-bewuste unlearning aan te pakken.
• Mensgerichte Beveiliging: De survey benadrukt dat technische verdedigingen moeten worden aangevuld met human-in-the-loop verificatie, transparante herkomsttracking en security-by-design principes om ambiguïteit in vertrouwen en gebruikersinteractie aan te pakken.

Concluderend biedt deze survey een gestructureerde basis voor het begrijpen, evalueren en mitigeren van vergiftigingsdreigingen in moderne LLM-systemen, en pleit zij voor een verschuiving van reactieve, geïsoleerde mitigatie naar principiële, systeembrede veiligheidsgaranties.