Technische Samenvatting: Zero-Shot Embedding Drift Detection (ZEDD)

1. Probleemstelling

Prompt injection-aanvallen vormen een kritieke kwetsbaarheid voor Large Language Model (LLM) applicaties, waarbij kwaadwillende inputs indirecte kanalen exploiteren (bijv. e-mails, door gebruikers gegenereerde inhoud) om alignment-beveiligingen te omzeilen en schadelijke outputs te induceren. Ondanks vooruitgang in model-alignment via Reinforcement Learning from Human Feedback (RLHF), blijven state-of-the-art modellen vatbaar voor zowel handmatige als geautomatiseerde adversariële prompts. Bestaande verdedigingsmechanismen lijden vaak aan significante beperkingen: ze leunen op zware computationele overhead, vereisen taakspecifieke hertraining, zijn afhankelijk van interne toegang tot het model, of maken gebruik van inefficiënte regelgebaseerde filters. Er is een dringende behoefte aan een robuust, generaliseerbaar en lichtgewicht detectiemechanisme dat opereert zonder voorafgaande kennis van specifieke aanvalspatronen.

2. Methodologie: Zero-Shot Embedding Drift Detection (ZEDD)

De auteurs stellen ZEDD voor, een framework dat prompt injections detecteert door semantische verschuivingen (drifts) in de embedding-ruimte tussen benigne (schone) en verdachte (geïnjecteerde) inputs te kwantificeren. De kerninzicht is dat adversariële prompts subtiele semantische driften veroorzaken in vectorrepresentaties, zelfs wanneer de oppervlakkige tekst benigne lijkt.

De ZEDD-pipeline

Het systeem werkt via drie primaire stadia:

1. Embedding Extractie:

   • Het framework maakt gebruik van gefinetunede encoder-modellen (specifiek Sentence-BERT All-MPNET-Base-V2, Llama 3 8B Instruct, Mistral 7B Instruct, en Qwen 2 7B Instruct) om vectorrepresentaties voor prompt-paren te genereren.
   • Tijdens een voorlopige fine-tuning fase leert de encoder onderscheid te maken tussen "clean-clean" paren en "injected-clean" paren, waarbij de embedding-ruimte wordt geoptimaliseerd om de verschillen tussen benigne en adversariële inputs beter te vangen. Deze fine-tuning wordt eenmalig uitgevoerd, wat daarna zero-shot deployment mogelijk maakt.

2. Drift Meting:

   • Semantische drift wordt berekend met behulp van Cosine Similarity. De driftscore $D$ tussen een schone prompt $x$ en een kandidaat-prompt $x'$ wordt gedefinieerd als:
     $$Drift(x, x') = 1 - \frac{f(x) \cdot f(x')}{||f(x)|| \cdot ||f(x')||}$$
   • Een hogere driftscore duidt op een grotere semantische afwijking, wat wijst op een potentiële injectie.

3. Flagging en Drempelwaarde:

   • Om prompts te classificeren zonder gelabelde grondwaarheid tijdens inferentie, gebruikt ZEDD een ensemble-aanpak met behulp van Gaussian Mixture Modeling (GMM) en Kernel Density Estimation (KDE).
   • GMM: Past een twee-componenten distributie toe op de driftscores. De component met de lagere gemiddelde waarde komt overeen met clean-clean paren (lage drift), terwijl de hogere gemiddelde waarde overeenkomt met injected-clean paren (hoge drift).
   • KDE Fallback: Indien GMM niet convergeert, schakelt het systeem over naar KDE om distributiepieken en -dalen te identificeren.
   • Drempelwaarde Optimalisatie: De beslissingsdrempel wordt gekalibreerd via iteratieve binaire zoekopdrachten om een strikte False Positive Rate (FPR) cap van 3% te handhaven, terwijl een algemene flagging-rate van ongeveer 50% wordt nagestreefd.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Een Zero-Shot Detectie Framework: Een methode voor prompt injection detectie gebaseerd op embedding drift die geen hertraining van het doel-LLM vereist, geen interne toegang tot het model nodig heeft en geen voorafgaande kennis van specifieke aanvalstypen vereist.
2. Statistisch Flagging Mechanisme: De integratie van GMM en KDE om de distributies van embeddings te analyseren, waardoor geïnjecteerde prompts effectief worden geflagged terwijl valse positieven worden geminimaliseerd.
3. Uitgebreide Empirische Evaluatie: Een uitgebreide evaluatie die aantoont dat embedding drift dient als een robuust, overdraagbaar signaal over diverse LLM-architecturen, waarbij het traditionele methoden overtreft in zowel snelheid als nauwkeurigheid.

4. Experimentele Resultaten

De auteurs evalueerden ZEDD op de LLMail-Inject dataset, een opnieuw geannoteerde collectie van 51.603 uitgelijnde prompt-paren verspreid over vijf injectie-categorieën: Jailbreak, System Leak, Task Override, Encoding Manipulation, en Prompt Confusion.

• Prestatie-metrieken: Over de geteste modellen (Llama 3, Mistral, Qwen 2 en Sentence-BERT) behaalde ZEDD:
  • Nauwkeurigheid (Accuracy): Variërend van ongeveer 90,75% (Sentence-BERT) tot 95,55% (Mistral 7B).
  • Precisie: Meer dan 95% voor de meeste LLM-gebaseerde encoders (tot 96,58% voor Mistral).
  • False Positive Rate (Clean FPR): Bleef onder de 3% voor de meeste modellen (bijv. 2,2% voor Qwen 2, 2,3% voor Mistral), met een conservatieve cap die lage valse alarmen op benigne inputs garandeert.
• Efficiëntie: Het fine-tuning proces voor elk model duurde ongeveer 15–18 minuten op een NVIDIA B200 GPU. De detectiefase opereert met minimale latentie, wat het geschikt maakt voor latentiegevoelige applicaties.
• Comparatief Voordeel: De resultaten geven aan dat ZEDD bestaande modellen overtreft in precisie en F1-scores, terwijl het een aanzienlijk lichtere computationele voetafdruk biedt.

5. Betekenis en Beperkingen

Betekenis:
Het artikel positioneert ZEDD als een cruciale, lichtgewicht verdedigingslaag die naadloos integreert in bestaande LLM-pipelines. Door het vermijden van de noodzaak voor model-hertraining of interne toegang, adresseert het de schaalbaarheidskloof in het beveiligen van LLM-gestuurde systemen tegen adaptieve adversariële dreigingen. De auteurs benadrukken de bruikbaarheid ervan als een "eerste verdedigingslinie" die een hoge detectienauwkeurigheid combineert met operationele efficiëntie.

Beperkingen en Toekomstig Werk:
De auteurs erkennen enkele beperkingen:

• Afhankelijkheid van Embeddings: De effectiviteit van ZEDD is gekoppeld aan de kwaliteit van het gekozen embedding-model; als een embedding-model er niet in slaagt de semantische nuances van een specifieke prompt te vatten, kan detectie falen.
• Schaalbaarheid: Hoewel efficiënt, kan de methode adaptieve benaderingen vereisen om variërende modelgroottes en grotere datasets efficiënt te verwerken.
• Adversariële Evasie: Er is een risico dat zeer geavanceerde aanvallen specifief gemanipuleerd kunnen worden om embedding-niveau drift detectie te omzeilen.
• Toekomstige Richtingen: De auteurs zijn van plan om Few-Shot learning te verkennen om de nauwkeurigheid te verbeteren (hoewel dit de lichtgewicht aard kan compromitteren), adaptieve benaderingen te gebruiken voor bronconservatie, en het framework te testen op diverse dataformaten buiten e-mail.

Concluderend biedt ZEDD een praktische, model-agnostische oplossing voor de groeiende dreiging van prompt injections, en biedt het een schaalalbaar mechanisme om LLM-applicaties te beveiligen met minimale engineering-overhead.