Analysis of LLMs Against Prompt Injection and Jailbreak Attacks

Titel: Analyse van LLM's tegen Prompt Injection en Jailbreak-aanvallen

Auteurs: Piyush Jaiswal, Aaditya Pratap, Shreyansh Saraswati, Harsh Kasyap, en Somanath Tripathy.

---

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in real-world systemen, variërend van klantenservice tot autonome agents. Hoewel prompt engineering een krachtige tool is voor organisaties met beperkte middelen om LLM's te adopteren, vormen deze modellen een groot veiligheidsrisico. Ze zijn kwetsbaar voor prompt injection en jailbreak-aanvallen, waarbij kwaadwillenden de veiligheidsbeperkingen van het model omzeilen door slimme instructies, rollenspelletjes of multi-stap redeneringen te gebruiken.

De huidige literatuur richt zich vaak op grote, proprietaire modellen of vereist zware hertraining (fine-tuning) voor beveiliging. Dit is echter niet haalbaar voor veel organisaties die kleinere, open-source LLM's (1B tot 7B parameters) draaien op randapparaten of in academische omgevingen. Voor deze scenario's zijn er alternatieve verdedigingsstrategieën nodig die werken tijdens de inferentie (inference-time) zonder de modelgewichten aan te passen.

2. Methodologie

De studie voert een empirische evaluatie uit van kwetsbaarheden in open-source LLM's met een focus op twee fasen:

• Gebruikte Modellen: Er zijn 10 modellen van 6 families getest (Phi-3, Mistral, DeepSeek-R1, Llama 3.2, Qwen, Gemma) met variërende grootte (1B tot 7B parameters).
• Aanvalsdataset: In plaats van synthetische data, gebruikten de auteurs een handmatig samengestelde dataset van 94 prompt injection en 73 jailbreak-scenario's. Deze zijn afkomstig van diverse bronnen, waaronder Reddit, GitHub-repositories, academische benchmarks en "in-the-wild" voorbeelden. De prompts omvatten categorieën zoals:
  • Vraag-antwoord met verborgen intentie.
  • Basiscompliance en instructie-overruling.
  • Rollenspel-jailbreaks.
  • Lange, multi-stap redeneringsketens (long-format prompts).
• Evaluatiemethode: Een hybride benadering waarbij een apart LLM (DeepSeek-R1) fungeerde als "veiligheidsrechter" om antwoorden te classificeren als kwetsbaar of veilig, gecombineerd met menselijke validatie om fouten te corrigeren.
• Verdedigingsmechanismen: Vijf lichtgewicht, inferentie-tijd verdedigingen werden getest zonder hertraining:
  1. Input Filtering: Zoeken naar sleutelwoorden en patronen.
  2. Self-Examination: Het model (of een tweede model) evalueert het eigen antwoord op veiligheid voordat het wordt teruggegeven.
  3. Policy-Based Guardrails: Versterkte systeemprompts met strikte veiligheidsregels.
  4. Vector Defence: Vergelijking van prompts in de vectorruimte met bekende aanvalspatronen.
  5. Voting Defence: Genereren van meerdere antwoorden en kiezen voor het veiligste consensusantwoord.

3. Belangrijkste Bijdragen

1. Uitgebreide Empirische Evaluatie: Een systematische test van 10 open-source LLM's tegen 94 prompt injection en 73 jailbreak-scenario's.
2. Verdedigingsevaluatie: Een vergelijking van vijf inferentie-tijd verdedigingsmechanismen, met een focus op hun effectiviteit zonder zware computereisen.
3. Identificatie van Foutmodi: De studie onthult kritieke foutmodi, waaronder "silent non-responsiveness" (het model geeft geen antwoord en geen weigering), wat vaak over het hoofd wordt gezien maar het vertrouwen in het systeem ondermijnt.
4. Open Data: Publicatie van een curateerde dataset van adversariele prompts om reproduceerbaar onderzoek in LLM-veiligheid te ondersteunen.

4. Resultaten

A. Kwetsbaarheid zonder Verdediging (Baseline)

• Significante Variatie: Er is een groot verschil in kwetsbaarheid tussen modellen.
  • Hoog kwetsbaar: Kleine modellen zoals Qwen3:1.7b (71% kwetsbaar) en Gemma3:1b (63% kwetsbaar).
  • Middelmatig kwetsbaar: DeepSeek-R1:1.5b en Llama3.2:1b.
  • Sterk veilig: Grotere of beter uitgelijnde modellen zoals Phi-3:3.8b, Mistral:7b, DeepSeek-R1:7b en Qwen3:4b lieten 0% succesvolle jailbreaks zien.
• Grootte is geen garantie: Veiligheid is niet lineair gerelateerd aan modelgrootte. Soms zijn kleinere modellen veiliger dan grotere varianten van dezelfde familie, afhankelijk van de uitlijningsstrategie.
• Silent Failures: Sommige modellen (zoals Phi-3) gaven geen enkel antwoord op aanvallen (silent non-response), wat wijst op harde veiligheidsblokkades, maar dit degradeert de bruikbaarheid.

B. Effectiviteit van Verdedigingsmechanismen

• Self-Defence (Zelfevaluatie): Dit bleek veruit de meest effectieve verdediging. Het reduceerde de kwetsbaarheid aanzienlijk, zelfs bij complexe, lange prompts. Modellen zoals Qwen3:4b en DeepSeek-R1:1.5b bereikten hiermee 0% kwetsbaarheid.
• Input Filtering: Dit was de zwakste verdediging. Het kon eenvoudige aanvallen tegenhouden, maar werd vaak omzeild door lange, contextrijke prompts. In sommige gevallen was het zelfs minder effectief dan geen verdediging.
• System Prompt & Vector Defence: Bieden gematigde verbetering, maar zijn inconsistent, vooral bij kleinere modellen of complexe aanvallen.
• Voting Defence: Verbeterde de robuustheid ten opzichte van filtering, maar kon de prestaties van Self-Defence niet evenaren en vereist meer rekentijd.

C. Impact van Prompt Complexiteit

Lange, multi-stap redeneringsprompts ("long-format") bleken veel moeilijker te verdedigen dan korte instructies. Verdedigingsmechanismen die gebaseerd zijn op oppervlakkige filtering (zoals sleutelwoorden) faalden consequent bij deze geavanceerde aanvallen.

5. Betekenis en Conclusie

De studie concludeert dat:

1. Intrinsieke Weigering Beter is dan Externe Filters: Verdedigingsmechanismen die zijn ingebouwd in het model (zoals Self-Defence of sterke uitlijning) zijn robuuster dan externe filters. Externe filters kunnen de kern van het model niet beschermen tegen geavanceerde semantische manipulatie.
2. Kleine Modellen Risico's Lopen: Organisaties die kleine, open-source modellen draaien zonder zware infrastructuur, lopen een groot risico als ze vertrouwen op simpele filters.
3. Noodzaak voor Nieuw Onderzoek: Er is een dringende behoefte aan versterkte ingebouwde verdedigingscapaciteiten en veiligheidsredenering die direct in de LLM-architectuur is geïntegreerd, in plaats van alleen te vertrouwen op inferentie-tijd filters.
4. Stille Fouten: Het fenomeen van "silent non-responsiveness" is een belangrijke, maar onderbelichte veiligheidskwestie die de betrouwbaarheid van systemen kan ondermijnen.

Kortom, hoewel inferentie-tijd verdedigingen nuttig zijn voor eenvoudige aanvallen, zijn ze onvoldoende tegen geavanceerde, contextuele jailbreak-aanvallen. De toekomst van LLM-veiligheid ligt in het verbeteren van de intrinsieke weerbaarheid van de modellen zelf.