SoK: Systematizing LLM Prompt Security: Taxonomies, Datasets, and Unified Evaluation of Attacks and Defenses

Technische Samenvatting: SoK: Systematisering van LLM Prompt-beveiliging

Probleemstelling
De snelle inzet van Large Language Models (LLM's) als interfaces voor informatie en diensten heeft prompt-niveau beveiliging tot een kritiek punt gemaakt. Hoewel het vakgebied snelle vooruitgang heeft gezien in jailbreak-aanvallen, defensieve wrappers, veiligheidsbeleid, datasets en geautomatiseerde beoordelaars (judgers), kampt de gemeenschap met een aanzienlijk fragmentatieprobleem. Voorgaand werk leunt vaak op incompatibele dreigingsmodellen, toegangsveronderstellingen, kostenbudgetten, datasets en succes-criteria. Dit gebrek aan standaardisatie maakt het moeilijk om gerapporteerde Attack Success Rates (ASR) of defensieve winsten te vergelijken. Bijgevolg is het vaak onduidelijk of de geobserveerde vooruitgang voortkomt uit een sterkere methode, een zwakker doelmodel, verschillende beoordelingsregels, of simpelweg een groter query-budget. De centrale uitdaging is het bepalen of beveiligingsclaims vergeleken kunnen worden onder verenigde, controleerbare omstandigheden.

Methodologie
De auteurs stellen een systematische aanpak voor voor de evaluatie van LLM prompt-beveiliging, waarbij de focus verschuift van papierspecifieke demonstraties naar reproduceerbare, op taxonomie gebaseerde metingen. De methodologie bestaat uit vier kerncomponenten:

1. Drie gekoppelde taxonomieën: Het artikel stelt een conceptueel kader vast dat technische mechanismen scheidt van de capaciteiten van de aanvaller/verdediger:

   • Taxonomie I (Jailbreak Aanvallen): Classificeert aanvallen op basis van het dreigingsmodel (Black-box vs. White-box) en de technische methodologie (bijv. Prompt Modificatie, Black-box Optimalisatie, LLM-ondersteunde Technieken, Multi-turn Technieken, en het benutten van Model Kwetsbaarheden). Het behandelt aanvallen als compositioneel, waardoor één methode meerdere atomaire technische eenheden kan instantiëren.
   • Taxonomie II (Defensies): Groepeert defensies op basis van doel (Detectie vs. Mitigatie) en interventielaag (Input-niveau, Output-niveau, Innerlijke Toestand, Model Training, Model Modificatie, Output Verwerking).
   • Taxonomie III (LLM Kwetsbaarheden): Categoriseert intrinsieke model-foutmodi die door aanvallen worden geëxploiteerd, zoals Formaat Exploitatie, Overmatige Afhankelijkheid van Gebruikersinstructies, Psychologische Manipulatie en Contextuele Ambiguïteit.

2. Controleerbaar Evaluatieprotocol: De auteurs formaliseren aannames over dreiging, toegang en kosten als expliciete metadata. Ze definiëren een experiment als een tupel $\langle M, A, D, S, J \rangle$, representatief voor Model, Aanval, Defensie, Dataset en Judger. Dit protocol vereist dat vergelijkingen alleen geldig zijn wanneer de identiteit en instellingen van de componenten (bijv. assistent-LLM's, decoding-parameters, query-budgetten, defensie-compositie) overeenkomen.

3. PROMPTSECURITY Platform: Er wordt een modulair evaluatieplatform geïntroduceerd om het protocol te operationaliseren. Het representeert elk experiment als een geconfigureerde tupel, wat toegang-compatibele en controleerbare vergelijkingen mogelijk maakt. Het platform logt sample-identificatoren, outputs, instellingen, query-aantallen en judger-configuraties om reproduceerbaarheid te garanderen.

4. Verenigde Datasets: De auteurs publiceren JAILBREAKDB, een gecureerde corpus met 445.752 jailbreak systeem-gebruiker prompt-paren uit 48 bronnen en 1.094.122 benign prompts uit 14 bronnen. Ze publiceren ook PROMPTSECURITY-EVAL, bevattende 166.200 records van output van schadelijke queries en 9.200 records van benign-utility output gegenereerd onder het hoofdprotocol.

Belangrijkste Bijdragen

• Mechanisme-niveau Taxonomieën: Het artikel systematiseert het vakgebied via drie gekoppelde taxonomieën die multi-label subcategorie mapping ondersteunen, waardoor empirische claims kunnen worden gedaan op het niveau van de taxonomie-subcategory in plaats van enkel op het methode-niveau.
• Verenigd Evaluatieplatform: De introductie van PROMPTSECURITY, die toegang-compatibiliteit, het gebruik van assistent-LLM's en beoordelingsrubrieken behandelt als controleerbare onderdelen van de beveiligingsclaim, wat gecontroleerde ablatie-studies mogelijk maakt over een gedeelde designruimte.
• Empirische Inzichten: Het platform werd gebruikt om 11 doelmodellen, 21 aanvalsinstellingen, 10 defensiestaten en drie judgers te evalueren onder gematchte instellingen.
• Datasets en Leaderboard: De release van JAILBREAKDB en PROMPTSECURITY-EVAL, samen met een interactieve leaderboard voor het browsen van compatibele main-protocol metingen.

Resultaten en Empirische Bevindingen
De evaluatie levert verschillende taxonomie-niveau bevindingen op:

• Modeltoegang en Capaciteit: Frontier black-box modellen zijn meer blootgesteld aan prompt-transformatie en obfuscatie-aanvallen die het doelmodel helpen de verborgen schadelijke intentie te herstellen. Daarentegen onderdrukken zwakkere white-box modellen vaak complexe getransformeerde prompts niet vanwege sterkere robuustheid, maar omdat ze er niet in slagen de aanvalstaak uit te voeren (bijv. het niet kunnen parsen van code-stijl prompts).
• Aanvalsmechanismen: Op black-box modellen presteren low-cost prompt-transformaties vaak beter dan assistent-gegenereerde natuurlijke taal jailbreaks. Op white-box modellen verandert deze ordening, waarbij LLM-ondersteunde zoekopdrachten en verfijning een hogere persistentie vertonen.
• Effectiviteit van Defensie: De effectiviteit van defensie is mechanisme-afhankelijk. Input/output detectie en routing domineren de gemiddelde mitigatie. Echter, white-box toegang alleen garandeert geen sterke defensie; bijvoorbeeld boden gradient screening en safety-prompt optimalisatie in sommige gevallen weinig of zelfs negatieve gemiddelde mitigatie.
• Defensie Backfire: Defensies kunnen nieuw schadelijk gedrag introduceren. Safety-prompt tuning verhoogde bijvoorbeeld de gemiddelde schadelijke-output ASR omdat de toegevoegde sturing soms voorheen veilige prompts veranderde in schadelijke completions.
• Judger Sensitiviteit: De keuze van de judger beïnvloedt de beveiligingsconclusies materieel. Prefix checks (refusal-format instrumenten) kunnen non-refusal benign outputs overmatig tellen en schadelijke outputs missen die verborgen zitten achter refusal-achtige openingen. Behavior-conditioned judgers zijn zeer gevoelig voor de specifieke gedragsbeschrijving die wordt verstrekt, wat leidt tot significante variantie in ASR-metingen.

Significantie
Het artikel betoogt dat de prompt-beveiliging van LLM's geëvalueerd moet worden op het niveau van mechanisme-groepen onder eerlijke configuratiecontrole. De significantie van dit werk ligt in de verschuiving van papierspecifieke demonstraties naar reproduceerbare, kostenbewuste en op taxonomie gebaseerde evaluatie. Het doel is niet enkel om te identificeren welke methode een hogere ASR heeft, maar om te verhelderen welk mechanisme, welke instellingskeuze of welke beoordelingsregel het gerapporteerde beveiligingsgedrag verklaart. Door een fundament te bieden van gekoppelde taxonomieën, een uitvoerbaar protocol, een modulair platform en verenigde datasets, beogen de auteurs toekomstige evaluaties mogelijk te maken die een onderscheid kunnen maken tussen echte methodologische vooruitgang en artefacten van het experimenteel ontwerp.