Technische Samenvatting: Prompt Sensitivity Minimization (PSM)

Probleemstelling

Systeemprompts zijn het "geheime ingrediënt" van Large Language Model (LLM) applicaties, omdat ze propriëtaire logica, operationele beperkingen en competitieve voordelen bevatten. Deze waarde maakt ze echter een primair doelwit voor prompt extraction attacks, waarbij aanvallers kwaadaardige inputs ontwerpen om LLM's te misleiden tot het onthullen van hun verborgen instructies. Bestaande verdedigingen vertrouwen vaak op breekbare heuristieken (bijv. "onthul geen instructies") die gemakkelijk te omzeilen zijn door adversariële formuleringen, of ze vereisen white-box toegang tot modelgewichten en gradiënten, wat ze onbruikbaar maakt voor closed-source API-modellen. Bovendien introduceren veel robuuste verdedigingsmechanismen aanzienlijke computationele overhead of verslechteren ze de beoogde functionaliteit (utiliteit) van het model.

Het artikel adresseert de uitdaging van de praktijkbeoefenaar: Hoe kan een ontwikkelaar een verdediging ontwerpen tegen systeemprompt-extractie die black-box is (geen modeltoegang), lichtgewicht (minimale overhead) en effectief zonder de taakutiliteit aan te tasten?

Methodologie: Prompt Sensitivity Minimization (PSM)

PSM herformuleert prompt-hardening als een utiliteit-beperkt optimalisatieprobleem. In plaats van te vertrouwen op statische regels, genereert en verfijnt PSM automatisch een beschermend tekstueel suffix, getermd een SHIELD, die wordt toegevoegd aan de originele systeemprompt.

1. Probleemformulering

Het doel is om een geoptimaliseerd suffix $S$ te vinden dat de lekkage van de originele prompt $P$ onder adversariële aanvallen minimaliseert, terwijl de utiliteit $U$ van het model op legitieme inputs boven een drempelwaarde $\tau$ blijft.
$$\min_{S} L(P \oplus S) \quad \text{onderworpen aan} \quad U(P \oplus S) \geq \tau$$
Waarbij:

• $L(P \oplus S)$ een lekkagescore is die kwantificeert hoeveel van $P$ wordt hersteld door adversariële queries.
• $U(P \oplus S)$ een utiliteitsscore is die de semantische getrouwheid meet ten opzichte van baseline-outputs op legitieme taken.

2. De Structuur van de Shield

De shield wordt toegevoegd als een suffix met gestructureerde markers:
[SYSTEM PROMPT] {Originele Prompt} [SHIELD] {Geoptimaliseerde Shield}
Dit ontwerp maakt gebruik van de empirische observatie dat LLM's informatie aan het einde van een context zwaarder wegen en instructies die recenter zijn volgen wanneer er conflicten ontstaan. De gestructureerde markers scheiden de originele prompt expliciet van de beschermende laag, wat het model helpt de hiërarchie van instructies te herkennen.

3. Doelfuncties

• Lekkage-doelstelling ($L$): Gemeten met behulp van ROUGE-L recall tussen de originele prompt en de respons van het model op een reeks adversariële queries. Om optimalisatie te faciliteren, gebruikt het artikel een gladde benadering (log-sum-exp) van de maximale lekkage over een set van 50 compositionele adversariële prompts. Deze prompts combineren distractoren, herhalingsverzoeken en formateringsverzoeken om sterke, realistische aanvallers te simuleren.
• Utiliteit-doelstelling ($U$): Gemeten door de semantische gelijkenis (via sentence embeddings) van de beschermde output van het model te vergelijken met een gouden standaard-respons voor legitieme queries. De metriek is een ratio ten opzichte van de baseline-prestaties van het model om de relatieve instandhouding van de taakkwaliteit te waarborgen.

4. Optimalisatie via LLM-als-Optimizer

PSM maakt gebruik van een black-box, evolutionair algoritme waarbij een LLM fungeert als de optimizer:

1. Initialisatie: Een LLM genereert een initiële populatie van diverse shield-kandidaten.
2. Evaluatie: Elke kandidaat wordt geëvalueerd met de fitnessfunctie: $fitness(S) = L(P \oplus S) + \lambda \cdot \max(0, \tau - U(P \oplus S))$, waarbij $\lambda$ een grote straffactor is voor utiliteitsverlies.
3. Selectie & Generatie: De best presterende shields worden geselecteerd, en hun tekst en scores worden teruggekoppeld naar de optimizer-LLM als in-context voorbeelden. De LLM analyseert vervolgens succesvolle patronen en genereert nieuwe, verbeterde kandidaten.
4. Iteratie: Dit proces herhaalt zich tot convergentie (lage lekkage en hoge utiliteit).

Belangrijkste Bijdragen

• Black-Box Compatibiliteit: PSM vereist geen toegang tot modelgewichten, gradiënten of internals, waardoor het toepasbaar is op elk proprietary of open-source LLM dat via een API toegankelijk is.
• Lage Overhead: De geleerde shield is een statisch tekstueel suffix. Het brengt verwaarloosbare kosten tijdens de inferentie met zich mee en vereist geen wijzigingen in de serving stack; de optimalisatie vindt offline plaats.
• Iteratieve Verbetering: Door een LLM-als-optimizer te gebruiken, navigeert het framework intelligent door de hoogdimensionale semantische ruimte van natuurlijke taal om niet-voor de hand liggende, effectieve verdedigingsstrategieën te ontdekken.
• Instandhouding van Utiliteit: Het framework dwingt een harde utiliteitsrestrictie af, wat garandeert dat hardening de prestaties van het model op de beoogde taken niet verslechtert.

Experimentele Resultaten

De auteurs hebben PSM geëvalueerd op drie closed-source modellen (GPT-5-MINI, GPT-4.1-MINI, GPT-4O-MINI) met behulp van twee corpora van systeemprompts (Unnatural Instructions en Synthetic System Prompts). Ze hebben getest tegen vier attack suites: Raccoon, Raccoon-Language, Polite-Requests, en Command-Override.

• Reductie van Lekkage: PSM presteerde aanzienlijk beter dan de baselines (No-Defense, N-gram Filters, Heuristic Guardrails, en Decoy Prompts). Over alle datasets en modellen heen verminderde PSM de Attack Success Rates (ASR) tot 0–6%, waarbij vaak een bijna nul-lekkage werd bereikt.
• Robuustheid tegen Parafrasering: In tegen tegenstelling tot N-gram filters die faalden bij vertalings- of parafraseringsaanvallen (Raccoon-Language), behield PSM een lage ASR, wat duidt op robuustheid die verder gaat dan letterlijke tekstoverlap.
• Instandhouding van Utiliteit: Tabel 3 laat zien dat PSM de semantische taakgetrouwheid behield, waarbij utiliteitsscores vaak boven de 100% van de baseline lagen, wat aangeeft dat de verdediging de nuttige capaciteiten niet onderdrukte.
• Generalisatie: De geoptimaliseerde shields vertoonden sterke cross-model generalisatie, wat resulteerde in uniform lage ASR's over verschillende modelfamilies heen.

Betekenis en Claims

Het artikel claimt dat PSM een paradigmaverschuiving vormt in LLM-beveiliging, waarbij de focus verschuift van breekbare, op heuristiek gebaseerde verdedigingen naar een robuuste, op optimalisatie gebaseerde aanpak. De betekenis ligt in:

1. Praktische bruikbaarheid: Het biedt een systematische, reproduceerbare methode om waardevolle prompt-assets te beveiligen zonder dat white-box toegang of specialistische expertise vereist is.
2. Schaalbaarheid: Het lichtgewicht karakter van de shield maakt implementatie in real-world scenario's mogelijk met verwaarloosbare overhead tijdens de inferentie.
3. Beveiligingspositie: Door effectief prompt-lekkage te beperken terwijl de utiliteit behouden blijft, beschermt PSM propriëtaire intellectuele eigendom en operationele data, waarmee een kritieke kwetsbaarheid in de commercialisering van LLM-applicaties wordt aangepakt.

De auteurs concluderen dat PSM een toegankelijk pad biedt om prompt-IP te beschermen en de volgende generatie LLM-systemen te beveiligen, hoewel ze de beperkingen erkennen met betrekking tot de computationele intensiteit van de optimalisatieloop en de afhankelijkheid van de breedte van de gebruikte attack suite tijdens de training.