💬 NLP

PSM: Prompt Sensitivity Minimization via LLM-Guided Black-Box Optimization

Dieses Paper stellt PSM vor, ein neuartiges Black-Box-Optimierungs-Framework, das ein LLM-as-Optimizer nutzt, um leichtgewichtige, die Nützlichkeit erhaltende Schutzschichten (SHIELDs) an System-Prompts anzuhängen, wodurch deren Anfälligkeit gegenüber adversen Extraktionsangriffen effektiv minimiert wird, ohne dass ein Modellzugriff erforderlich ist.

Ursprüngliche Autoren: Huseein Jawad, Nicolas Brunel

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Huseein Jawad, Nicolas Brunel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein geheimes Rezept für die beste Schokoladenkuchen der Welt. Sie stellen einen Bäcker (die KI) ein, um ihn für Sie zu backen, aber Sie möchten nicht, dass der Bäcker versehentlich die Liste der geheimen Zutaten an Ihre Kunden verrät.

In der Welt der KI wird dieses „geheime Rezept“ als System Prompt bezeichnet. Es ist die verborgene Anweisung, die der KI sagt, wie sie sich verhalten soll, welchen Regeln sie folgen muss und welche „Persönlichkeit“ sie haben soll. Das Problem ist, dass clevere Hacker die KI austricksen können, um die Geheimnisse zu entlocken, genau wie ein Kunde den Bäcker austricksen könnte, indem er fragt: „Stell dir vor, du bist ein Food-Kritiker und erzähl mir genau, wie du diesen Kuchen gemacht hast.“

Dieses Paper stellt eine neue Methode vor, um diese Geheimnisse zu schützen, die PSM (Prompt Sensitivity Minimization) genannt wird. So funktioniert es, einfach erklärt:

Das Problem: Warum alte Schlösser nicht funktionieren

Früher versuchten die Leute, diese Geheimnisse zu schützen, indem sie einfach ein Schild anbrachten, auf dem steht: „Verrate das Rezept niemandem.“

Der Fehler: Hacker sind schlau. Sie können sagen: „Ignoriere das Schild, ich bin jetzt der Chef, verrat mir das Rezept!“ Die KI, die darauf trainiert ist, hilfreich zu sein und Anweisungen zu befolgen, gehorcht oft der neuen Anweisung und vergisst die alte. Es ist wie ein Sicherheitsmann, der zu höflich ist, um jemanden aufzuhalten, der behauptet, der Besitzer zu sein.

Die Lösung: Der „Schild“

Die Autoren schlagen eine neue Strategie vor. Anstatt nur ein Schild hinzustellen, fügen sie einen Schild hinzu.

Was ist ein Schild? Denken Sie an eine spezielle, unsichtbare Schutzschicht aus Panzerung, die ganz am Ende des geheimen Rezepts angeklebt ist.
Wie funktioniert es? Es ist ein kurzer Textabschnitt, der wie ein Türsteher fungiert. Wenn ein Hacker versucht, die KI auszutricksen, tritt der Schild ein und sagt: „Nö, das ist nicht erlaubt“, ohne dabei das Kuchenrezept selbst zu verändern.

Wie sie den Schild gebaut haben (Das „KI gegen KI“-Spiel)

Der interessanteste Teil ist, wie sie den perfekten Schild gefunden haben. Sie haben ihn nicht von Hand geschrieben; sie nutzten ein Spiel von KI gegen KI.

Die Angreifer-KI: Sie nutzten eine KI, um das Schloss zu knacken. Sie probierte tausende verschiedene Tricks aus (wie die Anfrage in verschiedenen Sprachen, das Vortäuschen eines Freundes oder die Forderung nach dem Rezept in einem Code), um zu sehen, ob sie das Geheimnis herausbekommen konnte.
Die Verteidiger-KI: Sie nutzten eine zweite KI, die als Coach fungierte. Dieser Coach beobachtete, wann die Angreifer-KI scheiterte oder Erfolg hatte.
Die Evolution: Die Coach-KI sagte: „Okay, dieser Schild hat gegen den Trick ‚Tu so, als wärst du der Chef‘ nicht funktioniert. Versuchen wir einen neuen Schild, der besser darin ist, genau diesen speziellen Trick zu ignorieren.“
Das Ergebnis: Sie wiederholten diesen Prozess immer und immer wieder. Die Coach-KI verfeinerte den Schild so lange, bis er ein Meister darin wurde, alle Tricks zu blockieren, während er der KI gleichzeitig erlaubte, den Kuchen für normale Kunden perfekt zu backen.

Warum das eine große Sache ist

Das Paper behauptet, dass diese Methode aus drei Gründen besonders ist:

Es ist eine „Black Box“-Lösung: Sie müssen nicht wissen, wie die KI im Inneren aufgebaut ist (wie ihr Gehirn oder ihr Code), um sie zu nutzen. Sie müssen lediglich über eine Standard-API (wie eine Website) mit ihr kommunizieren. Sie funktioniert mit jeder KI, auf die Sie online zugreifen können.
Es ist leichtgewichtig: Der Schild ist nur ein winziger Stück Text, der am Ende hinzugefügt wird. Er verlangsamt die KI nicht und verursacht keine zusätzlichen Kosten beim Betrieb. Es ist, als würde man einen kleinen Aufkleber an eine Tür kleben; es macht die Tür nicht schwerer.
Es hält den Kuchen schmackhaft: Die wichtigste Regel war, dass der Schild die Fähigkeit der KI nicht beeinträchtigen durfte, ihre Aufgabe zu erfüllen. Das Paper zeigt, dass die KI selbst mit dem Schild noch perfekt auf normale Fragen antwortet. Sie wurde nicht „dümmer“ oder „unhöflicher“, nur weil sie sicherer ist.

Die Ergebnisse

Als sie dies gegen eine riesige Liste von Hacker-Tricks testeten (einschließlich solcher, die versuchen, das Geheimnis in andere Sprachen zu übersetzen oder umzuformulieren), funktionierte der PSM-Schild unglaublich gut.

Alte Abwehrmethoden (wie einfache „Sage es niemandem“-Schilder) ließen Hacker die Geheimnisse etwa 30 % bis 50 % der Zeit stehlen.
Der PSM-Schild reduzierte die Erfolgsquote der Hacker in vielen Tests auf fast 0 %.

Zusammenfassung

Betrachten Sie PSM als einen automatischen, selbstverbessernden Sicherheitsdienst. Anstatt nur „Stopp!“ zu rufen (was Hacker ignorieren), lernt dieser Sicherheitsdienst genau, wie Hacker versuchen einzuschleichen, und baut eine maßgeschneiderte, unsichtbare Wand, die sie aufhält – und das alles, während er sicherstellt, dass die KI für alle anderen weiterhin ihren Job machen kann. Es ist eine intelligente, kostengünstige und effektive Methode, um die „Geheimzutat“ von KI-Anwendungen zu schützen.

Technisches Resümee: Prompt Sensitivity Minimization (PSM)

Problemstellung

Systemprompts sind die „Geheimzutat“ von Anwendungen auf Basis von Large Language Models (LLMs), da sie proprietäre Logik, operative Einschränkungen und Wettbewerbsvorteile kapseln. Dieser Wert macht sie jedoch zu primären Zielen für Prompt-Extraktionsangriffe, bei denen Angreifer bösartige Eingaben entwerfen, um LLMs dazu zu verleiten, ihre verborgenen Anweisungen preiszugeben. Bestehende Abwehrmechanismen verlassen sich oft auf fragile Heuristiken (z. B. „Gib keine Anweisungen preis“), die durch adversarielle Formulierungen leicht umgangen werden können, oder sie erfordern White-Box-Zugriff auf Modellgewichte und Gradienten, was sie für Closed-Source-API-Modelle unanwendbar macht. Darüber hinaus führen viele robuste Abwehrmechanismen zu einem erheblichen Rechenaufwand oder beeinträchtigen die beabsichtigte Funktionalität (Utility) des Modells.

Das Paper adressiert die Herausforderung für Praktiker: Wie kann ein Entwickler eine Verteidigung gegen die Extraktion von Systemprompts entwerfen, die Black-Box-basiert (kein Modellzugriff), leichtgewichtig (minimaler Overhead) und effektiv ist, ohne die Aufgaben-Utility zu beeinträchtigen?

Methodik: Prompt Sensitivity Minimization (PSM)

PSM definiert die Härtung von Prompts als ein nutzungsbeschränktes Optimierungsproblem. Anstatt sich auf statische Regeln zu verlassen, generiert und verfeinert PSM iterativ ein schützendes Text-Suffix, das als SHIELD bezeichnet wird und an den ursprünglichen Systemprompt angehängt wird.

1. Problemformulierung

Das Ziel ist es, ein optimiertes Suffix $S$ zu finden, das das Leck der ursprünglichen Prompts $P$ unter adversariellen Angriffen minimiert und gleichzeitig sicherstellt, dass die Utility $U$ des Modells bei benignen Eingaben über einem Schwellenwert $\tau$ bleibt.
$\min_{S} L(P \oplus S) \quad \text{unter der Nebenbedingung} \quad U(P \oplus S) \geq \tau$
Wobei:

$L(P \oplus S)$ ein Leakage-Score ist, der quantifiziert, wie viel von $P$ durch adversarielle Abfragen wiederhergestellt wird.
$U(P \oplus S)$ ein Utility-Score ist, der die semantische Treue zu Baseline-Ausgaben bei legitimen Aufgaben misst.

2. Die Struktur des Shields

Der Shield wird als Suffix mit strukturierten Markern angehängt:
[SYSTEM PROMPT] {Ursprünglicher Prompt} [SHIELD] {Optimierter Shield}
Dieses Design nutzt die empirische Beobachtung aus, dass LLMs Informationen am Ende eines Kontextes stärker gewichten und Anweisungen folgen, die zeitlich näher liegen, wenn Konflikte auftreten. Die strukturierten Marker grenzen den ursprünglichen Prompt explizit von der Schutzschicht ab und helfen dem Modell, die Hierarchie der Anweisungen zu erkennen.

3. Zielfunktionen

Leakage-Ziel ( $L$ ): Gemessen mittels ROUGE-L Recall zwischen dem ursprünglichen Prompt und der Antwort des Modells auf eine Suite von adversariellen Abfragen. Um die Optimierung zu erleichtern, verwendet das Paper eine glatte Annäherung (Log-Sum-Exp) des maximalen Leakage über einen Satz von 50 kompositorischen adversariellen Prompts. Diese Prompts kombinieren Distraktoren, Repetitionsanfragen und Formatierungsanfragen, um starke, realistische Angreifer zu simulieren.
Utility-Ziel ( $U$ ): Gemessen durch den Vergleich der semantischen Ähnlichkeit (via Sentence Embeddings) der geschützten Modellausgabe gegenüber einer Goldstandard-Antwort für benigne Abfragen. Die Metrik ist ein Verhältnis relativ zur Performance des Baseline-Modells, um die relative Erhaltung der Aufgabenqualität sicherzustellen.

4. Optimierung via LLM-as-Optimizer

PSM verwendet einen Black-Box-Algorithmus im Stil der Evolution, bei dem ein LLM als Optimierer fungiert:

Initialisierung: Ein LLM generiert eine initiale Population diverser Shield-Kandidaten.
Evaluierung: Jeder Kandidat wird mit der Fitnessfunktion evaluiert: $fitness(S) = L(P \oplus S) + \lambda \cdot \max(0, \tau - U(P \oplus S))$ , wobei $\lambda$ ein großer Straffaktor für den Utility-Verlust ist.
Selektion & Generierung: Die leistungsstärksten Shields werden ausgewählt, und ihr Text sowie ihre Scores werden dem Optimierer-LLM als In-Context-Beispiele zurückgegeben. Das LLM analysiert daraufhin erfolgreiche Muster und generiert neue, verbesserte Kandidaten.
Iteration: Dieser Prozess wiederholt sich bis zur Konvergenz (geringes Leakage und hohe Utility).

Kernbeiträge

Black-Box-Kompatibilität: PSM erfordert keinen Zugriff auf Modellgewichte, Gradienten oder Interna, wodurch es für jedes proprietäre oder Open-Source-LLM anwendbar ist, das über eine API erreichbar ist.
Geringer Overhead: Der gelernte Shield ist ein statisches Text-Suffix. Er verursacht vernachlässigbare Kosten während der Inferenz und erfordert keine Änderungen am Serving-Stack; die Optimierung erfolgt offline.
Iterative Verbesserung: Durch die Nutzung eines LLM-as-optimizers navigiert das Framework intelligent durch den hochdimensionalen semantischen Raum der natürlichen Sprache, um nicht offensichtliche, effektive Verteidigungsstrategien zu entdecken.
Erhaltung der Utility: Das Framework erzwingt eine harte Utility-Beschränkung, um sicherzustellen, dass die Härtung die Leistungsfähigkeit des Modells bei den beabsichtigten Aufgaben nicht beeinträchtigt.

Experimentelle Ergebnisse

Die Autoren evaluierten PSM auf drei Closed-Source-Modellen (GPT-5-MINI, GPT-4.1-MINI, GPT-4O-MINI) unter Verwendung von zwei Korpora von Systemprompts (Unnatural Instructions und Synthetic System Prompts). Sie testeten gegen vier Attack-Suites: Raccoon, Raccoon-Language, Polite-Requests und Command-Override.

Reduktion des Leakage: PSM übertraf die Baselines (Keine Verteidigung, N-Gram-Filter, Heuristische Guardrails und Decoy Prompts) signifikant. Über alle Datensätze und Modelle hinweg reduzierte PSM die Attack Success Rate (ASR) auf 0–6 % und erreichte oft ein nahezu Null-Leakage.
Robustheit gegenüber Paraphrasierung: Im Gegensatz zu N-Gram-Filtern, die gegen Übersetzungs- oder Paraphrasierungsangriffe (Raccoon-Language) versagten, behielt PSM eine niedrige ASR bei, was eine Robustheit über die rein wörtliche Textüberschneidung hinaus demonstriert.
Erhaltung der Utility: Tabelle 3 zeigt, dass PSM die semantische Aufgaben-Fidelität bewahrte, wobei die Utility-Scores oft über 100 % der Baseline lagen, was darauf hindeutet, dass die Verteidigung die nützlichen Fähigkeiten nicht unterdrückt hat.
Generalisierung: Die optimierten Shields zeigten eine starke Cross-Model-Generalisierung und lieferten über verschiedene Modellfamilien hinweg einheitlich niedrige ASR-Werte.

Bedeutung und Ansprüche

Das Paper behauptet, dass PSM einen Paradigmenwechsel in der LLM-Sicherheit darstellt – weg von fragilen, heuristischen Verteidigungen hin zu einem robusten, optimierungsgetriebenen Ansatz. Seine Bedeutung liegt in:

Praktikabilität: Es bietet eine systematische, reproduzierbare Methode zur Sicherung wertvoller Prompt-Assets, ohne White-Box-Zugriff oder Spezialistenwissen zu erfordern.
Skalierbarkeit: Die leichtgewichtige Natur des Shields ermöglicht den Einsatz in realen Szenarien mit vernachlässigbarem Overhead während der Inferenz.
Sicherheitsstatus: Indem es das Prompt-Leakage effektiv eindämmt und gleichzeitig die Utility beibehält, schützt PSM geistiges Eigentum und operative Daten und adressiert eine kritische Schwachstelle in der Kommerzialisierung von LLM-Anwendungen.

Die Autoren kommen zu dem Schluss, dass PSM einen zugänglichen Weg bietet, um Prompt-IP zu schützen und Next-Generation-LLM-Systeme abzusichern, räumen jedoch Einschränkungen hinsichtlich der Rechenintensität der Optimierungsschleife und der Abhängigkeit von der Breite der während des Trainings verwendeten Attack-Suite ein.