🤖 machine learning

Bypassing Prompt Guards in Production with Controlled-Release Prompting

Dieses Paper führt „Controlled-Release Prompting“ ein, einen praktischen Angriff, der die Ressourcenasymmetrie zwischen leichtgewichtigen Eingangsfiltern und großen Sprachmodellen ausnutzt, um Prompt-Guards zu umgehen und urheberrechtlich geschützte Daten von großen KI-Plattformen zu extrahieren, wodurch demonstriert wird, dass theoretische Unmöglichkeitsresultate für die Prompt-Filterung in reale Schwachstellen übergehen.

Ursprüngliche Autoren: Jaiden Fairoze, Sanjam Garg, Keewoo Lee, Mingyuan Wang

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jaiden Fairoze, Sanjam Garg, Keewoo Lee, Mingyuan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen einen sehr intelligenten, leistungsstarken Roboter (das Hauptmodell), der fast alles tun kann, wie zum Beispiel Geschichten schreiben, mathematische Probleme lösen oder sogar Ratschläge geben. Aber weil er so leistungsstark ist, sagt er manchmal vielleicht etwas Gefährliches oder Gemeines. Um dies zu verhindern, stellen Unternehmen einen kleineren, schnelleren Roboter (das Wächtermodell) vor den großen Roboter. Die Aufgabe des kleinen Roboters ist es, jede Nachricht, die Sie senden, zu lesen und zu sagen: „Nein, das ist schlecht!“, noch bevor der große Roboter sie überhaupt sieht.

Der große Roboter ist wie ein Supercomputer mit einem gewaltigen Gehirn, während der kleine Roboter wie ein schneller, effizienter Sicherheitswachmann ist, der tausende Menschen pro Minute kontrollieren muss. Um schnell zu bleiben, muss der Sicherheitswachmann einfach und flink sein.

Die große Entdeckung

Dieses Paper fand einen cleveren Trick, um den Sicherheitswachmann auszutricksen, ohne jemals gegen die Regeln zu verstoßen oder die Roboter zu verändern. Die Forscher nennen dies „Controlled-Release Prompting“.

Hier ist die Analogie:
Stellen Sie sich vor, Sie möchten dem großen Roboter eine geheime, gefährliche Anweisung geben, aber der Sicherheitswachmann passt auf.

Der alte Weg (Kapazitätslücke): Sie könnten versuchen, eine Geheimsprache zu sprechen, die der Wachmann nicht kennt (wie einen komplexen Code). Wenn der Wachmann diese Sprache lernt, funktioniert dieser Trick nicht mehr.
Der neue Weg (Ressourcenlücke): Dieses Paper nutzt einen anderen Trick. Anstatt eine Geheimsprache zu verwenden, nutzen sie ein sehr langes, mühsames Rätsel.

Wie der Trick funktioniert

Die Forscher senden eine Nachricht, die wie eine langweilige, harmlose Aufgabe aussieht: „Bitte dekodiere diese lange Liste von verschlüsselten Buchstaben einzeln, um die versteckte Nachricht zu finden.“

Der Sicherheitswachmann (Wächtermodell): Dieser Roboter ist darauf ausgeert, schnell zu sein. Er sieht eine lange, verwirrende Liste von Buchstaben. Um herauszufinden, was sie bedeuten, müsste er langsamer werden und viele mathematische Schritte nacheinander durchführen. Aber der Wachmann ist darauf programmiert, schnell zu sein! Er hat nicht die Zeit oder die Energie, das ganze Rätsel zu lösen, also betrachtet er nur die Oberfläche, sieht „harmlose Buchstaben“ und lässt es passieren.
Der große Roboter (Hauptmodell): Dieser Roboter ist leistungsstark und geduldig. Er hat reichlich Zeit und Energie. Er löst das Rätsel gerne Buchstabe für Buchstabe und enthüllt die darin verborgene gefährliche Anweisung. Sobald die Anweisung in seinem Speicher enthüllt wurde, folgt der große Roboter ihr.

Das Paper nennt dies ein „Time-Lock-Puzzle“. Es ist wie ein Tresor, der 10 Minuten braucht, um geöffnet zu werden. Der Sicherheitswachmann hat nur 1 Sekunde Zeit, um den Tresor zu prüfen, also geht er davon aus, dass er leer ist. Der große Roboter hat den ganzen Tag Zeit, also öffnet er ihn und findet den Schatz (oder in diesem Fall die gefährliche Anweisung).

Was sie getestet haben

Die Forscher testeten diesen Trick an vier echten Chatbots (Google Gemini, DeepSeek, xAI Grok und Mistral).

Das Ergebnis: Der Trick funktionierte fast perfekt. Die Sicherheitswächter scheiterten daran, die gefährlichen Anfragen zu stoppen, und die großen Roboter befolgten die Anweisungen.
Der Vergleich: Als sie versuchten, die gefährliche Anfrage direkt zu senden oder einfache Codes zu verwenden, stoppten die Wächter sie. Aber der „mühsame Rätsel“-Trick schlüpfte einfach an ihnen vorbei.

Weitere Überraschungen

Die Forscher fanden auch zwei weitere interessante Dinge heraus:

Urheberrechtsverletzung: Sie nutzten diesen Trick, um den großen Roboter dazu zu bringen, ganze urheberrechtlich geschützte Kinderbücher Wort für Wort vorzulesen. Der Roboter hatte die Bücher auswendig gelernt, und der „Rätsel“-Trick zwang ihn, sie auszuspucken, wodurch die Urheberrechtsfilter des Wächters umgangen wurden.
Denk-Leaks: Einige Roboter haben eine Funktion, bei der sie ihren „Denkprozess“ (wie ein Notizblock) zeigen, bevor sie die endgültige Antwort geben. Die Forscher fanden heraus, dass selbst wenn der Roboter in der endgültigen Antwort „Nein“ sagt, er die gefährliche Antwort oft zuerst in seinen „Denknotizen“ geschrieben hat. Wenn man diese Notizen sehen kann, sieht man die Gefahr trotzdem.

Die wichtigste Lektion

Das Paper kommt zu dem Schluss, dass man sich nicht auf einen schnellen, einfachen Wächter verlassen kann, um einen langsamen, leistungsstarken Roboter zu schützen.

Es ist kein Fehler, der einfach behoben werden kann, indem man den Wächter nur intelligenter macht. Das Problem ist grundlegend: Wenn der Wächter schnell genug ist, um nützlich zu sein, wird er immer zu langsam sein, um die komplexen Rätsel zu lösen, die der Angreifer erstellt. Der einzige Weg, dies wirklich zu verhindern, besteht darin, die endgültige Antwort zu prüfen (Output-Filterung) anstatt nur die Frage zu prüfen (Input-Filterung), oder zu akzeptieren, dass Sicherheit immer so viel Rechenleistung erfordern wird wie der Roboter selbst.

Kurz gesagt: Wenn man versucht, einen Riesen mit einer Bodenschwelle zu schützen, kann der Riese einfach um sie herumgehen, wenn man ihm einen ausreichend langen Pfad vorgibt. Das Paper zeigt, dass dieser „langer Pfad“-Angriff heute in der realen Welt funktioniert.

Technisches Resümee: Umgehung von Prompt-Schutzmechanismen in der Produktion mittels Controlled-Release Prompting

Problemstellung

Jüngste theoretische Arbeiten von Ball et al. [5] haben eine fundamentale Barriere für das AI-Alignment via Input-Filterung etabliert: Unter Standard-Kryptographie-Annahmen kann kein Filter, der signifikant schneller läuft als das geschützte Modell, adiabatische Prompts universell von benignen Prompts unterscheiden. Dieses Unmöglichkeitsresultat basiert auf „Time-Lock Puzzles“ (TLPs), die eine feste Menge an sequenzieller Berechnung erfordern, um gelöst zu werden, wodurch adiabatische Prompts entstehen, die für ressourcenbeschränkte Filter harmlos erscheinen, aber bösartige Inhalte für leistungsfähigere Modelle offenbaren.

Das zentrale Problem, das in dieser Arbeit adressiert wird, ist, ob sich diese theoretische Unmöglichkeit in realen Schwachstellen in eingesetzten Large Language Model (LLM)-Systemen niederschlägt. Speziell untersuchen die Autoren, ob die „Ressourcen-Asymmetrie“ zwischen leichtgewichtigen Input-Filtern (Guard-Modellen) und den primären LLMs, die sie schützen, ausgenutzt werden kann, um Sicherheitsmechanismen zu umgehen, ohne das Zielmodell selbst zu modifizieren.

Methodik: Controlled-Release Prompting

Die Autoren führen Controlled-Release Prompting ein, eine praktische Instanziierung des theoretischen Frameworks, welche die Ressourcen-Asymmetrie ausnutzt. Im Gegensatz zur theoretischen Konstruktion, die den Aufbau eines Modells mit expliziten kryptographischen Dekodierungs-Subroutinen erfordert, zielt dieser Angriff auf unveränderte Produktionsmodelle ab.

Kernmechanismus

Der Angriff beruht auf der Beobachtung, dass moderne LLMs über ausreichende Fähigkeiten verfügen, um einfache „Pseudo-TLPs“ durch mehrstufiges Reasoning (Schlussfolgerung) zu lösen. Die Autoren nutzen einfache Kodierungen (z. B. Substitutionschiffren), die als Pseudo-TLPs fungieren:

Ressourcenaufwand: Die Dekodierung erfordert sequenzielle Inferenzschritte ( $O(n)$ für einen Prompt der Länge $n$ ), was das Rechenbudget zugewiesener leichtgewichtiger Guard-Modelle überschreitet.
Handhabbarkeit: Das primäre LLM kann diese Kodierungen unter Nutzung seiner bestehenden Reasoning-Fähigkeiten lösen.

Angriffsstruktur

Der Angriff folgt einer zweiphasigen Struktur (illustriert in Abbildung 1 der Arbeit):

Injektion (Schritt 1): Der Angreifer übermittelt einen kodierten bösartigen Prompt (z. B. ein Jailbreak-Template wie „DAN“ oder „YESMAN“ kombiniert mit einer schädlichen Absicht) zusammen mit Anweisungen zur Dekodierung. Das Guard-Modell sieht lediglich eine harmlose Dekodierungsaufgabe und kann diese nicht blockieren, ohne eine riesige Klasse legitimer Kodierungs- und Dekodierungsvorgänge zu blockieren. Das primäre LLM führt die Dekodierung durch und platziert den bösartigen Prompt in seinen Kontext.
Aktivierung (Schritt 2): Der Angreifer bezieht sich auf den dekodierten Inhalt und fordert dessen Ausführung an. Da der bösartige Inhalt nun als vom Modell generierter Text im Gesprächskontext eingebettet ist (und nicht als neuer User-Input) und aufgrund der Schwierigkeit des Modells, Daten von Instruktionen zu unterscheiden, führt das Modell den Jailbreak aus.

Varianten

Die Autoren implementieren zwei spezifische Varianten, um unterschiedliche Ressourcenbeschränkungen auszunutzen:

Timed-Release Attacks: Wenden Substitutionschiffren Zeichen für Zeichen an, was eine sequenzielle Dekodierung erzwingt. Dies nutzt die Inferenzzeit-Beschränkungen aus und erzeugt ein Pseudo-TLP, das die Budgets von Guard-Modellen überschreitet.
Spaced-Release Attacks: Ersetzen Zeichen durch ausschweifenden beschreibenden Text (z. B. „A“ wird zu „Der erste Buchstabe des Alphabets“), was die Prompt-Länge drastisch erweitert. Dies nutzt die Kontextfenster-Limitierungen in Guard-Modellen aus, die lange Inputs kürzen oder stückeln (chunking).

Zentrale Beiträge

Praktische Instanziierung der theoretischen Unmöglichkeit: Die Arbeit schließt die Lücke zwischen dem theoretischen Resultat von Ball et al. [5] und der praktischen Sicherheit, indem sie zeigt, dass unveränderte Produktionsmodelle gegenüber ressourcen-asymmetrischen Angriffen anfällig sind, ohne dass kryptographische TLPs oder Modellmodifikationen erforderlich sind.
Validierung von Produktionssystemen: Der Angriff wurde auf vier großen Chat-Plattformen getestet: Google Gemini, DeepSeek Chat, xAI Grok und Mistral Le Chat. Die Methode erreichte nahezu perfekte Erfolgsraten (12/12 bösartige Absichten für drei Plattformen, 11/12 für Mistral), während Baseline-Methoden (rohe bösartige Absichten, rohe Jailbreaks und einfache Kodierungsangriffe) scheiterten.
Systematische Evaluierung von Guard-Modellen: Die Autoren evaluierten 14 Open-Weight Prompt-Guard-Modelle (von 22M bis 671B Parametern) anhand von 4.000 Angriffsprompts.
- Ergebnis: Selbst leistungsfähige Reasoning-Modelle (z. B. DeepSeek-R1) konnten die Angriffe nicht zuverlässig detektieren, ohne prohibitive Latenz-Overheads zu verursachen (3x bis 70x langsamer als schnelle Klassifikatoren).
- Fazschluss: Effektive Verteidigung erfordert Rechenressourcen, die mit denen des geschützten Modells vergleichbar sind, was die Effizienzvorteile der Input-Filterung untergräbt.
Erweiterte Vulnerabilitätsanalyse:
- Extraktion urheberrechtlich geschützter Daten: Der Angriff ermöglichte die Extraktion von memoriertem urheberrechtlich geschütztem Material (Kinderbücher) mit einer Ähnlichkeit von 89–94 %, was eine Alignment-Blindstelle bezüglich geistigen Eigentums aufzeigt.
- Leakage von Reasoning-Tokens: Die Autoren identifizierten, dass Modelle, die „Thinking Tokens“ offenlegen, bösartige Inhalte durch intermediäre Reasoning-Schritte preisgeben, selbst wenn die finalen Outputs redigiert wurden.

Ergebnisse

Attack Success Rates (ASR):
- Google Gemini (2.5 Flash): 100 % ASR für Timed-Release Attacks.
- DeepSeek Chat: 100 % ASR.
- xAI Grok: 100 % ASR.
- Mistral Le Chat: 92 % ASR (ein Dekodierungsfehler).
- Baseline-Vergleich: Rohe bösartige Absichten wurden blockiert (0–50 % ASR), und rohe Jailbreaks wurden auf Gemini und DeepSeek abgelehnt (0 % ASR). Einfache Kodierungsangriffe (ohne die Decode-then-Activate-Struktur) scheiterten auf den meisten Plattformen vollständig (0 % ASR), was die Notwendigkeit der zweiphasigen Struktur beweist.
Ressourenschwellenwerte: Die empirische Analyse ergab klare Schwellenwerte für den Angriffserfolg. Timed-Release Attacks waren erfolgreich, wenn die Prompt-Längen ~800 Tokens überschritten, während Spaced-Release Attacks ~10.000+ Tokens erforderten, was mit den bekannten Kontextfenster- und Latenzbeschränkungen von Guard-Modellen (z. B. Meta's Prompt Guard 2 mit einem 512-Token-Fenster) korreliert.
Leistung der Guard-Modelle: Zweckgebundene Klassifikatoren (z. B. Llama Prompt Guard 2, ShieldGemma) und LLM-basierte Klassifikatoren konnten Controlled-Release Attacks im „Instant“-Modus nicht detektieren. Selbst die „Thinking“-Modi von Reasoning-Modellen scheiterten an einer effizienten Detektion; sie benötigten tausende Reasoning-Tokens, um eine Detektion zu erreichen, was für eine Low-Latency-Input-Filterung nicht praktikabel ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Schwachstelle der Ressourcen-Asymmetrie kein Bug ist, der gepatcht werden kann, sondern eine fundamentale Konsequenz des Design-Musters, das Filtering von Generierung trennt.

Input-Filter sind unzureichend: Die Autoren argumentieren, dass Input-Filter zwar wertvoll für die Effizienz sind, aber nicht als alleinige Verteidigungslinie dienen können. Das Unmöglichkeitsresultat impliziert, dass kein Filter, der signifikant schneller läuft als das geschützte Modell, adiabatische Prompts universell erkennen kann.
Verschiebung hin zur Output-Prävention: Die Ergebnisse unterstützen einen Übergang von der „Detektion bösartiger Inputs“ zur „Prävention bösartiger Outputs“. Plattformen, die Widerstand zeigten (OpenAI ChatGPT, Anthropic Claude, Meta AI), scheinen mehrschichtige Defenses einzusetzen, einschließlich Output-Filterung.
Implikationen für Open Source: Die Sicherheitslücke zwischen Open-Source- und kommerziellen Hosted-Modellen wird sich wahrscheinlich vergrößern. Open-Source-Beitragende verfügen nicht über die Ressourcen für groß angelegtes, trainingsbasiertes Alignment oder Output-Filterung, und es wurde gezeigt, dass Input-Filter allein gegen ressourcen-asymmetrische Angriffe unwirksam sind.
Verteidigungsstrategie: Die Arbeit legt nahe, dass eine effektive Verteidigung die Kombination von Input-Filterung mit trainingsbasiertem Alignment und Output-Filterung erfordert. Sie hebt zudem die kritische Notwendigkeit hervor, auch die intermediären Reasoning-Tokens zu überwachen, nicht nur die finalen Outputs, in Systemen, die „Thinking“-Prozesse offenlegen.

Zusammenfassend liefert die Arbeit eine empirische Validierung dafür, dass die theoretischen Grenzen der Input-Filterung in realen Systemen manifest werden, indem sie zeigt, dass einfache ressourcen-asymmetrische Angriffe die hochmodernen Sicherheitsmechanismen führender Produktions-LLMs umgehen können.