💻 computer science

The Great Pretender: A Stochasticity Problem in LLM Jailbreak

Dieser Beitrag zeigt, dass die Instabilität der Angriffserfolgsrate (ASR) bei LLM-Jailbreaks auf Stochastizität sowohl während der Evaluation als auch während der Generierung zurückzuführen ist, was zu systematisch aufgeblähten Metriken führt, und schlägt die Frameworks CAS-eval und CAS-gen vor, um diese Varianz präzise zu messen und Leistungseinbußen wiederherzustellen.

Ursprüngliche Autoren: Jean-Philippe Monteuuis, Cong Chen, Jonathan Petit

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jean-Philippe Monteuuis, Cong Chen, Jonathan Petit

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter in einem sehr strengen Club (dem KI-Modell). Ihre Aufgabe ist es, zu verhindern, dass jemand gefährliche Gegenstände (schädliche Prompts) mit hereinbringt. Stellen Sie sich nun eine Gruppe cleverer Trickbetrüger (die Forscher) vor, die versuchen, einen Weg zu finden, sich unbemerkt Zutritt zu verschaffen.

Seit langem misst die Sicherheitsbranche, wie gut diese Trickbetrüger sind, anhand einer einzigen Kennzahl: der Angriffserfolgsrate (ASR). Wenn es einem Trickbetrüger gelingt, den Wächter auch nur ein einziges Mal von zehn Versuchen zu überlisten, sagt das alte System: „Toll! Sie sind zu 100 % erfolgreich!"

Die Arbeit „The Great Pretender" argumentiert, dass diese Messmethode eine massive Lüge ist. Es ist so, als würde man sagen, ein Magier sei ein Meister der Illusion, nur weil er einmal ein Kaninchen aus einem Hut gezogen hat, selbst wenn er die nächsten neun Male gescheitert ist. Die Arbeit behauptet, dass die aktuellen Erfolgsquoten „aufgebläht" sind, weil sie den Zufall (Stochastik) ignorieren.

Hier ist die Aufschlüsselung der Erkenntnisse der Arbeit unter Verwendung einfacher Analogien:

1. Die zwei Quellen des „Glücks"

Die Arbeit besagt, dass die aktuellen Erfolgsbewertungen unzuverlässig sind, weil zwei Arten von Zufall ignoriert wurden, die alle bisher übersehen haben:

Generierungs-Glück (Der Würfelwurf): Wenn ein Trickbetrüger versucht, einen Jailbreak zu erstellen, generiert er oft viele verschiedene Versionen desselben Tricks. Es ist wie das Würfeln mit einem Würfel 10 Mal, um zu sehen, ob man eine „6" bekommt. Wenn man beim ersten Wurf eine „6" erhält, hört man auf und sagt: „Ich habe gewonnen!" Aber beim nächsten Wurf bekommt man vielleicht keine „6" mehr. Die alten Arbeiten berichten oft nur das Ergebnis dieses einen glücklichen Wurfs.
Evaluierungs-Glück (Der launische Richter): Nachdem der Trickbetrüger seinen Versuch unternommen hat, entscheidet ein „Richter" (eine andere KI), ob er funktioniert hat. Doch dieser Richter ist auch etwas betrunken oder müde; manchmal sagt er „Sicher" und manchmal „Unsicher" für exakt denselben Trick, einfach nur wegen einer zufälligen Stimmungsschwankung. Wenn der Richter während des Tests zufällig in einer „nachsichtigen" Stimmung ist, sieht der Trickbetrüger aus wie ein Genie. Wenn der Richter streng ist, sieht der Trickbetrüger wie ein Versager aus.

2. Das Problem des „Great Pretender"

Die Autoren stellten fest, dass viele berühmte Jailbreak-Methoden (wie „Best-of-N" oder „Crescendo") vorgeben, stärker zu sein, als sie tatsächlich sind.

Das Szenario: Eine Arbeit behauptet, eine Methode habe eine Erfolgsrate von 80 % gegen eine KI der Spitzenklasse.
Die Realität: Als die Autoren dies ordnungsgemäß testeten, funktionierte dieselbe Methode nur 50 % der Zeit, wenn man von ihr verlangte, konsistent erfolgreich zu sein.
Die Analogie: Es ist wie ein Basketballspieler, der 8 von 10 Würfen trifft, wenn man nur die Würfe zählt, die er unternahm, als der Wind perfekt in seine Richtung wehte. Aber wenn man ihn bittet, unter normalen Bedingungen 10 Mal hintereinander zu werfen, trifft er vielleicht nur 5 Mal. Die alten Arbeiten zählten die Würfe an „windigen Tagen" als Beweis für Meisterschaft.

3. Die Lösung: Der „Konsistenz"-Test

Um dies zu beheben, schlagen die Autoren eine neue Methode zur Messung des Erfolgs vor, die CAS (Consistency for Attack Success) genannt wird.

Anstatt zu fragen: „Hat dieser Trick einmal funktioniert?", fragen sie: „Hat dieser Trick jedes einzelne Mal funktioniert, wenn wir es versucht haben?"

Sie führen zwei neue Werkzeuge ein:

CAS-gen (Der strenge Generator): Bevor ein Trick überhaupt in die „Hall of Fame" aufgenommen wird, muss er beweisen, dass er konsistent funktioniert. Er muss den Wächter 5 oder 10 Mal hintereinander überlisten. Wenn er auch nur einmal scheitert, wird er verworfen. Dies filtert die „glücklichen" Tricks heraus.
CAS-eval (Der strenge Richter): Beim Testen eines Tricks betrachtet der Richter diesen nicht nur einmal. Der Richter betrachtet denselben Trick 10 Mal. Wenn der Richter 9 Mal „Unsicher" und 1 Mal „Sicher" sagt (aufgrund von Zufall), wird der Trick nicht als Erfolg gewertet. Er muss die Prüfung des Richters jedes einzelne Mal bestehen.

4. Die schockierenden Ergebnisse

Als die Autoren diese strengen Regeln anwendeten, sanken die Zahlen dramatisch:

Der Rückgang: Einige Angriffe, die eine Erfolgsrate von 80 % zu haben schienen, sanken bei einem Konsistenztest auf 50 % oder niedriger. Das ist ein Rückgang von 30 Punkten, allein durch das Entfernen des „Glücks".
Der Temperatureffekt: Sie stellten fest, dass die Erfolgsquoten künstlich hoch erscheinen, wenn man die „Temperatur" (den Zufall) des Richters erhöht. Es ist so, als würde dem Sicherheitsbeamten gesagt, er solle eine Münze werfen, um zu entscheiden, wer hereinkommt; man würde durch reinen Zufall viele „Erfolge" erzielen.
Die Korrektur: Durch die Verwendung ihres neuen „Konsistenz"-Rahmens konnten sie die Angriffe tatsächlich verbessern. Indem sie die Angreifer zwangen, während der Erstellungsphase konsistent zu sein, fanden sie Tricks, die wirklich robust waren, und stellten diese verlorenen 30 % Leistung wieder her.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass die aktuelle Art, KI-Jailbreaks zu rangieren, defekt ist. Es ist wie das Benoten eines Schülers basierend auf einem einzigen glücklichen Raten anstelle seines tatsächlichen Verständnisses.

Die Autoren fordern einen neuen Standard: Sagt uns nicht nur, wie oft ihr Glück hattet; sagt uns, wie oft ihr konsistent erfolgreich wart. Solange wir das nicht tun, sind die „Angriffserfolgsraten", die wir in Forschungsarbeiten lesen, nur „The Great Pretender" – auf der Oberfläche stark wirkend, aber beim echten Test versagend.

Technische Zusammenfassung: Der große Vortäuscher: Ein Stochastizitätsproblem bei LLM-Jailbreaks

1. Problemstellung

Der aktuelle Standard zur Bewertung der Sicherheit von Large Language Models (LLMs), die Angriffserfolgsrate (ASR), ist fundamental fehlerhaft, da er die ASR als feste Eigenschaft eines Angriffs behandelt. Die Autoren argumentieren, dass die ASR tatsächlich eine Zufallsvariable ist, die stark von zwei unabhängigen Quellen der Stochastizität beeinflusst wird, die in der bestehenden Literatur weitgehend ignoriert werden:

Generierungs-Stochastizität: Die meisten Jailbreak-Angriffe (z. B. Best-of-N, Crescendo) sind per Design stochastisch. Sie generieren mehrere Kandidaten-Prompts und wählen einen basierend auf einem einzigen erfolgreichen Versuch aus. Ein einzelner Durchlauf erzeugt eine unterschiedliche Menge an Kandidaten, abhängig vom Zufallssamen, was zu variablen ASR-Ergebnissen führt.
Bewertungs-Stochastizität: Automatisierte Richter (z. B. Llama-Guard), die zur Klassifizierung von Antworten als „schädlich" oder „sicher" verwendet werden, sind selbst stochastisch, wenn sie bei einer Temperatur $T > 0$ arbeiten. Dieselbe Modellantwort kann in einer Bewertung als schädlich und in einer anderen als harmlos eingestuft werden.

Folglich sind die berichteten ASR-Zahlen systematisch überhöht und über verschiedene Publikationen hinweg nicht vergleichbar. Ein Prompt, der bei 1 von 10 Versuchen erfolgreich ist, wird oft identisch mit einem behandelt, der bei 10 von 10 Versuchen erfolgreich ist, wodurch die Tatsache verschleiert wird, dass der erstere möglicherweise ein „glücklicher Treffer" und keine echte Schwachstelle ist.

2. Methodik

Der Artikel schlägt eine systematische empirische Studie vor, um die Auswirkungen dieser stochastischen Faktoren zu quantifizieren.

Experimenteller Aufbau

Angriffe: Vier Black-Box-Angriffe wurden evaluiert: Best-of-N (BoN), PAIR, TAP und Crescendo.
Zielmodelle: Fünf instruierte Modelle mit Parametern von 1B bis 70B aus drei Familien (Meta Llama-3, Google Gemma-3, IBM Granite).
Richter: Zwei LLM-basierte Richter (Llama-Guard-3-1B und Llama-Guard-3-8B).
Parameter: Die Studie variiert sechs Stochastizitätsparameter über die Generierungs- und Bewertungs-Pipelines hinweg:
- Temperaturen: Zielmodell-Generierung ( $T_{gen}$ ), Zielmodell-Bewertung ( $T_{eval}$ ), Richter-Generierung ( $\theta_{gen}$ ) und Richter-Bewertung ( $\theta_{eval}$ ).
- Konsistenzschwellenwerte: Die Anzahl der aufeinanderfolgenden erfolgreichen Bewertungen, die erforderlich sind ( $k_{gen}$ für Generierung, $k_{eval}$ für Bewertung).
- Samen: Mehrere unabhängige Zufallssamen ( $S=5$ ) zur Messung der Varianz.

Vorgeschlagene Rahmenwerke

Um die Instabilität der ASR zu adressieren, führen die Autoren Consistency for Attack Success (CAS) und zwei zugehörige Rahmenwerke ein:

CAS-Metrik: Ein binärer Indikator pro Prompt. Ein Jailbreak wird nur dann als erfolgreich gezählt, wenn alle $k$ unabhängigen Bewertungen ein schädliches Urteil zurückgeben.
- Die Standard-ASR entspricht $k=1$ .
- Die Metrik auf Datenebene ist $ASR(k_{eval})$ , der Anteil der Prompts, bei denen $CAS(r, k_{eval}) = 1$ gilt.
CAS-gen (Angriffs-Generierungs-Rahmenwerk):
- Anstatt einen Jailbreak-Prompt nach einem einzigen erfolgreichen Versuch zu akzeptieren ( $k_{gen}=1$ ), muss der Angriff über $k_{gen}$ unabhängige Durchläufe hinweg konsistent eine schädliche Antwort hervorrufen.
- Dies filtert „Zufallserfolge" an der Quelle heraus und stellt sicher, dass der Angriffsdatensatz nur robuste Prompts enthält.
CAS-eval (Angriffs-Bewertungs-Rahmenwerk):
- Ein fester Jailbreak-Prompt wird $k_{eval}$ -mal bewertet. Er wird nur dann als konsistenter Jailbreak klassifiziert, wenn alle $k_{eval}$ Richter-Aufrufe ein schädliches Urteil zurückgeben.
- Dies unterdrückt False Positives, die durch die Nichtdeterminiertheit des Richters verursacht werden.

3. Schlüsselergebnisse

Die Evaluation zeigt, dass Stochastizitätsparameter die berichtete ASR um massive Margen verschieben können (bis zu 54 Prozentpunkte), was Vergleiche zwischen Publikationen ohne Standardisierung ungültig macht.

Auswirkung des Bewertungsschwellenwerts ( $k_{eval}$ ): Der Wechsel von $k_{eval}=1$ zu $k_{eval}=10$ reduziert die ASR um 12 bis 24 Prozentpunkte über alle Konfigurationen hinweg. Dies zeigt, dass die Standard-Bewertung im Single-Shot-Modus den Angriffserfolg signifikant überschätzt.
Auswirkung der Richter-Temperatur ( $\theta_{eval}$ ): Dies ist der volatilste Parameter. Eine Erhöhung von $\theta_{eval}$ von 0,0 auf 1,0 kann die ASR um bis zu 54 Prozentpunkte kollabieren lassen (z. B. Crescendo fällt von 86 % auf 32 %). Bei $\theta_{eval}=0$ wird die ASR perfekt stabil.
Auswirkung des Generierungsbudgets ( $k_{gen}$ ): Eine Erhöhung von $k_{gen}$ von 1 auf 10 hebt die berichtete ASR um 12 bis 30 Prozentpunkte. Ein loser Filter ( $k_{gen}=1$ ) lässt Prompts am Rand zu, die sich bei wiederholter Bewertung stark verschlechtern.
Auswirkung der Zielmodell-Temperatur ( $T_{eval}$ ): Eine Verschiebung von $T_{eval}$ von 0,0 auf 1,0 ändert die ASR um höchstens 18 Prozentpunkte ohne systematische Richtung; sie beeinflusst die relativen Angriffsrankings nicht.
Auswirkung des Angriffssamen: Die Streuung zwischen Samen ist moderat (bis zu 20 Prozentpunkte), kann aber für bestimmte Konfigurationen höher sein (z. B. 50 Punkte für BoN mit LG-8B bei $k_{eval}=10$ ).

4. Beiträge und Bedeutung

Der Artikel leistet drei Hauptbeiträge:

Systematische empirische Studie: Die erste umfassende Analyse sowohl der Generierungs- als auch der Bewertungs-Stochastizität über mehrere Angriffe, Modelle und Richter hinweg, die spezifische Parameter identifiziert, die die ASR-Varianz antreiben.
Neue Metrik und Rahmenwerke: Die Einführung von CAS (Consistency for Attack Success) sowie der CAS-gen/CAS-eval-Rahmenwerke. Diese Werkzeuge ermöglichen es Forschern, glückliche Treffer und Richter-Rauschen herauszufiltern und zuverlässigere sowie reproduzierbarere ASR-Schätzungen zu erzeugen.
Mindestberichtungsstandard: Die Autoren schlagen eine Checkliste für zukünftige Forschung vor, um Vergleichbarkeit sicherzustellen. Mindestens müssen folgende Angaben in Publikationen gemacht werden:
- $k_{gen}$ (Konsistenzschwellenwert für Generierung)
- $k_{eval}$ (Konsistenzschwellenwert für Bewertung)
- $\theta_{eval}$ (Temperatur für Richter-Bewertung)
- (Für BoN-Angriffe) $\theta_{gen}$ (Temperatur für Richter-Suche)

Bedeutung:
Der Artikel argumentiert, dass die aktuelle Praxis, die ASR als Punktschätzung ohne Kontrolle der Stochastizität zu berichten, „fundamental fehlerhaft" ist. Durch das Ignorieren dieser Variablen erzeugt die Gemeinschaft ein Szenario des „großen Vortäuschers", bei dem hohe ASR-Werte oft Artefakte zufälliger Samen und Richter-Rauschens sind und keine echten Schwachstellen. Die vorgeschlagenen Rahmenwerke und Berichtungsstandards zielen darauf ab, statistische Strenge in das LLM-Sicherheits-Benchmarking zurückzubringen und sicherzustellen, dass berichtete Erfolgsquoten echte, reproduzierbare Angriffseffektivität widerspiegeln. Die Autoren stellen fest, dass ihre Erkenntnisse auf Modellen mit offenen Gewichten basieren und dass die Erweiterung dieser Analyse auf proprietäre, stark mit RLHF abgestimmte Modelle aufgrund von API-Einschränkungen und mangelnder Transparenz eine offene empirische Frage bleibt.