🤖 machine learning

Detecting Fluent Optimization-Based Adversarial Prompts via Sequential Entropy Changes

Dieser Beitrag stellt CPD Online vor, einen trainingfreien, modellagnostischen Detektor, der fließende optimierungsbasierte adversariale Prompts durch Anwendung sequenzieller Change-Point-Detektion auf Token-Ebene-Entropieströme identifiziert und dabei im Vergleich zu bestehenden Perplexitäts-basierten Methoden eine überlegene Genauigkeit sowie eine präzise Lokalisierung erreicht, während der rechnerische Aufwand für nachgelagerte Sicherheitsfilter reduziert wird.

Ursprüngliche Autoren: Mohammed Alshaalan, Miguel R. D. Rodrigues

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammed Alshaalan, Miguel R. D. Rodrigues

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboterassistenten (ein Large Language Model, oder LLM), der darauf trainiert ist, hilfreich und sicher zu sein. Allerdings haben clevere Hacker einen Weg gefunden, diesen Roboter dazu zu bringen, schädliche Dinge zu sagen. Sie tun dies, indem sie einen geheimen, unsichtbaren „Code" ganz ans Ende einer normalen Frage hinzufügen. Dieser Code wird als adversarielles Suffix bezeichnet.

Das Problem ist, dass diese Hacker immer besser darin werden, ihren Code so aussehen und klingen zu lassen, dass er völlig natürlich wirkt. Es ist wie ein Spion, der Ihre Sprache fließend spricht und Ihre Kleidung trägt; ein flüchtiger Blick (oder eine einfache Prüfung, wie „seltsam" die Wörter klingen) kann nicht zwischen einer normalen Person und dem Spion unterscheiden.

Diese Arbeit stellt einen neuen Sicherheitsbeamten namens CPD Online vor, der diese Spione fängt, indem er beobachtet, wie der Roboter denkt, während er die Nachricht liest, anstatt nur die Wörter selbst zu betrachten.

Hier ist die Funktionsweise, unter Verwendung einfacher Analogien:

1. Das Problem: Der „glatte" Spion

Traditionelle Sicherheitsprüfungen betrachten die „Perplexität" einer Nachricht. Denken Sie an Perplexität als ein Maß dafür, wie überrascht der Roboter von den Wörtern ist.

Normale Nachrichten: Der Roboter ist normalerweise nicht allzu überrascht.
Altmodische Angriffe: Die Hacker verwendeten Kauderwelsch oder seltsame Wörter. Der Roboter war sehr überrascht, und der Sicherheitsbeamte hätte gerufen: „Das ist seltsam! Stoppen Sie!"
Neuartige Angriffe: Die Hacker verwenden nun KI, um ihren geheimen Code so perfekt zu schreiben, dass der Roboter überhaupt nicht überrascht ist. Der „Überraschungsmesser" bleibt niedrig, sodass die alten Wachen sie übersehen.

2. Die Lösung: Den „Herzschlag" beobachten

Die Autoren stellten fest, dass sich selbst dann, wenn die Wörter normal aussehen, das Muster des Denkens des Roboters ändert, wenn er auf den geheimen Code trifft.

Stellen Sie sich vor, der Roboter geht einen Pfad entlang und liest Ihre Nachricht.

Normaler Pfad: Der „Herzschlag der Unsicherheit" des Roboters (genannt Entropie) ist stabil und rhythmisch, wie ein ruhiger Spaziergang. Er schwankt ein wenig, bleibt aber in einem komfortablen Bereich.
Der Pfad des Spions: Wenn der Roboter am Ende des Satzes auf den geheimen Code trifft, verschiebt sich sein Denkmuster. Er beginnt, „nach oben zu driften". Es ist, als würde der Roboter plötzlich bergauf laufen oder sich beschleunigen, und zwar auf eine Weise, die nicht zu seinem üblichen Rhythmus passt.

3. Der Detektiv: Der „CUSUM"-Messer

Die Arbeit verwendet ein mathematisches Werkzeug namens CUSUM (Cumulative Sum / Kumulative Summe). Stellen Sie sich dies als eine empfindliche Balkenwaage oder einen Drift-Detektor vor.

Die Basislinie: Zuerst beobachtet das System den Roboter, wie er eine Standardanweisung liest (den „System-Prompt"). Es lernt, wie ein „normaler Herzschlag" für diesen spezifischen Roboter aussieht.
Der Test: Während der Roboter Ihre Nachricht liest, vergleicht der Detektor den „Herzschlag" jedes neuen Wortes mit dieser Basislinie.
Der Alarm:
- Wenn der Herzschlag ein wenig wackelt und dann wieder zur Normalität zurückkehrt, wird die Waage zurückgesetzt. (Dies ist ein normaler Satz).
- Wenn der Herzschlag beginnt, nach oben zu driften und dort bleibt, addiert die Waage weiterhin Gewicht. Sobald das Gewicht zu schwer wird, geht der Alarm los.

Dies unterscheidet sich von alten Methoden, die nur nach einem einzelnen lauten Geräusch suchten. Diese Methode sucht nach einer anhaltenden Verschiebung im Denkmuster des Roboters.

4. Warum es besser ist

Die Arbeit testete dies gegen sechs verschiedene Arten von Robotermodellen und Tausende von Angriffen. Hier ist, was sie fanden:

Es fängt die glatten Spione: Weil es das Muster der Veränderung betrachtet und nicht nur, wie „seltsam" die Wörter sind, fängt es die neuen, fließenden Angriffe, die andere Detektoren täuschen.
Es weiß, wo der Spion ist: Alte Detektoren sagen vielleicht nur: „Diese ganze Nachricht ist schlecht." CPD Online kann auf den genauen Moment zeigen, in dem der geheime Code begann. Es ist wie ein Sicherheitsbeamter, der nicht nur sagt „Es gibt einen Dieb im Gebäude", sondern zeigt und sagt: „Der Dieb ist um 15:05 Uhr durch die Hintertür hereingekommen."
Es ist schnell und kostenlos: Es benötigt keinen neuen, schweren Computer zum Ausführen. Es verwendet dieselben Daten, die der Roboter bereits generiert, um zu denken, sodass es fast keine Verzögerung hinzufügt.

5. Die „Türsteher"-Strategie

Die Arbeit schlägt auch einen intelligenten Weg vor, dies in der realen Welt zu nutzen. Stellen Sie sich ein geschäftiges Büro vor mit einem sehr teuren, hochqualifizierten Sicherheitschef (genannt LLaMA Guard), der komplexe Entscheidungen treffen kann, aber lange Zeit benötigt, um jeden Besucher zu prüfen.

Alter Weg: Der Chef prüft jeden. Das ist langsam und teuer.
Neuer Weg: Der CPD Online-Detektor fungiert als Türsteher an der Haustür.
- Wenn der Türsteher einen ruhigen, normalen Herzschlag sieht, winkt er den Besucher durch, ohne den Chef zu belästigen.
- Wenn der Türsteher diesen „driftenden" Herzschlag sieht, hält er den Besucher an und ruft den Chef zu einer gründlichen Untersuchung.

Dies spart viel Zeit (reduziert die Arbeitslast des Chefs in ihren Tests um etwa 20–40 %), ohne dass die Bösewichte durchschlüpfen.

Zusammenfassung

Kurz gesagt lehrt uns diese Arbeit, dass man, um einen Spion zu fangen, der gut darin ist, sich einzumischen, nicht nur auf seine Kleidung (die Wörter) schauen sollte; man sollte beobachten, wie er geht (das Muster der Unsicherheit). Indem es den „Denkrhythmus" des Roboters verfolgt, kann dieser neue Detektor den Moment erkennen, in dem ein normales Gespräch in einen Trick umschlägt, selbst wenn der Trick völlig höflich klingt.

Technische Zusammenfassung: Erkennung fließender, optimierungsbasierter adversarialer Prompts durch sequenzielle Entropieänderungen

1. Problemstellung

Large Language Models (LLMs) bleiben anfällig für optimierungsbasierte adversarial Suffixe. Im Gegensatz zu manuell erstellten Jailbreaks werden diese Angriffe (z. B. GCG, AutoDAN, AdvPrompter) automatisch generiert, um abgestimmte Modelle dazu zu zwingen, Sicherheitsrichtlinien zu verletzen, während sie gleichzeitig eine hohe Fließfähigkeit beibehalten.

Bestehende Verteidigungsmechanismen stoßen auf zwei Hauptgrenzen:

Statistische Detektoren (auf Perplexität basierend): Methoden, die auf globaler Perplexität (PP) oder fensterbasierter Perplexität (WPP) beruhen, gehen davon aus, dass adversariale Token statistisch unwahrscheinlich oder unflüssig sind. Moderne Angriffe optimieren jedoch explizit auf niedrige Perplexität und Natürlichkeit, wobei sie die globale PP oft im Bereich harmloser Prompts halten, was diese Detektoren wirkungslos macht.
Sicherheitsklassifikatoren (Guard-Modelle): Modelle wie LLaMA Guard bieten eine starke semantische Erkennung, führen jedoch zu erheblicher Latenz, Speicheraufwand und Komplexität im Betrieb. Zudem arbeiten sie auf Prompt-Ebene und können nicht lokalisieren, wo genau ein adversarialer Suffix innerhalb des Eingabestroms beginnt.

Die Kernherausforderung besteht darin, diese fließenden, optimierungsbasierten Suffixe in Echtzeit zu erkennen und zu lokalisieren, ohne auf statische Perplexitätsschwellenwerte oder teure Hilfsmodelle zurückzugreifen.

2. Methodik: CPD Online

Die Autoren schlagen CPD Online vor, einen leichten, trainingfreien Detektor, der die Erkennung adversarialer Suffixe als Online-Change-Point-Detection (CPD)-Problem über den tokenbasierten Next-Token-Entropiestrom formuliert.

Kernmechanismus

Die Methode basiert auf der Beobachtung, dass zwar harmlose Benutzereingaben eine Entropieverteilung aufweisen, die der des Systemprompts ähnelt, optimierungsbasierte adversariale Suffixe jedoch eine persistente Verschiebung im tokenbasierten Entropiestrom bewirken, selbst wenn die globale Perplexität unauffällig bleibt.

Der Erkennungsprozess besteht aus drei Schritten:

Robuste Baseline-Schätzung:
- Das feste Systemprompt wird verwendet, um eine deploymentspezifische Entropie-Baseline zu etablieren.
- Der Median ( $\hat{\mu}_0$ ) und die Median Absolute Deviation ( $\hat{\sigma}_0$ ) der Token-Entropien des Systemprompts werden berechnet, um einen robusten Lage- und Skalierungswert zu definieren.
Standardisierung:
- Die Token-Entropien des Benutzers ( $H^{usr}_t$ ) werden gegen die Baseline standardisiert: $Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$ .
- Unter harmlosen Bedingungen schwankt $Z_t$ nahe Null. Ein adversarialer Suffix induziert eine anhaltende positive Verschiebung des Mittelwerts von $Z_t$ .
Einseitiger Page-CUSUM-Test:
- Eine klassische einseitige Page-CUSUM-Statistik ( $W^+_t$ ) wird auf den standardisierten Strom angewendet, um persistente Mittelwertverschiebungen zu erkennen:
  $W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$
  wobei $k \ge 0$ ein „Slack"-Parameter ist (kanonische Einstellung $k=0$ ).
- Ein Alarm wird zum Stoppzeitpunkt $\tau$ ausgelöst, wenn $W^+_t$ einen Schwellenwert $h$ überschreitet.
- Lokalisierung: Der Beginn des Suffixes ( $\hat{\nu}$ ) wird durch Rückverfolgung zum letzten Reset-Punkt geschätzt, an dem $W^+_t = 0$ war, bevor der Alarm ausgelöst wurde.

Betriebliche Eigenschaften

Modellagnostisch: Erfordert nur Zugriff auf tokenbasierte Next-Token-Wahrscheinlichkeiten (oder Logits) aus dem Basismodell.
Trainingfrei: Es sind kein zusätzliches Training oder Hilfsnetzwerke erforderlich.
Online und geringer Overhead: Läuft sequenziell während des Forward-Passes mit $O(1)$ -Komplexität pro Token und vernachlässigbarem Speicherverbrauch.
Hybride Gating: Kann als leichter Gate fungieren, um harmlosen Verkehr zu filtern, bevor teure Sicherheitsklassifikatoren wie LLaMA Guard aufgerufen werden.

3. Hauptbeiträge

Formulierung: Die Arbeit formuliert die Erkennung adversarialer Suffixe als Online-Change-Point-Detection-Problem auf tokenbasierten Entropieströmen und zeigt, dass Entropieverschiebungen ein robusteres Signal als statische Perplexität für fließende Angriffe darstellen.
Algorithmus: Die Instanziierung von CPD Online als einseitiger Page-CUSUM-Detektor unter Verwendung von auf dem Systemprompt basierenden MAD-Statistiken. Er ist leichtgewichtig, erfordert kein Training und nutzt Größen, die in Standard-Foward-Passes verfügbar sind.
Empirische Leistung: Auf einem Benchmark von 1.012 optimierungsbasierten Angriffen (über GCG, AutoDAN, AdvPrompter, BEAST, AutoDAN-HGA) und 1.012 perplexitätsangepassten harmlosen Prompts übertrifft CPD Online konsistent die stärksten fensterbasierten Perplexitäts-Baselines (WPP) bei sechs Open-Weight-Chatmodellen (LLaMA-2, Vicuna, Qwen2.5).
Lokalisierung: Im Gegensatz zu WPP, das oft auf Fenster auslöst, die die Suffixgrenze überschneiden, konzentriert CPD 79,6 % seiner Auslösungen innerhalb des adversarialen Suffixes und bietet so eine präzise tokenbasierte Lokalisierung.
Effizienz: Wenn CPD als Gate für LLaMA Guard verwendet wird, reduziert es die Aufrufe des Guards um 17–22 % (in Hochlast-Stresstests bis zu 42,2 %), während die Erkennungsqualität erhalten bleibt.

4. Experimentelle Ergebnisse

Die Evaluation wurde an sechs Basismodellen (LLaMA-2-7B/13B, Vicuna-7B/13B, Qwen2.5-7B/14B) unter Verwendung eines perplexitätsangepassten Benchmarks ( $\alpha=1$ ) durchgeführt, bei dem harmlose Prompts so abgetastet wurden, dass sie der Perplexitätsverteilung von fließend optimierten Angriffen entsprechen.

Erkennungsgenauigkeit (F1): CPD Online erzielte bei allen sechs Modellen die höchsten F1-Werte.
- Beispiel (LLaMA-2-7B): CPD erreichte F1 0,82 und AUROC 0,88, verglichen mit der besten WPP-Baseline (WPP15) bei F1 0,74 und AUROC 0,77. Globale Perplexität (PP) performte nahe dem Zufallsniveau (AUROC ~0,46).
Lokalisierungspräzision:
- CPD löste 79,6 % der Zeit innerhalb des Suffixes aus.
- WPP-Baselines lösten nur 17–46 % der Zeit innerhalb des Suffixes aus, mit signifikanter „Grenzverwischung" (Auslösungen in der Kategorie before+in) und hoher Ausstrahlung in harmlose Bereiche (in-benign).
Robustheit gegenüber Perplexitätsverschiebungen: In Stresstests, bei denen harmlose Prompts auf höhere Perplexität verschoben wurden ( $\alpha=2, 3$ ), behielt CPD seine Leistung bei oder verbesserte sie, während WPP signifikant nachließ (AUROC sank von 0,81 auf 0,67 bei $\alpha=3$ ).
Hybride Gating: In einem Einsatzszenario mit 17.297 Prompts (meist harmlos) reduzierte CPD-Gating die Aufrufe von LLaMA Guard um 42,2 % (für LG1) und 33,8 % (für LG2), während der hybride F1-Wert erhalten blieb.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, die erste Studie zu sein, die Online-Change-Point-Detection innerhalb einer einzelnen Anfrage (System- + Benutzertokenstrom) auf Token-Ebene anwendet, um adversariale Suffixe in eingesetzten LLMs zu erkennen und zu lokalisieren.

Bedeutung:

Über statische Heuristiken hinaus: Sie zeigt, dass sequenzielle Entropiedynamiken und nicht absolute Perplexitätswerte das unterscheidende Merkmal optimierungsbasierter Angriffe sind.
Praktische Einsatzfähigkeit: Da sie trainingfrei und modellagnostisch ist, bietet sie eine praktikable Lösung für die Echtzeitüberwachung ohne die Rechenkosten, bei jeder Anfrage ein zweites LLM (Guard) auszuführen.
Präzision: Die Fähigkeit, den genauen Beginn eines Angriffs zu lokalisieren, ermöglicht gezielte Minderungsstrategien statt einer pauschalen Ablehnung des gesamten Prompts.

Anerkannte Einschränkungen:

Die Methode ist auf tokenbasierte Wahrscheinlichkeiten angewiesen, die in geschlossenen API-Umgebungen möglicherweise nicht verfügbar sind.
Sie geht von einem festen Systemprompt für die Baseline-Kalibrierung aus; starke Verteilungsverschiebungen im harmlosen Verkehr könnten eine Neukalibrierung erfordern.
Das Bedrohungsmodell ist derzeit auf optimierungsbasierte Suffixe beschränkt, die an Benutzerprompts angehängt werden, nicht auf Prefix-Angriffe oder indirekte Prompt-Injection.

Die Autoren schließen, dass diese Arbeit weitere Untersuchungen sequenzieller statistischer Werkzeuge und interner Unsicherheitsdynamiken als reichhaltige Signale für die LLM-Sicherheit fördert.