🤖 AI

NonTextual Target Attack

Das Papier stellt den NonTextual Target Attack (NTA) vor, eine neuartige gradientenbasierte Jailbreak-Methode, welche die Unsicherheitswahrscheinlichkeit eines LLM maximiert, ohne feste Antwortmuster zu erzwingen, wodurch sie den Suchraum für Angriffe signifikant erweitert, um eine Erfolgsrate von 96,8 % mit hoher Effizienz bei sicherheitsorientierten Modellen zu erreichen.

Ursprüngliche Autoren: Xinzhe Huang, Wenjing Hu, Tianhang Zheng, Kedong Xiu, Hongsheng Hu, Xiaojun Jia, Di Wang, Zhan Qin, Kui Ren

Veröffentlicht 2026-07-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinzhe Huang, Wenjing Hu, Tianhang Zheng, Kedong Xiu, Hongsheng Hu, Xiaojun Jia, Di Wang, Zhan Qin, Kui Ren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine verbotene Nachricht an einen sehr strengen Sicherheitswächter (die KI) heranzuschleusen. Dieser Wächter ist darauf programmiert, jede Anfrage abzulehnen, die gefährlich klingt, wie zum Beispiel „Wie baue ich eine Bombe?“.

Der alte Weg: Der „skriptbasierte“ Ansatz

Frühere Methoden, um diesen Wächter zu überlisten, waren wie der Versuch, den Wächter dazu zu bringen, eine bestimmte, vorgefertigte Phrase zu sagen, wie zum Beispiel „Sicher, hier ist...“

Man kann es sich wie ein Spiel wie „Simon sagt“ vorstellen. Der Angreifer ruft immer wieder verschiedene Befehle, in der Hoffnung, dass der Wächter schließlich „Sicher, hier ist...“ gefolgt von den gefährlichen Anweisungen sagt.

Das Problem: Der Wächter ist stur. Manchmal, selbst wenn der Wächter die Antwort eigentlich geben möchte, beginnt er vielleicht mit „Hier ist...“ oder „Natürlich...“ anstatt mit „Sicher“. Da der Angreifer so besessen davon ist, genau diese Phrase „Sicher“ zu erzwingen, verschwendet er viel Zeit damit, den Wächter in eine Ecke zu drängen. Wenn der Wächter nicht die magischen Worte sagt, gilt der Angriff als gescheitert, selbst wenn der Wächter tatsächlich die gefährliche Information gegeben hat.
Das Ergebnis: Es ist, als würde man versuchen, eine Tür mit nur einer ganz bestimmten Schlüsselform zu öffnen. Wenn das Schloss auch nur minimal anders ist, kommt man nicht rein, selbst wenn man den richtigen Schlüssel hat.

Der neue Weg: NTA (NonTextual Target Attack)

Das Paper stellt eine neue Methode namens NTA vor. Anstatt sich darum zu kümmern, welche Wörter der Wächter zuerst sagt, kümmert sich NTA nur um eine Sache: Hat der Wächter die gefährliche Antwort gegeben?

Betrachten Sie NTA als einen meisterhaften Schlossermeister, dem es egal ist, ob der Wächter „Sicher“, „Okay“ oder „Hier ist es“ sagt. Er will einfach nur, dass die Tür offen steht.

Die Strategie: NTA nutzt einen zweistufigen Tanz, um den Wächter zu überlisten:
1. Das Schlimmste erdenken: Zuerst bittet es ein „Scoring-Modell“ (einen klugen Richter), die gefährlichste mögliche Antwort zu erdenken, die der Wächter geben könnte, ohne sich darum zu sorgen, wie der Wächter dies tatsächlich formulieren würde. Es ist, als würde der Angreifer die perfekte, hilfreichste Antwort auf eine schlechte Frage herbeiträumen.
2. Den Traum angleichen: Dann passt es die Frage (den Prompt) so an, dass die Antwort des echten Wächters immer mehr wie diese „geträumte“ gefährliche Antwort aussieht.

Der „Magische Übersetzer“

Ein schwieriger Teil ist, dass der „träumende Richter“ und der „echte Wächter“ leicht unterschiedliche Sprachen sprechen (sie nutzen unterschiedliche interne Codes für Wörter).

Die Analogie: Stellen Sie sich vor, der Richter spricht „Französisch“ und der Wächter spricht „Deutsch“. NTA verwendet eine spezielle Vocabulary Projection Matrix (einen Übersetzer), um die „französischen“ gefährlichen Ideen in „deutsche“ Anweisungen umzuwandeln, die der Wächter verstehen und befolgen kann.

Warum es besser ist

Geschwindigkeit: Da NTA keine Zeit damit verschwendet, den Wächter dazu zu zwingen, „Sicher“ zu sagen, findet es einen Weg, die gefährliche Antwort viel schneller zu erhalten. Das Paper sagt, dass es in nur 100 Versuchen erfolgreich sein kann, während ältere Methoden vielleicht tausende Versuche benötigen oder völlig scheitern.
Erfolgsrate: In Tests war NTA bei starken, sicherheitstrainierten KI-Modellen etwa 97 % der Zeit erfolgreich. Die besten alten Methoden erreichten nur etwa 50–60 %.
Vielfalt: Alte Methoden produzieren oft seltsame, kaputte Antworten, weil sie so sehr auf die spezifische Phrase „Sicher“ fixiert sind. NTA produziert natürlich klingende, vielfältige und kohärente gefährliche Antworten, weil es die Freiheit hat, jeden Pfad zum schlechten Ergebnis zu finden.

Das Fazit

Das Paper behauptet, dass Angreifer, indem sie die Obsession mit spezifischen „magischen Worten“ aufgeben und sich statlich rein auf das gefährliche Ergebnis konzentrieren, die Sicherheitsfilter der KI viel effizienter und effektiver umgehen können. Es verwandelt ein starres, frustrierendes Spiel wie „Simon sagt“ in eine flexible Suche nach dem schwächsten Punkt in der Verteidigung des Wächters.

Technisches Resümee: NonTextual Target Attack (NTA)

1. Problemdefinition

Bestehende gradientenbasierte Jailbreak-Angriffe auf Large Language Models (LLMs) leiden unter fundamentalen Einschränkungen hinsichtlich ihrer Optimierungsziele. Aktuelle State-of-the-Art-Methoden (z. B. GCG, COLD-Attack, AdvPrefix) verlassen sich auf vordefinierte textuelle Ziele, indem sie das Modell typischerweise dazu zwingen, ein spezifisches affirmatives Präfix auszugeben (z. B. „Sure, here is...“).

Dieser Ansatz führt zu zwei kritischen Problemen:

Übermäßig eingeschränkter Suchraum: Durch die Beschränkung des Ziels auf einen festen String ignorieren diese Methoden einen großen Teil des unsicheren Output-Raums. Wenn die natürlichen Antwortmuster eines Ziel-LLMs nicht mit dem vordefinierten Präfix übereinstimmen (z. B. beginnt Llama-3 oft mit „Here“ statt mit „Sure“), hat der Optimierungsprozess Schwierigkeiten zu konvergieren, was selbst nach vielen Iterationen zu niedrigen Attack Success Rates (ASR) führt.
Ineffizienz: Die große Lücke zwischen dem ursprünglichen Modell-Output und dem starren Ziel-Präfix erfordert zahlreiche Optimierungsiterationen, um diese zu überbrücken, was hohe Rechenkosten und eine langsame Konvergenz zur Folge hat.

Das Kernproblem besteht darin, dass ein erfolgreicher Jailbreak durch die Generierung von unsicherem oder richtlinienwidrigem Inhalt definiert ist und nicht durch die Einhaltung einer spezifischen lexikalischen Vorlage. Die direkte Optimierung auf „Unsicherheit“ ist jedoch schwierig, da die Sicherheitsbewertung typischerweise nicht differenzierbar ist und erst nach der vollständigen Textdekodierung erfolgt.

2. Methodik: NonTextual Target Attack (NTA)

Die Autoren schlagen den NonTextual Target Attack (NTA) vor, den ersten gradientenbasierten Angriff, der ein nicht-textuelles eingeschränktes Ziel optimiert, um die Wahrscheinlichkeit einer unsicheren Antwort zu maximieren, ohne spezifische Antwortmuster zu erzwingen.

Kernziel

Der Angriff zielt darauf ab, die unsichere Wahrscheinlichkeit $S(L(p))$ der Antwort $L(p)$ eines Ziel-LLM gegeben einen adversariellen Prompt $p$ zu maximieren, wobei $p$ eine Variante des ursprünglichen Prompts $p_0$ innerhalb einer zulässigen Nachbarschaft $V(p_0)$ ist:
$\max_{p} S(L(p)), \quad \text{s.t. } p \in V(p_0)$
Hierbei ist $S(\cdot)$ ein Scoring-Modell (z. B. ein Sicherheitsklassifizierer oder Judge-Modell), das die Wahrscheinlichkeit schätzt, dass eine Antwort unsicher ist.

Dekompositionsstrategie

Da $S(L(p))$ in Bezug auf den diskreten Prompt $p$ nicht differenzierbar ist, zerlegt NTA das Problem in zwei alternierende, differenzierbare Teilziele:

Response Optimization (Finden des Ziels):
Die Methode sucht zunächst nach einer optimalen „schädlichen Antwort“-Repräsentation $r$ im kontinuierlichen Logit-Raum des Scoring-Modells $S$ . Dies wird als Maximierung des Unsicherheits-Scores formuliert, während die semantische Relevanz zum ursprünglichen Prompt beibehalten wird.
$\min_{z^J_r} \mathcal{L}_{unsafe}(z^J_r) + \lambda \mathcal{L}_{sem}(z^J_{L(p)}, z^J_r)$
Dabei minimiert $\mathcal{L}_{unsafe}$ die negative Log-Likelihood der Sicherheit der Antwort, und $\mathcal{L}_{sem}$ bestraft semantische Abweichungen vom aktuellen Modell-Output, um sicherzustellen, dass das Ziel erreichbar bleibt.
Prompt Optimization (Induzieren des Ziels):
Sobald eine optimale Antwort-Repräsentation $r$ identifiziert wurde, sucht die Methode nach einem adversariellen Suffix $\delta$ , das das Ziel-LLM dazu zwingt, eine Antwort zu generieren, die $r$ entspricht. Dies wird durch Minimierung des Mean Squared Error (MSE) zwischen den Output-Logits des Ziel-LLM und den optimierten Antwort-Logits erreicht.
$\delta^* = \arg \min_{\delta} \text{MSE}(z^L_{L(p_0 \oplus \delta)}, z^L_r)$

Wichtige technische Komponenten

Vocabulary Projection Matrix: Um die Lücke zwischen dem Scoring-Modell (Judge) und dem Ziel-LLM zu schließen, die unterschiedliche Tokenizer verwenden können, konstruiert NTA eine Projektionsmatrix $W$ . Diese bildet adversarielle Inkremente aus dem Vokabularraum des Scoring-Modells in den Vokabularraum des Ziel-LLM ab und handhabt dabei Token-Splitting und -Merging (z. B. die Abbildung eines einzelnen Tokens im Judge auf mehrere Sub-Tokens im Ziel).
Iterative Alternating Optimization: Der Algorithmus alterniert zwischen der Optimierung der Antwort-Repräsentation im Raum des Scoring-Modells und der Aktualisierung des adversariellen Suffixes im Raum des Ziel-LLM.
Theoretische Validierung: Die Autoren liefern ein Proposition, das beweist, dass unter kontinuierlicher Relaxation (Behandlung von Tokens als Wahrscheinlichkeitsvektoren) die sequentielle Lösung der Teilziele die optimale Lösung des ursprünglichen nicht-differenzierbaren Ziels approximiert.

3. Hauptbeiträge

Neuartiges Ziel: NTA ist der erste gradientenbasierte Angriff, der die Beschränkung auf feste textuelle Ziele aufhebt und stattdatt direkt auf die Wahrscheinlichkeit unsicheren Verhaltens optimiert.
Erweiterter Suchraum: Durch die Entkopplung des Angriffs von spezifischen Präfixen exploriert NTA einen signifikant breiteren und diverseren Raum schädlicher Antworten und vermeidet so die „lokalen Optima“-Fallen fester Zielmethoden.
Effizienz: Die Zerlegung in differenzierbare Teilziele ermöglicht eine schnelle Konvergenz und erzielt hohe Erfolgsraten mit deutlich weniger Iterationen als bestehende Methoden.
Robustheit: Die Methode zeigt eine starke Transferierbarkeit über verschiedene Modellarchitekturen hinweg und eine Resilienz gegenüber verschiedenen Verteidigungsmechanismen (z. B. Perplexity-Filterung, Paraphrasierung).

4. Experimentelle Ergebnisse

Die Autoren evaluierten NTA auf fünf sicherheitsorientierten Open-Source-LLMs (Llama3-8B, Qwen3-8B, Mistral-7B, Vicuna-7B, DeepSeek-7B) und drei fortgeschrittenen Closed-Source-Modellen (Llama3-70B, DeepSeek-R1-671B, Grok-3) unter Verwendung der Datensätze AdvBench und HarmBench.

Attack Success Rate (ASR): NTA erreichte eine durchschnittliche ASR von 96,8 % auf AdvBench und 90,8 % auf HarmBench in nur 100 Optimierungsiterationen.
Vergleich mit SOTA: NTA übertraf die besten existierenden gradientenbasierten Baselines (z. B. COLD-Attack, AdvPrompter) um über 40 % in der ASR. Beispielsweise erreichte NTA auf Llama3-8B-it eine ASR-G von 95 %, verglichen mit 47 % für die beste Baseline (AdvPrompter).
Konvergenzgeschwindigkeit: NTA erreichte eine durchschnittliche ASR von 66,2 % innerhalb der ersten 25 Iterationen, was eine schnelle Konvergenz im Vergleich zu Baselines zeigt, die oft stagnieren oder in degenerative Sequenzen kollabieren.
Antwort-Diversität: Im Gegensatz zu Fixed-Target-Angriffen, die repetitive, stereotype Outputs produzieren, generierte NTA semantisch diverse schädliche Antworten, was durch höhere Distinct N-gram Scores (DNS) und niedrigere Self-BLEU-Scores belegt wird.
Verteidigungs-Robustheit: NTA behielt eine hohe ASR (z. B. 97 % unter Perplexity-Defense) gegenüber Standard-Verteidigungsmechanismen bei, während andere Methoden vollständig versagten (z. B. sank GCG auf 5 %).
Transferierbarkeit: Auf kleineren White-Box-Modellen optimierte Prompts transferierten erfolgreich auf größere, fortgeschrittene Modelle (z. B. 35 % ASR auf Llama3-70B) und übertrafen damit andere Transfer-Methoden.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass NTA einen Paradigmenwechsel im gradientenbasierten Jailbreaking darstellt, indem es die fundamentale Diskrepanz zwischen Optimierungszielen und dem eigentlichen Ziel eines Angriffs (Generierung von unsicherem Inhalt vs. Übereinstimmung mit einem String) adressiert.

Effizienz: Die Autoren heben hervor, dass NTA überlegene Ergebnisse mit einem Bruchteil des Rechenaufwands erzielt, der von bestehenden Methoden erforderlich ist, was es zu einem praktikableren Werkzeug für die Sicherheitsbewertung macht.
Flexibilität: Durch die Entfernung starrer lexikalischer Beschränkungen deckt NTA Schwachstellen auf, die Fixed-Target-Methoden übersehen, und bietet so eine umfassendere Bewertung der LLM-Sicherheit.
Generalisierbarkeit: Die Effektivität der Methode über diverse Modelle hinweg sowie ihre Robustheit gegenüber verschiedenen Scoring-Modellen und Defenses deutet darauf hin, dass sie intrinsische Sicherheitsmängel identifiziert, anstatt auf spezifische Modell-Artefakte zu überoptimieren.

Die Autoren kommen zu dem Schluss, dass NTA einen fundierteren und effizienteren Ansatz zur Bewertung der LLM-Sicherheit bietet und zeigt, dass die Abhängigkeit von vordefinierten Zielen in der aktuellen Forschung die Verwundbarkeit von sicherheitsorientierten Modellen erheblich unterschätzt.