🤖 AI

Not All Turns Matter: Credit Assignment for Multi-Turn Jailbreaking

Das Papier schlägt TRACE vor, ein turn-bewusstes Kredit-Zuweisungs-Framework für reinforcement-learning-basierte Multi-Turn-Jailbreakings, das die Einschränkungen einer groben Trajektorien-Level-Überwachung durch die Schätzung von Turn-Level-Beiträgen und die Zuweisung gezielter Strafen adressiert, wodurch die Erfolgsraten von Angriffen erheblich verbessert und eine effektivere Multi-Turn-Verteidigungsausrichtung ermöglicht werden.

Ursprüngliche Autoren: Zhida He, Xiaoyu Wen, Han Qi, Ziyuan Zhou, Peng Yu, Xingcheng Xu, Dongrui Liu, Xia Hu, Chaochao Lu, Qiaosheng Zhang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhida He, Xiaoyu Wen, Han Qi, Ziyuan Zhou, Peng Yu, Xingcheng Xu, Dongrui Liu, Xia Hu, Chaochao Lu, Qiaosheng Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „Langzeitbetrug" gegen KI

Stellen Sie sich vor, Sie versuchen, einen sehr strengen Bibliothekar (die KI) zu täuschen, damit er Ihnen ein Buch gibt, das in der Bibliothek verboten ist.

Der alte Weg (Einzelner Durchgang): Sie treten heran und fragen: „Geben Sie mir das verbotene Buch!" Der Bibliothekar sagt sofort: „Nein, das ist gegen die Regeln." Sie scheitern.
Der Mehr-Durchgang-Weg: Sie versuchen einen „Langzeitbetrug". Sie beginnen damit, nach der Geschichte von Bibliotheken zu fragen, dann nach dem Autor des verbotenen Buches und schließlich nach der chemischen Zusammensetzung der Tinte, die in dem Buch verwendet wurde. Langsam, über viele Gespräche hinweg, bauen Sie einen Kontext auf, in dem der Bibliothekar die Regeln vergisst und Ihnen versehentlich das verbotene Buch aushändigt.

Dieses Papier handelt davon, wie man diesen „Langzeitbetrug" viel effektiver macht. Die Forscher stellten fest, dass die aktuellen Methoden wie ein Trainer sind, der einem Spieler eine Goldmedaille für das gesamte Spiel verleiht, nur weil er gewonnen hat, selbst wenn der Spieler 90 % des Spiels regungslos stand oder Fehler machte.

Das Problem: Das „Schuldspiel" ist kaputt

Die Forscher entdeckten, dass in diesen Mehr-Durchgang-Gesprächen nicht jeder Durchgang gleich wichtig ist.

Die „redundanten" Durchgänge: Manchmal fragt die KI eine Frage, der Bibliothekar antwortet, und die KI fragt exakt dasselbe noch einmal. Das hilft dem Angriff nicht; es ist nur Zeitverschwendung. Doch alte Methoden vergaben für diesen nutzlosen Durchgang trotzdem einen „Goldstern", nur weil der Angriff schließlich erfolgreich war.
Die „kritischen" Durchgänge: Manchmal stellt die KI eine sehr spezifische, clevere Frage, die den Bibliothekar dazu bringt, seine Wachsamkeit zu senken. Dies ist der wahre Schlüssel zum Erfolg.
Das „Phasen"-Problem: Das verbotene Buch im ersten Satz zu verlangen, ist zu aggressiv und führt zum Rauswurf. Aber es im 10. Satz zu verlangen, nachdem Vertrauen aufgebaut wurde, könnte funktionieren. Alte Methoden verstanden nicht, dass der Zeitpunkt entscheidend ist.

Das Ergebnis: Die KI-Angreifer lernten die falschen Lehren. Sie dachten: „Oh, ich sollte einfach viel reden und mich wiederholen", weil ihnen der „Goldstern" (Belohnung) genau das sagte. Sie lernten nicht, wie man clever ist.

Die Lösung: TRACE (Der clevere Trainer)

Die Autoren schlagen ein neues System namens TRACE vor. Stellen Sie sich TRACE als einen superschlauen Trainer vor, der das Spielfilmmaterial anschaut und Gutschriften (oder Schuldzuweisungen) für bestimmte Momente vergibt, nicht für das gesamte Spiel.

Wie TRACE funktioniert:

1. Für gewonnene Spiele (Erfolgreiche Angriffe): Der „Was-wäre-wenn"-Test
Wenn die KI den Bibliothekar erfolgreich täuscht, betrachtet TRACE das Gespräch und fragt: „Was wäre, wenn wir diesen spezifischen Durchgang entfernen würden?"

Wenn das Entfernen eines Durchgangs den Angriff scheitern lässt, sagt TRACE: „Gute Arbeit! Dieser Durchgang war kritisch. Sie erhalten eine große Belohnung."
Wenn das Entfernen eines Durchgangs das Ergebnis nicht verändert, sagt TRACE: „Sie haben nur Zeit verschwendet. Sie erhalten eine kleine Belohnung."
Analogie: Es ist wie ein Detektiv, der erkennt, dass die Alibi des Verdächtigen nur wegen einer bestimmten Lüge funktionierte. Der Detektiv konzentriert sich auf diese Lüge, nicht auf die ganze Geschichte.

2. Für verlorene Spiele (Gescheiterte Angriffe): Die „Falsche Abzweigung"-Strafe
Wenn die KI scheitert, sagt TRACE nicht einfach nur „Schlechte Arbeit". Sie untersucht, warum es gescheitert ist.

War die KI zu früh zu aggressiv? (Zu viel „Schädlichkeit" zu früh).
Ist die KI vom Thema abgekommen und hat das ursprüngliche Ziel vergessen? (Verlust der „Relevanz").
TRACE weist diesen spezifischen schlechten Durchgängen eine Strafe zu und lehrt die KI: „Sei am Anfang nicht zu aggressiv und vergiss nicht, was du zu tun versuchst."

3. Der „Ablehnungs"-Detektor
TRACE achtet auch darauf, wenn der Bibliothekar „Nein" sagt. Wenn die KI etwas fragt und eine Ablehnung erhält, markiert TRACE diesen Durchgang als „schlechter Zug" für diesen spezifischen Bibliothekar und lehrt die KI, beim nächsten Mal einen anderen Ansatz zu versuchen.

Die Ergebnisse: Cleverer, schneller, stärker

Die Forscher testeten TRACE gegen viele andere Methoden bei verschiedenen Arten von „Bibliothekaren" (KI-Modellen).

Bessere Erfolgsquote: TRACE war etwa 25 % erfolgreicher darin, die KI zu täuschen, als die bisherigen besten Methoden.
Effizienter: Sie musste nicht so viel reden. Sie lernte, die „redundanten" Durchgänge zu überspringen und direkt zu den „kritischen" zu gelangen.
Besser im Anpassen: Da TRACE lernte, warum ein Durchgang funktionierte (die spezifische Strategie), konnte sie dieselbe Strategie auf verschiedene KI-Modelle anwenden, nicht nur auf das, an dem sie geübt hatte.

Die Wendung: Den Angriff nutzen, um eine bessere Verteidigung aufzubauen

Der interessanteste Teil des Papiers ist, dass die Forscher nicht einfach aufhören, die KI zu knacken. Sie nutzten die „Gutschriften" von TRACE, um die KI zu reparieren.

Die Erkenntnis: TRACE identifizierte, welche Durchgänge „latente Risiken" waren – Momente, in denen das Gespräch harmlos aussah, aber tatsächlich eine Falle stellte.
Die Reparatur: Sie lehrten die KI (den Bibliothekar), diese „Falle-stellenden" Momente zu erkennen. Anstatt bis ganz am Ende zu warten, um „Nein" zu sagen, lernte der Bibliothekar, früher im Gespräch zu sagen: „Ich kann darauf antworten, aber ich muss vorsichtig sein, Ihnen nicht die Werkzeuge zu geben, diese Informationen misszuachten."
Das Ergebnis: Die KI wurde sicherer, ohne nutzlos zu werden. Sie lernte, früher eine Grenze zu ziehen, sich selbst vor dem „Langzeitbetrug" zu schützen und gleichzeitig ehrlichen Nutzern zu helfen.

Zusammenfassung

Kurz gesagt sagt dieses Papier: „Behandle jeden Schritt eines Gesprächs nicht gleich."

Indem man KI-Angreifern beibringt, zu erkennen, welche spezifischen Schritte tatsächlich zählen (und welche nur Rauschen sind), wurden sie viel besser darin, Sicherheitsregeln zu brechen. Aber indem sie dasselbe Wissen nutzten, lehrten sie auch KI-Verteidigern, die Gefahr früher zu erkennen, wodurch das gesamte System sicherer und intelligenter wurde.

Technische Zusammenfassung: Nicht jeder Wechsel ist entscheidend: Credit Assignment für Multi-Turn-Jailbreaks

1. Problemstellung

Der Einsatz von Large Language Models (LLMs) in mehrstufigen Dialogen hat eine erhebliche Schwachstelle eingeführt: Adversariale Akteure können schädliche Absichten über mehrere scheinbar harmlose Wechsel verteilen und den Kontext schrittweise aufbauen, um Sicherheitsmechanismen zu umgehen. Während bestehende trainingsbasierte Multi-Turn-Jailbreak-Methoden Reinforcement Learning (RL) nutzen, um Angriffsstrategien mit langem Horizont zu erlernen, leiden sie unter einem fundamentalen Credit-Assignment-Problem.

Aktuelle RL-basierte Ansätze senden typischerweise ein einzelnes Ergebnis-Signal auf Trajektorienebene (z. B. Erfolg oder Misserfolg der finalen Antwort) einheitlich an jeden Wechsel im Dialog. Diese grobe Überwachung führt zu zwei kritischen Problemen:

Überbelohnung von Redundanz: In erfolgreichen Trajektorien erhalten Wechsel, die wenig zum finalen Jailbreak beitragen, dieselbe positive Belohnung wie kritische Wechsel, was redundantes Verhalten verstärkt.
Unterbewertung nützlicher Zwischenstufen: In gescheiterten Trajektorien erhalten Wechsel, die strategisch nützlich waren, aber aufgrund anderer Faktoren letztlich scheiterten, einheitliche negative Signale, während Wechsel, die den Angriff aktiv unterdrückten (sicherheitskritisch), nicht von neutralen Misserfolgen unterschieden werden.

Die Autoren identifizieren, dass Beiträge auf Wechsel-Ebene nicht einheitlich sind (nur wenige Wechsel treiben den Erfolg voran), phasenabhängig (die Wirksamkeit hängt von der Dialogphase ab) und ziel spezifisch sind (Sicherheitsgrenzen variieren je nach Modell).

2. Methodik: TRACE

Um diese Einschränkungen zu adressieren, schlagen die Autoren TRACE (TuRn-level Assignment for CrEdit) vor, ein Framework, das einheitliche Belohnungen auf Trajektorienebene durch ein wechselbewusstes Credit Assignment im Rahmen einer Group Relative Policy Optimization (GRPO) ersetzt.

Kernkomponenten

TRACE modifiziert die Vorteilsberechnung in GRPO durch die Einführung eines wechselbewussten Multiplikators ( $m_{i,t}$ ) und einer lokalen Prozessstrafe ( $\hat{A}^p_{i,t}$ ):
$\hat{A}_{i,t} = m_{i,t} \hat{A}^o_i + \hat{A}^p_{i,t}$

A. Credit Assignment auf der Erfolgsseite (Leave-One-Turn-Out)

Für erfolgreiche Trajektorien ( $\tau_i \in S^+$ ) schätzt TRACE den Beitrag jedes intermediären Wechsels mittels Leave-One-Turn-Out-Semantischer Maskierung:

Für jeden nicht-finalen Wechsel $t$ wird das Interaktionspaar $(x_t, y_t)$ aus dem Verlauf entfernt.
Die finale Zielantwort wird unter diesem maskierten Verlauf neu abgetastet.
Die Änderung der Schädlichkeit zwischen der ursprünglichen und der maskierten Trajektorie definiert das rohe Credit.
Dieses Credit wird normalisiert und in einen Multiplikator ( $m^+_{i,t}$ ) umgewandelt, der angriffs-kritische Wechsel (notwendig für den Erfolg) von redundanten Wechseln unterscheidet.

B. Wechselbewusste Strafe auf der Misserfolgsseite

Für gescheiterte Trajektorien ( $\tau_i \in S^-$ ) ist semantische Maskierung weniger effektiv, da das Ergebnis bereits sicher ist. Stattdessen weist TRACE Strafen basierend auf Abweichungen von erfolgreichen Priors zu:

Schädlichkeits-Strafe: Vergleicht das Schädlichkeitslabel des aktuellen Prompts mit einer ziel-spezifischen Erfolgspriorverteilung ( $q_t$ ). Sie bestraft Prompts, die für die aktuelle Phase untypisch sind (z. B. vorzeitige unsichere Prompts oder Schädlichkeitsdrift).
Relevanz-Strafe: Misst die semantische Ähnlichkeit zwischen dem aktuellen Prompt und dem ursprünglichen schädlichen Seed. Sie bestraft Wechsel, bei denen der Dialog zu weit vom ursprünglichen Intent abweicht.
Diese Strafen werden zu einem Multiplikator auf der Misserfolgsseite ( $m^-_{i,t}$ ) kombiniert, der Wechsel, die nicht mit erfolgreichen Angriffsmustern übereinstimmen, heruntergewichtet.

C. Ablehnungsbewusste lokale Prozessstrafe

Um das Lernsignal weiter zu verfeinern, führt TRACE eine lokale Strafe für Wechsel ein, die eine Ablehnung durch das Zielmodell auslösen. Diese Strafe ist phasenbewusst und wendet stärkere Strafen auf frühe Ablehnungen an, die eine gescheiterte Strategie anzeigen, und ermutigt den Angreifer, sich schneller anzupassen.

Verteidigungs-Alignment

Die Autoren zeigen, dass die während der Angriffsphase extrahierten Credit-Signale für die Multi-Turn-Verteidigung wiederverwendet werden können. Durch die Identifizierung von „latent-risk"-Wechseln (harmlose Zwischenschritte, die den finalen Angriff unterstützen) und „direct-harm"-Wechseln konstruiert TRACE Präferenzdaten auf Wechsel-Ebene. Diese Daten werden verwendet, um die Verteidigung via Direct Preference Optimization (DPO) auszurichten, was eine frühe Risikointervention ohne übermäßige Ablehnungen ermöglicht.

3. Hauptbeiträge

Charakterisierung des Credit-Assignment-Problems: Die Arbeit zeigt empirisch, dass Beiträge auf Wechsel-Ebene bei Multi-Turn-Jailbreaks nicht einheitlich, phasenabhängig und ziel spezifisch sind, wodurch die Annahme einheitlicher Belohnungen auf Trajektorienebene widerlegt wird.
TRACE-Framework: Ein neuartiger Mechanismus für Credit Assignment, der Leave-One-Turn-Out-Maskierung für erfolgreiche Trajektorien und phasenbewusste Abweichungsstrafen für gescheiterte Trajektorien nutzt.
Verteidigungsanwendung: Eine Methode zur Wiederverwendung von Credit-Signalen auf der Angriffsseite zur Konstruktion von Präferenzdaten auf Wechsel-Ebene für die Verteidigung, die latente Risiken von direkten Schäden unterscheidet, um den Trade-off zwischen Sicherheit und Nutzen zu verbessern.
Umfassende Evaluation: Zahlreiche Experimente an Open-Source- und Closed-Source-Zielen, die Verbesserungen in Wirksamkeit, Übertragbarkeit und Effizienz demonstrieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TRACE gegen Single-Turn-Baselines (z. B. PAIR, AutoDAN), Multi-Turn-Workflow-Methoden (z. B. X-Teaming, Crescendo) und trainingsbasierte RL-Baselines (z. B. Siren, TROJail) an Benchmarks wie HarmBench, JailbreakBench und WildJailBreak.

Wirksamkeit: TRACE erzielt die beste Gesamtleistung. Im Vergleich zur stärksten RL-Baseline (TROJail) liefert TRACE (mix) eine relative Verbesserung von ~25% bei der Attack Success Rate (ASR) und erreicht eine durchschnittliche ASR von 87,10 % gegenüber 69,97 % bei TROJail. Es übertrifft workflow-basierte Methoden deutlich, selbst wenn ein kleineres Angreifermodell (Qwen2.5-3B) gegen Ziele wie GPT-4o eingesetzt wird.
Übertragbarkeit: Während das Training auf einem einzelnen Ziel zu ziel spezifischen Policies führt, zeigt TRACE (mix) – gemeinsam auf zwei starken Sicherheitszielen trainiert (gpt-oss-20b und Llama3.1-8B-IT) – eine starke zielübergreifende Übertragbarkeit. Es erzielt hohe ASR-Werte auf nicht gesehenen Closed-Source-Modellen, einschließlich 96,7 % bei GPT-4o und 93,1 % bei Gemini-2.5-Pro.
Effizienz: TRACE erzielt hohe ASR-Werte mit weniger Wechseln und Zielaufrufen. Es erreicht auf gpt-oss-20b innerhalb von vier Wechseln über 80 % ASR, während Workflow-Baselines selbst bei größeren Wechsellimits deutlich niedriger bleiben.
Verteidigungs-Alignment: Bei Verwendung für die Verteidigung reduziert das auf TRACE basierende Alignment die ASR für sowohl Multi-Turn- als auch Single-Turn-Angriffe effektiver als vorherige Methoden (SafeMT, MUSE-D), während gleichzeitig höhere allgemeine Fähigkeitswerte (GPQA, GSM8K, MMLU) beibehalten werden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass TRACE einen bedeutenden Fortschritt im Verständnis und in der Ausführung von Multi-Turn-Adversarial-Angriffen darstellt. Durch den Wechsel von grober Überwachung auf Trajektorienebene zu feingranularem Credit Assignment auf Wechsel-Ebene argumentieren die Autoren, dass:

Angreifer strategischere, weniger redundante und effizientere Jailbreak-Policies erlernen können.
Das Credit-Assignment-Problem ein primärer Engpass bei aktuellen RL-basierten Jailbreaks ist und seine Behebung erhebliche Leistungsgewinne bringt.
Die aus dem Credit Assignment auf der Angriffsseite abgeleiteten Signale nicht nur zum Brechen von Modellen, sondern auch zur Verteidigung dieser wertvoll sind. Durch die Identifizierung von latent-risk-Wechseln können Verteidigungen früher im Dialog eingreifen und bieten ein besseres Gleichgewicht zwischen Sicherheit und Nutzen (Hilfsbereitschaft) im Vergleich zu Methoden, die nur auf explizite schädliche Ausgaben reagieren.

Die Autoren schließen, dass ihre Arbeit die Notwendigkeit einer wechselbewussten Optimierung in Multi-Turn-LLM-Interaktionen unterstreicht und ein Framework liefert, das sowohl ein potentes Red-Teaming-Tool als auch eine Grundlage für robustere Verteidigungsmechanismen ist.