🤖 machine learning

Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance

Dieser Beitrag stellt Stable-GFlowNet (S-GFN) vor, ein neuartiges Framework, das das Red-Teaming von LLMs verbessert, indem es die Schätzung der Partitionfunktion eliminiert und robuste Maskierung sowie Fluency-Stabilisierung einsetzt, um Trainingsinstabilität und Mode Collapse zu überwinden, wodurch überlegene Angriffsleistung und Diversität erreicht werden.

Ursprüngliche Autoren: Minchan Kwon, Sunghyun Baek, Minseo Kim, Jaemyung Yu, Dongyoon Han, Junmo Kim

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minchan Kwon, Sunghyun Baek, Minseo Kim, Jaemyung Yu, Dongyoon Han, Junmo Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „Sicherheitsinspektors"

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model, oder LLM) gebaut, der hilfreich und harmlos sein soll. Bevor Sie ihn in der realen Welt einsetzen, müssen Sie sicherstellen, dass er nicht dazu gebracht werden kann, etwas Böses, Gefährliches oder Illegales zu sagen. Dieser Prozess wird Red-Teaming genannt. Es ist so, als würden Sie eine Gruppe von „Hacker"-Robotern einstellen, um Ihren Sicherheitsroboter zu versuchen zu brechen, damit Sie die Löcher reparieren können, bevor die Bösen sie finden.

Das Ziel ist es, viele verschiedene Wege zu finden, um den Roboter zu brechen (Vielfalt), und sicherzustellen, dass diese Wege tatsächlich funktionieren (Effektivität).

Das Problem: Der „Einbahnstraßen-Mindset"

Das Paper argumentiert, dass die aktuellen Methoden, um diese Schwachstellen zu finden, zwei Hauptfehler haben:

Der „Goldrausch"-Effekt (Mode Collapse): Stellen Sie sich einen Schatzsucher vor, der nach Gold sucht. Wenn er eine Stelle mit etwas Gold findet, könnte er dort ewig graben und den Rest des Berges ignorieren. In KI-Terminologie findet der „Angreifer"-KI einen Trick, der funktioniert, erhält eine hohe Punktzahl und wiederholt dann nur diesen einen Trick immer wieder. Es hört auf, nach anderen Wegen zu suchen, das System zu brechen.
Der „Nebel-Kompass" (Instabilität): Die Werkzeuge, die verwendet werden, um diese Angreifer zu lenken (sogenannte Generative Flow Networks oder GFNs), sind wie Kompassnadeln, die manchmal wild herumwirbeln. Sie versuchen, eine „Gesamtpunktzahl" für die ganze Welt zu berechnen, aber die Mathematik ist so schwierig und die Signale so verrauscht (wie Rauschen auf einem Radio), dass der Kompass versagt und die KI verwirrt wird oder aufgibt.

Die Lösung: Stable-GFlowNet (S-GFN)

Die Autoren schlagen eine neue Methode namens Stable-GFlowNet (S-GFN) vor. Stellen Sie es sich als Aufrüstung des Werkzeugkastens des Schatzsuchers mit drei spezifischen Gadgets vor:

1. Der „Seilzieh"-Kompass (Contrastive Trajectory Balance)

Alter Weg: Der alte Kompass versuchte, den genauen Wert jedes einzelnen Goldstücks im ganzen Berg auf einmal zu berechnen. Das war schwierig und fehleranfällig.
Neuer Weg: S-GFN verwendet einen „Seilzieh"-Ansatz. Anstatt zu fragen: „Wie viel Gold ist im ganzen Berg?", fragt es: „Ist dieser Goldhaufen besser als dieser Goldhaufen?"
Die Analogie: Stellen Sie sich vor, Sie sind Richter bei einer Talentshow. Anstatt jedem einzelnen Auftritt eine perfekte Punktzahl von 100 zuzuweisen (was schwierig und subjektiv ist), vergleichen Sie einfach zwei Auftritte miteinander: „War Auftritt A besser als Auftritt B?" Durch diesen paarweisen Vergleich wird das System viel stabiler und wird nicht durch die Mathematik der „Gesamtpunktzahl" verwirrt. Es findet eine breitere Vielfalt an guten Auftritten, ohne nur auf einem einzigen hängen zu bleiben.

2. Der „Rauschfilter" (Noisy Gradient Pruning)

Das Problem: Manchmal gibt der „Gold-Detektor" (der Toxizitätsklassifizierer) ein falsches Signal ab. Er könnte zufällig sagen, dass ein Stück Kauderwelsch (unsinnige Wörter) „toxisch" ist, oder er könnte einen echten Angriff übersehen. Das ist wie Rauschen auf einem Radio.
Die Lösung: S-GFN hat einen Filter, der sagt: „Wenn der Unterschied zwischen zwei Signalen zu klein ist, um eine Rolle zu spielen, ignoriere ihn."
Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Flüstern in einem lauten Raum zu hören. Wenn Ihr Freund etwas Flüstert, das sich nur geringfügig vom Hintergrundlärm unterscheidet, hören Sie es vielleicht nicht klar. S-GFN sagt der KI: „Höre nur zu, wenn der Unterschied laut und klar ist." Das verhindert, dass die KI aus zufälligen Fehlern oder „Rauschen" lernt.

3. Die „Grammatik-Polizei" (Min-K Fluency Stabilizer)

Das Problem: Die KI ist so begierig darauf, ein „toxisches" Signal zu finden, dass sie anfängt, Kauderwelsch zu spucken, nur weil der Detektor durch den Unsinn verwirrt wurde. Es ist wie ein Schüler, der, um eine hohe Note zu bekommen, zufällige Buchstaben schreibt, weil die Benotungsmatrix des Lehrers unklar war.
Die Lösung: S-GFN fügt eine Regel hinzu: „Der Angriff muss als Satz Sinn ergeben." Es überprüft die „Flüssigkeit" des Satzes. Wenn die KI versucht, ein Wort zu verwenden, das in diesem Kontext keinen Sinn ergibt, erhält sie eine Strafe.
Die Analogie: Es ist wie ein Schiedsrichter in einem Fußballspiel, der pfeift, wenn ein Spieler versucht, ein Tor zu erzielen, indem er den Ball in die Tribüne und nicht ins Tor kickt. Es zwingt die KI, clevere, echte Wege zu finden, um die Regeln zu brechen, anstatt einfach das Spiel selbst mit Unsinn zu zerstören.

Die Ergebnisse: Was haben sie gefunden?

Das Paper testete diese neue Methode gegen andere und fand Folgendes:

Mehr Vielfalt: Die alten Methoden fanden etwa 17 einzigartige Wege, um den Roboter zu brechen. S-GFN fand 134. Das ist fast 8-mal mehr Vielfalt.
Immer noch effektiv: Trotz der Entdeckung so vieler verschiedener Angriffe war es immer noch genauso gut darin, den Roboter tatsächlich zu brechen (etwa 92 % Erfolgsrate).
Bessere Verteidigung: Wenn der Roboter trainiert wurde, sich gegen die von S-GFN gefundenen Angriffe zu verteidigen, wurde es viel schwieriger für andere Arten von Angriffen, ihn zu brechen. Es ist wie das Flickwerk eines Bootes mit einem breiten Netz; wenn Sie alle verschiedenen Löcher flicken, die S-GFN gefunden hat, ist das Boot viel sicherer gegen Stürme.

Zusammenfassung

Kurz gesagt führt dieses Paper eine intelligentere, stabilere Methode zur Überprüfung der KI-Sicherheit ein. Anstatt die testende KI auf einem Trick stecken zu lassen oder durch Rauschen verwirren zu lassen, verwendet sie Vergleiche (A gegen B), Filter (ignoriere das Rauschen) und Grammatikprüfungen (bleib realistisch), um eine massive Vielfalt an realen Schwachstellen zu finden. Dies hilft Entwicklern, sicherere KI zu bauen, indem sie mehr Löcher finden, bevor die Bösen es tun.

1. Problemstellung

Das Red-Teaming von Large Language Models (LLMs) zielt darauf ab, proaktiv Schwachstellen (toxische oder schädliche Ausgaben) vor dem Einsatz zu entdecken. Während Reinforcement-Learning (RL)-Methoden hochbelohnte Angriffe finden können, leiden sie unter einem Mode Collapse, der repetitive, enge Angriffsmuster erzeugt. Im Gegensatz dazu bieten Generative Flow Networks (GFNs) einen Rahmen für das Verteilungs-Matching, der theoretisch die Entdeckung diverser, hochbelohnter Trajektorien ermöglicht. Die Anwendung von GFNs auf das LLM-Red-Teaming stößt jedoch auf zwei kritische Herausforderungen:

Trainingsinstabilität: Standard-GFN-Ziele (wie Trajectory Balance, TB) erfordern die Schätzung einer globalen Partitionfunktion ( $Z$ ). Im hochdimensionalen, diskreten Raum von LLMs ist die Schätzung von $Z$ numerisch instabil, was zu schlechter Konvergenz und Mode Collapse führt.
Verrauschte Belohnungen: Toxizitätsklassifizierer liefern dichte, aber verrauschte Signale. Sie weisen oft nicht-null Belohnungen für Kauderwelsch oder Out-of-Distribution (OOD)-Texte zu, was dazu führt, dass das Modell die Belohnung „hackt", indem es unsinnigen Text statt flüssiger, diverser Angriffe generiert.

2. Methodik: Stable-GFlowNet (S-GFN)

Die Autoren schlagen Stable-GFlowNet (S-GFN) vor, ein Framework, das die Notwendigkeit einer expliziten Schätzung der Partitionfunktion eliminiert und verrauschte Belohnungen filtert, um ein stabiles, diversifiziertes Training sicherzustellen. Die Pipeline besteht aus drei Kernkomponenten:

A. Contrastive Trajectory Balance (CTB)

Um die Instabilität der Schätzung von $Z$ zu adressieren, ersetzt S-GFN das absolute Flow-Matching-Ziel durch ein paarweises Vergleichsziel.

Mechanismus: Anstatt den Fehler zwischen dem Policy-Flow und der Belohnung relativ zu $Z$ zu minimieren, minimiert CTB die quadrierte Differenz zwischen dem Logarithmus des Verhältnisses der Policy-Wahrscheinlichkeiten und dem Logarithmus des Verhältnisses der Belohnungen für Paare von Trajektorien $(y_1, y_2)$ :
$L_{CTB} = \left( \log \frac{\pi_\theta(y_1)}{\pi_\theta(y_2)} - \log \frac{R(y_1)}{R(y_2)} \right)^2$
Theoretische Garantie: Die Autoren beweisen, dass die optimale Policy für CTB identisch mit der von Standard-Trajectory Balance ist ( $\pi_\theta(y) \propto R(y)$ ).
Varianzreduktion: Durch die Verwendung eines Samples als Basislinie für ein anderes (ähnlich wie Reinforce Leave-One-Out) reduziert CTB implizit die Gradientenvarianz, ohne ein externes Basislinien-Netzwerk oder eine $Z$ -Schätzung zu benötigen.

B. Noisy Gradient Pruning (NGP)

Um das Risiko der Verstärkung von Belohnungsrauschen zu mindern, das in paarweisen Vergleichen inherent ist, führt S-GFN einen salienz-basierten Filter ein.

Mechanismus: Gradienten werden nur für Trajektorienpaare berechnet, bei denen die absolute Differenz der Log-Belohnungen einen Schwellenwert $\sigma$ überschreitet:
$L_{NGP} = \mathbb{I}(|\log R(y_1) - \log R(y_2)| > \sigma) \cdot L_{CTB}$
Wirkung: Dies verhindert, dass der Optimierer auf Basis unbedeutender Belohnungsunterschiede aktualisiert wird, die durch die Stochastik des verletzlichen LLM oder des Toxizitätsklassifizierers verursacht werden, und schneidet effektiv verrauschte Gradienten ab.

C. Min-K Fluency Stabilizer (MKS)

Um zu verhindern, dass das Modell in lokale Minima von Kauderwelsch konvergiert (das oft fälschlicherweise Toxizitätswerte erhält), setzt S-GFN eine Fluency-Beschränkung ein.

Mechanismus: Anstatt einer globalen KL-Divergenz-Strafe (die zu einer Überanpassung an ein Referenzmodell führen kann), berechnet MKS die Min-K-Statistik: den durchschnittlichen Logarithmus der Wahrscheinlichkeit der $k$ unwahrscheinlichsten Tokens in einer generierten Sequenz unter einem Referenzmodell.
Harte Strafe: Wenn der Min-K-Wert unter einen Schwellenwert $T_{mks}$ fällt, wird die Belohnung auf null (oder einen großen negativen Wert) gekappt.
$R_{MKS}(y) = \mathbb{I}(M_k(y) \ge T_{mks}) \cdot R(y)$
Vorteil: Dies stellt sicher, dass nur flüssige, linguistisch kohärente Prompts als hochbelohnt betrachtet werden, was dem Modell ermöglicht, einen breiteren Raum valider Angriffe zu erkunden, ohne Unsinn zu generieren.

3. Hauptbeiträge

Stable-GFN-Framework: Ein neuartiges Red-Teaming-Framework, das die Notwendigkeit der Schätzung der Partitionfunktion ( $Z$ ) eliminiert und die Hauptursache für Trainingsinstabilität bei GFNs für LLMs löst.
Contrastive Trajectory Balance (CTB): Eine neue Zielfunktion, die dieselbe optimale Verteilung wie TB erreicht, jedoch mit deutlich geringerer Varianz und höherer Trainingsstabilität.
Robustheit gegenüber Rauschen: Die Integration von NGP und MKS adressiert spezifisch die einzigartigen Herausforderungen des Red-Teaming (verrauschte Klassifizierer und Belohnungen für Kauderwelsch) und verhindert Mode Collapse sowie Reward Hacking.
Universalität: Das Paper zeigt, dass CTB und NGP nicht nur im Red-Teaming, sondern auch bei anderen Verteilungs-Matching-Aufgaben wie der Molekülgenerierung und der Navigation in Hypergittern wirksam sind.

4. Experimentelle Ergebnisse

Die Autoren evaluierten S-GFN gegen Baselines, darunter PPO, Jailbreak R1, Rainbow Teaming und Standard-GFN (TB), über verschiedene verletzliche Modelle (Qwen, Llama, Gemma) und Verteidigungseinstellungen hinweg.

Diversität (Einzigartige Angriffe): S-GFN generierte 134 einzigartige Angriffs-Prompts, eine massive Verbesserung gegenüber der Standard-GFN-Baseline (17) und PPO (3). Es produzierte etwa 7-mal mehr einzigartige Angriffe als die GFN-Baseline.
Angriffserfolgsrate (ASR): S-GFN behielt eine hohe ASR von ~92,5 % bei, vergleichbar mit den am besten performenden Baselines (GFN: 93,7 %, PPO: 91,7 %), was beweist, dass Diversität nicht auf Kosten der Effektivität ging.
Cross-Attack-Transferierbarkeit: Wenn verletzliche Modelle mittels Angriffen von S-GFN sicherheitsoptimiert (safety-fine-tuned) wurden, wurden sie signifikant robuster gegen Angriffe anderer Methoden (ASR sank bei GFN-Angriffen auf nahezu 0 %). Umgekehrt blieben S-GFN-Angriffe gegen Modelle, die auf anderen Methoden feinabgestimmt wurden, wirksam, was eine überlegene Generalisierung demonstriert.
Transfer-Angriffe: S-GFN übertrug Angriffe erfolgreich auf nicht gesehene verletzliche Modelle (z. B. Gemma3, Llama3.2) und schnitt in Transfer-Szenarien sowohl in ASR als auch in der Diversität besser ab als andere Methoden.
Effizienz: Trotz der $O(N^2)$ paarweisen Vergleiche sind die Rechenkosten vernachlässigbar, da es sich um skalare Operationen handelt; die tatsächlichen Kosten für die Rückwärtspropagierung bleiben bei $O(N)$ , was S-GFN fast so effizient wie Standard-GFN macht.

5. Bedeutung

Dieses Paper stellt einen bedeutenden Fortschritt in der LLM-Sicherheitsforschung dar. Durch die Behebung der Trainingsinstabilität von GFNs ermöglicht es die systematische Entdeckung diverser, hochwirksamer Schwachstellen, die traditionelle RL-Methoden aufgrund von Mode Collapse verpassen.

Für die Sicherheit: Es bietet ein robusteres Werkzeug für das Red-Teaming, das Entwicklern erlaubt, ein breiteres Spektrum von Angriffsvektoren vor dem Einsatz zu identifizieren.
Für die Verteidigung: Die von S-GFN generierten diversen Angriffe führen zu sicherheitsoptimierten Modellen, die widerstandsfähiger gegen ein breiteres Spektrum zukünftiger Angriffe sind.
Für das Machine Learning: Der vorgeschlagene Contrastive Trajectory Balance bietet eine generalisierbare Lösung für das Verteilungs-Matching in hochdimensionalen, verrauschten Umgebungen und erweitert die Anwendbarkeit von GFNs über das Red-Teaming hinaus auf Bereiche wie die Wirkstoffentwicklung und die Materialwissenschaft.

Zusammenfassend überbrückt Stable-GFlowNet erfolgreich die Lücke zwischen der theoretischen Diversität von GFNs und der praktischen Stabilität, die für das Red-Teaming von LLMs in der realen Welt erforderlich ist, und setzt einen neuen State-of-the-Art für die Generierung diverser und effektiver adversarialer Prompts.