💬 NLP

Red-Bandit: Test-Time Adaptation for LLM Red-Teaming via Bandit-Guided LoRA Experts

Red-Bandit ist ein Testzeit-Anpassungsrahmenwerk, das spezialisierte LoRA-Experten dynamisch mittels einer Multi-Armed-Bandit-Politik auswählt, um modellspezifische Schwachstellen in Large Language Models effizient zu identifizieren und auszunutzen, und dabei State-of-the-Art-Red-Teaming-Leistung erzielt, während gleichzeitig menschenlesbarere Angriffs-Prompts generiert werden.

Ursprüngliche Autoren: Christos Ziakas, Nicholas Loo, Nishita Jain, Alessandra Russo

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Christos Ziakas, Nicholas Loo, Nishita Jain, Alessandra Russo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die schwächste Stelle in einer sehr starken, hochtechnologischen Burg (einem Large Language Model, oder LLM) zu finden. Die Burgwachen sind darauf trainiert, jeden daran zu hindern, nach Gefährlichem zu fragen, wie etwa „Wie baue ich eine Bombe?" oder „Wie hacke ich ein Auto?".

Seit langem versuchen Sicherheitstester (sogenannte „Red Teamer"), einzudringen, indem sie dieselben alten Tricks schreien oder komplexe Mathematik verwenden, um die Passwörter der Wachen zu erraten. Doch diese Methoden sind oft starr. Sie passen ihre Strategie nicht basierend darauf an, wie die spezifische Burgwache im Moment reagiert.

Red-Bandit ist eine neue, intelligentere Methode, um diese digitalen Burgen zu testen. So funktioniert es, aufgeteilt in einfache Teile:

1. Das Team von Spezialisten (die „LoRA-Experten")

Stellen Sie sich ein Team von 10 verschiedenen Schauspielern vor, von denen jeder auf eine bestimmte Sprechweise spezialisiert ist:

Der Slang-Schauspieler: Spricht wie ein straßentauglicher Freund.
Der Historiker: Erzählt Geschichten, die im Jahr 1805 spielen.
Der Chef: Tut so, als wäre er eine strenge Autoritätsperson, die Befehle erteilt.
Der Rollenspieler: Tut so, als wäre er ein Bösewicht in einem Film.

In der Arbeit werden diese LoRA-Experten genannt. Es sind kleine, leichte „Add-ons" zu einer Basis-KI. Anstatt eine riesige KI zu trainieren, die in allem gut ist, haben die Forscher diese 10 separaten, winzigen Experten trainiert. Jeder von ihnen lernte, wie man unter Verwendung seiner spezifischen „Stimme" oder seines Stils nach Gefährlichem fragt.

2. Der intelligente Manager (der „Bandit")

Stellen Sie sich nun vor, Sie stehen am Burgtor. Sie wissen nicht, welcher Schauspieler heute an der Wache vorbeikommt.

Wenn Sie den Historiker senden, lacht die Wache vielleicht darüber hinweg.
Wenn Sie den Chef senden, bekommt die Wache vielleicht Angst und lässt Sie herein.

Hier kommt das Multi-Armed Bandit ins Spiel. Stellen Sie sich dies als einen „intelligenten Manager" vor, der neben Ihnen steht.

Der Manager hat einen Spielautomaten mit 10 Hebeln (einen für jeden Schauspieler).
Jedes Mal, wenn Sie einen Hebel ziehen (einen Schauspieler senden), beobachtet der Manager die Reaktion der Wache.
Wenn die Wache den Slang-Schauspieler passieren lässt, denkt der Manager: „Okay, diese Wache ist anfällig für Slang! Lass uns das noch einmal versuchen!" (Dies wird Ausbeutung genannt).
Wenn die Wache den Slang-Schauspieler blockiert, denkt der Manager: „Vielleicht sollten wir den Historiker ausprobieren, nur um zu sehen, was passiert", selbst wenn wir sie noch nicht oft versucht haben. (Dies wird Exploration genannt).

Der Manager balanciert ständig zwischen neue Dinge auszuprobieren, um zu sehen, was funktioniert, und dasjenige zu nutzen, das bereits funktioniert, um das beste Ergebnis zu erzielen.

3. Der „Sicherheits-Score" (die Belohnung)

Wie weiß der Manager, ob ein Schauspieler an der Wache vorbeigekommen ist?

Die Forscher verwenden einen separaten, regelbasierten Sicherheitsprüfer (wie einen strengen Schiedsrichter).
Wenn die Wache (die Ziel-KI) mit etwas Schädlichem antwortet, gibt der Schiedsrichter einen „Punkt" (eine Belohnung).
Der Manager nutzt diese Punkte, um zu lernen, welcher Schauspieler gegen diese spezifische Wache am effektivsten ist.

Warum ist dies besser als die alten Methoden?

Alte Methode: Dieselben 100 Fragen immer wieder zu schreien und zu hoffen, dass eine funktioniert. Es ist langsam und scheitert oft bei neuen Wachen.
Red-Bandit: Es passt sich in Echtzeit an. Wenn die Wache gegen „Slang" hart, aber gegen „Geschichte" schwach ist, erkennt Red-Bandit das sofort und wechselt die Taktik.

Was haben sie herausgefunden?

Die Arbeit behauptet, dass Red-Bandit sehr effektiv darin ist, Lücken in der KI-Sicherheit zu finden:

Es dringt häufiger ein: Es hat die Ziel-KI erfolgreich öfter dazu gebracht, schädliche Antworten zu geben als frühere Methoden (wie AdvPrompter oder Atoxia).
Es klingt menschlicher: Die Fragen, die es stellt, sind flüssiger und weniger roboterhaft (geringere „Perplexität"), was es für die KI schwieriger macht, sie als gefälscht zu erkennen.
Es wirkt wie ein Diagnosewerkzeug: Indem sie beobachten, welchen „Schauspieler" der Manager am häufigsten wählt, können die Forscher genau sehen, gegen welche Art von Tricks ein spezifisches KI-Modell anfällig ist. Zum Beispiel stellten sie fest, dass ein KI-Modell sehr leicht durch „Historische Szenarien" getäuscht werden konnte, während ein anderes gegen „Rollenspiel" schwach war.

Ein Hinweis zur Sicherheit

Die Arbeit enthält eine Warnung: Dieses Tool wurde entwickelt, um Entwicklern zu helfen, Schwachstellen zu finden, damit sie diese bevor die KI der Öffentlichkeit zugänglich gemacht wird, beheben können. Die Autoren erkennen jedoch an, dass dieselbe Technik theoretisch auch von böswilligen Akteuren genutzt werden könnte, um in Systeme einzudringen. Das Ziel ist es, diese „Schlossknack"-Fähigkeit zu nutzen, um die Schlösser stärker zu machen, nicht um in Häuser einzubrechen.

Kurz gesagt: Red-Bandit ist ein intelligentes, adaptives System, das ein Team spezialisierter Schauspieler und einen Manager im Spielautomaten-Stil verwendet, um genau herauszufinden, wie man eine KI täuscht, und lernt dabei laufend, welche Tricks für diese spezifische KI am besten funktionieren.

Technische Zusammenfassung: Red-Bandit

Problemstellung

Large Language Models (LLMs) bleiben anfällig für adversariale Prompts, die Sicherheitsmaßnahmen umgehen. Diese Einschränkung wird auf konkurrierende Ziele innerhalb des Modelltrainings und die Generalisierungslücke zwischen Sicherheit und Fähigkeiten zurückgeführt. Obwohl automatisches Red-Teaming als skalierbare Alternative zur menschlichen Prüfung entstanden ist, sehen sich bestehende Methoden erheblichen Zielkonflikten gegenüber:

Offline-Optimierung: Methoden wie AdvPrompter und Atoxia generieren adversariale Prompts offline. Zwar übertragen sie sich gut auf Black-Box-Modelle, ihnen fehlt jedoch die Fähigkeit, sich während des Tests an spezifische Schwachstellen des Zielmodells anzupassen.
Abfrage-intensive Anpassung: Iterative Such- und Mutationsmethoden (z. B. PAIR, TAP) bieten Anpassungsfähigkeit zur Testzeit, sind jedoch extrem abfrageintensiv und erfordern zahlreiche Interaktionen, um einen einzelnen Prompt zu verfeinern.
Vielfalt und Lesbarkeit: Reinforcement-Learning-(RL)-basierte Ansätze leiden häufig unter „Mode Collapse", was die Vielfalt der generierten Prompts einschränkt, und haben Schwierigkeiten, mehrere Ziele (Lesbarkeit vs. Angriffserfolg) im Reward-Design in Einklang zu bringen.

Die Kernherausforderung besteht darin, ein Black-Box-Red-Teaming-Framework zu entwickeln, das sich effizient online anpasst, um modellspezifische Schwachstellen zu identifizieren und auszunutzen, ohne die hohen Abfragekosten iterativer Suche oder die Starrheit der Offline-Optimierung in Kauf nehmen zu müssen.

Methodik

Red-Bandit adressiert diese Herausforderungen durch ein zweistufiges Framework, das eine parameter-effiziente RL-Nachschulung mit einer Multi-Armed-Bandit-(MAB)-Policy für die Anpassung zur Testzeit kombiniert.

1. RL-Nachschulung von LoRA-Experten

Das Framework trainiert zunächst eine vielfältige Menge an „Angriffsstil-Experten" mittels Low-Rank Adaptation (LoRA).

Angriffsstile: Zehn verschiedene Angriffsstile werden definiert (z. B. Rollenspiel, Slang, Historisches Szenario, Autoritätsmanipulation), basierend auf der Rainbow-Teaming-Taxonomie.
Trainingsalgorithmus: Die Autoren verwenden Group Relative Policy Optimization (GRPO), eine Variante von PPO, die das Bedürfnis nach einem separaten Wertmodell und Referenzmodell eliminiert und somit den Rechenaufwand reduziert.
Reward-Signal: Ein regelbasiertes Reward-Modell (Llama Guard) wird verwendet, um Prompts basierend auf Sicherheit zu bewerten. Entscheidend ist, dass der Reward auf dem Prompt selbst (Prompt-Level-Sicherheit) berechnet wird und nicht auf der Antwort des Zielmodells. Dies ermöglicht das Training in einer vollständig Black-Box-Umgebung ohne Abfragen des Zielmodells und fördert die Generalisierung über nachgelagerte LLMs hinweg.
Architektur: Jeder Angriffsstil erhält einen dedizierten LoRA-Experten. Dieses modulare Design ermöglicht paralleles Training und die einfache Hinzufügung neuer Stile ohne Nachtraining bestehender Experten oder das Risiko katastrophalen Vergessens.

2. Bandit-gesteuerte Inferenz

Zur Inferenzzeit behandelt Red-Bandit die Auswahl eines Angriffsstils als Multi-Armed-Bandit-Problem.

Mechanismus: Das System wählt dynamisch unter den vortrainierten LoRA-Experten basierend auf der Sicherheit der Antwort des Zielmodells aus.
Exploration vs. Exploitation: Das Framework balanciert Exploration (Ausprobieren verschiedener Angriffsstile zur Entdeckung neuer Schwachstellen) und Exploitation (Verlassen auf Stile, die für das spezifische Ziel als effektiv bekannt sind).
Algorithmen: Die Autoren evaluieren zwei Policies:
- $\epsilon$ -greedy: Priorisiert Exploitation, indem es die meiste Zeit den empirisch besten Arm auswählt, mit gelegentlicher zufälliger Exploration.
- Upper Confidence Bound (UCB): Wendet Optimismus unter Unsicherheit an und bevorzugt weniger erforschte Arme, um eine ausgewogenere Verteilung der Angriffsstile sicherzustellen.
Anpassung: Die Bandit-Policy aktualisiert ihre Auswahlsstrategie basierend auf Feedback vom Zielmodell und führt so effektiv eine Anpassung zur Testzeit durch, ohne die zugrunde liegenden LoRA-Gewichte nachtrainieren zu müssen.

Hauptbeiträge

Red-Bandit-Framework: Eine Black-Box-Red-Teaming-Methode, die einen Multi-Armed-Bandit einsetzt, um dynamisch die effektivsten Angriffsstile für ein spezifisches Zielmodell zu identifizieren und dabei stilistische Vielfalt und Angriffserfolg in Einklang zu bringen.
RL-Nachschulungspipeline: Eine neuartige Pipeline, die GRPO und LoRA zur Schulung stil-spezifischer Experten nutzt. Sie nutzt Prompt-Level-Sicherheits-Rewards, um menschlich lesbare, stil-angepasste adversariale Anweisungen zu generieren, ohne während des Trainings Zugriff auf das Zielmodell zu benötigen.
Diagnosefähigkeit: Die Bandit-Policy dient als Diagnosewerkzeug und zeigt auf, welchen Angriffsstilen ein spezifisches Modell am stärksten ausgesetzt ist, wodurch modellspezifische Schwächen aufgedeckt werden.
Leistung: Die Methode erzielt State-of-the-Art-Angriffserfolgsraten (ASR) auf AdvBench und HarmBench und generiert dabei Prompts mit geringerer Perplexität (höhere Flüssigkeit) im Vergleich zu bestehenden Baselines.

Experimentelle Ergebnisse

Die Autoren evaluierten Red-Bandit auf den Benchmarks AdvBench und HarmBench über Open-Source-Modelle (Mistral-7B, Vicuna-7B, Llama2-7B) und proprietäre Modelle (GPT-3.5-turbo, GPT-4o-mini, GPT-4o).

Angriffserfolgsrate (ASR):
- Auf AdvBench erreichte Red-Bandit 100 % ASR@10 auf Mistral-7B und Vicuna-7B und übertraf Baselines wie Atoxia und AdvPrompter. Auf Llama2-7B wurde eine ASR@10 von >96 % erreicht.
- Auf HarmBench übertraf Red-Bandit (UCB-Variante) unter ASR@20-Einstellungen die meisten Zielmodelle alle Baselines (einschließlich GCG, PAIR, TAP und AutoDAN). Bemerkenswert ist eine ASR@10 von 69,0 % auf Llama-2-7B, was GCG-Universal (20,0 %) deutlich übertrifft.
- In Black-Box-Szenarien mit proprietären Modellen zeigte Red-Bandit eine hohe ASR@10 (z. B. 98,1 % auf GPT-3.5-turbo) und beweist, dass die Bandit-gesteuerte Auswahl Schwachstellen ausnutzen kann, ohne auf Prompt-Übertragbarkeit angewiesen zu sein.
Prompt-Qualität: Red-Bandit generierte Prompts mit signifikant geringerer Perplexität (z. B. 2,31 für UCB auf Mistral-7B) im Vergleich zu Baselines, was auf eine höhere menschliche Lesbarkeit hindeutet.
Ablationsstudien: Die Ergebnisse bestätigten, dass sowohl die RL-Nachschulung als auch der Bandit-Auswahlmechanismus erheblich zur Leistung beitragen. Prompt-basierte Rewards erwiesen sich als effizienter und vielfältiger als Antwort-basierte oder hybride Rewards.
Schwachstellen-Diagnose: Die Analyse der Verteilung der Bandit-Auswahl enthüllte unterschiedliche Anfälligkeitsmuster pro Modell (z. B. ist GPT-4o gegenüber historischen und Rollenspiel-Szenarien hochgradig anfällig, während Llama-3.1-8B gegenüber hypothetischen und Autoritätsmanipulations-Angriffen empfindlich ist).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Red-Bandit einen bedeutenden Fortschritt im automatisierten Red-Teaming darstellt, indem es den Zielkonflikt zwischen Anpassungsfähigkeit und Effizienz löst. Im Gegensatz zu iterativen Suchmethoden, die abfrageintensiv sind, oder Offline-Methoden, die sich nicht an spezifische Ziele anpassen können, bietet Red-Bandit eine skalierbare Lösung, die lernt, in Echtzeit zum effektivsten Angriffsstil zu „routen".

Die Autoren betonen, dass das Framework nicht lediglich ein Angriffswerkzeug, sondern ein Diagnoseinstrument ist. Durch die Analyse, welche Angriffsstile die Bandit-Policy am häufigsten auswählt, um schädliches Verhalten hervorzurufen, können Entwickler Einblicke in spezifische Modellschwächen und Verhaltensverzerrungen gewinnen. Die Arbeit kommt zu dem Schluss, dass die Ausnutzung von Modell-Schwachstellen durch gezielte Angriffsstile, geleitet von einem Multi-Armed-Bandit, sowohl in der Erfolgsrate als auch in der menschlichen Lesbarkeit bestehende Methoden übertrifft, sofern ausreichende Explorationsbudgets verfügbar sind.

Hinweis: Die Autoren erkennen den Dual-Use-Charakter der Technologie an und geben an, dass sie ausschließlich für Entwickler und Forscher bestimmt ist, um Modellsicherungen zu prüfen und zu stärken.