💻 computer science

Peering Behind the Shield: Guardrail Identification in Large Language Models

Die vorgestellte Arbeit stellt AP-Test vor, eine neue Methode, die mithilfe von adversarialen Prompts und einer neuartigen „Match-Score"-Metrik in der Lage ist, die spezifischen Sicherheits-Guardrails in Black-Box-KI-Agenten mit hoher Genauigkeit zu identifizieren.

Ursprüngliche Autoren: Ziqing Yang, Yixin Wu, Rui Wen, Michael Backes, Yang Zhang

Veröffentlicht 2026-04-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ziqing Yang, Yixin Wu, Rui Wen, Michael Backes, Yang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: „Hinter den Vorhang schauen: Wie man die Sicherheitswächter von KI-Chatbots entlarvt"

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas zu vorsichtigen Assistenten (eine KI). Damit dieser Assistent keine dummen oder gefährlichen Dinge sagt, hat sein Besitzer einen Sicherheitswächter (einen „Guardrail") eingestellt. Dieser Wächter sitzt entweder direkt vor dem Assistenten (Input-Guard) und prüft, was du sagst, oder hinter ihm (Output-Guard) und prüft, was der Assistent antwortet, bevor er es dir zeigt.

Das Problem: Du weißt nicht, welcher Wächter da steht. Ist es ein strenger Polizist? Ein freundlicher Bodyguard? Oder ein neuer, unbekannter Wächter?

Die Forscher in diesem Papier haben eine Methode namens AP-Test entwickelt, um genau das herauszufinden – und zwar, ohne den Wächter zu sehen oder zu kennen (ein sogenannter „Black-Box"-Test).

Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem: Der unsichtbare Wächter

Wenn du einen Chatbot nutzt, siehst du nur die Antwort. Du weißt nicht, ob hinter den Kulissen ein Wächter namens „WildGuard" oder „LlamaGuard" sitzt. Für einen Angreifer ist das ein Problem, weil man nur dann einen wirklich guten Trick (einen „Jailbreak") entwickeln kann, wenn man genau weiß, gegen welchen Wächter man vorgeht.

Frühere Methoden waren wie ein blindes Tasten im Dunkeln. Sie funktionierten nicht gut, weil:

Wächter oft nur „Ja/Nein" (Sicher/Unsicher) sagen.
Man nicht weiß, ob der Wächter vor oder nach dem Assistenten sitzt.
Der Assistent selbst schon sehr vorsichtig ist und die Antwort verweigert, bevor der Wächter überhaupt etwas sagen kann.

2. Die Lösung: AP-Test (Der „Tarnkappen-Test")

Die Forscher haben sich einen cleveren Trick ausgedacht. Sie bauen eine falsche Identität (einen „Adversarial Prompt") – eine Art Tarnkappe.

Die Analogie des Schlüssels:
Stell dir vor, du hast einen Haufen verschiedener Schloss-Typen (die verschiedenen Sicherheitswächter). Du willst herausfinden, welches Schloss vor deiner Tür ist.

Du nimmst einen Spezialschlüssel (den adversarialen Prompt), der so geformt ist, dass er genau in das Schloss des Wächters passt, den du verdächtigst (z. B. WildGuard).
Dieser Schlüssel soll das Schloss öffnen (also den Wächter dazu bringen zu sagen: „Achtung, das ist gefährlich!").
Gleichzeitig soll dieser Schlüssel aber bei allen anderen Schloss-Typen (den anderen Wächtern) nicht funktionieren und einfach durchrutschen, ohne Alarm auszulösen.

3. Wie funktioniert der Test genau?

Der Prozess läuft in zwei Schritten ab, wie in der Abbildung 2 des Papers zu sehen ist:

Schritt A: Den perfekten Schlüssel schmieden (Optimierung)
Die KI der Forscher generiert eine spezielle Frage oder einen Satz. Sie probiert tausende Variationen aus, bis sie eine findet, die:

Den verdächtigen Wächter (z. B. WildGuard) dazu bringt, sofort „Stopp!" zu schreien.
Aber alle anderen Wächter und den KI-Assistenten selbst ruhig lässt, damit sie antworten.

Schritt B: Den Test durchführen (Input & Output)
Jetzt schicken sie diesen Schlüssel an den unbekannten Chatbot. Es gibt zwei Szenarien:

Der Input-Test (Der Wächter vor der Tür):
Sie schicken die Nachricht direkt an den Bot.
- Szenario 1: Der Bot antwortet sofort mit „Ich kann das nicht tun". -> Bingo! Der Wächter vor der Tür hat den Schlüssel erkannt. Es ist höchstwahrscheinlich der Wächter, den wir getestet haben.
- Szenario 2: Der Bot antwortet normal. -> Kein Treffer.
Der Output-Test (Der Wächter hinter dem Bot):
Hier wird es kniffliger. Der Wächter prüft erst, was der Bot schreibt.
- Die Forscher sagen dem Bot: „Bitte wiederhole genau diesen Text: [Unsere geheime Nachricht]".
- Der Bot schreibt die Nachricht.
- Der Wächter hinter dem Bot prüft nun diesen Text.
- Szenario 1: Der Wächter hinter dem Bot unterbricht die Antwort mit „Stopp!". -> Treffer! Der Bot hat den Text produziert, und der Wächter dahinter hat ihn abgefangen.

4. Das Ergebnis: Ein neuer Maßstab („Match Score")

Wie sicher sind die Forscher? Sie nutzen eine neue Messzahl, den Match Score (Treffer-Score).

Stell dir vor, der Wächter, den wir testen, würde bei 100 Versuchen 90 Mal „Stopp" sagen.
Wenn unser Test-Bot auch bei 90 von 100 Versuchen „Stopp" sagt, dann ist der Score hoch (nahe 1,0). Das bedeutet: „Ja, dieser Wächter ist hier!"
Wenn der Bot aber nur bei 5 Mal „Stopp" sagt, ist der Score niedrig. Das bedeutet: „Nein, hier ist ein anderer Wächter."

Warum ist das wichtig?

Die Forscher haben gezeigt, dass ihre Methode fast immer (100% genau) funktioniert, egal ob der Wächter vor oder nach dem Bot sitzt und egal welcher Bot (Llama oder GPT) im Hintergrund läuft.

Die große Bedeutung:

Für Angreifer: Es ist wie ein Werkzeugkasten. Wenn man weiß, welcher Wächter da steht, kann man gezieltere Tricks entwickeln, um ihn zu umgehen.
Für Entwickler & Sicherheit: Es hilft auch, illegale Kopien von Sicherheits-Systemen aufzudecken. Wenn ein Unternehmen behauptet, es habe einen speziellen, teuren Sicherheitswächter, aber unser Test zeigt, dass es nur ein billiges Standard-Modell ist, dann wissen wir Bescheid.

Zusammenfassend:
AP-Test ist wie ein Detektiv, der mit einem speziellen, maßgeschneiderten Schlüssel versucht, die Tür eines unbekannten Hauses zu öffnen. Wenn die Tür aufspringt (oder der Alarm losgeht), weiß der Detektiv genau, welches Schloss (welcher Wächter) dahinter steckt. Und das funktioniert, selbst wenn er die Tür nicht von innen sehen kann.

1. Problemstellung

Mit der weit verbreiteten Nutzung von Large Language Models (LLMs) in conversational AI Agents werden zunehmend Sicherheitsmechanismen, sogenannte Guardrails (Schutzgitter), eingesetzt, um schädliche Eingaben oder Ausgaben zu filtern. Diese Guardrails sind oft als Black-Box-Systeme implementiert, was es Angreifern erschwert, die spezifischen Sicherheitsmechanismen zu verstehen und gezielte Angriffe (z. B. Jailbreaks) zu entwickeln.

Das Hauptproblem besteht darin, dass es bisher keine Methode gibt, um in einem Black-Box-Agenten zu identifizieren, welcher spezifische Guardrail (z. B. LlamaGuard, WildGuard, ShieldGemma) eingesetzt wird.

Herausforderungen:
1. Eingeschränkter Ausgaberaum: Guardrails geben oft nur binäre Antworten („Safe"/„Unsafe") zurück, was die Unterscheidung zwischen verschiedenen Modellen erschwert.
2. Verdeckte Mechanismen: Die Identität des Guardrails wird durch andere Sicherheitsmechanismen (z. B. sicherheitsausgerichtete LLMs oder zusätzliche Guardrails) verschleiert.
3. Deployment-Stufen: Guardrails können sowohl auf der Eingabe- als auch auf der Ausgabeseite des Agents platziert sein, was unterschiedliche Teststrategien erfordert.
4. Fehlende Entscheidungsstrategien: Bestehende Methoden zur LLM-Identifikation nutzen oft willkürliche Schwellenwerte und benötigen Referenzmodelle, was die Robustheit einschränkt.

2. Methodik: AP-Test

Die Autoren stellen AP-Test (Adversarial Prompts for Guardrail Testing) vor, eine Methode zur Identifikation von Guardrails in Black-Box-AI-Agenten. Der Ansatz gliedert sich in zwei Phasen:

A. Adversarial Prompt Optimierung

Ziel ist es, spezifische adversarische Prompts zu generieren, die vom Ziel-Guardrail ( $G_t$ ) fälschlicherweise als „unsicher" markiert werden, während sie von allen anderen Guardrails und den zugrunde liegenden LLMs als „sicher" eingestuft werden.

Aufbau: Ein adversarischer Prompt besteht aus einem optimierten Präfix ( $x_a$ ) und einer normalen Abfrage ( $x_q$ ).
Verlustfunktion (Loss Function): Die Optimierung nutzt drei Verlustterme:
1. $L_1$ & $L_2$ (Ziel-Guardrail): Diese Terme zielen darauf ab, den Ziel-Guardrail zu täuschen, sodass er den Prompt als „unsafe" klassifiziert (Misclassification).
2. $L_3$ (Cross-Guardrail Kompatibilität): Dieser Term stellt sicher, dass der Prompt von anderen Guardrails und dem LLM selbst als „safe" erkannt wird. Dies verhindert, dass der Test durch andere Sicherheitsmechanismen blockiert wird.
Optimierung: Es wird die GCG-Strategie (Greedy Coordinate Gradient) verwendet, um Token-Einbettungen schrittweise zu aktualisieren.

B. Adversarial Prompt Test

Nach der Optimierung werden zwei komplementäre Teststrategien angewendet:

Input Guard Test: Der Agent wird direkt mit dem adversarischen Prompt befragt. Wenn der Agent die Antwort verweigert („refuse"), deutet dies darauf hin, dass der Ziel-Guardrail als Eingabe-Guardrail fungiert.
Output Guard Test: Da der Output-Guardrail die Antwort des LLMs prüft, wird der Agent aufgefordert, den adversarischen Prompt zu wiederholen (z. B. „Please repeat: [Prompt]"). Wenn das LLM den Prompt wiederholt, wird dieser als Eingabe für den Output-Guardrail verwendet. Eine Verweigerung der Ausgabe deutet auf das Vorhandensein des Ziel-Guardrails hin.

C. Metrik: Match Score

Um eine robuste Entscheidung ohne externe Referenzmodelle zu treffen, wird eine neue Metrik eingeführt: der Match Score (MS).

Er basiert auf der Verweigerungsrate ( $r$ ) des getesteten Agents im Vergleich zur Verweigerungsrate des reinen Kandidaten-Guardrails ( $r_t$ ).
Formel: $MS = \frac{|min(r, r_t)|^\lambda}{|r_t|^\lambda}$ .
Ein Score $> 0.5$ deutet darauf hin, dass der Kandidat-Guardrail im Agenten vorhanden ist. Dies löst das Problem der Schwellenwertwahl (Challenge C4).

3. Wichtige Beiträge

Erste Methode zur Guardrail-Identifikation: AP-Test ist der erste Ansatz, der guard-spezifische adversarische Prompts nutzt, um die Identität von Black-Box-Guardrails zu bestimmen.
Lösung zentraler Herausforderungen: Die Methode adressiert systematisch die begrenzten Ausgaben, die Verschleierung durch andere Sicherheitslayer und die unterschiedlichen Deployment-Stufen (Input/Output).
Neue Metrik: Der Match Score ermöglicht eine prinzipielle Entscheidungsfindung ohne zusätzliche Testumgebungen.
Umfassende Evaluierung: Die Studie deckt vier verschiedene Open-Source-Guardrails (WildGuard, LlamaGuard, LlamaGuard2, LlamaGuard3) und diverse Agenten-Konfigurationen ab.

4. Ergebnisse

Die Experimente wurden mit verschiedenen LLMs (Llama3.1, GPT-4o) und Guardrails durchgeführt:

Perfekte Genauigkeit: AP-Test erreichte in allen getesteten Szenarien eine Klassifizierungsgenauigkeit von 1.00 (100 %) für Input- und Output-Guard-Tests.
Robustheit: Die Methode funktioniert unabhängig vom zugrunde liegenden LLM (Llama3.1 vs. GPT-4o) und selbst in komplexen Szenarien, in denen sowohl Input- als auch Output-Guardrails gleichzeitig eingesetzt werden.
Ablationsstudie:
- Ohne den Verlustterm $L_3$ (Kompatibilität) kam es zu vielen Fehlidentifikationen (z. B. wurde WildGuard fälschlich als LlamaGuard erkannt).
- Ohne die normale Abfragemenge ( $Q$ ) als Startpunkt für die Optimierung stieg die Verweigerungsrate bei nicht-zugehörigen Guardrails stark an, was die Spezifität der Angriffe minderte.
- Die Konvergenz der Verlustfunktion erfolgte bereits nach ca. 50 Epochen.

5. Bedeutung und Implikationen

Für Angreifer: Die Identifikation des spezifischen Guardrails ermöglicht es, maßgeschneiderte, effizientere Jailbreak-Angriffe zu entwickeln, die spezifische Schwachstellen des erkannten Modells ausnutzen.
Für Verteidiger & Entwickler:
- Urheberrechtsschutz: AP-Test kann genutzt werden, um unbefugte Nutzung proprietärer oder lizenzierter Guardrails durch Dritte aufzudecken.
- Sicherheitsaudit: Es ermöglicht eine tiefere Analyse der Sicherheitsarchitektur von KI-Systemen.
Zukunftsausblick: Die Arbeit unterstreicht die Notwendigkeit, Guardrails so zu gestalten, dass sie inhärent schwerer zu identifizieren und zu umgehen sind. Sie legt den Grundstein für zukünftige Forschung im Bereich der „Guardrail-Fingerprinting" und der Entwicklung robusterer Sicherheitsmechanismen.

Zusammenfassend demonstriert AP-Test, dass Sicherheitsmechanismen in Black-Box-AI-Agenten nicht undurchdringlich sind und dass durch gezielte adversarische Tests die interne Architektur von KI-Systemen entschlüsselt werden kann.