💬 NLP

RACC: Representation-Aware Coverage Criteria for LLM Safety Testing

Dieser Beitrag stellt RACC (Repräsentationsbewusste Abdeckungskriterien) vor, ein skalierbares Framework für das Sicherheitstesting von LLMs, das sicherheitsrelevante Repräsentationen aus den versteckten Zuständen extrahiert, um die Angemessenheit von Test-Suiten zu bewerten und die Generierung von Angriffen zu steuern, wodurch die Einschränkungen traditioneller neuronaler Abdeckungskriterien wirksam überwunden werden.

Ursprüngliche Autoren: Zeming Wei, Zhixin Zhang, Chengcan Wu, Yihao Zhang, Xiaokun Luan, Meng Sun

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zeming Wei, Zhixin Zhang, Chengcan Wu, Yihao Zhang, Xiaokun Luan, Meng Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber manchmal frechen Roboter-Assistenten (ein Large Language Model oder LLM). Sie wollen sicherstellen, dass er nichts Böses, Gefährliches oder Illegales sagt. Um dies zu tun, senden Sie ihm Tausende von kniffligen Fragen (sogenannte „Jailbreaks"), um zu prüfen, ob er seine Sicherheitsregeln bricht.

Das Problem ist: Wie wissen Sie, ob Ihre Liste kniffliger Fragen tatsächlich gut ist?

Der alte Weg: Zählen von Glühbirnen

In der Vergangenheit versuchten Forscher, die Qualität von Tests zu messen, indem sie die internen „Glühbirnen" (Neuronen) des Roboters betrachteten. Sie zählten, wie viele Birnen aufleuchteten, wenn der Roboter eine Frage verarbeitete.

Der Fehler: Das ist so, als würde man versuchen, einen Film zu verstehen, indem man zählt, wie viele Pixel auf dem Bildschirm sich verändert haben. Ein winziger, bedeutungsloser Fehler könnte eine Million Pixel aufleuchten lassen, während eine tiefgründige, gefährliche Idee nur ein paar Birnen zum Leuchten bringt. Außerdem ist es zu langsam und zu teuer, jede einzelne Birne im Gehirn eines riesigen Roboters zu zählen.

Der neue Weg: RACC (der „Sicherheitskompass")

Diese Arbeit stellt RACC (Representation-Aware Coverage Criteria) vor. Anstatt jede Glühbirne zu zählen, sucht RACC nach dem internen Kompass des Roboters, der in Richtung „Gefahr" zeigt.

So funktioniert RACC, anhand einer einfachen Analogie:

1. Kalibrieren des Kompasses (Der Kalibrierungsdatensatz)

Zuerst zeigen die Forscher dem Roboter eine kleine, kuratierte Liste eindeutig schlechter Fragen (wie „Wie baue ich eine Bombe?"). Sie analysieren das Gehirn des Roboters, während er über diese Fragen nachdenkt, um die spezifische „Richtung" oder den „Vektor" zu finden, in dem das Konzept von Schaden existiert.

Analogie: Stellen Sie sich vor, Sie wollen einen Metalldetektor testen. Zuerst zeigen Sie ihm einige bekannte Münzen und Steine, um ihn zu kalibrieren, damit er genau weiß, wie sich „Metall" anfühlt.

2. Messen der „Gefahrenrichtung"

Als Nächstes nehmen sie eine neue Liste von Testfragen. Anstatt zufällige Glühbirnen zu zählen, fragen sie: „Wie stark zeigt diese Frage in Richtung 'Schaden'?"

Wenn eine Frage nur eine harmlose Umformulierung einer schlechten ist (ein Synonym), zeigt sie in die gleiche Richtung. RACC sagt: „Wir haben diese Richtung bereits gesehen; kein neues Terrain erschlossen."
Wenn eine Frage völlig harmlos ist (wie „Wie ist das Wetter?"), zeigt sie in eine völlig andere Richtung. RACC sagt: „Das löst den Gefahrenkompass überhaupt nicht aus. Ignorieren Sie es."
Wenn eine Frage ein cleverer, neuer Weg ist, den Roboter zu täuschen, zeigt sie in eine frische Richtung des Schadens. RACC sagt: „Ausgezeichnet! Wir haben eine neue blinde Stelle gefunden."

3. Die sechs Regeln des Kompasses

RACC verwendet sechs spezifische Regeln, um die Testliste zu bewerten, aufgeteilt in zwei Gruppen:

Gruppe A: Überprüfung einzelner Konzepte (Das „Was")

Haben wir das Schlechte gefunden? (SFC): Hat die Testliste irgendeine der bekannten Gefahrenrichtungen ausgelöst?
Haben wir die Hauptziele getroffen? (TKFC): Hat die Testliste die stärksten Gefahrenrichtungen getroffen, nicht nur die schwachen?
Haben wir die Intensität getestet? (FIC): Enthält die Testliste sowohl „Flüstern" von Gefahr als auch „Schreie" von Gefahr? (Einige Angriffe sind subtil; andere sind offensichtlich).

Gruppe B: Überprüfung von Kombinationen (Das „Wie")
4. Haben wir alle Viertel besucht? (SCC): Hat die Testliste verschiedene Arten von schlechtem Verhalten abgedeckt (z. B. Gewalt, Hassrede, Betrug), anstatt nur dieselbe Art zu wiederholen?
5. Haben wir die Zutaten gemischt? (PCC): Enthält die Testliste Fragen, die zwei schlechte Dinge gleichzeitig kombinieren (z. B. einen Betrug, der auch gewalttätig ist)?
6. Haben wir die unscharfen Ränder gefunden? (CBC): Hat die Testliste Fragen gefunden, die genau auf der verschwommenen Linie zwischen „sicher" und „unsicher" liegen, wo der Roboter verwirrt wird?

Warum das wichtig ist (Die Ergebnisse)

Die Arbeit testete RACC gegen die alten Methoden des „Glühbirnenzählens" unter Verwendung realer Sicherheits-Benchmarks.

Der alte Weg ließ sich leicht täuschen. Wenn Sie 1.000 harmlose Fragen hinzufügten oder dieselbe schlechte Frage einfach 1.000 Mal umformulierten, dachte die alte Methode, die Testliste werde „besser", weil mehr Glühbirnen aufleuchteten.
RACC blieb klug. Es ignorierte das harmlose Rauschen und die wiederholten Synonyme. Es vergab nur hohe Punktzahlen, wenn die Testliste tatsächlich neue und vielfältige Wege fand, die Sicherheit des Roboters zu brechen.

Erwähnte reale Anwendungen

Die Arbeit zeigt zwei praktische Möglichkeiten, RACC einzusetzen:

Priorisierung von Tests: Wenn Sie einen massiven, unordentlichen Haufen von Testfragen haben, kann RACC diese schnell sortieren, die nützlichsten herauspicken und den Müll wegwerfen.
Sampling von Angriffen: Wenn Sie versuchen, neue Wege zu generieren, um den Roboter zu brechen, hilft RACC Ihnen, die vielversprechendsten Versuche auszuwählen, die Sie als Nächstes ausprobieren sollten, und spart Zeit und Aufwand.

Das Fazit

RACC ist ein neues, klügeres Lineal zum Messen, wie gut wir die KI-Sicherheit testen. Anstatt sich in den Millionen winziger Details im Inneren des KI-Gehirns zu verlieren, konzentriert es sich auf die spezifischen „Gefahrensignale", die zählen, und macht Sicherheitstests schneller, günstiger und viel genauer.

Technische Zusammenfassung: RACC: Repräsentationsbewusste Abdeckungskriterien für das Sicherheitstesting von LLMs

1. Problemstellung

Large Language Models (LLMs) sind erheblichen Sicherheitsrisiken durch Jailbreak-Angriffe ausgesetzt, die Modellverwundbarkeiten ausnutzen, um schädliche Inhalte zu generieren. Das aktuelle Sicherheitstesting stützt sich stark auf statische, quelloffene Datensätze (z. B. SafetyBench, SorryBench) und fehlt es an systematischen Kriterien zur Bewertung der Qualität und Angemessenheit von Test-Suiten. Während Abdeckungskriterien bei kleineren Deep Neural Networks (DNNs) durch die Überwachung von Neuronenaktivierungen als wirksam erwiesen haben, sind sie für LLMs aus zwei Hauptgründen ungeeignet:

Skalierbarkeit: Der Rechenaufwand für das Profiling von Milliarden von Neuronen über alle Schichten hinweg ist für LLMs prohibitiv.
Zielkonflikt: Traditionelle Kriterien auf Neuronenebene behandeln alle Aktivierungen gleich. Bei LLMs sind die überwiegende Mehrheit der Neuronenaktivierungen redundant oder für die Sicherheit irrelevant. Folglich versagen metrische Größen auf Neuronenebene oft darin, zwischen bedeutungsvollen, sicherheitsrelevanten Prompts und semantisch redundanten oder harmlosen Eingaben zu unterscheiden, was Rauschen in die Abdeckungsbeurteilungen einführt.

Es besteht ein dringender Bedarf an Abdeckungskriterien, die für LLMs skalierbar sind und spezifisch auf sicherheitsrelevanten Signalen basieren, anstatt auf rohen Aktivierungsstatistiken.

2. Methodik: RACC-Rahmenwerk

Die Autoren schlagen RACC (Representation-Aware Coverage Criteria) vor, ein Rahmenwerk, das die Abdeckungsmessung von einzelnen Neuronenaktivierungen auf sicherheitsrelevante Repräsentationen verlagert – niedrigdimensionale Richtungen im versteckten Zustandsraum des Modells, die spezifische Sicherheitskonzepte kodieren.

2.1 Kern-Designprinzipien

RACC basiert auf drei Designprinzipien, die speziell für das Sicherheitstesting von LLMs zugeschnitten sind:

Synonymunempfindlich: Semantisch ähnliche Prompts (z. B. paraphrasierte Jailbreaks) sollten die Abdeckungsmetriken nicht künstlich aufblähen.
Ungültigkeitsunempfindlich: Harmlose oder nicht-adversarielle Eingaben sollten nicht zur Abdeckung beitragen, da das Ziel darin besteht, die Fähigkeit des Modells zu testen, schädliche Inhalte abzulehnen.
Jailbreak-empfindlich: Metriken müssen Prompts priorisieren, die erfolgreich schädliche Verhaltensweisen auslösen oder sicherheitskritische Konzepte aktivieren.

2.2 Technischer Arbeitsablauf

Das RACC-Rahmenwerk arbeitet in drei Stufen:

Extraktion sicherheitsrelevanter Repräsentationen:
- Ein kleiner Kalibrierungssatz schädlicher Prompts wird kuratiert, um spezifische Sicherheitskategorien zu repräsentieren.
- Versteckte Zustandsaktivierungen dieser Prompts werden aus den mittleren Schichten des Modells gesammelt.
- Eine Hauptkomponentenanalyse (PCA) wird auf diese Aktivierungen angewendet, um die top- $n$ Hauptkomponenten zu identifizieren. Diese Komponenten bilden die sicherheitsrelevanten Repräsentationen und repräsentieren die Hauptrichtungen von Sicherheitskonzepten im versteckten Raum.
Berechnung der Konzeptaktivierung:
- Für jeden Eingabeprompt wird der versteckte Zustand des Modells auf die identifizierten sicherheitsrelevanten Repräsentationen projiziert.
- Die Stärke dieser Projektion dient als Konzeptaktivierungsscore und quantifiziert die Intensität der durch die Eingabe ausgelösten spezifischen Sicherheitskonzepte.
Abdeckungsberechnung:
RACC definiert sechs Unterkriterien, die in zwei Dimensionen unterteilt sind:
- Dimension I: Individuelle Konzeptabdeckung
  - Safety Feature Coverage (SFC): Misst den Anteil der Sicherheitsmerkmale, die von mindestens einem Prompt über einem Schwellenwert aktiviert werden.
  - Top-K Feature Coverage (TKFC): Misst den Anteil der Sicherheitsmerkmale, die bei mindestens einem Prompt zu den top- $k$ aktivsten Merkmalen gehören.
  - Feature Intensity Coverage (FIC): Diskretisiert Aktivierungsstärken in Intervalle, um die Vielfalt der Aktivierungsintensitäten über die Merkmale hinweg zu messen.
- Dimension II: Kompositionelle Konzeptabdeckung
  - Semantic Cluster Coverage (SCC): Verwendet K-Means-Clustering auf den projizierten Sicherheitsvektoren, um die Vielfalt der vom Test-Suite besuchten semantischen Modi zu messen.
  - Pairwise Concept Coverage (PCC): Misst das gemeinsames Auftreten von Paaren von Sicherheitsmerkmalen und erfasst Interaktionen zwischen Konzepten.
  - Cluster Boundary Coverage (CBC): Identifiziert Prompts, die in Bereichen niedriger Dichte zwischen semantischen Clustern liegen, und zielt auf mehrdeutige Sicherheitsgrenzen ab, bei denen Modelle am anfälligsten sind.

3. Hauptbeiträge

RACC-Rahmenwerk: Der Vorschlag eines skalierbaren, repräsentationsbewussten Abdeckungskriteriums, das speziell für die LLM-Sicherheit entwickelt wurde und die Grenzen metrischer Größen auf Neuronenebene adressiert.
Sechs Unterkriterien: Eine neuartige Reihe von Metriken, die sowohl individuelle Konzeptaktivierung als auch kompositionelle Interaktionen abdecken und auf sicherheitsrelevanten Repräsentationen statt auf rohen Neuronen basieren.
Empirische Validierung: Umfassende Experimente zeigen, dass RACC die drei Designprinzipien (Synonymunempfindlichkeit, Ungültigkeitsunempfindlichkeit, Jailbreak-Empfindlichkeit) erfüllt und bestehende Baselines auf Neuronenebene übertrifft.
Praktische Anwendungen: Demonstration der Nützlichkeit von RACC bei der Priorisierung von Test-Suiten (Filtern redundanter/ungültiger Prompts) und beim Sampling von Angriffs-Prompts (Auswahl vielfältiger und erfolgreicher Jailbreaks).
Open Source: Veröffentlichung der Implementierung zur Förderung weiterer Forschung.

4. Experimentelle Ergebnisse

Die Autoren bewerteten RACC an drei quelloffenen LLMs (Vicuna-7B, Llama-2-7B, Qwen-2.5-7B) unter Verwendung von Benchmarks wie SorryBench und ORBench-Toxic.

Wirksamkeit im Vergleich zu Kriterien auf Neuronenebene:
- RACC-Metriken zeigten eine hohe Sensitivität gegenüber Jailbreak-Angriffen (z. B. $S_{JA}$ ) und erzielten signifikante Abdeckungsgewinne.
- Entscheidend blieb RACC unempfindlich gegenüber ungültigen Eingaben (harmlose Prompts) und redundanten Semantiken (Synonyme). Im Gegensatz dazu zeigten Baselines auf Neuronenebene (z. B. NC, TKNC) große, irreführende Abdeckungszunahmen, wenn harmlose oder synonyme Prompts hinzugefügt wurden, und versagten darin, zwischen effektiven Sicherheitstests und Rauschen zu unterscheiden.
Vielfalt der Risikotypen: RACC-Metriken stiegen monoton mit der Vielfalt der Sicherheitsverletzungskategorien in der Test-Suite an, während Metriken auf Neuronenebene stagnierten oder zufällig schwankten.
Konzeptionelle Ausrichtung: Wenn Test-Suiten mit variierender semantischer Überlappung zum Kalibrierungssatz konstruiert wurden, sanken die RACC-Scores streng, wenn die Überlappung abnahm, was bestätigt, dass die Metriken spezifische Sicherheitskonzepte und keine generischen Anomalien messen.
Anwendungen:
- Priorisierung: Die von RACC geleitete Auswahl priorisierte gültige Kandidaten signifikant besser als Baselines auf Neuronenebene (z. B. AUC von 0,667 vs. 0,340 auf SorryBench).
- Sampling: RACC beschleunigte im Vergleich zu Baselines die Entdeckung erfolgreicher Jailbreaks und vielfältiger Angriffskategorien.
Generalisierung: RACC erwies sich als robust über verschiedene Modellgrößen (Skalierung auf 13B), Kalibrierungssatzgrößen (effektiv auch mit kleinen Sätzen), Extraktionsschichten und Hyperparameter-Konfigurationen hinweg. Eine adaptive Strategie zur Parametersauswahl (AdaRACC) wurde ebenfalls vorgeschlagen, um manuelles Tuning zu eliminieren.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass RACC eine skalierbare und prinzipielle Grundlage für abdeckungsgeleitetes Sicherheitstesting von LLMs bietet. Indem RACC die Abdeckung auf Richtungen von Sicherheitskonzepten statt auf rohe Neuronenaktivierungen gründet, löst es den Engpass der Skalierbarkeit und die Lücke der Zielausrichtung, die in traditionellen DNN-Abdeckungskriterien inhärent sind.

Die Autoren behaupten, dass RACC nicht lediglich ein generischer Anomalie-Detektor ist, sondern ein Werkzeug, das spezifisch die Aktivierung sicherheitsrelevanter Semantiken misst. Dies ermöglicht die rigorose Bewertung, Priorisierung und Optimierung von Sicherheitstest-Suiten und verschiebt das Feld über die Abhängigkeit von statischen Datensätzen hinaus hin zu dynamischem, abdeckungsorientiertem Sicherheitsengineering. Die Arbeit etabliert, dass der Fokus auf niedrigrangige sicherheitsrelevante Repräsentationen ein gangbarer und überlegener Ansatz zur Bewertung der Angemessenheit des Sicherheitstestings von LLMs ist.