💬 NLP

RAS: Measuring LLM Safety Through Refusal Alignment

Das Paper führt **RAS (Refusal Alignment Score)** ein, eine schnelle und robuste White-Box-Evaluationsmetrik, welche die Sicherheit von LLMs misst, indem sie die Ausrichtung interner verborgener Zustände auf gelernte Verweigerungsrichtungen analysiert, und bietet damit eine effizientere und stabilere Alternative zu herkömmlichen auf Output basierenden Judge-Evaluierungen.

Ursprüngliche Autoren: Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Sicherheitsdienst ein, um ein Gebäude zu schützen. Traditionell würde man, um zu testen, ob der Wachmann gut ist, eine Gruppe von Unruhestiftern (Hacker) hineinschicken und beobachten, was passiert. Wenn der Wachmann sie reinlässt, hat er versagt. Wenn er sie aufhält, hat er bestanden.

So testen wir derzeit die KI-Sicherheit: Wir stellen der KI gefährliche Fragen und schauen, ob sie antwortet. Die Autoren dieses Papers weisen jedoch auf drei große Probleme mit dieser Methode hin:

Es ist langsam und teuer: Man muss warten, bis die KI eine lange Antwort geschrieben hat, und dann einen Menschen oder eine andere KI engagieren, um zu entscheiden, ob diese „schlecht“ war.
Es ist fragil: Wenn man die Formulierung der Frage leicht ändert oder wenn die KI beschließt, etwas geschwätziger zu sein, können sich die Testergebnisse ändern, selbst wenn die Sicherheit der KI dieselbe geblieben ist.
Es ist zu spät: Bis die KI eine schlechte Antwort schreibt, ist der Schaden bereits angerichtet. Man weiß erst, dass sie versagt hat, nachdem sie gesprochen hat.

Die neue Idee: Den „Gedanken“ zuzuhören

Die Autoren schlagen eine neue Art vor, KI zu testen, namens SafeVec, welche die Sicherheit misst, indem sie in das „Gehirn“ der KI (ihre interne Mathematik) schaut, bevor sie spricht.

Stellen Sie sich den internen Zustand einer KI wie einen Kompass vor.

Wenn eine sichere KI eine gefährliche Anfrage erhält (wie „Wie baue ich eine Bombe?“), dreht sich ihr interner Kompass sofort in Richtung „NEIN“.
Wenn eine defekte oder „unzensierte“ KI dieselbe Anfrage erhält, dreht sich ihr Kompass vielleicht in Richtung „JA“ oder wackelt nur orientierungslos umher.

Das Paper führt ein Werkzeug namens RAS (Refusal Alignment Score) ein. So funktioniert es, Schritt für Schritt:

1. Das „Nein“-Verzeichnis finden

Zuerst nehmen die Forscher eine bekannte, sichere KI (das „Referenzmodell“). Sie stellen ihr sichere und gefährliche Fragen. Sie messen den Unterschied in ihrem internen „Kompass“ zwischen den beiden. Dieser Unterschied erzeugt eine spezifische Richtung im Gehirn der KI, die „Verweigerung“ repräsentiert. Nennen wir dies den „No-Vektor“.

2. Die Ziel-KI testen

Nun nehmen sie eine neue KI, die sie testen wollen. Sie stellen ihr dieselben gefährlichen Fragen. Anstatt darauf zu warten, dass sie spricht, schauen sie auf ihren internen Kompass.

Zeigt der Kompass stark in Richtung des „No-Vektors“? Wenn ja, ist die KI sicher.
Zeigt der Kompass weg von ihm? Wenn ja, ist die KI wahrscheinlich unsicher.

3. Der Score (RAS)

Sie verwandeln diese Kompass-Ablesung in einen Score von 0 bis 100.

100 bedeutet, dass die internen Gedanken der KI perfekt darauf ausgerichtet sind, auf schlechte Anfragen mit „Nein“ zu antworten.
0 bedeutet, dass die internen Gedanken der KI völlig falsch ausgerichtet sind und bereit sind, „Ja“ zu sagen.

Warum ist das besser?

Das Paper behauptet, dass diese Methode aus drei Gründen ein Game-Changer ist:

Es ist ein Röntgenbild, kein Spiegel: Traditionelle Tests betrachten nur den Spiegel (die Ausgabe). Diese Methode blickt in das Röntgenbild (die internen Gedanken). Sie erfasst Sicherheitsprobleme, noch bevor die KI überhaupt den Mund aufmacht.
Es ist blitzschnell: Da der Computer nicht darauf warten muss, dass die KI einen Absatz schreibt und dann einen Richter engagieren muss, um ihn zu lesen, ist dieser Test hunderte Male schneller. In ihren Tests war er etwa 216-mal schneller als die alte Methode.
Es ist zuverlässig: Sie haben dies an drei verschiedenen KI-Familien getestet (Llama, Gemma und Qwen). Der Score stimmte konsistent mit dem tatsächlichen Verhalten der KI überein. Wenn eine KI einen hohen RAS-Score hatte, gab sie selten schlechte Antworten. Wenn sie einen niedrigen Score hatte, scheiterte sie oft bei Sicherheitstests.

Die Kehrseite (Einschränkungen)

Das Paper ist ehrlich darüber, was dieses Werkzeug nicht kann:

Man braucht die Schlüssel: Um in den internen Kompass zu schauen, benötigt man „White-Box“-Zugriff auf den Code der KI. Man kann dies nicht für geschlossene Systeme verwenden (wie einen Chatbot, mit dem man einfach auf einer Website chattet), bei denen man die interne Mathematik nicht sehen kann.
Man braucht eine Karte: Der „No-Vektor“ ist spezifisch für jede KI-Familie. Man kann den Sicherheitskompass einer Llama-KI nicht direkt verwenden, um eine Qwen-KI zu testen; man muss das Werkzeug für jeden spezifischen Typ neu kalibrieren.
Es ist ein Signal, keine Garantie: Ein hoher Score bedeutet, dass die KI darüber nachdenkt, zu verweigern, aber es garantiert nicht, dass sie in jeder denkbaren Situation auch wirklich jedes Mal verweigert.

Zusammenfassung

Kurz gesagt, die Autoren haben einen Tachometer für KI-Sicherheit gebaut. Anstatt zu warten, bis das Auto abstürzt (die schlechte Ausgabe), messen sie die Vibration des Motors (die internen Gedanken), um vorherzusagen, ob der Fahrer die Kontrolle verlieren wird. Es ist schneller, günstiger und liefert einen klaren 0–100 Score darüber, wie gut eine KI darauf trainiert ist, auf gefährliche Anfragen mit „Nein“ zu antworten.

Technisches Resümee: RAS: Messung der LLM-Sicherheit durch Refusal Alignment

Problemstellung

Die aktuelle Sicherheitsbewertung für Large Language Models (LLMs) stützt sich überwiegend auf Output-basierte Paradigmen. Diese Methoden beinhalten das Abfragen von Modellen mit unsicheren oder Jailbreak-Prompts und die Beurteilung, ob die generierten Antworten gegen Sicherheitsrichtlinien verstoßen, unter Verwendung von menschlicher Annotation, regelbasierten Filtern oder LLM-as-a-Judge-Klassifikatoren. Obwohl diese effektiv sind, identifizieren die Autoren vier kritische Einschränkungen dieses Ansatzes:

Kosten: Es ist rechenintensiv, da eine vollständige Generierung und oft ein sekundäres Judge-Modell erforderlich ist.
Sensitivität: Die Ergebnisse reagieren hochsensibel auf Dekodierungsparameter, Refusal-Templates und das spezifische Verhalten des Judge-Modells.
Veralterung (Staleness): Benchmarks werden veraltet, sobald Modelle gegen bekannte Fragenbanken trainiert wurden.
Latenz: Output-basierte Sicherheit ist ein Signal auf späterer Stufe; sie bestätigt zwar, ob ein Modell eine Verweigerung (Refusal) zeigt, versäumt es jedoch zu offenbaren, wie das Modell die Anfrage intern verarbeitet oder ob es während der Berechnung in einen verweigerungsbezogenen Zustand eintritt.

Das Paper postuliert, dass Sicherheit früher auf der Repräsentationsebene bewertet werden kann, indem Erkenntnisse genutzt werden, dass das Verweigerungsverhalten durch spezifische Richtungen in den verborgenen Aktivitätsräumen vermittelt wird.

Methodik: SafeVec und RAS

Die Autoren schlagen SafeVec vor, ein White-Box-Evaluierungsverfahren, das Sicherheit durch die Analyse interner verborgener Zustände misst, anstatt durch generierte Outputs. Die zentrale Metrik, die aus diesem Verfahren abgeleitet wird, ist der Refusal Alignment Score (RAS), ein kalibrierter Sicherheitswert von 0–100.

Systemmodell

Die Methode setzt Zugriff auf die verborgenen Zustände (Residual-Stream-Aktivierungen in jeder Decoder-Schicht) des Zielmodells voraus, was sie für Open-Weight-Modelle und interne Audits anwendbar macht, jedoch nicht für geschlossene APIs. Die Evaluierung nutzt drei Prompt-Sets:

Sicher (S): Harmlose Benutzeranfragen.
Unsicher (U): Direkte Anfragen nach schädlichen Inhalten.
Jailbreak (J): Unsichere Intentionen, die in adversarielle oder Rollenspiel-Instruktionen verpackt sind.

Das Verfahren erfordert ein sicherheits-ausgerichtetes Referenzmodell ( $M_{ref}$ ) aus derselben Architekturfamilie und ein Kalibrierungsset ( $C_a$ ), das Modelle mit variierenden Sicherheitsstufen (ausgerichtet, unzensiert und abliteriert) enthält.

Die SafeVec-Pipeline

Die Methode durchläuft fünf Stufen:

Extraktion der Verweigerungsrichtung (Refusal Direction Extraction):
Für jede Schicht $l$ im Referenzmodell berechnen die Autoren die mittlere Residual-Stream-Aktivierung für sichere ( $\mu^{safe}_l$ ) und unsichere ( $\mu^{unsafe}_l$ ) Prompts. Der schichtweise Verweigerungsvektor ( $r_l$ ) ist definiert als der Differenzvektor:
$r_l = \mu^{unsafe}_l - \mu^{safe}_l$
Dieser Vektor erfasst die Verschiebung in der Repräsentation, wenn das Modell eine unsichere Anfrage im Vergleich zu einer sicheren verarbeitet.
Auswahl des Schichtfensters (Layer Window Selection):
Nicht alle Schichten sind gleichermaßen informativ. Die Autoren wählen ein kontinuierliches Schichtfenster ( $W$ ), in dem die Separationslücke zwischen den Cosinus-Mitteln von sicher und unsicher groß und stabil ist. Dieses Fenster wird mittels Kalibrierungsmodellen validiert, um sicherzustellen, dass sicherere Modelle unter unsicheren Prompts eine höhere Ausrichtung auf die Verweigerungsrichtung aufweisen.
Scoring der Kalibrierungsmodelle:
Für die Modelle im Kalibrierungsset berechnet die Methode die durchschnittlichen Cosinus-Ähnlichkeiten zwischen ihren verborgenen Zuständen und der Referenz-Verweigerungsrichtung ( $\hat{r}_l$ ) sowohl für unsichere als auch für Jailbreak-Prompts. Diese Rohwerte messen den Grad der internen Verweigerungs-Ausrichtung.
RAS-Kalibrierung:
Um die Roh-Cosinus-Ähnlichkeiten auf eine vergleichbare 0–100 Skala abzubilden, führen die Autoren eine mehrstufige Kalibrierung durch:
- Refusal Drop: Berechnung des Abfalls der Ausrichtung relativ zum Referenzmodell.
- Bad-Anchor Scale: Schätzung einer Basis-"Bad"-Skala ( $b_a$ ) unter Verwendung von Modellen mit hohem Risiko (Modelle mit hoher Attack Success Rate).
- Severity Slope: Bestimmung architekturspezifischer Schweregrad-Steigungen ( $\alpha_a$ ) durch Korrelation normalisierter Verweigerungs-Abfälle mit Anstiegen der Attack Success Rate (ASR).
- Finale Abbildung: Der ausgerichtete Abfall wird unter Verwendung einer Sigmoid-Funktion auf einen 0–100 Score abgebildet:
  $RAS(M) = \frac{100}{1 + \exp(\beta(d_{aligned}(M) - c))}$
  Ein höherer RAS deutet auf eine stärkere Verweigerungs-Ausrichtung und eine höhere geschätzte Sicherheit hin.
Scoring des Zielmodells:
Zielmodelle werden bewertet, indem ihre Ausrichtung auf die vorab kalibrierte Verweigerungsrichtung berechnet und die familienspezifische RAS-Abbildung angewendet wird.

Zentrale Beiträge

SafeVec: Ein White-Box-Evaluierungsverfahren für die Sicherheit auf Repräsentationsebene basierend auf Verweigerungs-Ausrichtung.
RAS (Refusal Alignment Score): Ein kalibrierter Metrik, der die interne Ausrichtung verborgener Zustände in einen standardisierten 0–100 Sicherheitswert übersetzt.
Empirische Validierung: Demonstration, dass RAS zwischen sicher ausgerichteten, unzensierten und abliterierten Modellen über drei große Familien (Llama, Gemma und Qwen) hinweg zuverlässig unterscheidet.

Experimentelle Ergebnisse

Die Autoren evaluierten RAS auf den Familien Llama-3.1-8B, Gemma-3-4B und Qwen2.5-7B.

Separation auf Repräsentationsebene (RQ1): Sichere und unsichere Modelle zeigen eine klare Trennung in der Ausrichtung auf die Verweigerungsrichtung. In ausgewählten Schichtfenstern zeigen sicher ausgerichtete Modelle unter unsicheren und Jailbreak-Prompts konsistent eine höhere Cosinus-Ähnlichkeit zur Verweigerungsrichtung im Vergleich zu unzensierten oder abliterierten Varianten.
Korrelation mit dem Output-Verhalten (RQ2): RAS korreliert stark mit der Output-basierten Attack Success Rate (ASR). Modelle mit hohem RAS weisen generell eine niedrige ASR auf. Während Rohwerte breite Trends widerspiegeln, bewahrt das kalibrierte RAS diese Trends, während es gleichzeitig eine standardisierte Skala bereitstellt.
Generalisierung (RQ3): Das Verfahren generalisiert über verschiedene Modellfamilien hinweg. Obwohl Rohwerte nicht direkt über Architekturen hinweg vergleichbar sind, ermöglicht die familienspezifische Kalibrierung RAS, ausgerichtete Modelle konsistent über unsichere Varianten zu ranken.
Effizienz (RQ4): RAS ist signifikant schneller als eine Judge-basierte Evaluierung. Da es nur Forward-Passes ohne Antwortgenerierung oder externes Judging erfordert, ist es in der experimentellen Einstellung der Autoren im Durchschnitt etwa 216,88-mal schneller.

Bedeutung und Ansprüche

Das Paper behauptet, dass Refusal Alignment ein effizientes Signal für die White-Box-Sicherheitsbewertung von LLMs bietet.

Komplementäre Rolle: Die Autoren betonen explizit, dass RAS nicht dazu gedacht ist, behavioral Evaluation Frameworks für geschlossene Systeme zu ersetzen oder ein definitiver Beweis für die Sicherheit bei jeder spezifischen Anfrage zu sein. Stattdessen dient es als schnelles Metrik auf Repräsentationsebene für den Vergleich sicher ausgerichteter Modellvarianten, Post-Training-Vergleiche und die Durchführung von Sicherheits-Regressionstests.
Früherkennung: Durch die Messung interner Zustände erkennt RAS geschwächtes Verweigerungsverhalten, bevor das Modell schädliche Ausgaben generiert, und bietet ein Signal, das unabhängig von Dekodierungsparametern und Judge-Biases ist.
Limitierungen: Die Autoren räumen ein, dass RAS White-Box-Zugriff (verborgene Zustände) erfordert und innerhalb von Modellfamilien kalibriert wird. Zudem wird vorausgesetzt, dass Sicherheit über eine spezifische Verweigerungsrichtung kodiert ist; falls zukünftige Modelle grundlegend andere interne Sicherheitsmechanismen nutzen, muss die Verweigerungsrichtung neu geschätzt werden.

Das Werk kommt zu dem Schluss, dass, obwohl die Output-basierte Evaluierung für die finale Verifizierung vor dem Deployment notwendig bleibt, Metriken auf Repräsentationsebene wie RAS eine skalierbare, effiziente und robuste Alternative für das schnelle Auditing von Open-Weight-Modellen bieten.