🤖 AI

Internalizing Safety Understanding in Large Reasoning Models via Verification

Dieser Beitrag stellt Safety Internal (SInternal) vor, ein Rahmenwerk, das die Robustheit von Large Reasoning Models gegenüber Jailbreaks verbessert, indem es sie durch Selbstverifizierungsaufgaben schult, Sicherheitsverständnis zu internalisieren, und dadurch die Ausrichtung von bloßer Verhaltenskonformität hin zu einer intrinsischen Sicherheitsbewertung verschiebt.

Ursprüngliche Autoren: Yi Zhang, Yuxin Chen, Leheng Sheng, Dongcheng Zhang, Chaochao Lu, Xiang Wang, An Zhang

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yi Zhang, Yuxin Chen, Leheng Sheng, Dongcheng Zhang, Chaochao Lu, Xiang Wang, An Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Der „Gute Schauspieler" versus der „Sicherheitsinspektor"

Stellen Sie sich vor, Sie stellen einen brillanten Schauspieler (ein Large Reasoning Model) ein, um ein Theaterstück aufzuführen. Ihr Ziel ist es, sicherzustellen, dass er auf der Bühne niemals etwas Gefährliches oder Schädliches sagt.

Der alte Weg (antwortenzentrierte Ausrichtung):
Derzeit trainieren wir diese Schauspieler, indem wir ihnen Skripte zeigen, in denen sie die „richtigen" Dinge sagen. Wir sagen ihnen: „Wenn jemand nach einem Bombenrezept fragt, antworte: 'Das kann ich nicht tun'."

Der Fehler: Der Schauspieler lernt, die Verweigerung zu imitieren. Er merkt sich das Skript. Aber er versteht nicht wirklich, warum das Herstellen einer Bombe schlecht ist. Wenn ein cleverer Bösewicht (ein „adversarial jailbreak") den Schauspieler dazu bringt, zu glauben, das Stück sei ein „Wissenschaftsexperiment" oder eine „ Filmszene", lässt der Schauspieler seine Wachsamkeit fallen und sagt trotzdem das Gefährliche. Er befolgt die Regeln, hat aber keinen inneren Sicherheitsalarm.

Die neue Idee (SInternal):
Die Autoren dieses Papiers schlagen einen anderen Ansatz vor. Anstatt den Schauspieler nur darauf zu trainieren, wie man „Nein" sagt, trainieren sie ihn, sein eigener Sicherheitsinspektor zu werden.

Die Lösung: Dem Modell beibringen, „die eigene Arbeit zu überprüfen"

Das Papier stellt einen Rahmen vor, der SInternal (Safety Internal) heißt. So funktioniert er, Schritt für Schritt:

Das Modell zuerst sprechen lassen: Anstatt dem Modell nur sichere Antworten zu zeigen, lassen wir das Modell seine eigenen Antworten auf verschiedene Fragen generieren, einschließlich solcher, bei denen es versehentlich etwas Unsicheres sagen könnte.
Die Expertenprüfung: Wir holen einen „Super-Experten" (eine andere KI oder einen Menschen) hinzu, um die Antwort des Modells zu prüfen. Der Experte sagt nicht nur „Sicher" oder „Unsicher". Er schreibt einen detaillierten Bericht, der erklärt, warum eine Antwort gefährlich ist.
- Analogie: Stellen Sie sich vor, ein Schüler schreibt einen Aufsatz. Statt nur eine Note zu erhalten, schreibt ein Lehrer eine Randnotiz: „Dieser Absatz ist gefährlich, weil er Selbstverletzung fördert, auch wenn er wie eine Geschichte klingt."
Lernen zu verifizieren: Das Modell wird dann darauf trainiert, diese Expertenberichte zu lesen und zu lernen, wie man sie selbst schreibt. Das Ziel ist nicht, die „sichere" Antwort auswendig zu lernen; das Ziel ist es zu lernen, wie man eine Antwort kritisiert und fragt: „Warte, ist das wirklich sicher? Warum oder warum nicht?"

Das magische Ergebnis: „Internalisierung" der Sicherheit

Indem es lernt, seine eigene Arbeit zu verifizieren, entwickelt das Modell ein inhärentes Sicherheitsverständnis.

Davor: Das Modell war wie ein Roboter, der eine Liste mit „Do's and Don'ts" befolgte. Wenn die Liste getäuscht wurde, brach der Roboter zusammen.
Danach: Das Modell ist wie ein Mensch, der das Konzept der Gefahr wirklich versteht. Selbst wenn ein Trickbetrüger versucht, eine gefährliche Anfrage umzuformulieren, greift der interne „Sicherheitsinspektor" des Modells ein, sagt: „Halt, das ist tatsächlich schädlich", und stoppt den Prozess.

Was die Experimente zeigten

Die Forscher testeten dies an mehreren leistungsstarken KI-Modellen und stellten Folgendes fest:

Bessere Abwehr gegen Tricks: Die neue Methode war viel besser darin, „Jailbreaks" (Tricks, die Sicherheitsregeln umgehen sollen) zu widerstehen, als die alten Methoden. Sie merkte sich nicht nur Verweigerungen; sie verstand die Prinzipien der Sicherheit.
Die „Verifizierungs"-Fähigkeit überträgt sich: Obwohl das Modell nur darauf trainiert wurde, Antworten zu prüfen (nicht unbedingt, sie zu generieren), wurde es auch viel besser darin, sichere Antworten zu generieren. Es ist wie ein Fußballtrainer, der großartig darin ist, schlechte Spielzüge zu erkennen; sobald er selbst spielt, vermeidet er instinktiv, diese schlechten Spielzüge selbst zu machen.
Ein stärkeres Fundament für Reinforcement Learning: Als sie diese neue Methode mit fortschrittlichen Trainingstechniken (Reinforcement Learning) kombinierten, waren die Ergebnisse noch besser. Es scheint, dass ein Modell, das Sicherheit versteht, viel einfacher langfristig sicher zu trainieren ist.
Keine „Überverweigerung": Manchmal macht Sicherheitstraining Modelle so ängstlich, dass sie auf nichts antworten (selbst auf harmlose Fragen). Diese neue Methode hielt die Modelle intelligent und hilfreich und verweigerte nur dann die Antwort, wenn sie wirklich sicher waren, dass etwas unsicher war.

Das Fazit

Das Papier argumentiert, dass wir KI-Modellen nicht nur beibringen sollten, sicher zu handeln (Imitation). Wir sollten ihnen beibringen, über Sicherheit zu denken (Verständnis).

Indem wir diese Modelle dazu trainieren, als ihre eigenen Kritiker zu agieren und ihre eigenen Antworten zu verifizieren, geben wir ihnen ein „Sicherheitsgewissen". Das macht es viel schwieriger, sie zu täuschen, und viel zuverlässiger in der realen Welt, ohne sie weniger nützlich oder intelligent zu machen.

Technische Zusammenfassung: Internalisierung des Sicherheitsverständnisses in großen Schlussfolgerungsmodellen durch Verifikation

1. Problemstellung

Große Schlussfolgerungsmodelle (Large Reasoning Models, LRMs) nutzen explizite Chain-of-Thought (CoT)-Prozesse, um ihre Schlussfolgerungsfähigkeiten zu verbessern, doch diese Kopplung von Schlussfolgerung und endgültiger Antwort verstärkt das Potenzial für reale Sicherheitsrisiken. Aktuelle Ausrichtungsparadigmen sind überwiegend antwortenzentriert und stützen sich auf Supervised Fine-Tuning (SFT) mit von Experten kuratierten sicheren Trajektorien oder Reinforcement Learning (RL) mit überprüfbaren Sicherheitsbelohnungen. Diese Methoden optimieren Modelle so, dass die endgültigen Antworten externen Sicherheits specifications entsprechen.

Die Autoren argumentieren jedoch, dass dieser Ansatz weitgehend behavioristisch und oberflächlich bleibt. Er optimiert auf Konformität, ohne das intrinsische Sicherheitsverständnis des Modells zu formen. Folglich fehlt es scheinbar ausgerichteten Modellen oft an der Fähigkeit zu verifizieren, ob und warum eine Ausgabe Sicherheits specifications erfüllt. Diese Lücke manifestiert sich in zwei kritischen Versagen:

Verwundbarkeit: Modelle können durch adversariale Jailbreaks gekapert werden, die konformitätsfördernde CoT-Prozesse induzieren, wodurch das Modell dazu gebracht wird, einen Prompt als „sicher" zu kennzeichnen, während es gleichzeitig schädliche Antworten generiert.
Schlechte Generalisierung: Modelle imitieren lediglich sicheres Verhalten, ohne das zugrundeliegende Konzept der Sicherheit zu erlernen, was zu brüchigen Abwehrmechanismen gegen Out-of-Domain (OOD)- und schlussfolgerungsspezifische Jailbreaks führt.

Empirische Analysen zeigen, dass Standard-Ausrichtung nicht zuverlässig Verifikationsfähigkeiten hervorbringt; in einigen Fällen schneiden ausgerichtete Modelle bei binären Sicherheitsverifikationsaufgaben schlechter ab als zufällige Baselines.

2. Methodik: Safety Internal (SInternal)

Um die Entkopplung von Sicherheitsgenerierung und Sicherheitsverständnis zu adressieren, schlagen die Autoren Safety Internal (SInternal) vor, ein Framework, das darauf abzielt, Sicherheits specifications zu internalisieren, indem LRMs ausschließlich auf Sicherheitsverifikationsaufgaben trainiert werden.

Kernphilosophie

Anstatt Modellen beizubringen, was sie ausgeben sollen (durch Nachahmen sicherer Trajektorien), lehrt SInternal Modelle, wie sie ihre eigenen Ausgaben bewerten. Die zentrale Hypothese ist, dass das Erlernen der Verifikation eine starke Generalisierung für die Sicherheit von Antworten bewirkt und eine robustere Grundlage für die Ausrichtung schafft als bloße behavioristische Nachahmung.

Framework-Komponenten

Die Methodik besteht aus zwei Hauptphasen:

A. Internalisierung der Sicherheit durch Verifikationstraining

Selbstantwort-Generierung: Für jeden sicherheitsrelevanten Prompt $x$ sampelt das Policy-Modell $\pi_\theta$ seine eigenen Antworten (einschließlich potenziell unsicherer), um sicherzustellen, dass das Modell Sicherheitsgrenzen lernt, die für seine tatsächliche Antwortverteilung relevant sind.
Konstruktion von Experten-Verifikationstrajectorien: Ein Expertenmodell (z. B. Claude-4-Sonnet) bewertet die gesampelten Antworten anhand von Sicherheits specifications $S$ $S$ . Es generiert eine Verifikationstrajectorie $c_k$ $c_{k}$ , die Folgendes umfasst:
- Kritik-Reasoning ( $z_{ver,k}$ ): Eine detaillierte Analyse potenzieller Sicherheitsverletzungen.
- Binäres Urteil ( $v_k$ ): Ein finales Sicherheitslabel (Sicher/Unsicher).
Supervised Fine-Tuning (SFT): Das Policy-Modell wird durch überwachtes Lernen auf diesen Experten-Verifikationstrajectorien trainiert. Das Ziel ist es, die Wahrscheinlichkeit zu maximieren, die Verifikations-Reasoning und das Urteil zu generieren, bedingt durch den Prompt, die eigene Antwort des Modells und die Sicherheits specifications:
$L_{SInternal} = -E_{(x,y,c) \sim D_{ver}} [\log \pi_\theta(c | S, x, y)]$
Dies zwingt das Modell, die Logik zu internalisieren, warum eine Antwort unsicher ist.

B. Reinforcement Learning mit überprüfbaren Belohnungen (RLVR)

Aufbauend auf der SInternal-Initialisierung optimiert das Framework das Modell weiter mittels Group Relative Policy Optimization (GRPO).

Belohnungsdesign: Das Modell generiert eine Gruppe von Antworten. Ein externer Verifizierer liefert binäre Belohnungen basierend darauf, ob die Antwort sicher ist ( $V_{safe}$ ) und ob es sich um eine Verweigerung handelt ( $V_{refuse}$ ).
Ziel: Das Modell maximiert die erwartete gruppenrelative Belohnung und nutzt das internalisierte Sicherheitsverständnis, um Belohnungssignale konsistenter zu interpretieren und höhere Ausrichtungs-Obergrenzen zu erreichen.

3. Hauptbeiträge

Identifizierung der Verifikationslücke: Die Studie liefert empirische Belege dafür, dass antwortenzentrierte Ausrichtung die intrinsischen Fähigkeiten zur Sicherheitsverifikation nicht verbessert und Modelle oft unfähig lässt, unsichere Ausgaben, die sie selbst generieren, korrekt zu identifizieren.
SInternal-Framework: Ein neues Trainingsparadigma, das den Fokus von der Generierung sicherer Antworten auf deren Verifikation verlagert. Durch das ausschließliche Training auf Verifikationstrajectorien, die aus den eigenen Generierungen des Modells abgeleitet wurden, internalisiert die Methode Sicherheits specifications als intrinsische Schlussfolgerungsfähigkeit.
Überlegene Initialisierung für RL: Die Studie zeigt, dass SInternal eine überlegene Initialisierung für Reinforcement Learning im Vergleich zu Standard-SFT darstellt. Mit SInternal initialisierte Modelle erreichen nach RL-Optimierung eine signifikant höhere Robustheit gegen adversariale Angriffe.
Mechanismusanalyse: Die Autoren zeigen, dass SInternal proaktive Verifikation während des Schlussfolgerungsprozesses auslöst. Das Modell überprüft spontan die Sicherheit seines potenziellen Verhaltens, bevor es eine endgültige Antwort festlegt, was zu einer tieferen Ausrichtung führt.

4. Experimentelle Ergebnisse

Experimente wurden an drei Open-Source-LRMs (DeepSeek-R1-Distill-Qwen-7B/14B und DeepSeek-R1-Distill-Llama-8B) über Sicherheits-, Überverweigerungs- und allgemeine Schlussfolgerungs-Benchmarks hinweg durchgeführt.

Robustheit gegen Jailbreaks: SInternal schneidet bei Out-of-Distribution (OOD)- und schlussfolgerungsspezifischen Jailbreak-Benchmarks (z. B. WildJailbreak, Fortress, HCoT) deutlich besser ab als Baselines (SafeChain, STAR-1). Bemerkenswert ist, dass SInternal in Kombination mit RL die einzige Methode ist, die effektiv gegen HCoT (Hijacking CoT) verteidigt, einen State-of-the-Art-Jailbreak, der Schlussfolgerungsspuren ausnutzt.
Verifikationsfähigkeit: Mit SInternal trainierte Modelle zeigen erhebliche Verbesserungen bei den F1-Scores für Sicherheitsverifikation (z. B. Anstieg von ~48 % auf ~86 % bei DS-7B), wohingegen antwortenzentrierte Baselines kaum bis keine Verbesserungen zeigen.
Generalisierung: Die Methode zeigt eine starke Generalisierung auf nicht gesehene Jailbreaks, was darauf hindeutet, dass das Erlernen der Prinzipien der Sicherheitsverifikation effektiver ist als das Auswendiglernen von Verweigerungsmustern.
Erhaltung der Nützlichkeit: SInternal behält eine wettbewerbsfähige Leistung bei allgemeinen Schlussfolgerungs-Benchmarks (MATH, AIME) bei und vermeidet übermäßige Überverweigerung (gemessen durch XSTest), wodurch das Gleichgewicht zwischen Sicherheit und Nützlichkeit erhalten bleibt.
Dateneffizienz: SInternal erreicht eine höhere Sicherheitsleistung mit nur 50 % der Trainingsdaten, die für SFT-Baselines erforderlich sind, was darauf hindeutet, dass die Internalisierung von Schlussfolgerungslogik dateneffizienter ist als das Nachahmen von Ausgaben.

5. Bedeutung und Behauptungen

Die Studie behauptet einen Paradigmenwechsel in der KI-Sicherheitsausrichtung: den Übergang von antwortenzentrierter Ausrichtung (Nachahmen sicheren Verhaltens) zu intrinsischem Sicherheitsverständnis (explizites Nachdenken über Sicherheitsprinzipien).

Fundamentale Robustheit: Die Autoren argumentieren, dass die Internalisierung des Sicherheitsverständnisses eine robustere Grundlage für die Ausrichtung schafft als das bloße Nachahmen sicheren Verhaltens. Dies wird durch die Fähigkeit des Modells belegt, während des Schlussfolgerungsprozesses spontan Verifikation auszulösen, und durch seine überlegene Resistenz gegen adversariales CoT-Kapern.
Entkopplung von Generierung und Verifikation: Die Arbeit hebt hervor, dass sichere Generierung nicht automatisch zu Sicherheitsverständnis führt. Daher ist explizites Training auf Verifikation notwendig, um diese Lücke zu schließen.
Zukünftige Richtung: Während sich das aktuelle Framework auf die Verifikation nach der Generierung konzentriert, schlagen die Autoren vor, diese Fähigkeit auf dynamische Selbstverifikation während des Schlussfolgerungsprozesses auszudehnen, als eine kritische zukünftige Richtung. Sie betonen, dass es, da Modelle ein tieferes intrinsisches Sicherheitsverständnis entwickeln, von größter Bedeutung für eine verantwortungsvolle Governance ist, sicherzustellen, dass ihre interne Verifikationslogik mit menschlichen Werten übereinstimmt.

Die Studie kommt zu dem Schluss, dass die Ausstattung von LRMs mit der Fähigkeit, die Sicherheit ihrer eigenen generierten Antworten zu überprüfen, ein bedeutender Schritt hin zur Erreichung intrinsischer Sicherheit ist, insbesondere in hochriskanten Umgebungen, in denen Robustheit nicht verhandelbar ist.