🤖 machine learning

Constitutional On-Policy Safe Distillation

Dieses Paper stellt die Constitutional On-Policy Safe Distillation (COPSD) vor, eine Methode, die den schwerwiegenden Kollaps und die reduzierte Ausdrucksstärke adressiert, welche in bisherigen Ansätzen der Safety-Distillation beobachtet wurden, indem sie das Teacher-Modell mittels Cross-SFT kalibriert und eine konstitutionsbedingte On-Policy-Distillation einsetzt, um über 12 Benchmarks hinweg ein überlegenes Safety-Helpfulness-Trade-off zu erreichen.

Ursprüngliche Autoren: Ming Wen, Yuxuan Liu, Kun Yang, Yunhao Feng, Zhuoer Xu, Yuhao Sun, Shiwen Cui, Xiang Zheng, Xingjun Ma, Yu-Gang Jiang

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ming Wen, Yuxuan Liu, Kun Yang, Yunhao Feng, Zhuoer Xu, Yuhao Sun, Shiwen Cui, Xiang Zheng, Xingjun Ma, Yu-Gang Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem KI beibringen, sicher zu sein, ohne langweilig zu werden

Stellen Sie sich vor, Sie trainieren einen sehr klugen, gesprächigen Roboter (den „Schüler“), damit er hilfreich, aber auch sicher ist. Sie möchten, dass er Fragen zur Welt beantwortet, ohne jemals etwas Gefährliches oder Beleidigendes zu sagen.

Die Forscher fanden heraus, dass eine beliebte Methode, um Robotern Sicherheit beizubringen, sie eigentlich lächerlich vorsichtig machte. Anstatt nuancierte, durchdachte Antworten zu geben, begannen die Roboter, kurze, roboterhafte „Ich kann dabei nicht helfen“-Antworten auf fast alles zu geben. Sie wurden zwar sicher, aber auch nutzlos.

Dieses Paper stellt eine neue Methode namens COPSD vor, die dies behebt. Es lehrt den Roboter, sicher zu sein, während er gleichzeitig seine Persönlichkeit, Kreativität und Fähigkeit zur Erklärung behält.

Das Problem: Die Falle des „übervorsichtigen Lehrers“

Um das Problem zu verstehen, stellen Sie sich folgendes Klassenzimmerszenario vor:

Der alte Weg (OPSD): Sie haben einen „Lehrer“-Roboter, der die Sicherheitsregeln (die „Verfassung“) kennt. Der „Schüler“-Roboter versucht, den Lehrer zu kopieren.
Der Fehler: Wenn der Lehrer angewiesen wird, sicher zu sein, bekommt er Angst. Er beginnt, sehr kurze, langweilige Antworten zu geben wie: „Das ist gefährlich. Tu es nicht.“ Er hört auf zu erklären, warum etwas schlecht ist oder sichere Alternativen anzubieten.
Der Zusammenbruch: Der Schüler-Roboter schaut auf den Lehrer und denkt: „Oh, um sicher zu sein, muss ich nur kurz sein und ‚Nein‘ sagen.“ Der Schüler kopiert dieses Verhalten perfekt.
- Das Ergebnis: Der Roboter wird zu einer „Sicherheitssteuer“. Er ist so sehr darauf bedacht, keinen Fehler zu machen, dass er sich weigert, hilfreiche Fragen zu beantworten, oder nur einseitige Antworten gibt, die eigentlich nicht hilfreich sind.

Die Entdeckung des Papers:
Die Forscher erkannten, dass dies nicht daran lag, dass der Roboter „schummelte“, indem er Antworten kopierte (wie bei Matheaufgaben). Stattdessen war es ein geometrisches Problem.

Stellen Sie sich vor, Sicherheit und „Expressivität“ (gesprächig und hilfreich zu sein) sind zwei Richtungen auf einer Landkarte.
In einer perfekten Welt könnten Sie nach „Norden“ (Sicherheit) gehen, ohne nach „Westen“ (Hilfsbereitschaft) zu wandern.
Aber in dem Gehirn dieses Roboters ist die Karte geneigt. Wenn man den Roboter stark in Richtung „Sicherheit“ drückt, zwingt die Neigung ihn dazu, rückwärts in die „Hilflosigkeit“ zu gleiten. Der Druck, sicher zu sein, erdrückte versehentlich seine Fähigkeit, expressiv zu sein.

Die Lösung: COPSD (Die Zwei-Schritte-Behebung)

Die Autoren schlagen einen zweistufigen Trainingsprozess vor, um diese geneigte Landkarte zu entwirren.

Schritt 1: „Cross-SFT Cold-Start“ (Kalibrierung des Lehrers)

Bevor der Schüler mit dem Lernen beginnt, muss zuerst der Lehrer korrigiert werden.

Die Analogie: Stellen Sie sich vor, der Lehrer ist ein strenger Elternteil, der nur weiß, wie man „Nein“ sagt. Die Forscher geben dem Lehrer einen speziellen Trainingskurs. Sie zeigen dem Lehrer Beispiele dafür, wie man „Nein“ stilvoll sagt – indem man erklärt, warum etwas schlecht ist und eine sichere Alternative anbietet, während man gleichzeitig freundlich und detailliert bleibt.
Das Ergebnis: Der Lehrer lernt, sicher zu sein, ohne ein kurzer, langweiliger Roboter zu sein. Er lernt, dass Sicherheit und Hilfsbereitschaft koexistieren können.

Schritt 2: On-Policy Distillation (Der Schüler lernt vom korrigierten Lehrer)

Nun beginnt der Schüler-Roboter, von diesem neu kalibrierten Lehrer zu lernen.

Die Analogie: Der Schüler beobachtet, wie der Lehrer diese perfekten, sicheren und dennoch detaillierten Antworten gibt. Da der Lehrer nicht mehr nur „Nein“ sagt, lernt der Schüler, dass er sicher und detailliert sein kann.
Die Magie: Der Schüler kopiert nicht nur die Worte; er lernt das Muster, sicher zu sein, ohne seine eigene Stimme zu verlieren.

Was passierte, als sie es testeten?

Die Forscher testeten diese neue Methode (COplets COPSD) gegen andere populäre Methoden in 12 verschiedenen Tests.

Sicherheit vs. Hilfsbereitschaft:
- Andere Methoden: Wenn sie die Roboter sicherer machten, wurden die Roboter viel weniger hilfreich (die „Sicherheitssteuer“ stieg an).
- COPSD: Die Roboter wurden sicherer und blieben gleichzeitig hilfreich. Sie erreichten eine „Pareto-Verbesserung“, was bedeutet, dass sie besser in der Sicherheit wurden, ohne in anderen Bereichen schlechter zu werden. Tatsächlich waren sie sicherer als ein viel größeres, teureres Roboter-Modell.
Allgemeine Intelligenz:
- Andere Methoden: Beim Versuch, die Roboter sicher zu machen, sank ihre Fähigkeit, Matheaufgaben zu lösen oder Logikrätsel zu knacken, oft erheblich.
- COPSD: Die Roboter behielten ihre Mathe- und Denkfähigkeiten fast perfekt bei. Die „Sicherheitssteuer“ auf ihre Gehirnleistung war fast null.
Die Decke durchbrechen:
- Normalerweise kann ein Schüler nicht besser sein als der Lehrer. Aber weil der COPSD-Lehrer so gut kalibriert war, lernte der Schüler tatsächlich, besser zu sein als der Lehrer im Ausbalancieren von Sicherheit und Hilfsbereitschaft.

Zusammenfassung in einem Satz

Das Paper zeigt, dass der Versuch, KI-Sicherheit zu lehren, die KI oft versehentlich langweilig und unhilfreich macht, weil die Trainingsmethode Sicherheit und Hilfsbereitschaft in die falsche Richtung drängt; ihre neue Methode, COPSD, korrigiert zuerst den Lehrer zu einem „sicher expressiven“ Modell, wodurch der Schüler Sicherheit lernen kann, ohne seine Persönlichkeit oder Klugheit zu verlieren.

Technisches Resümee: Constitutional On-Policy Safe Distillation (COPSD)

1. Problemstellung

On-Policy Self-Distillation (OPSD) hat sich als effizientes Post-Training-Paradigma für die Ausrichtung von Foundation-Modellen etabliert, indem es einen Teacher nutzt, der mit privilegierten Informationen angereichert ist, um eine dichte Supervision auf Token-Ebene bereitzustellen. Während dies bei verifizierbaren Reasoning-Aufgaben effektiv ist, deuten jüngste Studien darauf hin, dass OPSD in diesen Domänen unter einem schweren „distributionalen Kollaps“ leidet, bei dem Studenten oberflächliche Korrelationen ausnutzen, um Divergenz-Strafen zu minimieren.

Dieses Paper identifiziert, dass das Safety-Alignment eine distinkte und kritische Fehlermode für OPSD darstellt. Im Gegensatz zu Reasoning-Aufgaben, bei denen der Kollaps aus dem Abkürzungskopieren (Shortcut Copying) expliziter Zielantworten resultiert, basiert das Safety-Alignment auf High-Level-Konstitutionen (Prinzipien) statt auf expliziten Antworten. Die Pilotstudie der Autoren zeigt, dass Safety OPSD aufgrund eines „geometrischen Leckage“-Effekts kollabiert:

Teacher-Kontraktion: Die Konditionierung des Teachers auf Sicherheitskonstitutionen zwingt die Teacher-Distribution dazu, in ein Manifold aus kurzen, übermäßig konservativen und niedrig-entropischen Antworten zu kontrahieren.
Reverse KL-Amplifikation: Die standardmäßige Reverse KL-Divergenz, die bei der Distillation verwendet wird, verstärkt diese Kontraktion, indem sie jedes Token bestraft, das außerhalb des engen Supports des Teachers liegt.
Geometrische Leckage: In einem nicht-orthogonalen semantischen Raum, in dem „Sicherheit“ und „Expressivität“ gekoppelt sind, leckt der Gradientendruck, unsichere Regionen zu vermeiden, in die Dimension der Expressivität. Dies führt zu einer passiven Kontraktion von Antwortlänge, Diversität und Hilfsbereitschaft (Helpfulness), selbst wenn der Student keine privilegierten Informationen kopiert.

Die zentrale Herausforderung ist die „Safety Tax“: Ein robustes Safety-Alignment erfordert oft eine drastische Reduktion der allgemeinen Reasoning-Fähigkeiten und der Hilfsbereitschaft – ein Trade-off, den bestehende Methoden (wie GRPO oder Standard-OPD) nicht effektiv bewältigen können.

2. Methodik: Constitutional On-Policy Safe Distillation (COPSD)

Um die geometrische Verstrickung zwischen Sicherheit und Expressivität zu adressieren, schlagen die Autoren COPSD vor, ein zweistufiges Framework, das darauf ausgelegt ist, den Teacher vor der Distillation zu rekalibrieren.

Phase I: Cross-SFT Cold-Start

Die erste Stufe konzentriert sich auf die Konstruktion eines konstitutions-konditionierten Teachers, der den generativen Fußabdruck des Basismodells bewahrt, während er gleichzeitig Sicherheitsprinzipien einhält.

Datokonstruktion: Der Trainingskorpus besteht aus einer Mischung aus:
1. Originalen Trajektorien: Originale Queries und Antworten des Basismodells, ergänzt durch die Sicherheitskonstitution $c_{safe}$ . Dies verankert den Teacher in der nativen Expressivität des Modells.
2. Umgeschriebenen Safety-Trajektorien: Hochwertige Sicherheitsantworten, die von Frontier-Modellen generiert, durch LLM-Judges gefiltert, vom Basismodell umgeschrieben und so resampelt wurden, dass sie der ursprünglichen Antwortlängen-Verteilung entsprechen.
Zielsetzung: Dieser „Cross-SFT“-Prozess trainiert den Teacher darauf, Sicherheitsgrenzen zu internalisieren, ohne in ein uniform kurzes oder übermäßig vorsichtiges Output-Verhalten zu kollabieren, wodurch das Sicherheits-Manifold effektiv vom Expressivitäts-Manifold entkoppelt wird.

Phase II: Constitution-Conditioned On-Policy Distillation

Der rekalibrierte Teacher wird anschließend in eine On-Policy-Distillations-Pipeline integriert.

Rolle des Teachers: Der Teacher generiert dichte Token-Level-Supervisionssignale, die sowohl auf die Query $x$ als auch auf die Sicherheitskonstitution $c_{safe}$ konditioniert sind.
Distillationssignal: Die Student-Policy wird optimiert, um die Token-Level Reverse KL-Divergenz gegenüber dem konstitutions-konditionierten Teacher zu minimieren.
Advantage-Schätzung: Das Framework unterstützt zwei Varianten:
1. Standard Token-Level: Verlässt sich vollständig auf dichte Distillationssignale, um gruppenrelative Advantages zu berechnen.
2. Hybrid Outcome-Weighted: Kombiniert das dichte Token-Level-Signal mit einem externen Sequenz-Level Outcome-Reward (z. B. von einem Reward Model), um globale Sicherheitspräferenzen durchzusetzen und gleichzeitig das lokale Credit Assignment zu verfeinern.

3. Zentrale Beiträge

Diagnose des sicherheitsspezifischen Kollapses: Das Paper formalisiert das Scheitern von Safety OPSD als „geometrische Leckage“ unter Sicherheitsgrenzen in einem nicht-orthogonalen semantischen Raum. Es zeigt, dass dieser Kollaps sich vom „Shortcut Copying“ unterscheidet, das bei verifizierbaren Reasoning-Aufgaben beobachtet wird; er entsteht, weil der Sicherheitsdruck in die Dimension der Expressivität übergeht, bedingt durch die Kopplung von Sicherheit und linguistischen Priors.
COPSD-Framework: Die Autoren schlagen eine zweistufige Lösung vor, die mittels Cross-SFT Cold-Start die Teacher-Distribution vor der Distillation kalibriert. Dieser Ansatz mildert die Entanglement zwischen Sicherheit und Expressivität ab und ermöglicht es dem Teacher, dichte Supervision zu leisten, ohne den Studenten in ein niedrig-diverses, übermäßig vorsichtiges Regime zu zwingen.
Empirische Validierung: Umfangreiche Experimente auf 12 Benchmarks (die Sicherheit, situative Sicherheit und allgemeines Reasoning abdecken) zeigen, dass COPSD im Vergleich zu State-of-the-Art-Baselines (GRPO, OPD, Safe-RLHF-V) einen überlegenen Trade-off zwischen Sicherheit und Hilfsbereitschaft erreicht.

4. Experimentelle Ergebnisse

Sicherheit vs. Hilfsbereitschaft: Auf Benchmarks wie BeaverTails-V und SPA-VL erreichen COPSD-Varianten im Vergleich zu Baselines signifikant höhere Win-Rates sowohl in Bezug auf Sicherheit als auch auf Hilfsbereitschaft. Während beispielsweise GRPO die Sicherheit verbessert, verursacht es oft einen schweren Einbruch der Hilfsbereitschaft (die „Safety Tax“). COPSD-Hybrid bewahrt eine robuste Effektivität bei gleichzeitig höheren Sicherheitsgrenzen.
Erhalt allgemeiner Fähigkeiten: COPSD reduziert die „Alignment Tax“ auf allgemeines Reasoning erheblich. Auf MathVista begrenzt COPSD den Verlust im Reasoning auf ~2,1 %, während GRPO einen katastrophalen Einbruch von 17,5 % erleidet. Einfache VQA-Aufgaben bleiben über alle Methoden hinweg weitgehend unbeeinträchtigt, aber komplexe Reasoning-Aufgaben profitieren signifikant vom Entkopplungsmechanismus von COPSD.
Durchbrechen der Teacher-Obergrenze: Im Gegensatz zu Standard-OPD, bei dem der Student durch die inhärenten Fähigkeiten des Teachers begrenzt ist, übertreffen COPSD-Studenten (trainiert auf dem Cross-SFT Teacher) sowohl ihren spezifischen Teacher als auch Standard-OPD-Teacher in Sicherheit und Effektivität deutlich, was auf adaptives Policy-Learning hindeutet.
Trainingsdynamik: Die Analyse der Trainingsdynamik zeigt, dass GRPO einem kontinuierlichen Entropie-Kollaps unterliegt und Standard-OPSD einen schweren Rückgang der Antwortlänge triggert, während COPSD schnell stabilisiert und während des gesamten Trainings eine höhere Entropie und stabile Antwortlängen beibehält.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Safety-Alignment einen fundamental anderen Ansatz erfordert als das Alignment von verifizierbarem Reasoning. Die Bedeutung von COPSD liegt in der Fähigkeit:

Wettbewerbende Ziele zu entkoppeln: Durch die Verwendung von Cross-SFT zur Kalibrierung des Teachers bricht die Methode die geometrische Kopplung zwischen Sicherheitsbeschränkungen und expressivem Verhalten auf und verhindert so das „Lecken“ des Sicherheitsdrucks in eine reduzierte Hilfsbereitschaft.
Dichte Supervision ohne Kollaps zu ermöglichen: Es demonstriert, dass eine dichte Token-Level Supervision für das Safety-Alignment praktikabel ist, sofern die Teacher-Distribution korrekt an den generativen Stil des Basismodells angeleint ist, um den Distributionskollaps zu vermeiden, der aktuelle Methoden plagt.
Pareto-Verbesserung zu erzielen: Die Ergebnisse legen nahe, dass es möglich ist, gleichzeitig die Sicherheit zu verbessern und die allgemeinen Reasoning-Fähigkeiten zu bewahren (oder sogar zu steigen), was die Vorstellung infrage stellt, dass Safety-Alignment zwangsläufig die Utility eines Modells verschlechtern muss.

Die Autoren kommen zu dem Schluss, dass die Kalibrierung von Teacher-Distributionen ein notwendiger Schritt für stabiles und effektives Safe-Distillation ist und einen Weg bietet, Modelle mit High-Level-Konstitutionen auszurichten, ohne ihre Kern-Generativitätsfähigkeiten zu opfern.