🤖 machine learning

Curriculum Learning for Safety Alignment

Dieser Artikel schlägt Staged-Competence vor, ein Curriculum-Learning-Framework, das Präferenzdaten nach Schwierigkeit organisiert und das Referenzmodell schrittweise aktualisiert, um die Out-of-Distribution-Robustheit und die Widerstandsfähigkeit gegen Jailbreaks der Direct Preference Optimization (DPO) für die Sicherheitsausrichtung signifikant zu verbessern, während gleichzeitig die allgemeinen Fähigkeiten erhalten bleiben.

Ursprüngliche Autoren: Sandeep Kumar, Virginia Smith, Chhavi Yadav

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sandeep Kumar, Virginia Smith, Chhavi Yadav

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: AI-Sicherheit zu lehren ist brüchig

Stellen Sie sich vor, Sie trainieren einen sehr intelligenten Roboter, der ein hilfreicher Assistent sein soll. Sie wollen, dass er freundlich und hilfsbereit ist, aber Sie müssen auch sicherstellen, dass er niemals zustimmt, etwas Gefährliches zu tun, wie zum Beispiel eine Bombe zu bauen oder ein Auto zu stehlen.

Der derzeitige Standardweg, dies zu lehren (genannt DPO), besteht darin, dem Roboter eine Menge „Gut gegen Schlecht"-Beispiele auf einmal und in zufälliger Reihenfolge vorzuwerfen.

Der Fehler: Das Papier argumentiert, dass diese Methode „brüchig" ist. Es ist wie ein Schüler, der Autofahren lernt, indem man ihn sofort in einen dichten Verkehr wirft. Er mag die Regeln für diesen spezifischen Stau lernen, aber wenn Sie ihn in eine andere Stadt bringen (eine neue Situation) oder jemand versucht, ihn mit einer seltsamen Frage zu täuschen (ein „Jailbreak"-Angriff), scheitern sie oft. Sie haben das Konzept der Sicherheit nicht wirklich gelernt; sie haben sich nur die spezifischen Beispiele gemerkt, die sie gesehen haben.

Die Lösung: Der „Stufen-Kompetenz"-Lehrplan

Die Autoren schlagen eine neue Methode namens Staged-Competence vor. Stellen Sie sich dies als Wechsel von einem chaotischen Haufen Lernkarten zu einem strukturierten, schrittweisen Schul-Lehrplan vor.

Sie verwenden ein Konzept namens Curriculum Learning (Lehrplanlernen), das die Idee ist, dass man Dinge von einfach zu schwer lernen sollte.

So funktioniert ihr System, aufgeteilt in drei einfache Schritte:

1. Benotung der Hausaufgaben (Schwierigkeitsbewertung)

Bevor der Roboter mit dem Training beginnt, betrachtet das System jedes einzelne Beispiel für „Gut gegen Schlecht"-Verhalten.

Der alte Weg: Einfach zufällig Beispiele auswählen.
Der neue Weg: Das System fragt: „Wie schwer ist dies für den Roboter gerade jetzt?"
- Wenn der Roboter die Antwort bereits leicht kennt, ist das ein einfaches Beispiel.
- Wenn der Roboter verwirrt ist oder es wahrscheinlich falsch macht, ist das ein schwieriges Beispiel.
- Analogie: Stellen Sie sich einen Lehrer vor, der einen Stapel Matheaufgaben benotet. Er gibt sie nicht einfach zufällig heraus. Er sortiert sie: „Hier sind einige 1+1-Aufgaben (einfach), dann einige zweistellige Multiplikationen (mittel) und schließlich einige Analysisaufgaben (schwer)."

2. Die dreistufige Schule (Stufenweises Training)

Anstatt zu versuchen, alles auf einmal zu lernen, wird das Training in drei Stufen (Eimer) unterteilt.

Stufe 1: Der Roboter sieht nur die „einfachen" Beispiele. Er übt, bis er sie beherrscht.
Stufe 2: Der Roboter ist nun „kompetent" genug, um „mittlere" Schwierigkeiten zu bewältigen. Er lernt diese und baut auf dem auf, was er in Stufe 1 gelernt hat.
Stufe 3: Schließlich bewältigt er die „schwierigen" Beispiele.

Das Geheimnis: Zwischen diesen Stufen aktualisiert das System den „internen Lehrer" des Roboters (das Referenzmodell).

Analogie: Stellen Sie sich einen Trainer vor. In der ersten Woche lehrt der Trainer Sie, wie man einen Schläger hält. Sobald Sie das beherrscht haben, lehrt der Trainer Sie nicht weiter, wie man den Schläger hält; er aktualisiert seine Erwartungen und beginnt, Ihnen beizubringen, wie man schlägt. Der Roboter „wächst heran", während er die Stufen durchläuft, sodass er keine Zeit damit verschwendet, Grundlagen neu zu lernen, die er bereits kennt.

3. Intelligentes Sampling (Kompetenzbasiert)

Selbst innerhalb einer einzelnen Stufe sieht der Roboter die Beispiele nicht in zufälliger Reihenfolge. Er erhält eine Mischung aus dem, was er bewältigen kann, und etwas schwierigeren Herausforderungen, wobei die Schwierigkeit allmählich steigt.

Analogie: Denken Sie an ein Videospiel. Sie beginnen nicht mit dem finalen Boss. Sie beginnen mit dem Tutorial, dann mit dem ersten Level, dann mit dem zweiten. Wenn Sie besser werden, schaltet das Spiel automatisch schwierigere Level frei. Dieses Papier macht das für die AI-Sicherheit.

Was haben sie gefunden? (Die Ergebnisse)

Die Autoren testeten dies an drei verschiedenen Arten von AI-Modellen. Hier ist, was passierte:

Stärkere Sicherheit: Die Roboter, die mit diesem „Lehrplan" trainiert wurden, waren viel besser darin, „Jailbreak"-Angriffe (Tricks, die verwendet werden, um AI dazu zu bringen, schlechte Dinge zu sagen), zu widerstehen. Sie waren 20 % besser darin, diese Tricks zu ignorieren, als die Standardmethode.
Bessere Generalisierung: Wenn sie nach Dingen gefragt wurden, die sie noch nie gesehen hatten (Out-of-Distribution), war die Wahrscheinlichkeit, dass sie eine schädliche Antwort gaben, 16 % geringer.
Tieferes Verständnis: Das Standardtraining lehrt die AI oft nur, im allerersten Satz „Nein" zu sagen, dann kann sie später ausrutschen. Diese neue Methode lehrt die AI, während des gesamten Gesprächs sicher zu bleiben, wie ein Wächter, die ganze Zeit wachsam bleibt, nicht nur an der Tür.
Dateneffizienz: Sie fanden heraus, dass die Verwendung dieser Methode mit 25 % weniger Daten immer noch Ergebnisse lieferte, die genauso gut waren wie die Standardmethode mit 100 % der Daten. Es ist wie eine bessere Ausbildung mit weniger Lehrbüchern zu erhalten.
Kein Verlust an Intelligenz: Entscheidend ist, dass die AI sicherer zu machen sie nicht dümmer machte. Sie konnte immer noch normale Fragen genauso gut beantworten wie zuvor.

Der Bonus des „bereinigten" Datensatzes

Das Papier erwähnt auch eine Nebenerkenntnis. Die beiden großen öffentlichen Datensätze, die sie zur Schulung dieser Modelle verwendeten, waren tatsächlich unordentlich.

Manchmal war die „sichere" Antwort tatsächlich gefährlich.
Manchmal war die „unsichere" Antwort tatsächlich hilfreich.
Analogie: Es war wie ein falscher Antwortenschlüssel eines Lehrers.
Die Autoren bereinigt diese Datensätze, korrigierten die Fehler und stellten eine neue, sauberere Version für jedermann zur Verfügung.

Zusammenfassung

Das Papier argumentiert, dass wir, um AI wirklich sicher und robust zu machen, nicht einfach zufällig Daten darauf werfen sollten. Stattdessen sollten wir sie wie einen menschlichen Schüler lehren: Beginnen Sie mit den Grundlagen, bauen Sie Kompetenz auf und erhöhen Sie die Schwierigkeit allmählich. Dieser „Stufen-Kompetenz"-Ansatz macht AI sicherer, widerstandsfähiger gegen Tricks und effizienter im Training, ohne sie weniger hilfreich zu machen.

Technische Zusammenfassung: Curriculum Learning für die Sicherheitsausrichtung

Problemstellung

Direct Preference Optimization (DPO) hat sich als Standardansatz zur Sicherheitsausrichtung von Large Language Models (LLMs) etabliert, indem es aus menschlichen Präferenzpaaren lernt, ohne ein separates Reward-Modell. Vorherige Forschungsergebnisse deuten jedoch darauf hin, dass das Standard-DPO brüchig ist, eine schlechte Generalisierung auf Out-of-Distribution (OOD)-Prompts aufweist und einfachen Jailbreaking-Angriffen nicht standhält. Darüber hinaus konzentriert sich die Sicherheitsausrichtung im Standard-DPO oft nur auf die ersten wenigen Tokens einer Antwort, wodurch nachfolgende Tokens verwundbar bleiben. Obwohl Curriculum Learning (die Anordnung von Beispielen von leicht zu schwer) in anderen Bereichen wie maschineller Übersetzung und allgemeiner Ausrichtung Erfolge bei der Verbesserung der Konvergenz und Robustheit gezeigt hat, bleibt sein Potenzial, die spezifische Brüchigkeit der DPO-basierten Sicherheitsausrichtung zu adressieren, weitgehend unerforscht.

Methodik: Staged-Competence

Die Autoren schlagen Staged-Competence vor, ein Curriculum-basiertes Framework, das die Robustheit der DPO-basierten Sicherheitsausrichtung verbessern soll. Die Methode besteht aus zwei Hauptphasen:

Phase 1: Schwierigkeitsbewertung (Präferenz-Ausrichtungs-Marge)

Im Gegensatz zu früheren Ansätzen, die auf statischen Heuristiken oder lokalen promptbasierten Bewertungen beruhen, definiert Staged-Competence die Schwierigkeit auf eine modellabhängige Weise.

Mechanismus: Für jeden Prompt $x_i$ generiert das nicht ausgerichtete Basismodell eine Zero-Shot-Antwort $\hat{y}_i$ .
Bewertung: Die Autoren berechnen Embeddings für die Zero-Shot-Antwort, die sichere (ausgewählte) Antwort $y^+_i$ und die unsichere (abgelehnte) Antwort $y^-_i$ . Sie definieren eine Präferenz-Ausrichtungs-Marge ( $m_i$ ):
$m_i = \cos(e_{\hat{y}_i}, e_{y^+_i}) - \cos(e_{\hat{y}_i}, e_{y^-_i})$
Anordnung: Eine große positive Marge zeigt an, dass das Modell bereits sicheres von unsicherem Verhalten unterscheidet (leichtes Beispiel), während eine kleine oder negative Marge eine Fehljustierung anzeigt (schweres Beispiel). Der Datensatz wird global nach dieser Marge sortiert, um ein Curriculum von leicht zu schwer zu erstellen.

Phase 2: Curriculum-Training

Der Trainingsalgorithmus kombiniert gestufte Referenzmodell-Updates mit kompetenzbasiertem Sampling, um einen granular von leicht zu schwer fortschreitenden Verlauf sowohl innerhalb als auch zwischen den Stufen sicherzustellen.

Stufung: Der sortierte Datensatz wird in $K$ Buckets (z. B. $K=3$ ) mit zunehmender Schwierigkeit unterteilt.
Referenz-Updates: Zwischen den Stufen wird die Referenzrichtlinie aktualisiert ( $\pi^{(k+1)}_{ref} = \pi^{(k)}$ ). Dies ermöglicht es der Richtlinie in der nächsten Stufe, sich darauf zu konzentrieren, den aktuellen Schwierigkeits-Bucket zu assimilieren, anstatt zuvor erworbene Konzepte neu zu erlernen.
Kompetenzbasiertes Sampling: Innerhalb jeder Stufe bestimmt eine Kompetenzfunktion $c(t)$ (basierend auf einem Quadratwurzel-Schedule) eine Schwierigkeitsschwelle. Nur Beispiele mit einer Schwierigkeit $d_i \leq c(t)$ sind zum Zeitpunkt $t$ für das Mini-Batch-Sampling qualifiziert. Dies stellt sicher, dass schwierigere Beispiele in einem progressiv langsameren Tempo eingeführt werden, was dem Modell ermöglicht, das Gelernte zu konsolidieren.

Hauptbeiträge

Staged-Competence-Framework: Die erste systematische Studie, die Curriculum Learning auf die DPO-basierte Sicherheitsausrichtung anwendet und eine globale, modellabhängige Schwierigkeitsanordnung sowie einen hybriden Trainingsalgorithmus einführt.
Bereinigter PKU-HH-SafeRLHF-Datensatz: Die Autoren identifizieren weit verbreitete Inkonsistenzen in populären Sicherheitsdatensätzen (PKU-SafeRLHF und HH-RLHF), bei denen „ausgewählte" Antworten oft unsicher und „abgelehnte" Antworten oft sicher sind. Sie stellen einen bereinigten, kombinierten Datensatz bereit, der von einem GPT-4o-mini-Judge gefiltert wurde, um hochwertige Präferenzlabels für das Training sicherzustellen.
Ablation und Analyse: Eine systematische Evaluierung von Curriculum-Design-Entscheidungen (Anordnung, Sampling, Referenz-Updates) über drei Modellfamilien (LLaMA-3, Qwen3, Yi-1.5).

Experimentelle Ergebnisse

Experimente wurden über drei Modellfamilien (LLaMA-3-8B, Qwen3-8B, Yi-1.5-9B) unter Verwendung des bereinigten Datensatzes durchgeführt.

Robustheit gegenüber OOD und Angriffen: Staged-Competence reduzierte die Raten schädlicher OOD-Antworten im Durchschnitt um 16 % und die Erfolgsraten von Jailbreak-Angriffen um 20 % im Vergleich zum Standard-DPO, während allgemeine Fähigkeiten (MMLU, HellaSwag) erhalten blieben und eine Überverweigerung nahe Null beibehalten wurde.
Tiefe der Ausrichtung: Die Analyse der pro-Token-Unterdrückung zeigte, dass Staged-Competence eine etwa 3-fach größere Reward-Marge-Separation erreicht und die Sicherheitsunterdrückung während der gesamten Antwort aufrechterhält, nicht nur in den initialen Tokens. Diese tiefere Ausrichtung korreliert mit einer verbesserten Resistenz gegen Jailbreak-Angriffe auf Basis von Prefill.
Dateneffizienz: Staged-Competence erreichte die Sicherheitsleistung von Standard-DPO, das auf 100 % der Daten trainiert wurde, unter Verwendung von nur 75 % der Trainingsdaten.
Skalierung: Der Sicherheitsvorteil von Staged-Competence gegenüber Standard-DPO erweiterte sich monoton mit der Modellgröße. Während die Leistung des Standard-DPO mit zunehmender Modellgröße (von 1,7 Mrd. auf 8 Mrd. Parameter) signifikant nachließ, behielt Staged-Competence eine konsistente Sicherheitsleistung über alle Skalen hinweg bei.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Staged-Competence zeigt, dass Curriculum Learning ein bedeutender und untergenutzter Hebel für die Sicherheitsausrichtung ist. Durch die Organisation von Präferenzdaten nach Schwierigkeit und die progressive Aktualisierung des Referenzmodells erzeugt die Methode robustere Sicherheitsmerkmale, die sich besser auf OOD-Szenarien und adversariale Angriffe verallgemeinern.

Die Autoren betonen, dass ihr Ansatz agnostisch gegenüber dem zugrunde liegenden Policy-Optimierungs-Verlust ist, was bedeutet, dass er sich auf andere DPO-Varianten und Ausrichtungsdomänen jenseits der Sicherheit erstrecken kann. Sie schließen, dass Standard-DPO zwar brüchig ist, aber strukturiertes Lernen von leicht zu schwer die Robustheit und Dateneffizienz der Sicherheitsausrichtung erheblich verbessern kann, ohne allgemeine Modellfähigkeiten zu beeinträchtigen.