Technische Zusammenfassung: Reduzierung der Sicherheitsteuer bei der Sicherheitsausrichtung von LLMs durch On-Policy-Selbstdistillation

Problemdefinition: Die Sicherheitsteuer und Off-Policy-Mismatch

Large Language Models (LLMs) leiden häufig unter einer „Sicherheitsteuer", einem Zielkonflikt, bei dem die Sicherheitsausrichtung die Robustheit gegenüber schädlichen Abfragen verbessert, aber die allgemeinen reasoning-Fähigkeiten verschlechtert. Während frühere Arbeiten dies auf eine Verteilungsabweichung zurückführen – das Training an Sicherheitsdemonstrationen von Menschen oder externen Modellen, die von der natürlichen reasoning-Verteilung des Zielmodells abweichen – identifiziert diese Arbeit eine zweite, distincte Quelle: Off-Policy-Training-Mismatch.

Selbst wenn Sicherheitsdaten durch Selbstdistillation erzeugt werden (vom Zielmodell selbst generiert, wie in ThinkSafe), bleibt das standardmäßige Supervised Fine-Tuning (SFT) off-policy. Es wendet eine sequenzweite Negative Log-Likelihood (NLL)-Supervision auf feste Demonstrationen an, statt auf Trajektorien, die aus der eigenen aktuellen Policy des Modells gesampelt wurden. Die Autoren argumentieren, dass dies für die Sicherheit besonders nachteilig ist, da Sicherheitsentscheidungen (Verweigerung vs. Befolgung) in einem engen „frühen-Token-Fenster" und einer spezifischen Menge sicherheitskritischer Token konzentriert sind. Off-Policy-SFT verteilt Gradienten über die gesamte Antwort, scheitert daran, diese kritischen Entscheidungspunkte gezielt anzusprechen, und stört dabei das allgemeine reasoning, während es nur eine grobe Sicherheits-supervision bietet.

Methodik: OPSA (On-Policy Safety Alignment)

Die Arbeit schlägt OPSA vor, ein Framework, das On-Policy-Selbstdistillation (OPSD) an die Sicherheitsausrichtung anpasst. Der Kernmechanismus umfasst:

1. On-Policy-Rollouts: Das Student-Modell ($p_\theta$) generiert eigene Trajektorien (Rollouts) sowohl für schädliche als auch für harmlose Prompts.
2. Privilegierter Kontext-Lehrer: Eine eingefrorene Kopie des Basismodells ($p_{\bar{\theta}}$) fungiert als Lehrer. Entscheidend ist, dass der Lehrer einen typbedingten privilegierten Kontext ($c^*$) erhält, der dem Prompt vorangestellt wird:
   • Für schädliche Prompts ($q_h$) aktiviert ein Kontext ($I_h$) latentes Verweigerungsverhalten und verschiebt den Lehrer hin zu sicheren Antworten.
   • Für harmlose Prompts ($q_b$) unterdrückt ein Kontext ($I_b$) übermäßige Verweigerung und bewahrt hilfreiches Verhalten.
3. Dichte Per-Token-Supervision: Anstelle einer sequenzweiten NLL minimiert OPSA die per-Token-Kullback-Leibler (KL)-Divergenz zwischen der Verteilung des Lehrers (konditioniert auf den privilegierten Kontext) und der Verteilung des Schülers (konditioniert nur auf den Prompt) entlang der vom Schüler selbst gesampelten Rollouts:
   $$L_{OPSA}(\theta) = \sum \mathbb{E}_{y \sim p_\theta} \sum_{t} D_{KL}(p_{\bar{\theta}}(\cdot | c^*, q, y_{<t}) \parallel p_\theta(\cdot | q, y_{<t}))$$
   Dies konzentriert Updates auf Token, bei denen Lehrer und Schüler divergieren, und zielt spezifisch auf das frühe Entscheidungsfenster ab, in dem Sicherheitsverhalten bestimmt wird.

Teacher Flip Rate (TFR) zur Kontextauswahl

Eine kritische Herausforderung besteht darin, einen privilegierten Kontext auszuwählen, der latentes Sicherheitsreasoning effektiv aktiviert, ohne willkürlich zu sein. Die Autoren führen die Teacher Flip Rate (TFR) als eine trainingsfreie Metrik ein, um den optimalen Kontext ($c^*$) auszuwählen. TFR misst den Anteil schädlicher Abfragen, bei denen der privilegierte Kontext dazu führt, dass der eingefrorene Lehrer seine greedy-Antwort von unsicher auf sicher umdreht. Die Autoren zeigen empirisch, dass eine höhere TFR monoton mit einer verringerten Schädlichkeit nach dem Training korreliert, was TFR als zuverlässiges Kriterium für die Kontextauswahl validiert.

Hauptbeiträge

1. Mechanistische Diagnose der Sicherheitsteuer: Die Arbeit identifiziert Off-Policy-Training-Mismatch als zweite Quelle der Sicherheitsteuer. Eine Token-Ebenen-Analyse zeigt, dass Sicherheitskorrekturen stark in frühen Positionen und spezifischen Token konzentriert sind, die standardmäßiges SFT selbst mit in-Distribution-Daten nicht effektiv anspricht.
2. OPSA-Framework: Die Einführung eines On-Policy-Sicherheitsausrichtungs-Frameworks, das dichte Per-Token-KL-Supervision auf vom Schüler gesampelten Rollouts verwendet. Dieser Ansatz richtet das Modell auf seine eigenen Generationspfade aus und verbessert den Tradeoff zwischen Sicherheit und reasoning.
3. Kontextauswahl via TFR: Der Vorschlag der Teacher Flip Rate als Methode zur Konstruktion effektiver Sicherheitslehrer. Dies stellt sicher, dass der privilegierte Kontext sinnvolles latentes Sicherheitsreasoning aktiviert und nicht lediglich sicher aussehende Demonstrationen hervorruft.

Experimentelle Ergebnisse

Die Autoren evaluierten OPSA über zwei reasoning-Modellfamilien (Qwen3 und DeepSeek-R1-Distill) und fünf Parameterskalen (0,6B bis 8B).

• Sicherheit-Reasoning-Tradeoff: Unter abgestimmten Prompts und Full-Parameter-Fine-Tuning übertraf OPSA konsistent Off-Policy-Baselines (einschließlich ThinkSafe und SafeChain).
  • Sicherheit: OPSA erzielte eine durchschnittliche composite-Sicherheitspunktzahl von +4,00 Punkten im Vergleich zu ThinkSafe.
  • Reasoning: OPSA bewahrte und verbesserte reasoning-Fähigkeiten und zeigte einen durchschnittlichen Gewinn von +3,04 Punkten auf reasoning-Benchmarks (GSM8K, MATH500, GPQA, HumanEval, MBPP).
  • Skalenempfindlichkeit: Die größten Gewinne wurden bei kleineren Modellen beobachtet (z. B. +8,85 Punkte bei R1-Distill-1,5B und +5,49 Punkte bei Qwen3-0,6B).
• Adaptive Jailbreak-Robustheit: OPSA zeigte eine überlegene Robustheit gegenüber adaptiven Jailbreak-Angriffen, insbesondere Prefilling-Angriffen (die in die frühen Antwort-Token eingreifen). Bei Qwen3-1,7B und Qwen3-8B reduzierte OPSA die Erfolgsraten von Prefilling-Angriffen auf null. Allerdings stellt die Arbeit fest, dass vollständig adaptive Suchangriffe (PAIR) eine Einschränkung bleiben, mit gemischten Ergebnissen über die Modelle hinweg.
• Dateneffizienz: Die Leistungsgewinne von OPSA blieben über verschiedene Trainingsdatengrößen und Verhältnisse von harmlosen zu schädlichen Daten hinweg bestehen, was auf die Robustheit der Methode gegenüber Datenknappheit und Zusammensetzungsverschiebungen hindeutet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Reduzierung der Sicherheitsteuer erfordert, nicht nur zu kontrollieren, welche Demonstrationen Supervision bieten, sondern auch wo und auf wessen Trajektorien diese Supervision angewendet wird. Durch den Wechsel von der Off-Policy-Imitation fester Spuren zur On-Policy-dichten Supervision der eigenen Generationspfade des Modells adressiert OPSA die spezifische strukturelle Mismatch in der Sicherheitsausrichtung.

Die Autoren behaupten bescheiden, dass ihre Ergebnisse darauf hindeuten, dass Sicherheitsausrichtung grundlegend ein lokalisiertes Korrekturproblem auf den eigenen Trajektorien des Modells ist. Während OPSA die Robustheit gegenüber Angriffen, die auf frühe Antwort-Token abzielen, erheblich verbessert, räumt die Arbeit ein, dass vollständig adaptive iterative Suchangriffe eine Herausforderung bleiben, was nahelegt, dass dichte On-Policy-Supervision keine Allzwecklösung für alle adversariellen Szenarien ist. Die Arbeit betont, dass eine effektive Sicherheitsausrichtung das Modell mit seiner eigenen reasoning-Verteilung in Einklang bringen muss und gleichzeitig latente Sicherheitsfähigkeiten durch privilegierte Kontexte aktiviert.