Technische Samenvatting: Curriculum Learning voor Veiligheidsuitlijning

Probleemstelling

Direct Preference Optimization (DPO) is een standaardbenadering geworden voor het veiligheidsuitlijnen van Large Language Models (LLM's) door te leren uit menselijke voorkeurparen zonder een apart beloningmodel. Echter, eerdere onderzoeken geven aan dat standaard DPO breekbaar is, met een slechte generalisatie naar prompts buiten de verdeling (OOD) en het niet weerstaan van eenvoudige jailbreak-aanvallen. Bovendien concentreert veiligheidsuitlijning in standaard DPO zich vaak slechts op de eerste paar tokens van een reactie, waardoor de daaropvolgende tokens kwetsbaar blijven. Hoewel curriculum learning (het ordenen van voorbeelden van makkelijk naar moeilijk) succes heeft bewezen in het verbeteren van convergentie en robuustheid in andere domeinen zoals machinevertaling en algemene uitlijning, blijft de potentie om de specifieke breekbaarheid van DPO-gebaseerde veiligheidsuitlijning aan te pakken grotendeels onontgonnen.

Methodologie: Staged-Competence

De auteurs stellen Staged-Competence voor, een curriculum-gebaseerd raamwerk ontworpen om de robuustheid van DPO-gebaseerde veiligheidsuitlijning te verbeteren. De methode bestaat uit twee hoofdfasen:

Fase 1: Moeilijkheidscoren (Voorkeuruitlijningsmarge)

In tegenstelling tot eerdere benaderingen die vertrouwen op statische heuristieken of lokale prompt-gebaseerde scoring, definieert Staged-Competence moeilijkheid op een modelafhankelijke manier.

• Mechanisme: Voor elke prompt $x_i$ genereert het niet-uitgelijnde basismodel een zero-shot reactie $\hat{y}_i$.
• Scoring: De auteurs berekenen embeddings voor de zero-shot reactie, de veilige (gekozen) reactie $y^+_i$, en de onveilige (verworpen) reactie $y^-_i$. Zij definiëren een voorkeuruitlijningsmarge ($m_i$):
  $$m_i = \cos(e_{\hat{y}_i}, e_{y^+_i}) - \cos(e_{\hat{y}_i}, e_{y^-_i})$$
• Ordening: Een grote positieve marge geeft aan dat het model veilig gedrag al onderscheidt van onveilig gedrag (makkelijk voorbeeld), terwijl een kleine of negatieve marge misuitlijning aangeeft (moeilijk voorbeeld). De dataset wordt globaal gesorteerd op basis van deze marge om een makkelijk-naar-moeilijk curriculum te creëren.

Fase 2: Curriculum Training

Het trainingsalgoritme combineert staged referentiemodel-updates met competentie-gebaseerde sampling om een granulaire makkelijk-naar-moeilijk progressie zowel binnen als tussen fasen te garanderen.

• Staging: De gesorteerde dataset wordt verdeeld in $K$ bakken (bijv. $K=3$) van toenemende moeilijkheid.
• Referentie Updates: Tussen de fasen wordt het referentiebeleid bijgewerkt ($\pi^{(k+1)}_{ref} = \pi^{(k)}$). Dit stelt het beleid in de volgende fase in staat zich te richten op het assimileren van de huidige moeilijkheidsbak in plaats van eerder verworven concepten opnieuw te leren.
• Competentie-gebaseerde Sampling: Binnen elke fase bepaalt een competentiefunctie $c(t)$ (gebaseerd op een wortel-schema) een moeilijkheidsdrempel. Alleen voorbeelden met moeilijkheid $d_i \leq c(t)$ komen in aanmerking voor mini-batch sampling op stap $t$. Dit zorgt ervoor dat moeilijkere voorbeelden met een progressief langzamere snelheid worden geïntroduceerd, waardoor het model zijn leerproces kan consolideren.

Belangrijkste Bijdragen

1. Staged-Competence Framework: De eerste systematische studie die curriculum learning toepast op DPO-gebaseerde veiligheidsuitlijning, met een globale, modelafhankelijke moeilijkheidsordening en een hybride trainingsalgoritme.
2. Gezuiverde PKU-HH-SafeRLHF Dataset: De auteurs identificeren wijdverbreide inconsistenties in populaire veiligheidsdatasets (PKU-SafeRLHF en HH-RLHF), waarbij "gekozen" reacties vaak onveilig zijn en "verworpen" reacties vaak veilig. Zij bieden een gezuiverde, gecombineerde dataset die is gefilterd door een GPT-4o-mini-judge om hoogwaardige voorkeurslabels voor training te garanderen.
3. Ablatie en Analyse: Een systematische evaluatie van curriculum-ontwerpkeuzes (ordening, sampling, referentie-updates) over drie model-families (LLaMA-3, Qwen3, Yi-1.5).

Experimentele Resultaten

Experimenten werden uitgevoerd over drie model-families (LLaMA-3-8B, Qwen3-8B, Yi-1.5-9B) met behulp van de gezuiverde dataset.

• Robuustheid tegen OOD en Aanvallen: Staged-Competence verlaagde de schadelijke reactiepercentages voor OOD met gemiddeld 16% en de succespercentages van jailbreak-aanvallen met 20% vergeleken met standaard DPO, terwijl algemene capaciteiten (MMLU, HellaSwag) behouden bleven en de overmatige weigering bijna nul bleef.
• Uitlijningsdiepte: Analyse van per-token suppressie toonde aan dat Staged-Competence ongeveer 3× grotere reward-marge-scheiding bereikt en veiligheids-suppressie door de hele reactie volhoudt, niet alleen in de initiële tokens. Deze diepere uitlijning correleert met verbeterde weerstand tegen prefill-gebaseerde jailbreak-aanvallen.
• Data-efficiëntie: Staged-Competence kwam overeen met de veiligheidsprestaties van standaard DPO getraind op 100% van de data, maar gebruikte hiervoor slechts 75% van de trainingsdata.
• Schalen: Het veiligheidsvoordeel van Staged-Competence ten opzichte van standaard DPO nam monotoon toe met de modelgrootte. Terwijl de prestaties van standaard DPO significant verslechterden naarmate de modelgrootte toenam (van 1,7B naar 8B parameters), behield Staged-Competence consistente veiligheidsprestaties over verschillende schalen.

Betekenis en Claims

Het artikel beweert dat Staged-Competence aantoont dat curriculum learning een zinvolle en onderbenutte hefboom is voor veiligheidsuitlijning. Door voorkeursdata te ordenen op moeilijkheid en het referentiemodel progressief bij te werken, produceert de methode robuustere veiligheidskenmerken die beter generaliseren naar OOD-scenario's en adversariale aanvallen.

De auteurs benadrukken dat hun benadering agnostisch is ten opzichte van het onderliggende beleids-optimalisatieverlies, wat betekent dat het uitbreidbaar is naar andere DPO-varianten en uitlijningsdomeinen buiten veiligheid. Zij concluderen dat hoewel standaard DPO breekbaar is, gestructureerde makkelijk-naar-moeilijk learning de robuustheid en data-efficiëntie van veiligheidsuitlijning aanzienlijk kan verbeteren zonder algemene modelcapaciteiten te offeren.