Riepilogo Tecnico: Apprendimento Curricolare per l'Allineamento alla Sicurezza

Enunciato del Problema

L'Ottimizzazione delle Preferenze Dirette (DPO) è diventata un approccio standard per l'allineamento alla sicurezza dei Modelli Linguistici di Grandi Dimensioni (LLM), apprendendo da coppie di preferenze umane senza un modello di ricompensa separato. Tuttavia, ricerche precedenti indicano che la DPO standard è fragile, mostrando una scarsa generalizzazione a prompt fuori distribuzione (OOD) e fallendo nel resistere a semplici attacchi di jailbreaking. Inoltre, l'allineamento alla sicurezza nella DPO standard si concentra spesso solo sui primi token di una risposta, lasciando i token successivi vulnerabili. Sebbene l'apprendimento curricolare (ordinamento degli esempi dal facile al difficile) abbia dimostrato successo nel migliorare la convergenza e la robustezza in altri domini come la traduzione automatica e l'allineamento generale, il suo potenziale per affrontare la specifica fragilità dell'allineamento alla sicurezza basato su DPO rimane largamente inesplorato.

Metodologia: Competenza a Fasi

Gli autori propongono Competenza a Fasi (Staged-Competence), un framework basato sull'apprendimento curricolare progettato per migliorare la robustezza dell'allineamento alla sicurezza basato su DPO. Il metodo consiste in due fasi principali:

Fase 1: Punteggio di Difficoltà (Margine di Allineamento delle Preferenze)

A differenza di approcci precedenti che si basano su euristiche statiche o punteggi basati su prompt locali, la Competenza a Fasi definisce la difficoltà in modo dipendente dal modello.

• Meccanismo: Per ogni prompt $x_i$, il modello base non allineato genera una risposta zero-shot $\hat{y}_i$.
• Punteggio: Gli autori calcolano gli embedding per la risposta zero-shot, la risposta sicura (scelta) $y^+_i$ e la risposta insicura (rifiutata) $y^-_i$. Definendo un margine di allineamento delle preferenze ($m_i$):
  $$m_i = \cos(e_{\hat{y}_i}, e_{y^+_i}) - \cos(e_{\hat{y}_i}, e_{y^-_i})$$
• Ordinamento: Un margine positivo elevato indica che il modello distingue già il comportamento sicuro da quello insicuro (esempio facile), mentre un margine piccolo o negativo indica un disallineamento (esempio difficile). Il dataset viene ordinato globalmente in base a questo margine per creare un curricolo dal facile al difficile.

Fase 2: Addestramento Curricolare

L'algoritmo di addestramento combina aggiornamenti a fasi del modello di riferimento con campionamento basato sulla competenza per garantire una progressione granulare dal facile al difficile sia all'interno che tra le fasi.

• Fase: Il dataset ordinato è diviso in $K$ bucket (ad esempio, $K=3$) di difficoltà crescente.
• Aggiornamenti del Riferimento: Tra le fasi, la politica di riferimento viene aggiornata ($\pi^{(k+1)}_{ref} = \pi^{(k)}$). Ciò permette alla politica nella fase successiva di concentrarsi sull'assimilazione del bucket di difficoltà corrente piuttosto che sul riapprendimento di concetti acquisiti in precedenza.
• Campionamento Basato sulla Competenza: All'interno di ogni fase, una funzione di competenza $c(t)$ (basata su una schedulazione a radice quadrata) determina una soglia di difficoltà. Solo gli esempi con difficoltà $d_i \leq c(t)$ sono eleggibili per il campionamento del mini-batch al passo $t$. Ciò garantisce che gli esempi più difficili vengano introdotti a un ritmo progressivamente più lento, permettendo al modello di consolidare l'apprendimento.

Contributi Chiave

1. Framework Competenza a Fasi: Il primo studio sistematico che applica l'apprendimento curricolare all'allineamento alla sicurezza basato su DPO, introducendo un ordinamento globale della difficoltà dipendente dal modello e un algoritmo di addestramento ibrido.
2. Dataset Pulito PKU-HH-SafeRLHF: Gli autori identificano incoerenze diffuse nei popolari dataset di sicurezza (PKU-SafeRLHF e HH-RLHF), dove le risposte "scelte" sono spesso insicure e le risposte "rifiutate" sono spesso sicure. Forniscono un dataset combinato e pulito, filtrato da un giudice GPT-4o-mini, per garantire etichette di preferenza di alta qualità per l'addestramento.
3. Ablazione e Analisi: Una valutazione sistematica delle scelte di progettazione curricolare (ordinamento, campionamento, aggiornamenti del riferimento) su tre famiglie di modelli (LLaMA-3, Qwen3, Yi-1.5).

Risultati Sperimentali

Gli esperimenti sono stati condotti su tre famiglie di modelli (LLaMA-3-8B, Qwen3-8B, Yi-1.5-9B) utilizzando il dataset pulito.

• Robustezza a OOD e Attacchi: La Competenza a Fasi ha ridotto i tassi di risposta dannosa OOD in media del 16% e i tassi di successo degli attacchi di jailbreaking del 20% rispetto alla DPO standard, preservando al contempo le capacità generali (MMLU, HellaSwag) e mantenendo un rifiuto eccessivo vicino allo zero.
• Profondità di Allineamento: L'analisi della soppressione per token ha mostrato che la Competenza a Fasi raggiunge una separazione del margine di ricompensa circa 3 volte maggiore e mantiene la soppressione della sicurezza per tutta la risposta, non solo nei token iniziali. Questo allineamento più profondo correla con una resistenza migliorata agli attacchi di jailbreaking basati sul prefill.
• Efficienza dei Dati: La Competenza a Fasi ha eguagliato le prestazioni di sicurezza della DPO standard addestrata sul 100% dei dati utilizzando solo il 75% dei dati di addestramento.
• Scalabilità: Il vantaggio di sicurezza della Competenza a Fasi rispetto alla DPO standard si è ampliato monotonicamente con la dimensione del modello. Mentre le prestazioni della DPO standard si degradavano significativamente all'aumentare della dimensione del modello (da 1,7B a 8B parametri), la Competenza a Fasi ha mantenuto prestazioni di sicurezza coerenti su tutte le scale.

Significato e Affermazioni

Il documento afferma che la Competenza a Fasi dimostra che l'apprendimento curricolare è una leva significativa e sottoutilizzata per l'allineamento alla sicurezza. Organizzando i dati di preferenza per difficoltà e aggiornando progressivamente il modello di riferimento, il metodo produce caratteristiche di sicurezza più robuste che generalizzano meglio agli scenari OOD e agli attacchi avversari.

Gli autori sottolineano che il loro approccio è agnostico rispetto alla funzione di perdita di ottimizzazione della politica sottostante, il che significa che può estendersi ad altre varianti DPO e domini di allineamento oltre la sicurezza. Concludono che, sebbene la DPO standard sia fragile, un apprendimento strutturato dal facile al difficile può migliorare significativamente la robustezza e l'efficienza dei dati dell'allineamento alla sicurezza senza sacrificare le capacità generali del modello.