Riepilogo Tecnico: Riduzione della Tassa di Sicurezza nell'Allineamento alla Sicurezza dei LLM con Auto-distillazione On-Policy

Definizione del Problema: La Tassa di Sicurezza e la Disallineamento Off-Policy

I Large Language Models (LLM) soffrono spesso di una "tassa di sicurezza", un compromesso in cui l'allineamento alla sicurezza migliora la robustezza alle query dannose ma degrada le capacità di ragionamento generale. Mentre i lavori precedenti attribuiscono questo fenomeno a una disallineamento distribuzionale—addestramento su dimostrazioni di sicurezza provenienti da esseri umani o modelli esterni che differiscono dalla distribuzione di ragionamento naturale del modello target—questo articolo identifica una seconda, distinta fonte: il disallineamento dell'addestramento off-policy.

Anche quando i dati di sicurezza sono auto-distillati (generati dal modello target stesso, come in ThinkSafe), il classico Supervised Fine-Tuning (SFT) rimane off-policy. Applica una supervisione a livello di sequenza tramite Negative Log-Likelihood (NLL) su dimostrazioni fisse, piuttosto che su traiettorie campionate dalla politica corrente del modello stesso. Gli autori sostengono che ciò sia particolarmente dannoso per la sicurezza, poiché le decisioni di sicurezza (rifiuto vs. conformità) sono concentrate in una ristretta "finestra di token iniziali" e in un insieme specifico di token critici per la sicurezza. L'SFT off-policy diffonde i gradienti su tutta la risposta, fallendo nel colpire specificamente questi punti decisionali critici, perturbando così il ragionamento generale mentre fornisce solo una supervisione di sicurezza grossolana.

Metodologia: OPSA (Allineamento alla Sicurezza On-Policy)

L'articolo propone OPSA, un framework che adatta l'Auto-distillazione On-Policy (OPSD) all'allineamento alla sicurezza. Il meccanismo centrale prevede:

1. Rollout On-Policy: Il modello studente ($p_\theta$) genera le proprie traiettorie (rollout) sia per prompt dannosi che benigni.
2. Insegnante con Contesto Privilegiato: Una copia congelata del modello base ($p_{\bar{\theta}}$) funge da insegnante. Crucialmente, l'insegnante riceve un contesto privilegiato condizionato al tipo ($c^*$) prepended al prompt:
   • Per prompt dannosi ($q_h$), un contesto ($I_h$) attiva un comportamento latente di rifiuto, spostando l'insegnante verso risposte sicure.
   • Per prompt benigni ($q_b$), un contesto ($I_b$) sopprime il rifiuto eccessivo, preservando il comportamento utile.
3. Supervisione Densa Per-Token: Invece dell'NLL a livello di sequenza, OPSA minimizza la divergenza Kullback-Leibler (KL) per-token tra la distribuzione dell'insegnante (condizionata al contesto privilegiato) e la distribuzione dello studente (condizionata solo al prompt) lungo i propri rollout campionati dallo studente:
   $$L_{OPSA}(\theta) = \sum \mathbb{E}_{y \sim p_\theta} \sum_{t} D_{KL}(p_{\bar{\theta}}(\cdot | c^*, q, y_{<t}) \parallel p_\theta(\cdot | q, y_{<t}))$$
   Questo concentra gli aggiornamenti sui token in cui insegnante e studente divergono, colpendo specificamente la finestra decisionale iniziale dove vengono determinati i comportamenti di sicurezza.

Tasso di Inversione dell'Insegnante (TFR) per la Selezione del Contesto

Una sfida critica è selezionare un contesto privilegiato che attivi efficacemente il ragionamento di sicurezza latente senza essere arbitrario. Gli autori introducono il Tasso di Inversione dell'Insegnante (TFR) come metrica senza addestramento per selezionare il contesto ottimale ($c^*$). Il TFR misura la frazione di query dannose in cui il contesto privilegiato causa al teacher congelato di invertire la propria risposta greedy da insicura a sicura. Gli autori dimostrano empiricamente che un TFR più alto correla monotonicamente con una ridotta dannosità post-addestramento, validando il TFR come criterio affidabile per la selezione del contesto.

Contributi Chiave

1. Diagnosi Meccanicistica della Tassa di Sicurezza: L'articolo identifica il disallineamento dell'addestramento off-policy come una seconda fonte della tassa di sicurezza. L'analisi a livello di token rivela che le correzioni di sicurezza sono altamente concentrate nelle posizioni iniziali e in token specifici, che l'SFT standard non riesce a colpire efficacemente anche con dati in-distribution.
2. Framework OPSA: L'introduzione di un framework di allineamento alla sicurezza on-policy che utilizza supervisione KL densa per-token su rollout campionati dallo studente. Questo approccio allinea il modello sui propri percorsi di generazione, migliorando il compromesso sicurezza-ragionamento.
3. Selezione del Contesto tramite TFR: La proposta del Tasso di Inversione dell'Insegnante come metodo per costruire insegnanti di sicurezza efficaci. Ciò garantisce che il contesto privilegiato attivi un ragionamento di sicurezza latente significativo, piuttosto che elicitarne semplicemente dimostrazioni che sembrano sicure.

Risultati Sperimentali

Gli autori hanno valutato OPSA su due famiglie di modelli di ragionamento (Qwen3 e DeepSeek-R1-Distill) e cinque scale di parametri (da 0.6B a 8B).

• Compromesso Sicurezza-Ragionamento: Sotto prompt corrispondenti e fine-tuning a parametri completi, OPSA ha costantemente superato le baseline off-policy (inclusi ThinkSafe e SafeChain).
  • Sicurezza: OPSA ha ottenuto un guadagno medio di punteggio composito di sicurezza di +4.00 punti rispetto a ThinkSafe.
  • Ragionamento: OPSA ha preservato e migliorato le capacità di ragionamento, mostrando un guadagno medio di +3.04 punti sui benchmark di ragionamento (GSM8K, MATH500, GPQA, HumanEval, MBPP).
  • Sensibilità alla Scala: I guadagni più grandi sono stati osservati su modelli più piccoli (ad esempio, +8.85 punti su R1-Distill-1.5B e +5.49 punti su Qwen3-0.6B).
• Robustezza Adattiva agli Jailbreak: OPSA ha dimostrato una robustezza superiore contro attacchi jailbreak adattivi, in particolare gli attacchi Prefilling (che intervengono sui token iniziali della risposta). Su Qwen3-1.7B e Qwen3-8B, OPSA ha ridotto i tassi di successo degli attacchi Prefilling a zero. Tuttavia, l'articolo nota che gli attacchi di ricerca adattiva completamente adattivi (PAIR) rimangono un limite, con risultati misti tra i modelli.
• Efficienza dei Dati: I guadagni di prestazioni di OPSA sono persistiti attraverso dimensioni variabili del set di addestramento e rapporti tra dati benigni e dannosi, indicando la robustezza del metodo alla scarsità di dati e ai cambiamenti di composizione.

Significato e Affermazioni

L'articolo afferma che ridurre la tassa di sicurezza richiede di controllare non solo quali dimostrazioni forniscono supervisione, ma anche dove e sulle traiettorie di chi tale supervisione viene applicata. Spostandosi dall'imitazione off-policy di tracce fisse alla supervisione densa on-policy dei propri percorsi di generazione, OPSA affronta il disallineamento strutturale specifico nell'allineamento alla sicurezza.

Gli autori affermano con modestia che i loro risultati suggeriscono che l'allineamento alla sicurezza è fondamentalmente un problema di correzione localizzata sulle proprie traiettorie del modello. Sebbene OPSA migliori significativamente la robustezza contro gli attacchi che prendono di mira i token iniziali della risposta, l'articolo riconosce che gli attacchi di ricerca iterativa completamente adattivi rimangono una sfida, suggerendo che la supervisione densa on-policy non è una soluzione universale per tutti gli scenari avversari. Il lavoro sottolinea che un allineamento alla sicurezza efficace deve allineare il modello alla propria distribuzione di ragionamento attivando al contempo capacità di sicurezza latenti attraverso contesti privilegiati.