Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning

1. Il Problema: La Fragilità dell'Allineamento di Sicurezza

I modelli linguistici su larga scala (LLM) vengono allineati per essere utili e sicuri attraverso pipeline di addestramento complesse (SFT, RLHF, DPO). Tuttavia, recenti studi hanno dimostrato che questi meccanismi di sicurezza sono sorprendentemente fragili.

• Attacchi tramite Fine-Tuning: Anche un numero ridotto di esempi dannosi (10-100) durante il fine-tuning può causare un degrado catastrofico delle barriere di sicurezza, rendendo il modello suscettibile a generare contenuti pericolosi (odio, violenza, istruzioni per attività illegali), pur mantenendo le sue capacità generali.
• Vulnerabilità anche con dati benigni: Il paper evidenzia che persino il fine-tuning su dati apparentemente benigni può degradare la sicurezza in modo non trascurabile.
• Limiti delle difese esistenti: Le attuali strategie di difesa si basano spesso su regolarizzazione statica (es. penalità KL fisse) che applicano vincoli uniformi su tutti i dati di addestramento. Questo crea un compromesso (trade-off) inevitabile: una regolarizzazione debole non protegge contro attacchi malevoli, mentre una troppo aggressiva compromette l'utilità del modello per compiti specifici.

2. Metodologia: Un Framework di Regularizzazione Adattiva

Gli autori propongono un nuovo framework di addestramento che integra la valutazione della sicurezza in tempo reale direttamente nell'obiettivo di ottimizzazione, utilizzando una regularizzazione adattiva.

A. Rilevamento del Rischio (Safety Critic)

Il cuore del metodo è la capacità di stimare il "rischio di sicurezza" di un batch di addestramento durante il processo di fine-tuning. Il paper esplora due approcci distinti per generare questo segnale di rischio ($s_t$):

1. Critic basato su Attivazioni (Pre-generation):
   • Sfrutta la scoperta che l'intento dannoso è linearmente prevedibile dagli stati nascosti (hidden states) del modello prima che venga generato qualsiasi token.
   • Utilizza un classificatore leggero (regressione logistica) addestrato sulle attivazioni interne del modello di riferimento per prevedere la probabilità di una risposta dannosa.
   • Vantaggi: Basso costo computazionale, rilevamento immediato (pre-generazione), nessun overhead di inferenza aggiuntivo.
2. Critic basato su Giudice (Post-generation):
   • Utilizza un LLM esterno (es. GPT-4 o gpt-oss-20b) come giudice per valutare la dannosità della risposta generata dal modello target.
   • Vantaggi: Comprensione semantica più ricca, capacità di catturare violazioni contestuali sottili.

B. Obiettivo di Allineamento Adattivo

Invece di usare pesi di perdita fissi, il framework modula dinamicamente il bilanciamento tra l'apprendimento del compito (NLL - Negative Log Likelihood) e la regolarizzazione di sicurezza (KL Divergence da una policy di riferimento sicura).
La funzione di perdita totale al passo $t$ è:
$$L_{tot}^{(t)} = \alpha_t L_{NLL} + \beta_t L_{KL}$$
Dove i coefficienti $\alpha_t$ e $\beta_t$ sono determinati online dal segnale di sicurezza $s_t$ prodotto dal Critic:

• Alto Rischio ($s_t$ alto): Il peso $\beta_t$ aumenta, imponendo una forte penalità KL per mantenere il modello vicino alla policy sicura di riferimento, limitando la deriva verso comportamenti dannosi.
• Basso Rischio ($s_t$ basso): Il peso $\beta_t$ diminuisce, permettendo al modello di adattarsi liberamente ai dati supervisionati per massimizzare l'utilità del compito.

3. Contributi Chiave

1. Framework Adattivo: Introduzione di un meccanismo che regola la regolarizzazione in base al rischio stimato per batch, eliminando la necessità di tuning manuale dei pesi e distinguendo tra adattamento benigno e aggiornamenti che compromettono la sicurezza.
2. Predizione dell'Intento Dannoso: Dimostrazione empirica che l'intento dannoso è linearmente separabile negli stati nascosti pre-generazione, permettendo l'uso di critici leggeri ed efficienti.
3. Valutazione Estensiva: Test su diverse famiglie di modelli (Phi-3.5, Llama-3.1/3.2, Qwen2.5) e scenari di attacco (dati puramente dannosi, dati misti, backdoor, identity shifting).

4. Risultati Sperimentali

Gli esperimenti confermano l'efficacia del metodo su cinque modelli diversi:

• Difesa contro il Fine-Tuning Dannoso: Mentre il fine-tuning standard (SFT) porta a un tasso di successo dell'attacco (ASR) superiore al 96%, il metodo proposto mantiene l'ASR vicino ai livelli di base (1-9%), prevenendo il degrado catastrofico.
• Robustezza su Dati Misti: Anche quando il 9% dei dati di addestramento è dannoso, il metodo preserva la sicurezza (ASR basso) mantenendo al contempo le prestazioni sui compiti benigni (es. Alpaca, GSM8K) superiori o paragonabili alle tecniche esistenti.
• Robustezza agli Iperparametri: Il metodo mostra stabilità su un'ampia gamma di learning rate, a differenza delle tecniche vincolate staticamente che degradano rapidamente con learning rate più alti.
• Efficienza: La variante basata su attivazioni non aggiunge costi di inferenza e ha un overhead di addestramento trascurabile rispetto allo SFT standard, mentre la variante basata su giudice ha un costo computazionale moderato ma offre maggiore precisione semantica.

5. Significato e Impatto

Questo lavoro offre un meccanismo principiato per mantenere la sicurezza degli LLM durante la loro adattamento a domini specifici senza sacrificare l'utilità.

• Praticità: Risolve il dilemma tra sicurezza e utilità rendendo la difesa "intelligente" e adattiva al contesto dei dati, piuttosto che statica.
• Sicurezza Operativa: È cruciale per scenari reali dove gli utenti finali potrebbero fine-tunare modelli pubblici su dataset di dominio, rischiando di rimuovere involontariamente o intenzionalmente le protezioni di sicurezza.
• Scalabilità: L'approccio basato su attivazioni dimostra che è possibile monitorare e proteggere la sicurezza in tempo reale con costi computazionali minimi, rendendo la soluzione scalabile per l'industria.

In sintesi, il paper propone una soluzione elegante che trasforma la difesa contro gli attacchi di fine-tuning da un vincolo rigido e dannoso per le prestazioni in un processo dinamico e selettivo, garantendo che i modelli rimangano allineati anche in scenari di adattamento aggressivo.