Riepilogo Tecnico: Le Misurazioni della Sicurezza per i Modelli LLM Fine-tuned Devono essere Fondate sulla Capacità

Definizione del Problema

L'adattamento di modelli linguistici di grandi dimensioni (LLM) di base a compiti o stili specifici dell'utente tramite il fine-tuning supervisionato (SFT) o l'adattamento di dominio spesso compromette le caratteristiche di sicurezza dei modelli originali. Ricerche recenti indicano che anche il fine-tuning su dataset benigni può involontariamente degradare i guardrail di sicurezza. Sebbene siano stati proposti vari metodi di mitigazione (ad esempio, SafeLoRA, SaLoRA) per preservare la sicurezza durante il fine-tuning, le valutazioni precedenti di questi metodi soffrono di limitazioni significative:

1. Impostazioni Sperimentali Arbitrarie: I lavori precedenti spesso definiscono impostazioni empiriche (iperparametri, layer targetati) senza ancorarle a specifici obiettivi di capacità, portando a confronti inconsistenti.
2. Fragilità della Valutazione: Si è dimostrato che i giudizi di sicurezza automatizzati sono sempre più inaffidabili, in particolare quando i modelli generano output incoerenti.
3. Conclusioni Inconsistenti: La valutazione se il fine-tuning migliori o degradi la sicurezza varia drasticamente a seconda della scelta del benchmark di sicurezza e del modello valutatore di sicurezza specifico utilizzato.

Gli autori sostengono che, senza ancorare gli esperimenti di fine-tuning a obiettivi di capacità verificabili, sia impossibile trarre conclusioni significative sugli impatti della sicurezza o confrontare equamente le strategie di mitigazione.

Metodologia

Gli autori conducono una valutazione multidimensionale focalizzata sull'interazione tra capacità (performance del compito e coerenza della generazione) e sicurezza.

Configurazione Sperimentale

• Modelli: Sono stati utilizzati quattro LLM open-source con istruzioni ottimizzate (instruction-tuned): Llama-3.2-1B, Llama-3.1-8B, Qwen-3-4B e Qwen-3-8B.
• Compiti di Fine-tuning: Per garantire misurazioni di capacità verificabili, gli autori hanno selezionato quattro dataset con metriche di correttezza oggettive:
  • GSM8k: Problemi matematici di livello elementare.
  • ARC: Domande a scelta multipla di scienze di livello elementare.
  • Science10k: Coppie di domande e risposte scientifiche con ragionamento.
  • BoolQ: Comprensione della lettura con risposte booleane (sì/no).
  • Nota: Un sottoinsieme del dataset Stanford Alpaca è stato inoltre utilizzato per confronti generali sul seguire le istruzioni.
• Metodo di Fine-tuning: È stata applicata la Low-Rank Adaptation (LoRA) con diversi iperparametri (rank $\{16, 64\}$, target layers $\{[qv], [all-linear]\}$).
• Metodo di Mitigazione: Lo studio analizza specificamente SafeLoRA, un metodo senza training che proietta gli aggiornamenti dei pesi LoRA su un "sottospazio di sicurezza" (definito come la differenza di peso tra modelli allineati e non allineati) se il punteggio di similarità scende al di sotto di una soglia.

Dimensioni di Valutazione

1. Capacità: Misurata tramite l'accuratezza sugli split di test dei dataset di fine-tuning.
2. Coerenza: Misurata tramite la perplessità degli output generati utilizzando un modello GPT-2. Un'alta perplessità indica generazioni incoerenti.
3. Sicurezza: Valutata utilizzando un set completo di 1.840 prompt di sicurezza derivati da quattro benchmark (SORRY-Bench, BeaverTails-Eval, BeaverTails-Intent, XSTest).
   • Giudici: Sono stati impiegati due distinti valutatori per testare la robustezza:
     • LlamaGuard-8B: Un classificatore di sicurezza dei contenuti che restituisce tassi di dannosità.
     • Valutatore SORRY-Bench (Mistral-7b): Un modello fine-tuned che giudica il rifiuto rispetto alla conformità.

Risultati Chiave

1. Coerenza e Fallimento del Giudizio Automatizzato

Il fine-tuning su compiti con formati di output ristretti (ad esempio, scelta multipla o sì/no) ha causato l'overfitting dei modelli, provocando generazioni incoerenti quando presentati con prompt di sicurezza.

• I modelli sottoposti a fine-tuning su ARC e BoolQ hanno spesso generato risposte a carattere singolo o senza senso alle domande di sicurezza.
• Risultato Critico: I giudici di sicurezza automatizzati (specificamente LlamaGuard) hanno frequentemente interpretato erroneamente questi output incoerenti come "non sicuri" o "dannosi". Il paper dimostra che la mancanza di capacità (incoerenza) viene spesso classificata come mancanza di sicurezza dai valutatori automatizzati.

2. Instabilità dei Benchmark di Sicurezza

Le conclusioni riguardanti il degrado o il miglioramento della sicurezza sono altamente sensibili alla scelta del benchmark e del valutatore.

• Varianza del Benchmark: Per lo stesso checkpoint del modello (ad esempio, Llama-8B fine-tuned su GSM8k), un benchmark (SORRY-Bench) potrebbe indicare un significativo miglioramento della sicurezza rispetto al modello base, mentre un altro (BeaverTails-Intent) indica un degrado.
• Divergenza del Valutatore: Esiste spesso una correlazione debole o opposta tra "dannosità" (LlamaGuard) e "conformità" (SORRY-Bench). I modelli più piccoli hanno mostrato tendenze particolarmente divergenti tra queste due metriche.

3. Trade-off Sicurezza-Capacità (Analisi di SafeLoRA)

Lo studio ha confrontato lo standard LoRA con SafeLoRA:

• Modelli Llama: SafeLoRA ha generalmente migliorato la sicurezza (ridotto la dannosità) ma ha costantemente ridotto la capacità del modello (accuratezza). Sul dataset Science10k, il checkpoint SafeLoRA più sicuro ha ridotto l'accuratezza di quasi il 10% rispetto al miglior checkpoint LoRA standard.
• Modelli Qwen: I risultati sono stati misti. Su GSM8k, SafeLoRA ha migliorato sia la sicurezza che l'accuratezza. Tuttavia, su Science10k, SafeLoRA ha causato un marcato degrado sia nella sicurezza che nell'accuratezza.
• Mitigazione della Coerenza: Su ARC e BoolQ, SafeLoRA sembra aver mitigato il degrado della coerenza osservato nel fine-tuning standard con LoRA, probabilmente preservando i pesi di allineamento che supportano la generazione a testo libero.

Significato e Rivendicazioni

Il paper sostiene che il campo della sicurezza degli LLM richiede un cambio di paradigma dalle impostazioni empiriche arbitrarie verso valutazioni fondate sulla capacità.

• L'Ancoraggio è Essenziale: Ancorare il fine-tuning a specifici obiettivi di capacità verificabili è necessario per evitare scelte arbitrarie e consentire un confronto coerente dei metodi di mitigazione.
• Validità della Misurazione: Le metriche di sicurezza sono fragili. Il paper argomenta che senza misurare la coerenza (ad esempio, tramite la perplessità) e senza utilizzare molteplici valutatori, le valutazioni di sicurezza sono inaffidabili. Gli output incoerenti possono gonfiare artificialmente i punteggi di sicurezza o, viceversa, essere erroneamente segnalati come dannosi.
• Interpretazione Contestuale: Gli autori concludono che l'efficacia dei metodi di preservazione della sicurezza come SafeLoRA non è assoluta; varia significamente in base all'architettura del modello, al compito specifico di fine-tuning e agli strumenti di misurazione utilizzati. Pertanto, ricercatori e professionisti devono adottare metodologie di misurazione ben definite, fondate e valide per valutare accuratamente la sicurezza dei modelli fine-tuned.

Gli autori dichiarano esplicitamente che le loro scoperte evidenziano la necessità di ulteriori studi sui meccanismi di recupero della sicurezza nelle fasi successive del training e dello sviluppo di misure più intrinseche del comportamento di sicurezza (ad esempio, tramite l'interpretabilità meccanicistica) piuttosto che fare affidamento esclusivamente sul benchmarking esterno.