Sintesi Tecnica: RAS: Misurare la Sicurezza degli LLM attraverso l'Allineamento al Rifiuto

Definizione del Problema

La valutazione attuale della sicurezza per i Large Language Models (LLM) si basa prevalentemente su paradigmi a livello di output. Questi metodi consistono nel interrogare i modelli con prompt non sicuri o di jailbreak e nel giudicare se le risposte generate violino le policy di sicurezza utilizzando annotazione umana, filtri basati su regole o classificatori LLM-as-a-judge. Sebbene efficaci, gli autori identificano quattro criticità fondamentali in questo approccio:

1. Costo: È computazionalmente costoso, richiedendo la generazione completa e spesso un modello giudice secondario.
2. Sensibilità: I risultati sono altamente sensibili ai parametri di decoding, ai template di rifiuto e al comportamento specifico del modello giudice.
3. Obsolescenza: I benchmark diventano obsoleti man mano che i modelli vengono addestrati contro banche di domande note.
4. Latenza: La sicurezza a livello di output è un segnale comportamentale tardivo; conferma se un modello rifiuta, ma non rivela come il modello elabori internamente la richiesta o se entri in uno stato relativo al rifiuto durante la computazione.

Il paper sostiene che la sicurezza possa essere valutata prima, a livello di rappresentazione, sfruttando le scoperte secondo cui il comportamento di rifiuto è mediato da specifiche direzioni negli spazi di attivazione nascosti.

Metodologia: SafeVec e RAS

Gli autori propongono SafeVec, una procedura di valutazione white-box che misura la sicurezza analizzando gli stati nascosti interni invece dei contenuti generati. La metrica principale derivata da questa procedura è il Refusal Alignment Score (RAS), un punteggio di sicurezza calibrato tra 0 e 100.

Modello di Sistema

Il metodo presuppone l'accesso agli stati nascosti del modello target (attivazioni del residual stream in ogni layer del decoder), rendendolo applicabile a modelli open-weight e audit interni, ma non alle API chiuse. La valutazione utilizza tre set di prompt:

• Sicuri ($S$): Richieste utente benigne.
• Non sicuri ($U$): Richieste dirette di contenuti dannosi.
• Jailbreak ($J$): Intenti non sicuri avvolti in istruzioni avversarie o di role-playing.

La procedura richiede un modello di riferimento allineato alla sicurezza ($M_{ref}$) appartenente alla stessa famiglia di architettura e un set di calibrazione ($C_a$) contenente modelli con diversi livelli di sicurezza (allineati, non censurati e abliterati).

La Pipeline SafeVec

Il metodo procede attraverso cinque fasi:

1. Estrazione della Direzione di Rifiuto:
   Per ogni layer $l$ nel modello di riferimento, gli autori calcolano la media delle attivazioni del residual stream per i prompt sicuri ($\mu^{safe}_l$) e non sicuri ($\mu^{unsafe}_l$). Il vettore della direzione di rifiuto per layer ($r_l$) è definito come il vettore differenza:
   $$r_l = \mu^{unsafe}_l - \mu^{safe}_l$$
   Questo vettore cattura lo spostamento nella rappresentazione quando il modello elabora una richiesta non sicura rispetto a una sicura.

2. Selezione della Finestra di Layer:
   Non tutti i layer sono ugualmente informativi. Gli autori selezionano una finestra continua di layer ($W$) in cui il gap di separazione tra le medie del coseno per safe e unsafe è ampio e stabile. Questa finestra viene validata utilizzando modelli di calibrazione per garantire che i modelli più sicuri mostrino un maggiore allineamento con la direzione di rifiuto sotto prompt non sicuri.

3. Scoring del Modello di Calibrazione:
   Per i modelli nel set di calibrazione, il metodo calcola le medie delle similarità del coseno tra i loro stati nascosti e la direzione di rifiuto di riferimento ($\hat{r}_l$) sia per prompt non sicuri che di jailbreak. Questi punteggi grezzi misurano il grado di allineamento interno al rifiuto.

4. Calibrazione del RAS:
   Per mappare le similarità del coseno grezze su una scala confrontabile 0–100, gli autori eseguono una calibrazione multi-step:

   • Refusal Drop: Calcola il calo di allineamento rispetto al modello di riferimento.
   • Scala Bad-Anchor: Stima una scala "bad" di base ($b_a$) utilizzando modelli di calibrazione ad alto rischio (quelli con alti Attack Success Rates).
   • Pendenza di Severità: Determina le pendenze di severità specifiche dell'architettura ($\alpha_a$) correlando i drop di rifiuto normalizzati con gli aumenti dell'Attack Success Rate (ASR).
   • Mappatura Finale: Il drop allineato viene mappato in un punteggio 0–100 utilizzando una funzione sigmoide:
     $$RAS(M) = \frac{100}{1 + \exp(\beta(d_{aligned}(M) - c))}$$
     Un RAS più alto indica un più forte allineamento al rifiuto e un maggiore sicurezza stimata.

5. Scoring del Modello Target:
   I modelli target vengono valutati calcolando il loro allineamento con la direzione di rifiuto pre-calibrata e applicando la mappatura RAS specifica della famiglia.

Contributi Chiave

1. SafeVec: Una procedura di valutazione della sicurezza a livello di rappresentazione, white-box, basata sull'allineamento al rifiuto.
2. RAS (Refusal Alignment Score): Una metrica calibrata che traduce l'allineamento degli stati nascosti interni in un punteggio di sicurezza standardizzato 0–100.
3. Validazione Empirica: Dimostrazione che RAS distingue in modo affidabile tra modelli allineati alla sicurezza, non censurati e abliterati attraverso tre grandi famiglie (Llama, Gemma e Qwen).

Risultati Sperimentali

Gli autori hanno valutato RAS sulle famiglie Llama-3.1-8B, Gemma-3-4B e Qwen2.5-7B.

• Separazione a Livello di Rappresentazione (RQ1): I modelli sicuri e non sicuri mostrano una chiara separazione nell'allineamento alla direzione di rifiuto. Nelle finestre di layer selezionate, i modelli allineati alla sicurezza mostrano costantemente una maggiore similarità del coseno con la direzione di rifiuto sotto prompt non sicuri e di jailbreak rispetto alle varianti non censurate o abliterate.
• Correlazione con il Comportamento di Output (RQ2): RAS correla fortemente con l'Attack Success Rate (ASR) a livello di output. I modelli con un RAS elevato mostrano generalmente un ASR basso. Mentre i punteggi grezzi riflettono tendenze generali, il RAS calibrato preserva queste tendenze fornendo al contempo una scala standardizzata.
• Generalizzazione (RQ3): La procedura si generalizza attraverso diverse famiglie di modelli. Sebbene i punteggi grezzi non siano direttamente confrontabili tra diverse architetture, la calibrazione specifica per famiglia permette a RAS di classificare costantemente i modelli allineati sopra le varianti non sicure.
• Efficienza (RQ4): RAS è significativamente più veloce della valutazione basata su judge. Poiché richiede solo passaggi in avanti senza generazione di risposte o giudizio esterno, è circa 216,88 volte più veloce in media nel contesto sperimentale degli autori.

Significato e Rivendicazioni

Il paper sostiene che l'allineamento al rifiuto fornisce un segnale efficiente per la valutazione white-box della sicurezza degli LLM.

• Ruolo Complementare: Gli autori dichiarano esplicitamente che RAS non è destinato a sostituire i framework di valutazione comportamentale per sistemi chiusi o come prova definitiva di sicurezza per ogni specifica richiesta. Al contrario, funge da metrica rapida a livello di rappresentazione per confrontare varianti di modelli allineati alla sicurezza, condurre confronti post-training e eseguire test di regressione della sicurezza.
• Rilevamento Anticipato: Misurando gli stati interni, RAS rileva l'indebolimento del comportamento di rifiuto prima che il modello generi output dannosi, offrendo un segnale che è indipendente dai parametri di decoding e dai bias del judge.
• Limitazioni: Gli autori riconoscono che RAS richiede l'accesso white-box (stati nascosti) ed è calibrato all'interno delle famiglie di modelli. Inoltre, assume che la sicurezza sia codificata tramite una specifica direzione di rifiuto; se i modelli futuri utilizzeranno meccanismi di sicurezza interna fondamentalmente diversi, la direzione di rifiuto dovrà essere ricalcolata.

Il lavoro conclude che, sebbene la valutazione a livello di output rimanga necessaria per la verifica finale del deployment, le metriche a livello di rappresentazione come RAS offrono un'alternativa scalabile, efficiente e robusta per l'audit rapido dei modelli open-weight.