Riepilogo Tecnico: Guidare in Sicurezza o Verso un Precipizio? Ripensare la Specificità e la Robustezza nell'Intervento al Momento dell'Inferenza

Definizione del Problema

Il controllo dei modelli (model steering, ovvero interventi al momento dell'inferenza) è emerso come un'alternativa leggera al fine-tuning per il controllo dei Large Language Models (LLM). Sebbene l'efficacia di questi metodi — ovvero se riescono a modificare una proprietà target — sia ben studiata, la loro specificità — ovvero se modificano solo la proprietà target senza effetti collaterali indesiderati — rimane scarsamente esaminata.

Le valutazioni esistenti si concentrano spesso sul verificare se lo steering preservi la fluidità generale o le prestazioni di benchmark non correlate. Tuttavia, nelle applicazioni critiche per la sicurezza, lo steering opera in spazi di rappresentazione intrecciati dove gli interventi possono degradare comportamenti strettamente correlati alla proprietà target, anche se le capacità non correlate rimangono intatte. Nello specifico, le attuali valutazioni non tengono conto della specificità della robustezza: se lo steering preservi le proprietà di sicurezza e controllo sotto cambiamenti di distribuzione, come ad esempio gli attacchi di jailbreak avversari.

Framework Proposto: Tre Dimensioni di Specificità

Gli autori propongono un framework per distinguere tre dimensioni di specificità al fine di fornire un quadro più completo dell'affidabilità dello steering:

1. Specificità Generale: Lo steering preserva la fluidità del modello e le prestazioni su compiti non correlati alla proprietà target (es. conoscenza generale, ragionamento matematico)?
2. Specificità di Controllo: Lo steering preserva i comportamenti correlati alla proprietà target (proprietà di controllo)? Ad esempio, quando si effettua lo steering per ridurre l'overrefusal (eccessivo rifiuto), il modello è ancora in grado di rifiutare correttamente le query genuinamente dannose?
3. Specificità di Robustezza: Lo steering preserva queste proprietà di controllo sotto cambiamenti di distribuzione, specificamente sotto attacchi avversari (es. prompt di jailbreak)?

Il paper sostiene che i controlli di efficacia standard siano insufficienti perché un metodo può apparire preciso e sicuro sotto i benchmark standard, pur compromettendo significativamente la sicurezza del modello in condizioni avversarie.

Metodologia

Lo studio valuta una vasta gamma di tecniche di steering esistenti su LLM sottoposti a instruction-tuning (fino a 8 miliardi di parametri), tra cui:

• Non supervisionato/basato sulla rappresentazione: Difference-in-Means (DiffMean), Linear Probe, Sparse Autoencoders (SAE).
• Supervisionato: Supervised Steering Vector (SSV), Rank-1 Representation Finetuning (ReFT-r1).
• Vincolato: Partial Orthogonalization (PartialOR), che tenta esplicitamente di preservare le proprietà di controllo.

Gli autori investigano due casi d'uso critici per la sicurezza:

1. Steering dell'Overrefusal: Ridurre il rifiuto eccessivo su query benigne (pseudo-dannose) mantenendo il rifiuto su query genuinamente dannose.
2. Steering della Fedeltà alle Allucinazioni: Migliorare l'aderenza al contesto fornito quando questo contraddice la conoscenza interna, mantenendo l'accuratezza basata sulla conoscenza interna quando non viene fornito alcun contesto.

Configurazione Sperimentale:

• Modelli: Llama-3.1-8B, Llama-3.2-3B, Qwen-2.5-7B, e Gemma-2-2B.
• Dataset: PHTest, JailbreakBench, Alpaca, e NQSwap.
• Valutazione: Gli autori confrontano lo "steering non vincolato" (che mira solo alla proprietà desiderata) con lo "steering vincolato" (che include esplicitamente esempi di controllo durante l'addestramento). Misurano l'efficacia, la specificità generale (MMLU, GSM8K, perplexity), la specificità di controllo (sicurezza su query dannose standard) e la specificità di robustezza (sicurezza su query dannose precedute da attacchi di jailbreak).

Risultati Chiave

Lo studio rivela un pattern coerente attraverso tutti i modelli e i metodi di steering:

1. Alta Efficacia: I metodi di steering riducono con successo l'overrefusal e le allucinazioni di fedeltà, sia in-distribution che out-of-distribution.
2. Specificità Generale Preservata: Lo steering mantiene ampiamente le capacità generali del modello (fluidità, MMLU, GSM8K), con solo lievi degradazioni, spesso trascurabili.
3. Specificità di Controllo Preservata (In-Distribution): In contesti standard, i metodi di steering preservano generalmente la capacità del modello di rifiutare query dannose. I punteggi di sicurezza su dataset dannosi canonici rimangono ampiamente intatti.
4. Fallimento della Specificità di Robustezza: Questa è la scoperta critica. Nonostante la preservazione della sicurezza su query dannose standard, tutti i metodi di steering aumentano significativamente la suscettibilità del modello agli attacchi di jailbreak.
   • Per esempio, in Llama-8B-Instruct, lo steering ha portato a un calo del 35–55% della robustezza al jailbreak.
   • In Qwen-7B, la suscettibilità è aumentata del 20–30%.
   • Persino i metodi progettati esplicitamente per controllare la sicurezza (come PartialOR) non sono riusciti a mantenere la robustezza sotto spostamenti avversari.
5. Trade-off: Esiste una forte correlazione inversa tra i guadagni di utilità (riduzione dell'overrefusal) e la robustezza. I metodi che ottengono i maggiori guadagni di efficacia spesso subiscono i cali più grandi nella robustezza al jailbreak.

Analisi del Meccanismo:
L'analisi delle componenti principali (PCA) delle attivazioni nascoste rivela che le query dannose con prefissi di jailbreak hanno rappresentazioni che si spostano verso la regione delle query innocue. I vettori di steering, addestrati per aumentare la conformità lungo la direzione che separa le attivazioni benigne da quelle dannose, amplificano involontariamente la conformità per questi input mascherati avversariamente perché le rappresentazioni latenti non sono chiaramente separate sotto trasformazione.

Significato e Rivendicazioni

Il paper rivendica di fornire la prima valutazione sistematica della specificità nello steering dei modelli attraverso le dimensioni generale, di controllo e di robustezza.

• Inadeguatezza degli attuali controlli: Gli autori sostengono che i controlli standard di efficacia e specificità (focalizzati solo su fluidità o sicurezza in-distribution) siano insufficienti. Senza una valutazione della robustezza, i metodi di steering possono apparire affidabili anche quando compromettono la sicurezza del modello.
• Rappresentazioni Intrecciate: I risultati suggeriscono che gli attuali metodi di steering non riescono a disincagliare sufficientemente le rappresentazioni latenti per gestire gli spostamenti avversari. Gli interventi che riducono efficacementamente l'overrefusal tendono a erodere la robustezza, indicando che le rappresentazioni sottostanti di "sicuro" e "non sicuro" non sono linearmente separabili in un modo che permetta un controllo preciso e robusto.
• Appello a una Valutazione Olistica: Il lavoro sottolinea la necessità di valutare lo steering non solo per l'efficacia, ma anche per la specificità e la robustezza. Gli autori avvertono che, senza tale valutazione, gli interventi volti a migliorare l'utilità potrebbero involontariamente indebolire la sicurezza del modello, specialmente in applicazioni critiche per la sicurezza.

Il paper conclude che, sebbene lo steering sia uno strumento promettente, esso attualmente manca della robusta specificità necessaria per un dispiegamento affidabile in ambienti avversari, rendendo necessari nuovi approcci che generalizzino bene out-of-distribution sia per l'efficacia che per la sicurezza.