Analysing the Safety Pitfalls of Steering Vectors

1. Il Problema

L'attivazione steering (o "guida delle attivazioni") è emersa come uno strumento potente per modificare il comportamento dei Large Language Models (LLM) durante l'inferenza senza richiedere aggiornamenti dei pesi del modello. Tuttavia, la sua affidabilità e la sua natura "fragile" sono ben documentate.
Il paper identifica un vuoto critico nella ricerca esistente: mentre l'impatto sulla utilità è stato studiato, le implicazioni per la sicurezza rimangono inesplorate.
L'ipotesi centrale è che lo steering, sebbene progettato per controllare attributi specifici (es. onestà, sycophancy), possa erodere in modo sistematico l'allineamento alla sicurezza del modello, rendendolo più vulnerabile agli attacchi di "jailbreak" (bypass delle restrizioni di sicurezza).

2. Metodologia

Gli autori hanno condotto un audit di sicurezza sistematico utilizzando il seguente approccio:

• Modello e Dati:
  • Sono stati testati 6 modelli open-source di diverse famiglie e dimensioni (da 3B a 32B parametri), inclusi Llama-2, Gemma e Qwen2.5.
  • Il benchmark utilizzato è JailbreakBench, contenente 100 esempi dannosi e benigni.
• Tecnica di Steering:
  • È stato utilizzato il metodo Contrastive Activation Addition (CAA). I vettori di steering sono costruiti calcolando la differenza media tra le attivazioni residue di coppie di prompt che differiscono solo per la risposta desiderata (es. risposta utile vs. allucinazione, o comportamento sycophant vs. neutrale).
  • Durante l'inferenza, questi vettori vengono aggiunti alle attivazioni dei token con un moltiplicatore scalare $m$ per controllarne l'intensità.
• Attacchi di Valutazione:
  • Sono stati impiegati due attacchi leggeri basati su template:
    1. Prefix Injection: Prepende una frase che il modello deve riprodurre prima di rispondere.
    2. Refusal Suppression: Vieta esplicitamente scuse, disclaimer o linguaggio di rifiuto.
  • Le metriche principali sono la Attack Success Rate (ASR) (percentuale di risposte dannose generate) e la False Refusal Rate (FRR) (percentuale di rifiuti errati su richieste innocue).
• Analisi Geometrica:
  • Gli autori hanno calcolato la direzione di rifiuto interna del modello (ottenuta contrastando prompt dannosi vs. innocui) e hanno misurato la similarità del coseno tra i vettori di steering e questa direzione di rifiuto.
  • È stata eseguita un'ablazione direzionale: rimozione della componente del vettore di steering che è allineata con la direzione di rifiuto per verificare un nesso causale.

3. Contributi Chiave

1. Audit Sistematico: Prima valutazione completa dell'impatto dello steering sulla sicurezza attraverso 6 modelli e diverse strategie di attacco.
2. Origine Meccanistica: Identificazione di una correlazione geometrica diretta tra i vettori di steering e la direzione di rifiuto del modello come causa principale delle vulnerabilità.
3. Evidenza Causale: Dimostrazione che l'ablazione della componente allineata al rifiuto riduce significativamente l'impatto negativo sulla sicurezza, validando l'ipotesi di interferenza geometrica.
4. Trade-off Sicurezza-Controllo: Evidenziazione di un compromesso fondamentale: aumentare il controllo su certi comportamenti può degradare drasticamente la sicurezza.

4. Risultati Principali

• Erosione della Sicurezza: Lo steering altera sistematicamente l'ASR. A seconda della direzione scelta, l'ASR può aumentare fino al 57% o diminuire fino al 50% rispetto alla baseline.
• Amplificazione degli Attacchi: L'effetto è più pronunciato quando lo steering è combinato con semplici attacchi di jailbreak (template-based). Ad esempio, su Qwen-14B, combinare lo steering verso "Self-Awareness" con un attacco di prefix injection ha portato l'ASR dal 4% all'80%.
• Correlazione Geometrica: Esiste una forte correlazione negativa tra la similarità del coseno di un vettore di steering con la direzione di rifiuto e l'ASR.
  • Vettori che si oppongono alla direzione di rifiuto (similarità negativa, es. "Sycophancy", "Self-Awareness") aumentano l'ASR (rendono il modello meno sicuro).
  • Vettori allineati positivamente alla direzione di rifiuto (es. "Anti-LGBTQ", "Coordinate-AI") riducono l'ASR (rendono il modello più sicuro).
• Effetto della Scala: L'impatto negativo dello steering sulla sicurezza cresce con la dimensione del modello. I modelli più grandi (es. Qwen-32B) mostrano una sensibilità geometrica molto più forte rispetto ai modelli piccoli (es. Qwen-3B).
• Costi Collaterali (FRR): La manipolazione della direzione di rifiuto ha effetti collaterali sulle richieste innocue. Vettori che riducono l'ASR tendono ad aumentare la False Refusal Rate (il modello rifiuta richieste sicure), mentre quelli che aumentano l'ASR riducono i falsi rifiuti, rendendo il modello troppo compliant.
• Mitigazione Parziale: Rimuovere la componente di rifiuto dai vettori di steering riduce l'ASR media di circa il 15-25%, ma non ripristina completamente la sicurezza di base, suggerendo che lo spazio di sicurezza sia multidimensionale e non puramente unidimensionale.

5. Significato e Implicazioni

Questo lavoro rivela che i vettori di steering non sono "neutri" per la sicurezza.

• Nuova Classe di Vulnerabilità: Lo steering introduce una superficie di attacco inaspettata, dove l'intento di controllare il comportamento del modello può involontariamente disattivare i meccanismi di difesa interni.
• Interferenza Geometrica: La sicurezza degli LLM allineati sembra essere intrinsecamente legata alla geometria dello spazio latente. Le tecniche di allineamento attuali creano meccanismi di sicurezza "fragili" che possono essere sovrascritti o indeboliti da perturbazioni direzionali anche se intese per scopi diversi.
• Raccomandazioni Future: Il paper invita a sviluppare metodi di steering "intrinsecamente sicuri" che tengano conto della geometria del rifiuto e a ripensare l'allineamento dei modelli per garantire una robustezza geometrica, bilanciando controllabilità e sicurezza.

In sintesi, il paper dimostra che l'uso di tecniche di steering per il controllo comportamentale dei LLM comporta rischi significativi per la sicurezza, rendendo i modelli più suscettibili a jailbreak e introducendo un trade-off critico tra la capacità di guidare il modello e la sua resilienza agli attacchi.