Riepilogo Tecnico: La Geometria del Rifiuto: Instabilità Lineare negli LLM Allineati alla Sicurezza

Definizione del Problema

Nonostante l'ampia adozione di tecniche di allineamento della sicurezza, come il Reinforcement Learning from Human Feedback (RLHF), la base meccanicistica del modo in cui i Large Language Models (LLM) rifiutano query dannose rimane opaca. Una questione critica aperta è se la conformità alla sicurezza rappresenti una profonda comprensione semantica del danno o semplicemente una caratteristica lineare superficiale e manipolabile. Gli attuali attacchi avversari spesso si affidano a un'ottimizzazione computazionalmente costosa (es. GCG) o alla ricerca iterativa, che possono fallire contro l'addestramento alla sicurezza moderno. Questo lavoro investiga se la sicurezza sia codificata come una caratteristica geometrica lineare nello spazio delle attivazioni del modello, che può essere aggirata o rinforzata attraverso l'intervento aritmetico diretto sui logit di output.

Metodologia: Contrastive Logit Steering (CLS)

Gli autori introducono il Contrastive Logit Steering (CLS), un framework a ottimizzazione zero che opera direttamente sulla distribuzione di output del modello (logit) anziché sulle attivazioni nascoste interne.

Meccanismo Core

1. Prompting Contrastivo: Per una data query utente $q$, il modello esegue tre passaggi forward paralleli utilizzando distinti prompt di sistema:
   • Base ($s_{base}$): Un'istruzione neutrale (es. "Sei un assistente utile").
   • Unrestricted ($s_{+}$): Un'istruzione avversaria che rimuove i guardrail di sicurezza.
   • Restricted ($s_{-}$): Un'istruzione restrittiva che impone una sicurezza estrema.
2. Isolamento del Vettore: Ad ogni step di decoding $t$, il metodo calcola un Vettore di Steering istantaneo $v_t$ sottraendo i logit dello stream ristretto dallo stream non ristretto:
   $$v_t = z^+_t - z^-_t$$
   Questo vettore isola la "Direzione di Rifiuto" (Refusal Direction)—la specifica direzione geometrica nello spazio dei logit che codifica la distinzione binaria tra conformità e rifiuto.
3. Intervento sui Logit: I logit base del modello vengono modulati aggiungendo il vettore di steering scalato:
   $$\tilde{z}_t = z^{base}_t + \alpha \cdot v_t$$
   • Jailbreaking ($\alpha > 0$): Inietta il comportamento "unrestricted", sopprimendo i token di sicurezza.
   • Hardening ($\alpha < 0$): Sottrae il comportamento "unrestricted", inducendo artificialmente la sicurezza.
4. Iniezione di Prefisso: Per bypassare il riflesso iniziale di rifiuto del modello (dove i modelli spesso outputano "Non posso" immediatamente), il metodo forza i primi $k$ token verso un prefisso affermativo (es. "Certamente") prima di applicare il vettore di steering ai token successivi.

Meccanismo di Rilevamento

Il framework utilizza anche la separabilità geometrica del rifiuto per il rilevamento zero-shot. Calcolando un Vettore di Rifiuto Globale dalla differenza tra gli stati nascosti dell'ultimo layer di query ancora (harmful) e benigne, il sistema può classificare nuove query basandosi sulla similarità del coseno senza addestrare un classificatore separato.

Contributi Chiave

1. CLS come Sonda Diagnostica: Il paper fornisce un framework di steering a livello di logit, zero-shot, che offre evidenza meccanicistica del fatto che la sicurezza in architetture come Llama agisce come un "wrapper" superficiale piuttosto che come un vincolo semantico profondo.
2. Topologia del Rifiuto: Attraverso l'analisi della divergenza KL attraverso la profondità della rete, gli autori identificano due distinte topologie di sicurezza:
   • Modelli a "Decisione Tardiva" (es. Llama-3.1): Questi modelli elaborano query dannose e benigne in modo identico per circa il 95% dei loro layer, divergendo solo nell'ultimo head di output. Ciò li rende altamente vulnerabili allo steering a livello di logit.
   • Modelli a "Divergenza Precoce" (es. Qwen-2.5): Questi modelli integrano la sicurezza a metà della computazione (~40% della profondità), rendendoli significativamente più robusti allo steering lineare poiché il meccanismo di rifiuto è intrecciato con il ragionamento.
3. Baseline Empiriche: Il lavoro fornisce confronti diretti contro metodi di steering a livello di attivazione stabiliti (Arditi et al., 2024) e attacchi basati su ottimizzazione (GCG), dimostrando che l'intervento a livello di logit espone una maggiore fragilità dell'allineamento.
4. Controllo Bidirezionale: Il metodo consente sia l'attacco (jailbreaking) che la difesa (hardening della sicurezza) tramite un singolo vettore. L'inversione del vettore di steering ($\alpha < 0$) ha mostrato di poter "indurire" i modelli contro i jailbreak e, controintuitivamente, migliorare la coerenza della risposta riducendo l'ambiguità.

Risultati Sperimentali

Gli autori hanno valutato il CLS su sette famiglie di modelli (Gemma-3, Llama-3.1/3.2/3.3, Qwen-2.5) utilizzando dataset tra cui AdvBench, JailbreakBench e HarmBench.

• Attack Success Rate (ASR) vs. GCG: Su Llama-3.1-8B, GCG ha ottenuto solo il 5% di ASR dopo 100 step di ottimizzazione, mentre il CLS ha raggiunto il 95% di ASR in circa un secondo (un'accelerazione di circa 900x). Su Qwen-2.5-7B, il CLS ha ottenuto il 90% di ASR rispetto al 45% di GCG.
• Confronto con lo Steering delle Attivazioni: Rispetto ad Arditi et al. (2024), il CLS ha ottenuto un ASR sostanzialmente più alto su Llama 2 (73% vs. 22.6%) e Qwen 7B (91% vs. 79.2%). Gli autori attribuiscono il divario maggiore su Llama alla topologia a "Decisione Tardiva", dove il segnale di rifiuto è concentrato nell'ultimo layer, rendendo l'intervento a livello di logit più efficace rispetto all'ablazione dello stato nascosto.
• Sicurezza Hardening: Lo steering negativo ($\alpha = -1.0$) ha ridotto i tassi di successo degli attacchi a singole cifre (es. Llama-3.3-70B è sceso dal 68.8% al 9.4% di ASR).
• Rilevamento Zero-Shot: Utilizzando il Vettore di Rifiuto Globale, il metodo ha raggiunto un F1 score di 0.92 su JailbreakBench per distinguere prompt malevoli da quelli benigni senza addestrare un modello separato.

Significato e Rivendicazioni

Il paper sostiene che gli attuali tecniche di allineamento creano un "asse di sicurezza" sterzabile che funge sia da vulnerabilità critica che da primitiva precisa per la difesa.

• Insight Meccanicistico: Le scoperte suggeriscono che per molti modelli, l'RLHF non "disimpara" la conoscenza dannosa, ma applica piuttosto una caratteristica di soppressione lineare all'output layer. Il "Vettore di Rifiuto" cattura non solo la conformità alla sicurezza, ma anche l'esitazione e l'ambiguità; rimuoverlo può paradossalmente migliorare la coerenza.
• Determinismo Architetturale: La disparità di vulnerabilità tra Llama (Decisione Tardiva) e Qwen (Divergenza Precoce) implica che la profondità di integrazione della sicurezza è un fattore determinante della sterzabilità, probabilmente plasmato sia dall'architettura che dagli interventi di addestramento.
• Implicazione per la Difesa: Gli autori sostengono che finché la sicurezza viene implementata come un sottospazio lineare separabile, essa rimane vulnerabile all'intervento geometrico. Propongono che i futuri paradigmi di allineamento debbano intrecciare la sicurezza con la capacità generale per rendere il rifiuto una proprietà semantica profonda piuttosto che una caratteristica superficiale rimovibile.

Il lavoro conclude che il CLS fornisce una primitiva in tempo reale per auditare le capacità soppresse e per indurire dinamicamente i modelli, evidenziando la fragilità delle attuali implementazioni di sicurezza.