Riepilogo Tecnico: Sterzare Oltre il Supporto

Enunciato del Problema

I metodi attuali di steering per la sicurezza dei Large Language Models (LLM) si basano pesantemente sull'addestramento supervisionato utilizzando dataset statici e limitati di prompt di jailbreak noti. Sebbene questi metodi imparino a dirottare le attivazioni verso regioni di "rifiuto" per specifici esempi di addestramento, soffrono di un fallimento fondamentale nella generalizzazione: performano male su attacchi di jailbreak non visti e fuori distribuzione (OOD). Gli approcci esistenti applicano o un'intervento globale a bassa capacità che degrada l'utilità benigna, o imparano interventi condizionali che non generalizzano oltre il loro ristretto supporto di addestramento. La sfida centrale è come addestrare un meccanismo di steering per la sicurezza che generalizzi massimamente oltre il supporto di addestramento statico e limitato, senza richiedere dati di jailbreak etichettati esaustivi.

Metodologia

Il documento propone un framework di addestramento avversario bi-livello che sfrutta la scoperta di direzioni latenti non supervisionate per simulare attivazioni di jailbreak diversificate, espandendo così il supporto di addestramento per il campo di steering.

1. Simulazione di Attivazioni Jailbreakate Non Supervisionate (Passo Interno)

Invece di raccogliere nuovi dati di jailbreak etichettati, il metodo scopre direzioni latenti in grado di trasformare le attivazioni in "stato di rifiuto" (da richieste dannose dirette) in attivazioni "jailbreakate" (risposte dannose conformi).

• Scoperta della Direzione Latente: Utilizzando un obiettivo non supervisionato, il modello impara un insieme di vettori di steering $V$ iniettati a un livello precoce $s$. Questi vettori sono ottimizzati per indurre spostamenti semantici consistenti e ampi a un livello target $t$ su un dataset di prompt, scoprendo efficacemente interventi causali che alterano il comportamento del modello.
• Estrapolazione: Queste direzioni scoperte vengono applicate alle attivazioni in stato di rifiuto ($h_r$) con una magnitudine calibrata $R$ per generare attivazioni di jailbreak avversarie simulate ($h_{adv} = h_r + R \cdot v$). Questo processo estrapola il supporto di addestramento verso regioni dello spazio delle attivazioni che corrispondono plausibilmente a jailbreak non visti.

2. Steering Apprendibile tramite Funzioni Potenziali

Il documento supera i vettori di steering lineari fissi per arrivare a un campo di steering apprendibile e variabile spazialmente.

• Prospettiva del Trasporto Ottimale (OT): Il meccanismo di steering è modellato come il trasporto della distribuzione delle attivazioni jailbreakate verso la distribuzione delle attivazioni di rifiuto con uno spostamento minimo.
• Funzione Potenziale: Viene appresa una funzione potenziale scalare $f_\phi$ (parametrizzata da un piccolo MLP). Il suo gradiente $\nabla f_\phi$ definisce un campo vettoriale che guida le attivazioni.
• Steering al Momento del Test: Durante l'inferenza, un'attivazione $h$ viene dirottata eseguendo iterativamente passi di ascesa del gradiente lungo questo campo: $h^{(k+1)} = h^{(k)} + \eta \nabla_h f_\phi(h^{(k)})$.

3. Addestramento Avversario Bi-Livello (Passo Esterno)

La funzione potenziale è addestrata per soddisfare tre desiderata specifici:

1. Steer-ability Generale: Il campo deve trasportare le attivazioni non di rifiuto (inclusi i jailbreak simulati) verso la regione di rifiuto. Ciò è ottenuto massimizzando il divario potenziale tra le distribuzioni di rifiuto e non rifiuto utilizzando il duale di Kantorovich-Rubinstein della distanza di Wasserstein-1.
2. Zero Steer-ability Benigna: Il campo deve rimanere vicino all'identità (gradiente zero) per le attivazioni benigne per preservare l'utilità. Questo è imposto penalizzando la norma del gradiente sugli input benigni.
3. Strong Steer-ability Jailbreakata: Il campo deve indurre un trasporto forte per le attivazioni jailbreakate.

L'addestramento alterna:

• Passo Interno: Ottimizzazione avversaria delle direzioni latenti $V$ per generare jailbreak simulati "difficili" che sono attualmente difficili da dirottare (massimizzando la perdita sulla potenziale corrente).
• Passo Esterno: Aggiornamento dei parametri del potenziale $\phi$ per minimizzare la perdita su questi jailbreak simulati difficili, mantenendo al contempo i vincoli di steer-ability benigna e generale.

Contributi Chiave

1. Identificazione di una Limitazione Critica: Gli autori identificano che lo steering per la sicurezza supervisionato fallisce nel generalizzare a jailbreak non visti perché è legato a una distribuzione di addestramento statica, lasciando grandi regioni dello spazio delle attivazioni di jailbreak non definite.
2. Framework Avversario Bi-Livello: Un ciclo di addestramento innovativo che utilizza la scoperta di direzioni latenti non supervisionate per sintetizzare attivazioni di jailbreak avversarie diversificate. Questi stati simulati servono come segnali di addestramento per espandere progressivamente la copertura effettiva del campo di steering.
3. Steering Basato su Potenziali: L'introduzione di un potenziale scalare apprendibile (tramite dualità del Trasporto Ottimale) che fornisce un campo di steering variabile spazialmente e ad alta capacità, sostituendo interventi lineari rigidi.

Risultati Sperimentali

Il metodo è stato valutato su tre LLM (LLaMA-3-8B, Mistral-v2-7B, Qwen-2.5-7B) e sei famiglie classiche di jailbreak (GCG, AutoDAN, GPTFuzz, PAIR, TAP, FewShot).

• Robustezza: Il metodo proposto ha ottenuto prestazioni di difesa forti, con Tassi di Successo dell'Attacco (ASR) prevalentemente inferiori al 5% su tutti i modelli e famiglie di attacco. Ha superato o eguagliato le baseline supervisionate (come AlphaSteer) e i metodi di ingegneria delle rappresentazioni (come Circuit-Breaker) su attacchi non visti.
• Preservazione dell'Utilità: A differenza di baseline aggressive che causavano alti tassi di rifiuto eccessivo su casi limite benigni, il metodo proposto ha mantenuto punteggi di utilità elevati su benchmark di ragionamento, conoscenza e matematica (ARC-C, TruthfulQA, GSM8K), mantenendo il Tasso di Falsi Positivi (rifiuto eccessivo) relativamente basso.
• Insight Meccanistico: L'analisi ha mostrato che, man mano che l'addestramento procedeva, le attivazioni di jailbreak simulate si espandevano per coprire i sottospazi degli attacchi di jailbreak reali. Questa "crescita della copertura del sottospazio" correlava direttamente con un miglioramento della robustezza della difesa, validando l'ipotesi che espandere il supporto di addestramento tramite simulazione sia il motore chiave della generalizzazione.

Significato e Affermazioni

Il documento afferma di affrontare un problema largamente trascurato nella sicurezza degli LLM: l'incapacità dei metodi di steering attuali di generalizzare oltre il loro supporto di addestramento. Spostandosi dall'apprendimento supervisionato su jailbreak statici a un paradigma di simulazione avversaria non supervisionata, il metodo permette allo steering per la sicurezza di adattarsi a minacce in evoluzione e non viste.

Gli autori sottolineano che il loro approccio non richiede il riaddestramento dell'intero modello o la raccolta di dataset di jailbreak esaustivi. Invece, impara un campo di steering robusto e variabile spazialmente in grado di reindirizzare stati interni dannosi verso comportamenti di rifiuto, preservando al contempo l'utilità benigna. Il lavoro suggerisce che la chiave per una difesa robusta risiede nella capacità di sintetizzare e imparare da una distribuzione ampia e simulata di attivazioni di jailbreak, dirottando efficacemente "oltre il supporto" dei dati di addestramento originali.

Limitazioni: Gli autori notano che il framework dipende dalla qualità della scoperta di direzioni latenti non supervisionate. Riconoscono che i jailbreak che coinvolgono lingue non naturali (ad esempio, base64, cifrari) potrebbero corrispondere a regioni di attivazione debolmente raggiungibili da interventi lineari latenti, suggerendo un limite intrinseco all'espressività del meccanismo di simulazione.