Sintesi Tecnica: Attacchi nello Spazio Latente per l'Evasione del Rifiuto nei Modelli Linguistici

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) allineati alla sicurezza sono addestrati a rifiutare richieste dannose. Tuttavia, la letteratura recente dimostra che questo comportamento di rifiuto può essere soppresso guidando le rappresentazioni interne del modello. I metodi esistenti, come quelli di Arditi et al. [5], raggiungono questo obiettivo "ablando" una specifica direzione di rifiuto (calcolata come differenza delle medie, o DiM, tra attivazioni dannose e innocue) dal flusso residuo del modello. Sebbene empiricamente efficaci, questi metodi mancano di una spiegazione teorica rigorosa della trasformazione nello spazio latente che inducono. Nello specifico, rimane poco chiaro perché l'ablazione sia l'intervento ottimale, se sia sufficiente a sopprimere il rifiuto e come possa essere sistematicamente migliorata. Il problema centrale affrontato è la mancanza di un quadro rigoroso che spieghi i meccanismi della soppressione del rifiuto e i limiti degli attuali approcci basati sull'ablazione.

Metodologia

Gli autori ripropongono il problema della soppressione del rifiuto come un attacco di evasione nello spazio latente contro sonde lineari addestrate a separare i prompt rifiutati (dannosi) da quelli a cui è stata data risposta (innocui).

Riformulazione Teorica

1. Oracolo Surrogato: Gli autori sostituiscono l'oracolo di rifiuto intrattabile e a scatola nera (ad esempio, un LLM come giudice) con una funzione surrogata trattabile $\phi$. Questo surrogato è un insieme di sonde lineari per livello (nello specifico SVM lineari) addestrate sulle attivazioni dei token post-istruzione per prevedere il rifiuto.
2. Rilettura del Lavoro Precedente: In questo quadro, l'ablazione standard DiM è identificata come un attacco di evasione a minima confidenza. La direzione DiM corrisponde al vettore dei pesi di una sonda lineare, e l'ablazione (proiettando le attivazioni sull'iperpiano ortogonale a DiM) è matematicamente equivalente a proiettare le attivazioni esattamente sul confine decisionale della sonda. Questa è la perturbazione più debole possibile che inverte una decisione lineare (analoga all'attacco DeepFool [9]).
3. Limitazione Identificata: Poiché l'evasione a minima confidenza si ferma esattamente sul confine decisionale, lascia il modello in uno stato di massima incertezza. Gli autori sostengono che per sopprimere robustamente il rifiuto, le rappresentazioni devono essere spinte oltre il confine nella regione conforme con un margine di confidenza esplicito.

Soluzione Proposta: Evasione Controllata nello Spazio Latente (CLE)

Gli autori propongono l'Evasione Controllata nello Spazio Latente (CLE), un meccanismo che perturba le attivazioni per evadere le sonde lineari con un margine di confidenza ottimizzato. L'intervento è parametrizzato da:

• Selezione del Livello ($\lambda_l$): Una maschera binaria che determina quali livelli sono attivamente guidati.
• Margine ($m_l$): Uno scalare non negativo che controlla quanto oltre il confine decisionale viene proiettata l'attivazione.

La dimensione del passo per la perturbazione è definita come $\alpha_l(t) = \lambda_l (\phi_l(h_l(t)) + m_l)$, dove $\phi_l$ è il logit della sonda. Questa formulazione permette all'attacco di spostare le attivazioni più profondamente nell'半-spazio conforme piuttosto che limitarsi a toccare il confine.

CLE è implementato in due varianti:

1. CLE-P (Proiettivo): Riproietta ogni attivazione di token durante la generazione su un iperpiano spostato definito dal margine $m_l$. Questo generalizza i precedenti metodi di ablazione ma impone un target di confidenza.
2. CLE-A (Additivo): Calcola la perturbazione una sola volta sul token post-istruzione e la aggiunge uniformemente a tutte le successive attivazioni di token. Questo testa se la riproiezione continua sia necessaria.

Ottimizzazione

Le finestre ottimali dei livelli ($\lambda_l$) e i margini ($m_l$) sono selezionati tramite Ottimizzazione Bayesiana (BO) su un set di convalida tenuto da parte. La ricerca BO minimizza il tasso di rifiuto atteso (massimizzando il successo dell'attacco) trovando la configurazione che evade meglio l'insieme di sonde.

Contributi Chiave

1. Riformulazione Teorica: Il documento fornisce una riformulazione rigorosa della soppressione del rifiuto come attacco di evasione nello spazio latente, dimostrando che i precedenti metodi di ablazione sono equivalenti ad attacchi a minima confidenza che si fermano al confine decisionale.
2. Quadro di Evasione Controllata: Gli autori introducono CLE, che ottimizza esplicitamente per un margine di confidenza, spingendo le rappresentazioni più lontano nella regione conforme.
3. Analisi Additiva vs Proiettiva: Il lavoro introduce e valuta CLE-A, mostrando che una singola perturbazione additiva calcolata sul token post-istruzione è sufficiente a sostenere l'evasione durante tutta la generazione, spesso superando la riproiezione per token (CLE-P).
4. Validazione Empirica: I metodi sono valutati su 15 modelli diversi, inclusi architetture addestrate su istruzioni, di ragionamento e multimodali.

Risultati

Gli autori riportano tassi di successo dell'attacco (ASR) all'avanguardia su tutti i modelli testati:

• Prestazioni: CLE-A raggiunge un ASR medio del 87,29% su 15 modelli, superando significativamente le linee di base esistenti di ablazione del rifiuto (DiM, RDO, PS, MD) e gli attacchi di jailbreak a livello di prompt (GCG, SAA).
  • Su LLaMA2-7B, CLE-A porta l'ASR dal 1,80% (DiM) al 94,96%.
  • Su Mistral-7B-RR (un modello con difese di Reindirizzamento delle Rappresentazioni), CLE-A raggiunge un ASR dell'83,02%, rispetto all'8,80% di DiM.
• Insight Meccanicistici:
  • Controllo della Confidenza: Il successo dell'attacco è correlato monotonicamente con il margine di confidenza conforme; un margine zero (proiezione sul confine) produce un successo vicino allo zero, mentre margini più ampi producono un alto successo.
  • Selezione del Livello: L'ottimizzazione bayesiana seleziona costantemente livelli intermedi (ad esempio, livelli 9–30 in Phi-4-15B) per l'intervento, evitando i livelli iniziali dove le distribuzioni dannose/innocue si sovrappongono e i livelli finali dove la traiettoria è già determinata.
  • Efficienza Additiva: CLE-A dimostra che la riproiezione continua è subottimale; una singola perturbazione fissa sostiene efficacemente la traiettoria conforme.
• Coerenza del Modello: Gli studi di ablazione sui benchmark MMLU, ARC e TruthfulQA indicano che gli interventi CLE sopprimono il rifiuto senza degradare sostanzialmente le capacità generali del modello o la coerenza.

Significato e Affermazioni

Il documento afferma che il suo significato principale risiede nel fornire un conto rigoroso del perché la soppressione del rifiuto funzioni e di come possa essere migliorata. Identificando il limite dell'ablazione a "minima confidenza", gli autori motivano la necessità di un'evasione a "confidenza controllata".

Gli autori posizionano questo lavoro come uno studio a doppio uso:

• Valore Difensivo: Chiarisce la vulnerabilità dei meccanismi di allineamento attuali alla separabilità lineare nello spazio latente, motivando lo sviluppo di meccanismi di sicurezza meno dipendenti da caratteristiche di rifiuto lineari (ad esempio, distribuendo le rappresentazioni di rifiuto su varietà non banali).
• Capacità Offensiva: Dimostra che gli allineamenti di sicurezza esistenti possono essere aggirati in modo più efficace di quanto si pensasse in precedenza, semplicemente spingendo le rappresentazioni più lontano nella regione conforme con margini ottimizzati.

Il documento conclude che, sebbene l'approccio attuale si basi sulla separabilità lineare tra rifiuto e conformità (che vale per i modelli testati), le procedure di allineamento future potrebbero mitigare tali attacchi scoraggiando attivamente questa separabilità lineare. Gli autori non affermano di aver infranto tutti i meccanismi di sicurezza, ma piuttosto di aver esposto una debolezza specifica e sistematica nel modo in cui il rifiuto è rappresentato e su cui si interviene negli attuali LLM.