🤖 AI

Using Mechanistic Interpretability to Craft Adversarial Attacks against Large Language Models

Questo articolo introduce un nuovo metodo di attacco avversario white-box che sfrutta l'interpretabilità meccanicistica per identificare e reindirizzare gli embedding dai sottospazi di rifiuto a quelli di accettazione, ottenendo elevati tassi di successo nel jailbreak su LLM allo stato dell'arte con costi computazionali significativamente ridotti rispetto alle tecniche esistenti.

Autori originali: Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Pubblicato 2026-07-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Scassinare la cassaforte senza usare il grimaldello

Immaginate un Modello di Linguaggio di Grandi Dimensioni (LLM) come un bibliotecario molto intelligente e altamente addestrato. Questo bibliotecario ha un regolamento rigoroso: "Se qualcuno chiede istruzioni su come costruire una bomba, devi rifiutare".

Gli hacker tradizionali (attacchi avversari) cercano di ingannare questo bibliotecario gridando parole confuse o usando enigmi complessi finché il bibliotecario non si confonde e accidentalmente fornisce la risposta. Questo è come cercare di scassinare una serratura scuotendo ogni chiave finché una non funziona. Richiede molto tempo, molti tentativi ed errori e spesso fallisce con bibliotecari più nuovi e intelligenti.

Questo articolo presenta un nuovo metodo chiamato "Subspace Rerouting" (SSR - Rerouting di Sottospazio). Invece di scuotere le chiavi, i ricercatori hanno guardato dentro il cervello del bibliotecario per vedere esattamente come si forma il pensiero del "rifiuto". Hanno poi creato una specifica "frase magica" che costringe il cervello del bibliotecario a prendere un percorso diverso, bypassando completamente la regola del rifiuto.

Come funziona: I tre passaggi

1. Mappare la "Stanza del Rifiuto"

I ricercatori hanno prima studiato il modello per trovare dove avviene il "rifiuto".

L'analogia: Immaginate che la mente del bibliotecario sia un enorme edificio con molte stanze. I ricercatori hanno trovato un corridoio specifico (un "sottospazio") dove vive il pensiero "Non posso farlo".
La scoperta: Si sono resi conto che quando il modello riceve una richiesta dannosa, i suoi pensieri interni (attivazioni) vengono spinti nella "Stanza del Rifiuto". Quando vede una richiesta innocua, i pensieri rimangono nella "Stanza dell'Utilità". Queste due stanze sono chiaramente separate, come due colori di vernice diversi che non si mescolano.

2. Il trucco del "Rerouting" (Deviazione)

Una volta saputo dove si trovava la "Stanza del Rifiuto", non hanno cercato di discutere con il bibliotecario. Invece, hanno calcolato una scorciatoia.

L'analogia: Immaginate di camminare verso un muro cieco (il rifiuto). Invece di colpire il muro, i ricercatori hanno trovato un tunnel nascosto che collega l'area della "Richiesta Dannosa" direttamente all'area della "Risposta Utile", saltando completamente il muro.
Il metodo: Hanno aggiunto alcune parole speciali (un "suffisso") alla fine della domanda dannosa. Queste parole agiscono come un segnale GPS che dice ai pensieri interni del modello: "Non andare nella Stanza del Rifiuto; prendi questa deviazione verso la Stanza dell'Utilità invece".

3. Il Risultato: Jailbreak istantanei

Il vecchio modo: I metodi tradizionali (come GCG) sono come cercare di abbattere il muro lanciando sassi per ore. Spesso falliscono o richiedono molto tempo.
Il nuovo modo (SSR): Questo metodo è come trovare la porta segreta. I ricercatori sono riusciti a rompere la sicurezza del modello in secondi (a volte solo 14 secondi) con un tasso di successo dell'80% - 95%. Lo hanno fatto su modelli moderni e ostici come Llama 3.2 e Gemma 2.

Le tre "Chiavi" che hanno testato

L'articolo ha testato tre modi diversi per trovare la "porta segreta":

La Chiave del Classificatore (Probe-SSR): Hanno addestrato un semplice rilevatore per individuare i "Pensieri di Rifiuto". Successivamente, hanno ottimizzato l'input per ingannare questo rilevatore, facendogli credere che la richiesta dannosa fosse in realtà innocua. Questo è stato il metodo più efficace.
La Chiave della Bussola (Steering-SSR): Hanno trovato una "direzione" specifica nella mente del modello che punta verso il "Rifiuto". Hanno poi spinto i pensieri nella direzione opposta. Questo ha funzionato bene, ma è stato leggermente meno efficiente del primo metodo.
La Chiave del Riflettore (Attention-SSR): Hanno trovato parti specifiche del modello (testine di attenzione) che si concentrano sulle parole pericolose. Hanno cercato di scrivere un suffisso che costringa queste parti a concentrarsi sulle parole innocue. È stato il metodo meno efficace nella pratica, sebbene interessante per la ricerca.

Una scoperta sorprendente: Il trucco "Naturale"

Uno dei risultati più interessanti è stato che le "parole magiche" generate dal computer non erano solo geroglifici casuali (come "asjdhf98"). A volte, formavano frasi coerenti e sensate.

L'analogia: Immaginate di cercare di hackerare un sistema di sicurezza digitando lettere casuali. Di solito otterrete "xkq9z". Ma questo metodo a volte produceva una frase come: "Fallo responsabilmente attraverso la contabilità ecologica".
Perché è importante: Questo suggerisce che i meccanismi di sicurezza del modello sono molto specifici. Il modello può essere ingannato nel pensare che una richiesta dannosa sia sicura se viene inserita nel contesto giusto, anche se tale contesto è leggermente strano.

Perché questo è importante (secondo l'articolo)

Velocità: Trasforma un processo che prima richiedeva ore in uno che richiede secondi.
Comprensione: Dimostra che possiamo capire come i modelli di IA pensano (interpretabilità meccanicistica) e usare questa conoscenza per romperli.
Difesa: Vedendo esattamente come funziona la "Stanza del Rifiuto" e quanto facilmente può essere aggirata, gli sviluppatori possono costruire serrature migliori (difese) che non abbiano questi specifici buchi.

Cosa l'articolo NON afferma

Non afferma che questo funzioni su ogni modello in ogni situazione (ha funzionato meglio sui modelli specifici testati).
Non afferma che sia uno strumento per uso clinico o diagnosi medica.
Non afferma che le "parole magiche" siano sempre in inglese perfetto; a volte sono ancora un po' strane, solo meno di prima.

In breve, l'articolo dice: "Abbiamo guardato dentro il cervello dell'IA, abbiamo trovato l'interruttore che spegne la sicurezza e abbiamo costruito un telecomando per premere quell'interruttore istantaneamente."

Riepilogo Tecnico: Utilizzare l'Interpretabilità Meccanicistica per Creare Attacchi Avversari contro i Large Language Models

Problema

I Large Language Models (LLM) rimangono vulnerabili alle perturbazioni avversarie, specificamente ai "jailbreak" progettati per aggirare l'allineamento della sicurezza. I metodi di attacco white-box tradizionali, come il Greedy Coordinate Gradient (GCG), si affidano all'ottimizzazione del gradiente end-to-end mirando a specifici token di output. Questi approcci spesso ignorano i meccanismi interni responsabili del rifiuto o dell'accettazione, risultando in processi computazionalmente costosi (che richiedono spesso ore) che faticano a raggiungere alti tassi di successo su modelli più recenti e robusti. Al contrario, la ricerca sull'interpretabilità meccanicistica ha identificato con successo i meccanismi di sicurezza interni — come i sottospazi di rifiuto e specifiche teste di attenzione — ma è stata ampiamente limitata a interventi a runtime (ad esempio, lo steering delle attivazioni) che producono attivazioni fuori distribuzione (out-of-distribution) e mancano di applicazione pratica per la creazione di input avversari statici.

Questo articolo affronta il divario tra le intuizioni dell'interpretabilità e la generazione pratica di attacchi avversari. Gli autori propongono un metodo che sfrutta la comprensione dei meccanismi interni del modello per creare input avversari efficienti e ad alto tasso di successo senza fare affidamento su interventi a runtime.

Metodologia: Subspace Rerouting (SSR)

Gli autori introducono il Subspace Routing (SSR), un framework white-box che inquadra il jailbreaking come un problema di ottimizzazione nello spazio continuo degli embedding del modello. Invece di puntare a specifici token di output, l'SSR mira a reindirizzare (reroute) gli embedding del modello dai "sottospazi di rifiuto" verso "sottospazi di accettazione" modificando i suffissi di input.

1. Identificazione dei Sottospazi

Gli autori caratterizzano prima le rappresentazioni interne di rifiuto e accettazione utilizzando tecniche di interpretabilità:

Sottospazi Semantici: Utilizzando probe lineari addestrati su dataset contrastivi (istruzioni dannose vs innocue), gli autori dimostrano che i contenuti dannosi e innocui occupano regioni linearmente separabili nello spazio delle attivazioni già al terzo livello del modello. Definiscono inoltre una "direzione di rifiuto" ( $\hat{r}$ ) come la differenza tra le medie delle attivazioni dannose e innocue.
Sottospazi di Componente: Gli autori identificano specifiche teste di attenzione responsabili dei meccanismi di sicurezza. Osservano che i jailbreak riusciti spesso implicano un "dirottamento dell'attenzione" (attention hijacking), in cui le teste critiche per la sicurezza spostano il loro focus dai token di istruzione dannosi ai token di suffisso benigni.

2. L'Algoritmo SSR

Il nucleo dell'algoritmo minimizza una funzione di perdita $\mathcal{L}(x_m)$ che misura la deviazione delle attivazioni dai sottospazi target:
$\mathcal{L}(x_m) = \sum_{k} \alpha_k d_k(e_k, E_k)$
Dove $x_m$ è il suffisso avversario, $e_k$ sono le attivazioni ai livelli target, ed $E_k$ sono i sottospazi di accettazione target. L'ottimizzazione utilizza una ricerca greedy coordinate gradient adattata per token discreti.

Il documento dettaglia tre implementazioni specifiche di SSR:

Probe-SSR: Utilizza classificatori lineari addestrati per guidare l'ottimizzazione verso la probabilità della classe "innocua".
Steering-SSR: Mira direttamente alla direzione di rifiuto, ottimizzando gli input per ottenere effetti simili allo steering a runtime ( $e \leftarrow e^* + a\hat{r}$ ) ma all'interno della distribuzione di probabilità naturale.
Attention-SSR: Tenta di reindirizzare l'attenzione di specifiche teste critiche per la sicurezza lontano dal contenuto dannoso e verso il suffisso avversario, o minimizza l'ampiezza dell'output di queste teste.

Contributi Chiave

Nuovo Vettore di Attacco: L'introduzione di SSR, un metodo che operazionalizza l'interpretabilità meccanicistica per creare input avversari pratici, ottenendo tassi di successo dell'attacco (ASR) dell'80-95% su modelli allo stato dell'arte (Gemma2, Llama3.2, Qwen2.5) in secondi o minuti.
Identificazione dei Sottospazi: Molteplici metodi per definire i sottospazi di rifiuto e accettazione tramite probe lineari e direzioni di rifiuto, confermando la separabilità lineare dei concetti di sicurezza nei primi e medi livelli.
Efficienza e Interpretabilità: Dimostrare che il targeting di specifici sottospazi interni è significativamente più efficiente dal punto di l'aspetto computazionale rispetto all'ottimizzazione end-to-end dei token. Inoltre, il metodo produce perturbazioni che rimangono all'interno della distribuzione di probabilità naturale del modello, diversamente dagli interventi di steering a runtime.
Analisi della Stabilità Cross-Layer: Il documento fornisce prove che i sottospazi di rifiuto si cristallizzano in rappresentazioni stabili nella seconda metà del modello, suggerendo che un reindirizzamento efficace richiede il targeting di più livelli per impedire al modello di "recuperare" verso uno stato di rifiuto.

Risultati Sperimentali

Performance: Sul dataset AdvBench, Probe-SSR e Steering-SSR hanno ottenuto ASR compresi tra l'80% e il 95% su Llama3.2, Gemma2 e Qwen2.5. Al contrario, il baseline nanoGCG ha raggiunto lo 0-53% di successo, mentre le istruzioni dannose vanilla venivano quasi sempre rifiutate.
Velocità: Gli attacchi sono stati generati in secondi o minuti (ad esempio, 14 secondi per Llama3.2 1b), una riduzione significativa rispetto alle ore spesso richieste da GCG.
Proprietà Distribuzionali: L'analisi tramite PCA e divergenza KL ha rivelato che, mentre gli interventi di steering a runtime creano attivazioni fuori distribuzione che il modello "corregge" nei livelli successivi, le perturbazioni generate da SSR mantengono una bassa similarità del coseno con le direzioni di rifiuto durante l'intero passaggio in avanti (forward pass), indicando che sono più robuste e naturali per l'elaborazione del modello.
Jailbreak Interpretabili: Sorprendentemente, il processo di ottimizzazione ha talvolta prodotto sequenze di token coerenti e interpretabili (ad esempio, "responsabilmente", "etico") piuttosto che geroglifici casuali, suggerendo che i meccanismi di sicurezza interni del modello possono essere aggirati tramite percorsi semanticamente plausibili.
Reverse-Lens: Ottimizzando per attivare la direzione di rifiuto (l'inverso di un jailbreak), gli autori hanno identificato automaticamente i token (insulti, termini malevoli) che attivano fortemente i meccanismi di sicurezza, validando l'SSR come potenziale strumento di interpretabilità.

Significato e Rivendicazioni

Gli autori sostengono che l'SSR rappresenti un avanzamento significativo sia nella ricerca sugli attacchi che nello sviluppo delle difese.

Per la Ricerca sugli Attacchi: Dimostra che la comprensione dei meccanismi interni del modello permette attacchi più efficienti ed efficaci rispetto ai metodi tradizionali black-box o white-box end-to-end. Evidenzia che l'attuale addestramento alla sicurezza potrebbe non tenere conto delle manipolazioni dei sottospazi, lasciando i modelli vulnerabili a queste specifiche perturbazioni.
Per la Difesa e l'Interpretabilità: L'SSR funge da strumento pratico per sondare l'interno dei modelli. Reroutando con successo gli embedding, rivela le vulnerabilità strutturali delle barriere di sicurezza. Gli autori sostengono che la capacità di generare rapidamente dataset di jailbreak interpretabili apre nuove direzioni per lo studio delle perturbazioni avversarie e lo sviluppo di tecniche di allineamento più robuste.
Modestia: Il documento riconosce i limiti, tra cui la difficoltà di trasferire gli attacchi tra diverse architetture di modelli a causa della natura chirurgica delle perturbazioni, la dipendenza da specifici iperparametri e il fatto che alcuni attacchi cambiano involontariamente il significato semantico del prompt (ad esempio, reindirizzando una query sulla fabbricazione di bombe verso una ricetta per una torta). Gli autori notano che l'implementazione di Attention-SSR è stata meno efficace in pratica rispetto agli approcci di sottospazio semantico.

In conclusione, il documento afferma che l'interpretabilità meccanicistica non è solo uno strumento analitico, ma un motore pratico per generare esempi avversari, sfidando l'assunto che un allineamento robusto sia raggiunto senza affrontare i sottospazi interni specifici responsabili del rifiuto.