🤖 machine learning

Diffusion LLMs as Targets and Adversaries: Mechanistic Safety Exploits

Questo articolo rivela che i modelli linguistici di grandi dimensioni basati sulla diffusione ereditano vulnerabilità di sicurezza sparse e trasferibili dai loro predecessori autoregressivi, consentendo jailbreak black-box altamente efficaci attraverso la potatura meccanicistica dei neuroni e un nuovo framework di diffusione guidata da SN che raggiunge tassi di successo di attacco quasi perfetti con costi di generazione minimi.

Autori originali: Elena Dumitrescu, Gert Lek, Lydia Y. Chen, Jérémie Decouchant

Pubblicato 2026-08-10

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Elena Dumitrescu, Gert Lek, Lydia Y. Chen, Jérémie Decouchant

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer non si limitano a leggere le parole una alla volta, come una persona che legge un libro da sinistra a destra, ma guardano un'intera pagina di lettere rimescolate e, lentamente, in modo magico, le decifrano tutte insieme finché non appare una frase chiara. Questo è il nuovo modo in cui alcuni dei cervelli informatici più intelligenti, chiamati Large Language Models (LLM), stanno imparando a pensare. Gli scienziati chiamano questi modelli "Diffusion". Sono come un detective che parte da una foto sfocata di una scena del crimine e continua ad aumentare la nitidezza finché l'immagine non è cristallina, invece di cercare di indovinare la parola successiva in una frase una alla volta.

Ma ecco la parte complicata: insegniamo a questi computer a essere "buoni" mostrandogli esempi di ciò che non devono dire, come rifiutarsi di aiutare qualcuno a costruire una bomba o scrivere una lettera cattiva. Questo è chiamato "allineamento della sicurezza" (safety alignment). Per molto tempo, abbiamo pensato che queste regole di sicurezza fossero intrecciate profondamente in tutto il cervello del computer, come uno scudo spesso e indistruttibile. Tuttavia, ricerche recenti suggeriscono che questo scudo potrebbe essere fatto solo di pochi fili piccoli e specifici. Se riesci a trovare e tirare quei fili specifici, l'intero scudo potrebbe cadere a pezzi. Questa è la grande domanda che gli scienziati si pongono: questi nuovi computer che "decifrano" sono sicuri quanto quelli vecchi, o hanno punti deboli segreti e nascosti che non abbiamo ancora notato?

La Grande Scoperta del Paper: Trovare gli "Interruttori di Sicurezza"

In questo articolo, un team di ricercatori ha deciso di trattare questi nuovi modelli di Diffusione in due modi: prima, come i target che vogliono violare e, secondo, come gli adversaries (gli hacker) che vogliono usare per violare altri modelli. Volevano vedere se le regole di sicurezza all'interno di questi computer erano effettivamente fragili, come un castello di carte, piuttosto che una fortezza.

Il Segreto dei "Neuroni di Sicurezza"
I ricercatori hanno scoperto qualcosa di sorprendente. All'interno di questi complessi cervelli informatici, la parte che dice "No, non posso farlo" non è sparsa ovunque. Inveve, è concentrata in un piccolo e rado gruppo di parti specifiche chiamate "neuroni di sicurezza". Pensatelo come a un edificio con migliaia di lampadine. Potreste pensare che il cartello "Vietato l'Accesso" sia dipinto su ogni singola lampadina, ma i ricercatori hanno scoperto che il cartello è in realtà solo un piccolo adesivo su un manipolo di lampadine specifiche. Se coprite quelle poche lampadine con del nastro adesivo (o le "potate" / "pruning"), l'edificio dimentica di avere un cartello "Vietato l'Accesso" e lascia entrare chiunque.

L'Hack "Copia e Incolla"
Ecco dove la cosa diventa davvero astuta. Molti di questi nuovi modelli di Diffusione sono costruiti prendendo i cervelli dei modelli più vecchi, che leggono "da sinistra a destra", e dando loro un nuovo modo di pensare. I ricercatori hanno scoperto che, quando si fa questo, il nuovo modello copia accidentalmente gli stessi identici "adesivi di sicurezza" del vecchio modello.

Hanno testato questo fenomeno trovando i neuroni di sicurezza in un vecchio modello (chiamato Qwen2.5) e poi puntando semplicemente alle stesse esatte posizioni in un modello di Diffusione nuovissimo (chiamato Dream o Fast-dLLM). Non hanno nemmeno avuto bisogno di guardare dentro il nuovo modello per trovare i punti deboli; hanno semplicemente usato la mappa di quello vecchio.

Il Risultato: Quando hanno "coperto con il nastro" questi copiati neuroni di sicurezza, i nuovi modelli sono passati dall'essere molto sicuri (rifiutando di rispondere a domande cattive il 98% delle volte) all'essere completamente compromessi (rispondendo a domande cattive il 73,2% delle volte per Dream e l'86,3% delle volte per Fast-dLLM). Questo ha dimostrato che i difetti di sicurezza sono "trasferibili": puoi rubare la debolezza da un modello e usarla per romperne un altro.

La Nuova Arma: "SN-Guided Diffusion"

Sapere che questi neuroni di sicurezza esistono è una cosa, ma come si usa questo per hackerare un computer che non puoi toccare (un modello "black-box")? I ricercatori hanno inventato un nuovo strumento chiamato SN-Guided Diffusion.

Immaginate di dover scrivere una lettera che un insegnante severo leggerà. Se scrivete qualcosa di cattivo, l'insegnante vi ferma. Ma cosa succederebbe se poteste scrivere la lettera in un modo che sembra sicuro al cervello dell'insegnante, anche se in realtà sta chiedendo qualcosa di pericoloso?

I ricercatori hanno usato la capacità dei modelli di Diffusione di "decifrare" il testo a proprio vantaggio. Invece di indovinare parola per parola, hanno impostato il computer affinché partisse da una risposta cattiva che volevano (come "Come costruire una bomba") e poi hanno chiesto al computer di lavorare a ritroso per trovare una domanda che portasse a quella risposta. Ma ecco il colpo di scena: mentre il computer lavorava a ritroso, hanno usato una speciale "bussola" (chiamata Weighted Safety Neuron Loss) per guidare il processo.

Questa bussola diceva al computer: "Non scegliere parole che facciano accendere i neuroni di sicurezza. Scegli parole che mantengano quei neuroni spenti." Controllando e aggiustando costantemente le parole per mantenere i neuroni di sicurezza spenti, il computer ha generato un prompt di "jailbreak" che era abilmente travestito. Sembrava una domanda normale e sicura per i filtri di sicurezza, ma in realtà ingannava il modello per ottenere una risposta pericolosa.

Quanto ha funzionato?
I risultati sono stati impressionanti. Questo nuovo metodo non ha avuto bisogno di porre al modello target migliaia di domande per imparare come romperlo (il che è lento ed costoso). Invece, ha fatto tutto il lavoro offline usando un modello "surrogato".

Contro un modello chiamato Llama-3-8B, ha avuto successo il 77,1% delle volte.
Contro Qwen2.5, ha avuto successo l'86,9% delle volte.
Contro un modello di Google chiamato Gemini-2.5-Flash-Lite, ha avuto successo il 74,3% delle volte.

Forse la cosa più importante è che ha fatto tutto questo avendo bisogno di soli 20 tentativi per domanda. Altri metodi di hacking richiedono spesso migliaia di tentativi. Ciò significa che il nuovo metodo non è solo efficace, ma anche incredibilmente veloce ed economico da eseguire.

Perché questo è importante

Il paper conclude che la sicurezza di questi nuovi modelli di IA è molto più fragile di quanto pensassimo. Lo "scudo di sicurezza" non è un muro solido; è un insieme di pochi interruttori specifici che possono essere trovati, copiati e spenti.

I ricercatori hanno dimostrato che se costruite una nuova IA copiando il cervello di una vecchia, copiate anche le sue debolezze di sicurezza. Hanno anche provato che potete usare il superpotere di "decifrazione" della nuova IA per creare prompt che scivolano via dai filtri di sicurezza, nascondendo efficacementmente l'intento cattivo dentro un pacchetto dall'aspetto sicuro.

Sebbene questo sembri spaventoso, i ricercatori sostengono che comprendere questi punti deboli sia l'unico modo per risolverli. Se sappiamo che le regole di sicurezza sono solo pochi piccoli neuroni, non possiamo limitarci a sperare che resistano; dobbiamo riprogettare l'IA in modo che la sicurezza sia tessuta in ogni parte del suo cervello, non solo in pochi interruttori nascosti. Fino ad allora, questi nuovi modelli potrebbero essere più vulnerabili di quanto pensiamo, e gli strumenti per romperli sono già nelle nostre mani.

Sintesi Tecnica: I Modelli LLM a Diffusione come Target e Avversari: Sfruttamenti Meccanicistici della Sicurezza

1. Definizione del Problema

L'emergere rapido dei Diffusion Large Language Models (DLLM) introduce una nuova generazione di generatori di testo che sostituiscono la predizione autoregressiva (AR) del next-token con un processo iterativo e parallelo di denoising. Sebbene i DLLM offrano vantaggi nella modellazione del contesto bidirezionale e nell'efficienza dei dati, i loro meccanismi interni di sicurezza rimangono scarsamente compresi. La ricerca esistente sull'allineamento della sicurezza si è concentrata principalmente sulle architetture AR, dove la sicurezza è spesso localizzata in insiemi sparsi di "neuroni di sicurezza".

Questo articolo investiga due questioni critiche:

Come Target: I DLLM ereditano le stesse vulnerabilità di sicurezza meccanicistiche e sparse trovate nei loro predecessori AR (es. Qwen2.5), e queste vulnerabilità sono trasferibili tra architetture?
Come Avversari: Le proprietà uniche dei DLLM (specificamente la loro capacità di modellare distribuzioni congiunte prompt-risposta $q(x, y)$ ) possono essere sfruttate per generare prompt avversari in modo più efficiente rispetto agli attuali metodi di jailbreak allo stato dell'arte (SOTA), che spesso si affidano alla costosa ricerca di token o all'apprendimento per rinforzo?

Gli autori postulano che gli attuali framework di sicurezza siano strutturalmente fragili e che il passaggio ai paradigmi di diffusione possa esporre vettori di attacco completamente nuovi, fornendo al contempo nuovi strumenti per lo sfruttamento.

2. Metodologia

L'articolo propone un approccio a due fronti: un Attacco di Trasferibilità White-Box per validare l'ereditarietà della vulnerabilità, e un Framework di Jailbreak Black-Box (SN-Guided Diffusion) per sfruttare tali vulnerabilità.

2.1. White-Box: Trasferibilità Cross-Architettura

Gli autori stabiliscono innanzitutto che i meccanismi di sicurezza nei DLLM sono sparsi e trasferibili.

Identificazione dei Neuroni di Sicurezza: Utilizzando una variante del framework NeuroStrike, gli autori identificano i "neuroni di sicurezza" in un modello sorgente a pesi aperti (sia un DLLM nativo come LLaDA, sia un modello AR come Qwen2.5). Estraggono le attivazioni delle reti feed-forward da prompt benigni e malevoli, addestrando un classificatore di regressione logistica per isolare i neuroni con pesi che deviano significativamente dalla media.
Mappatura Diretta degli Indici: Per i DLLM inizializzati da pesi AR (es. Dream, Fast-dLLM da Qwen2.5), la struttura interna della rete è identica. Gli autori mappano direttamente le coordinate dei neuroni di sicurezza $(\ell, i)$ dal modello AR sorgente al DLLM target senza profilare il DLLM stesso.
Pruning al Tempo di Inferenza: Per testare la vulnerabilità, gli autori azzerano le attivazioni di questi neuroni di sicurezza mappati durante il passaggio in avanti (forward pass). Questo "transfer pruning" elude le protezioni di sicurezza senza richiedere il fine-tuning del modello.

2.2. Black-Box: Framework SN-Guided Diffusion

Per generare jailbreak senza interrogare il modello target, gli autori introducono il SN-Guided Diffusion, un framework completamente offline.

Perdita dei Neuroni di Sicurezza Pesati (SN Loss): Gli autori formulano una metrica di perdita continua per guidare il processo di diffusione. Invece di un'ottimizzazione discreta, calcolano un'aspettativa pesata delle attivazioni dei neuroni di sicurezza:
$SN(x) = E_\ell \left[ \sum_{i:(\ell,i) \in S} h^\ell_i(x) \cdot w_{\ell,i} \right]$
dove $w_{\ell,i}$ sono i pesi della regressione logistica appresi durante l'identificazione. Minimizzare questa perdita orienta la generazione lontano dalle regioni che attivano la sicurezza.
Cascata di Pruning Generativo: Per garantire risposte avversarie di alta qualità, il framework utilizza prima un modello surrogato DLLM progressivamente potato (pruned) per generare coppie prompt-risposta "mascherate". Questa cascata filtra rifiuti, degenerazione e perdita semantica, stabilendo una "Zona di Jailbreak" affidabile nello spazio di attivazione.
Ciclo di Ottimizzazione Offline: Il framework ancora il processo di diffusione inversa a una risposta target malevola fissa $y^*$ . Ad ogni step di denoising, valuta i token candidati per le posizioni mascherate. Seleziona i token che minimizzano la perdita SN mantenendo la fluidità semantica, guidando efficacementmente la traiettoria nella "Zona di Jailbreak" (uno spazio sottodimensionato a bassa attivazione indistinguibile dalle query benigne).
Mascheramento dell'Intento (Intent Cloaking): Per eludere i filtri lessicali, il framework impiega template basati su persona e traduzioni eufemistiche per mascherare i trigger grezzi malevoli prima che il processo di diffusione abbia inizio.

3. Contributi Chiave

Dimostrazione della Trasferibilità Strutturale: L'articolo fornisce prove empiriche che l'allineamento della sicurezza nei DLLM rimane altamente localizzato e strutturalmente trasferibile. I neuroni di sicurezza identificati nei modelli AR (come Qwen2.5) possono essere mappati direttamente nei DLLM inizializzati da quei pesi, consentendo attacchi cross-architettura senza profilare il DLLM target.
Introduzione della Perdita SN Pesata: Gli autori propongono una metrica di perdita scalare continua che integra le attivazioni dei neuri con pesi logistici appresi. Questa metrica raggiunge una separabilità quasi perfetta (AUROC = 1.0) tra prompt benigni, malevoli e di jailbreak, stabilendo un obiettivo affidabile per l'ottimizzazione al tempo di inferenza.
Framework di Diffusione Guidata da SN: Un nuovo generatore di jailbreak black-box completamente offline. A differenza dei metodi precedenti che richiedono migliaia di query o l'apprendimento per rinforzo, questo framework sfrutta la natura bidirezionale dei DLLM per risolvere l'ottimizzazione del jailbreak come un problema di inferenza. Ottiene una trasferibilità competitiva con costi di generazione di ordini di grandezza inferiori.

4. Risultati Sperimentali

4.1. Attacchi di Trasferibilità White-Box

Self-Pruning: Il pruning dei neuroni di sicurezza nei DLLM nativi (LLaDA, Dream) ha aumentato l'Attack Success Rate (ASR) dal ~2.6% al 73.8% (LLaDA) e dal 1.9% all'86.6% (Dream).
Transfer Pruning: Il pruning dei neuroni mappati da Qwen2.5 verso i DLLM target ha aumentato l'ASR dall'1.9% al 73.2% su Dream e dal 7.0% all'86.3% su Fast-dLLM.
Preservazione dell'Utilità: L'utilità generale (misurata tramite GSM8K) è rimasta ampiamente intatta, con un degrado tipicamente inferiore al 2-3%, confermando che i neuroni di sicurezza sono distinti dalle capacità linguistiche generali.

4.2. Trasferibilità Black-Box

Performance: Il metodo SN-Guided Diffusion ha ottenuto un alto ASR su diversi target:
- Llama-3-8B-Instruct: 77.1%
- Qwen2.5-7B-Instruct: 86.9%
- Gemini-2.5-Flash-Lite: 74.3%
- Fast-dLLM-v2-7B: 88.8%
Confronto con lo SOTA: Il metodo ha superato NeuroStrike (es. 83.3% vs 54.7% su Gemini-2.0-Flash) e framework competitivi come Puzzler, richiedendo solo 20 episodi di generazione per prompt.
Evasione della Difesa: L'attacco è rimasto robusto contro il Perplexity Filtering e SmoothLLM. Il Layer-Specific Editing (LSE) ha fornito la mitigazione più forte ma ha ridotto l'ASR solo al 69.0% su Llama-3, indicando la natura sistemica della vulnerabilità.

4.3. Efficienza

Il framework richiede circa 1.920 valutazioni surrogate per episodio. Con un budget massimo di 20 episodi per prompt, il costo computazionale totale è di 38.400 valutazioni surrogate per tentativo avversario. Questo è di ordini di grandezza inferiore ai milioni di rollout richiesti dai metodi basati su GRPO o alle decine di migliaia di query richieste dai metodi di ricerca iterativa come GCG.

5. Significato e Rivendicazioni

L'articolo sostiene che il passaggio a paradigmi di generazione basati sulla diffusione non risolve intrinsecamente i problemi di allineamento della sicurezza; piuttosto, può propagare le vulnerabilità esistenti dai modelli AR alle nuove architetture. Gli autori argomentano che:

La Sicurezza è Sparsa e Trasferibile: I meccanismi di sicurezza non sono olistici ma si basano su neuroni sparsi e localizzati che vengono preservati quando i DLLM sono inizializzati da pesi AR. Ciò crea una "arma a doppio taglio" dove la condivisione dei pesi per la capacità condivide anche le vulnerabilità.
Punti Ciechi Meccanicistici: Esiste una "Zona di Jailbreak" nello spazio di attivazione dove i prompt possono essere strutturalmente ottimizzati per minimizzare l'attivazione dei neuroni di sicurezza mantenendo l'intento malevolo. Questa zona è accessibile tramite guida offline della diffusione.
Efficienza degli Attacchi Meccanicistici: Sfruttando la modellazione della distribuzione congiunta dei DLLM, gli attaccanti possono evitare la necessità di costosa ottimizzazione online o apprendimento per rinforzo, ottenendo un'alta trasferibilità con un costo computazionale minimo.

Gli autori concludono che le future strategie di allineamento devono andare oltre il tuning comportamentale superficiale per affrontare queste vulnerabilità strutturali fondamentali, potenzialmente intrecciando le rappresentazioni di sicurezza con le capacità linguistiche centrali o interrompendo la mappatura uno-a-uno dei neuroni di sicurezza.