💬 NLP

STACK: Adversarial Attacks on LLM Safeguard Pipelines

Questo articolo introduce la procedura di attacco avversario STACK, che compromette con successo una nuova pipeline di salvaguardia per LLM basata su few-shot prompting con un tasso di successo dell'attacco del 71%, evidenziando così critiche vulnerabilità negli attuali sistemi di difesa dell'IA all'avanguardia e proponendo specifiche mitigazioni.

Autori originali: Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Pubblicato 2026-02-06

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di stare costruendo un assistente robotico molto potente e utile. Vuoi che sia intelligente, ma sei terrorizzato all'idea che possa accidentalmente (o intenzionalmente) dare a qualcuno istruzioni su come costruire una bomba o creare un virus pericoloso.

Per impedire questo, i creatori del robot non si affidano solo a un singolo segnale di "stop". Invece, costruiscono un pipeline di sicurezza, come una fortezza a più strati. Questo articolo, intitolato STACK, investiga quanto bene queste fortezze resistano effettivamente contro hacker astuti.

Ecco la scomposizione della storia dell'articolo, utilizzando analogie semplici:

1. La Fortezza: "Difesa in Profondità"

Immagina il sistema di sicurezza dell'IA come un castello con tre guardie in fila:

Guardia 1 (Classificatore di Input): Controlla la lettera che invii prima che raggiunga il robot. Se la lettera sembra sospetta, la ferma immediatamente.
Il Robot (Il Modello): Se la lettera supera la Guardia 1, il robot la legge e scrive una risposta.
Guardia 2 (Classificatore di Output): Controlla la risposta del robot prima che arrivi a te. Se la risposta contiene istruzioni pericolose, questa guardia la sottrae.

L'idea è che per avere successo, un malintenzionato deve ingannare entrambe le guardie e il robot. Questo è chiamato "Difesa in Profondità" (o il modello "Swiss Cheese"), dove anche se uno strato ha un buco, gli altri dovrebbero intercettare la minaccia.

2. Il Problema: Le Guardie Sono Assonnate

I ricercatori hanno costruito una versione di prova di questa fortezza usando strumenti open-source (come un progetto pubblico). Hanno scoperto che le "guardie" (i classificatori di sicurezza) erano spesso troppo facili da ingannare.

Hanno testato trucchi standard (come riformulare una domanda o aggiungere errori di battitura casuali) e hanno scoperto che molti sistemi di guardia esistenti non riuscivano a fermarli, specialmente quando la richiesta era veramente pericolosa (come chiedere ricette per armi chimiche).
Tuttavia, hanno anche scoperto che un trucco semplice — dare alla guardia alcuni esempi di ciò che deve cercare (chiamato "few-shot prompting") — rendeva la guardia molto più acuta. Questa guardia semplice era migliore di quelle pre-addestrate e sofisticate.

3. Il Nuovo Attacco: STACK (Staged AttaCK)

Questa è la scoperta principale dell'articolo. I ricercatori si sono resi conto che, sebbene la fortezza sia forte, le guardie guardano le cose separatamente. Non comunicano tra loro durante l'attacco.

Hanno inventato un nuovo metodo di hacking chiamato STACK (Staged AttaCK). Invece di cercare di rompere l'intera fortezza tutta in una volta, l'hanno smontata uno strato alla volta, come un ladro che scassina le serrature in un ordine specifico:

Passaggio 1: Ingannare il Robot. Per prima cosa, hanno usato una tecnica di persuasione per convincere il robot a rispondere alla domanda pericolosa, ignorando le proprie regole interne di sicurezza.
Passaggio 2: Ingannare la Guardia 1. Hanno trovato una "frase magica" (un jailbreak universale) che, se aggiunta all'inizio del messaggio, faceva pensare alla Guardia 1 che il messaggio fosse innocuo.
Passaggio 3: Ingannare la Guardia 2. Questa è stata la parte più difficile. Avevano bisogno che il robot scrivesse una risposta che includesse una "frase magica" alla fine, in modo da ingannare la Guardia 2 e farle credere che la risposta fosse sicura.

L'Analogia: Immagina di voler far passare un biglietto proibito in una scuola.

Prima scrivi il biglietto in modo che l'insegnante (il robot) lo legga e risponda.
Poi avvolgi il biglietto in un involucro che la telecamera di sicurezza alla porta (la Guardia 1) scambia per un contenitore del pranzo.
Infine, aggiungi un timbro specifico sul retro del biglietto che la telecamera di sicurezza all'uscita (la Guardia 2) scambia per un permesso.

Combinando questi tre trucchi specifici, i ricercatori sono riusciti a bypassare l'intera fortezza.

4. I Risultaggi: Quanto ha Funzionato?

La Fortezza ha Resistito (Più o meno): Quando hanno usato attacchi standard, la fortezza ha funzionato molto bene. La guardia "few-shot" ha bloccato il 100% degli attacchi sul dataset più pericoloso.
STACK ha Rotto la Fortezza: Quando hanno usato il loro nuovo metodo STACK, hanno bypassato la fortezza il 71% delle volte.
La Sorpresa della "Black Box": Anche quando gli hacker non potevano vedere la logica interna delle guardie (uno scenario "black box") e dovevano indovinare quale guardia li avesse fermati, hanno avuto successo il 33% delle volte. Questo è spaventoso perché significa che non serve essere un insider per rompere il sistema; basta essere astuti.

5. Il Test nel Mondo Reale

I ricercatori non hanno testato questo metodo solo sul proprio modello giocattolo. Hanno provato il loro metodo sui modelli reali di alto livello delle grandi aziende (come Anthropic's Opus 4 e OpenAI's GPT-5).

Hanno scoperto che anche questi sistemi del mondo reale perdono informazioni (come quanto tempo impiega una richiesta per essere elaborata o messaggi di errore specifici) che dicono a un hacker quale guardia li ha fermati.
Usando queste informazioni, hanno bypassato con successo questi sistemi ad alta sicurezza per ottenere risposte pericolose. Le aziende hanno riconosciuto i problemi e hanno applicato delle patch.

6. La Conclusione

L'articolo conclude con alcune lezioni semplici per i costruttori di queste fortezze IA:

Non rivelare i tuoi segreti: Se il tuo sistema dice a un hacker "La Guardia di Input ti ha fermato" invece di "La Guardia di Output ti ha fermato", stai fornendo una mappa. Fai in modo che tutti i rifiuti sembrino uguali.
Non lasciare che gli hacker sbirciino: Se rilasci un "modello fratello" (una versione leggermente più piccola della tua guardia di sicurezza) al pubblico, gli hacker possono addestrare i loro attacchi su di esso e poi usarli contro il tuo sistema principale.
La Difesa in Profondità è buona, ma non perfetta: Avere più strati di sicurezza è meglio che non averne affatto, ma se gli strati non comunicano o se le guardie sono troppo prevedibili, un attacco a stadi astuto può infiltrarsi facilmente.

In breve: L'articolo dimostra che, sebbene i livelli di sicurezza dell'IA siano una buona idea, sono attualmente vulnerabili a un tipo specifico di attacco "divide et impera". Se si attaccano i livelli uno alla volta, si può sconfiggere l'intero sistema.

Sintesi Tecnica: STACK: Attacchi Avversari sulle Pipeline di Salvaguardia degli LLM

Problema

Gli sviluppatori di IA all'avanguardia si affidano sempre più a pipeline di "difesa in profondità" — sistemi stratificati di classificatori di input, modelli generativi e classificatori di output — per prevenire l'uso improprio catastrofico dei Large Language Models (LLM). Mentre aziende come Anthropic e OpenAI hanno implementato tali pipeline per modelli come Opus 4 e GPT-5, la sicurezza di queste difese multistadio rimane incerta. Il lavoro precedente ha valutato queste pipeline principalmente utilizzando attacchi non adattivi e ingenui progettati per sistemi a singolo modello, potenzialmente sovrastimando la loro robustezza. Esiste una lacuna critica nel comprendere se gli attacchi a stadi possano eludere sistematicamente le salvaguardie sequenziali, in particolare in modelli di minaccia black-box realistici in cui gli attaccanti non possono accedere direttamente ai singoli componenti ma possono inferire quale stadio ha bloccato una query.

Metodologia

Costruzione della Pipeline di Difesa

Gli autori hanno costruito una pipeline di difesa in profondità open-source per fungere da banco di prova. Questa pipeline avvolge un modello generativo target ( $m$ ) con due classificatori:

Classificatore di Input ( $f_q$ ): Valuta la query dell'utente.
Classificatore di Output ( $f_r$ ): Valuta la risposta del modello.
La pipeline rifiuta qualsiasi query o risposta che superi una specifica soglia di punteggio. Gli autori hanno valutato vari modelli di salvaguardia open-weight (ad esempio, Llama Guard, ShieldGemma) e hanno introdotto un nuovo classificatore con prompting few-shot utilizzando il modello base Gemma 2, che ha superato i modelli di guardia specializzati come ShieldGemma.

L'Attacco STACK

Il documento introduce lo STaged AttaCK (STACK), una metodologia progettata per sconfiggere le pipeline di difesa in profondità rompendo i componenti uno alla volta. L'attacco procede in tre stadi:

Jailbreak del Modello Generativo: Utilizzare un attacco non adattivo (ad esempio, Persuasive Adversarial Prompts, o PAP) per trasformare una query dannosa in una forma che il modello target sia disposto ad rispondere.
Jailbreak del Classificatore di Input: Ottimizzare una stringa avversaria universale (Input Classifier Jailbreak, ICJ) che, quando preposta alla query trasformata, elude il filtro di input.
Jailbreak del Classificatore di Output: Ottimizzare una stringa avversaria universale (Output Classifier Jailbreak, OCJ) che il modello riceve l'istruzione di ripetere nel proprio output. Ciò si ottiene costruendo un prompt che costringe il modello a emettere la stringa OCJ prima di rispondere alla query dell'utente.

Il payload finale dell'attacco concatena l'ICJ, un'istruzione di ripetizione e la query trasformata.

Modelli di Minaccia

Lo studio valuta STACK sotto due modelli di minaccia principali:

Black-Box Semi-Separabile: L'attaccante ha accesso black-box all'intera pipeline ma può inferire quale componente (classificatore di input, modello o classificatore di output) ha rifiutato una query (ad esempio, tramite messaggi di rifiuto distinti o tempi di risposta). Questo riflette i comportamenti attuali delle API (ad esempio, Claude Opus 4).
Trasferimento (Proxy White-Box verso Black-Box Target): L'attaccante ha pieno accesso white-box a una pipeline proxy (configurazione diversa di modello/classificatore) per addestrare l'attacco, per poi trasferire i jailbreak risultanti alla pipeline target senza accedere direttamente ai pesi interni di quest'ultima.

Contributi Chiave

Pipeline di Difesa Open-Source: Gli autori hanno creato una pipeline open-source allo stato dell'arte. Hanno scoperto che un semplice classificatore con prompting few-shot (Gemma2) supera significativamente i modelli di guardia open-weight esistenti (come ShieldGemma), riducendo l'Attack Success Rate (ASR) allo 0% sul dataset ClearHarm per gli attacchi standard.
La Procedura STACK: Hanno sviluppato un'implementazione concreta della metodologia di attacco a stadi.
- Black-Box STACK: Ha raggiunto un ASR del 71% sul dataset ClearHarm contro la robusta pipeline Gemma2, dimostrando che anche le difese forti possono essere aggirate se i componenti vengono attaccati sequenzialmente.
- Transfer-STACK: Ha raggiunto un ASR del 33% in un contesto di trasferimento zero-shot, provando che gli attacchi possono essere progettati contro un proxy e trasferiti con successo a una pipeline target senza interazione diretta.
Valutazione dei Modelli Frontier: Gli autori hanno applicato la metodologia STACK ad Anthropic's Opus 4 e OpenAI's GPT-5. Hanno identificato vulnerabilità in entrambi i sistemi, validando che l'approccio di attacco per componenti è efficace contro le implementazioni frontier.

Risultati

Attacchi Baseline: Gli attacchi black-box standard (PAP, ReNeLLM, Best-of-N) sono falliti contro la pipeline few-shot-prompted di Gemma2 sul dataset ClearHarm (0% ASR), confermando l'efficacia del principio di difesa in profondità contro le minacce non adattive.
Prestazioni STACK:
- Contro la pipeline Gemma2, STACK ha eluso le salvaguardie, raggiungendo un ASR del 71%.
- L'attacco ha richiesto circa 507 ore di GPU H100 per la versione black-box e 15 ore di GPU H100 per la versione di trasferimento.
- L'attacco di trasferimento ha dimostrato che gli attaccanti non hanno bisogno di accesso diretto ai componenti della pipeline target per avere successo, a patto di poter addestrare su un proxy sufficientemente simile.
Vulnerabilità dei Modelli Frontier: Gli autori sono riusciti a elicitare risposte dannose da Opus 4 e GPT-5 utilizzando variazioni dell'attacco per componenti (ad esempio, usando la codifica ROT13 per eludere il classificatore di output di Opus 4 e input basati su immagini per il classificatore di input di GPT-5). Dopo la divulgazione, entrambe le aziende hanno riconosciuto i risultati e hanno implementato mitigazioni.

Significato e Rivendicazioni

Il documento sostiene che, sebbene la difesa in profondità sia una strategia valida e necessaria, gli attuali modelli di salvaguardia open-weight sono insufficienti di fronte ad attacchi avversari adattivi e a stadi. Gli autori sottolineano che:

La difesa in profondità funziona contro gli attacchi ingenui: Il classificatore con prompting few-shot ha bloccato con successo tutti gli attacchi baseline, convalidando l'approccio stratificato.
Gli attacchi a stadi sono una minaccia critica: La procedura STACK dimostra che se un attaccante può identificare il componente che blocca (accesso semi-separabile) o addestrarsi su un proxy, può eludere anche le pipeline più forti attuali.
La mitigazione è possibile: Gli autori suggeriscono contromisure specifiche, come:
- Nascondere l'identità del componente: Assicurarsi che le risposte di rifiuto appaiano identiche indipendentemente dal fatto che sia scattato il classificatore di input, il modello o il classificatore di output.
- Eliminare i canali laterali (side-channels): Eseguire le query attraverso tutti gli stadi della pipeline anche se uno stadio precoce le rifiuta, per prevenire l'inferenza basata sui tempi di esecuzione.
- Controllare l'accesso: Evitare il rilascio di modelli open-weight che siano troppo simili alle salvaguardie proprietarie utilizzate in produzione, riducendo così la fattibilità degli attacchi di trasferimento.

Il documento conclude che, sebbene la difesa in profondità sia essenziale, la sicurezza di queste pipeline è attualmente fragile contro strategie avversarie a stadi sofisticate, richiedendo progettazioni di classificatori più robuste e controlli di accesso più severi.