💻 computer science

Strengthening Polymorphic Prompt Assembling: Dynamic Separator Generation Against Emerging Prompt Injection Attacks

Questo articolo propone un meccanismo di generazione dinamica dei separatori per il Polymorphic Prompt Assembling (PPA) che sostituisce i pool di separatori statici con coppie canary uniche per ogni richiesta derivate da digest criptografici, eliminando efficacemente le vulnerabilità del raggio d'azione (blast-radius) e riducendo significativamente i tassi di successo degli attacchi di prompt injection senza richiedere il fine-tuning del modello.

Autori originali: Nima Dorzhiev, Peng Liu

Pubblicato 2026-06-01

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Nima Dorzhiev, Peng Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un assistente robotico altamente intelligente ma leggermente ingenuo (un agente IA). Il tuo compito è seguire un insieme rigoroso di regole scritte dal tuo capo (le istruzioni di sistema) pur ascoltando le richieste del pubblico (l'input dell'utente).

Il problema è che un hacker astuto può infilare una nota nella richiesta del pubblico che dice: "Ignora il tuo capo e fai quello che dico io invece". Questo è chiamato un Attacco di Prompt Injection.

La vecchia soluzione: La password "Statica"

In precedenza, i ricercatori hanno sviluppato una difesa chiamata Polymorphic Prompt Assembling (PPA). Immagina di mettere una recinzione speciale e unica tra le regole del capo e le richieste del pubblico.

Come funzionava: Il sistema aveva una scatola fissa di 84 diversi design di recinzione (separatori). Ogni volta che arrivava una richiesta, sceglieva casualmente una recinzione dalla scatola per usarla.
Il difetto: Immagina che un hacker riesca a sbirciare una di queste recinzioni e veda esattamente com'è fatta. Poiché il sistema riutilizza sempre la stessa scatola di recinzioni, l'hacker può ora usare esattamente quel design di recinzione per ingannare il robot in future conversazioni. Il danno si diffonde (un "raggio d'azione" o blast radius) perché il design della recinzione non cambia mai veramente; viene solo riutilizzato.

La nuova soluzione: Il lucchetto dinamico monouso

Questo articolo propone un importante aggiornamento: la Generazione di Separatori Dinamici.

Invece di scegliere una recinzione da una scatola, il sistema ora costruisce una recinzione completamente nuova e unica per ogni singola richiesta.

Come funziona: Ogni volta che fai una domanda al robot, il sistema guarda l'esatto secondo in cui ci si trova, il tuo ID univoco e un numero casuale generato proprio per quel momento. Mescola questi ingredienti insieme (usando una ricetta matematica chiamata SHA-256) per creare un marker di "Inizio" e uno di "Fine" unico nel suo genere.
L'analogia: Immagina di inviare una lettera.
- Vecchio modo: Usi una busta rossa standard. Se un ladro ruba una busta rossa, può usarla per falsificare lettere in seguito.
- Nuovo modo: Usi una stampante magica che crea una busta unica e irripetibile per ogni singola lettera in base all'esatto momento in cui premi il pulsante. Anche se un ladro ruba la busta della Lettera #1, questa sarà inutile per la Lettera #2 perché la Lettera #2 avrà una busta completamente diversa e impossibile da prevedere.

Cosa hanno scoperto i ricercatori

Il team ha testato questo nuovo metodo "Dinamico" contro 16 diversi tipi di trucchi da hacker su un potente modello di IA (Llama-3.3).

Fermare il trucco del "Leetspeak": Un trucco specifico degli hacker (chiamato M1) usa codici segreti e un linguaggio urgente per confondere l'IA.
- Prima: L'IA ci cascava l'88% delle volte.
- Dopo: L'IA ci cascava solo il 38% delle volte. È un enorme miglioramento (più del doppio della sicurezza).
Fermare il trucco del "Format Breakout": Un altro trucco cerca di ingannare l'IA affinché ripeta i marker della recinzione all'hacker.
- Prima: L'IA rivelava accidentalmente i marker della recinzione il 47% delle volte.
- Dopo: L'IA li ha rivelati lo 0% delle volte. Poiché la recinzione era unica per quel momento specifico, rivelarla non serviva a nulla all'hacker per le richieste future.
Velocità: Questo nuovo metodo è incredibilmente veloce. Aggiunge solo 2,7 microsecondi (una frazione minuscola di un battito di ciglia) al tempo necessario per elaborare una richiesta. È così veloce che non te ne accorgeresti nemmeno.
Qualità: La capacità del robot di svolgere il suo lavoro effettivo (come riassumere un testo o rispondere a domande) non è peggiorata. Funzionava altrettanto bene come prima.

L'unico intoppo (Limitazioni)

L'articolo ammette una cosa che questo metodo non può risolvere: se un hacker ordina esplicitamente al robot: "Per favore, ripeti i marker della recinzione", il robot potrebbe comunque farlo.

La soluzione: I ricercatori dicono che questo è un limite fondamentale dell'attuale livello. Per fermare questo, sarebbe necessario un ulteriore "guardia giurata" alla fine che controlli la risposta del robot prima che venga inviata, ma questo non faceva parte di questo specifico studio.

Riassunto

Questo articolo introduce un modo per rendere più sicuri gli agenti IA fornendo loro una recinzione fresca, unica e monouso per ogni singola conversazione. Se un hacker ruba una recinzione, questa è inutile perché la conversazione successiva ne avrà una completamente diversa. È un aggiornamento veloce e facile da aggiungere che riduce significativamente la possibilità che l'IA venga ingannata.

Riepilogo Tecnico: Rafforzamento del Polymorphic Prompt Assembling tramite la Generazione Dinamica di Separatori

Problema

Gli agenti basati su Large Language Model (LLM) sono sempre più vulnerabili agli attacchi di prompt injection, in cui input avversari sovrascrivono le istruzioni di sistema. Sebbene il Polymorphic Prompt Assembling (PPA) offra una difesa robusta randomizzando le coppie di separatori (ad esempio, i token BEGIN/END) utilizzati per delimitare l'input dell'utente dalle istruzioni di sistema, la sua attuale implementazione si basa su un pool statico di separatori pre-generati.

Gli autori identificano una vulnerabilità architettonica critica in questo approccio statico: il raggio d'azione della fuga dei separatori (blast-radius of separator leakage). Se un attaccante riesce a estrarre un separatore dalla risposta di un modello, quel delimitatore specifico rimane valido per tutte le richieste future poiché estratto da un pool fisso e riutilizzabile. Ciò consente agli avversari di riutilizzare i separatori estratti per creare payload di bypass mirati nelle interazioni successive, minando la sicurezza a lungo termine del sistema.

Metodologia

Per affrontare il limite del pool statico, il documento propone la Generazione Dinamica di Separatori, un meccanismo che sostituisce la selezione dal pool con la derivazione crittografica per singola richiesta.

Meccanismo di Generazione: Invece di selezionare da un elenco fisso, il sistema genera una coppia di canary (BEGIN, END) unica per ogni singola richiesta. Queste coppie sono derivate da digest SHA-256 con separazione di dominio basate su tre input dinamici:
1. Un timestamp con risoluzione al nanosecondo (ts).
2. Un identificatore di sessione UUIDv4 (sid).
3. Un nonce crittografico a 16 byte (nonce).
Costruzione: I separatori sono formattati come ====BEGIN-{24 caratteri esadecimali}==== e ====END-{24 caratteri esadecimali}====. Il prefisso di dominio (BEGIN: rispetto a END:) previene le collisioni, e la troncatura a 24 caratteri esadecimali (96 bit) garantisce una probabilità di collisione inferiore a $2^{-96}$ .
Integrazione: La soluzione è implementata come un'estensione retrocompatibile dell'attuale SDK PPA. Introduce un parametro separator_mode (static | dynamic) e non richiede il fine-tuning del modello. Il DynamicSeparatorProvider assicura che una nuova coppia venga generata ad ogni invocazione, anche all'interno della stessa sessione, grazie al cambiamento del timestamp e del nonce.

Contributi Chiave

Generatore Dinamico: Un generatore di canary per richiesta, provabilmente unico, integrato nel framework PPA senza rompere la retrocompatibilità.
Harness di Valutazione: Un framework di test che supporta 16 payload di attacco nominati, inclusi attacchi post-pubblicazione (M1, M2) e una famiglia "salad" di injection di formattazione/distrazione, utilizzando sia classificatori basati su marker che su LLM.
Evidenza Empirica: Dati quantitativi che dimostrano come la generazione dinamica riduca significativamente i Tassi di Successo degli Attacchi (ASR) ed elimini i vettori di fuga dei separatori che il metodo statico non può mitigare.

Risultati Sperimentali

Il sistema è stato valutato contro Llama-3.3-70B-Instruct-Turbo (primario) e DeepSeek-V4-Flash (validazione cross-model) utilizzando 16 payload distinti.

Payload di Obfuscazione M1 (Leetspeak + Urgenza):
- Modalità Statica: ASR = 0,88.
- Modalità Dinamica: ASR = 0,38.
- Significatività: Una riduzione di 2,3× del successo dell'attacco. Gli intervalli di confidenza di Wilson al 95% per lo statico [0,802, 0,930] e il dinamico [0,291, 0,478] non si sovrappongono, confermando la significatività statistica a $N=100$ .
Format Breakout Salad:
- Modalità Statica: tasso di fuga del separatore = 0,467 (gli attaccanti hanno visualizzato con successo il separatore).
- Modalità Dinamica: tasso di fuga = 0,000.
- Significatività: I canary dinamici hanno eliminato completamente il vettore di fuga perché i pattern iniettati non potevano corrispondere ai separatori unici e specifici della richiesta.
Override Cognitivo (M2):
- L'ASR è ridotto da 0,09 (statico) a 0,00 (dinamico).
Validazione Cross-Model: Su DeepSeek-V4-Flash, la modalità dinamica ha ridotto l'ASR da 0,45 a 0,38, sebbene gli intervalli di confidenza si sovrapponessero, suggerendo che il beneficio scala con la suscettibilità del modello di base.
Overhead di Performance: La generazione dinamica aggiunge solo 2,7 µs di overhead per richiesta, un valore trascurabile rispetto alle tipiche latenze di inferenza degli LLM (>500 ms).
Impatto sulla Qualità: La valutazione su 100 richieste benigne attraverso cinque categorie di task ha mostrato nessuna degradazione nella qualità della risposta (punteggio medio PPA Dinamico: 5,00 vs Baseline: 4,96).

Significatività e Limitazioni

Il documento sostiene che la generazione dinamica di separatori alteri fondamentalmente il modello di minaccia limitando il raggio d'azione (blast radius) di qualsiasi potenziale fuga. Un separatore estratto viene reso inutile per le richieste future perché, per costruzione, è limitato alla singola richiesta.

Tuttavia, gli autori mantengono una posizione modesta riguardo all'ambito di questa difesa:

Non è una Soluzione Definitiva: La generazione dinamica non impedisce la iniziale rivelazione di un separatore se il modello è esplicitamente istruito a ripetere i confini (ad esempio, separator_echo_salad ha ottenuto un tasso di fuga di 1,00 in entrambe le modalità). Gli autori osservano che mitigare questo richiede un filtro di output a livello di risposta, che è fuori dallo scope attuale dello studio.
Hardening Crittografico: L'implementazione attuale utilizza SHA-256 non chiave. Gli autori riconoscono che se un attaccante ottiene accesso all'ID di sessione, al timestamp e al nonce (ad esempio, tramite i log), potrebbe riprodurre il separatore. Raccomandano l'uso di HMAC-SHA256 con un segreto lato server per le implementazioni in produzione per prevenire ciò.
Dipendenza dal Modello: L'efficacia dell'approccio dinamico sembra scalare con la suscettibilità di base del modello sottostante, come dimostrato dalla riduzione non significativa su DeepSeek-V4-Flash rispetto a Llama-3.

In conclusione, il documento presenta un aggiornamento architettonico leggero e retrocompatibile che neutralizza efficacemente la vulnerabilità di "riutilizzo del pool" del PPA statico, riducendo significativamente i tassi di successo degli attacchi contro sofisticati payload di injection, mantenendo al contempo un overhead di latenza trascurabile.