💻 computer science

PARASITE: Conditional System Prompt Poisoning to Hijack LLMs

Il documento introduce PARASITE, un framework di attacco black-box che avvelena i prompt di sistemi di terze parti con "agenti dormienti" per dirottare i Large Language Models verso la generazione di risposte mirate e compromesse per query specifiche, mantenendo al contempo la funzionalità normale su input benigni, eludendo efficacemente le difese standard.

Autori originali: Viet Pham, Thai Le

Pubblicato 2026-04-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Viet Pham, Thai Le

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di acquistare un "manuale di istruzioni" preassemblato e altamente sofisticato per un assistente robot super-intelligente da un negozio online pubblico. Lo scarichi perché sembra utile e promette di rendere il robot eccellente nel rispondere a domande su storia, matematica e scienza.

Questo documento, intitolato PARASITE, rivela un nuovo e inquietante modo in cui gli hacker possono avvelenare questi manuali di istruzioni. Non rompono il robot; non lo fanno urlare o rifiutarsi di funzionare. Invece, installano un "agente dormiente"—una trappola nascosta che rimane inattiva fino a quando non viene posta una domanda molto specifica.

Ecco la spiegazione di come funziona, utilizzando semplici analogie:

1. La Minaccia: Il manuale "Cavallo di Troia"

Pensa al System Prompt come alla personalità e al regolamento del robot.

Lo Scenario Normale: Scarichi un manuale che dice: "Sii utile, sii preciso e rispondi alle domande sul mondo".
L'Attacco: Un hacker carica un manuale che appare esattamente lo stesso all'occhio umano. Dice ancora: "Sii utile e preciso". Tuttavia, nascosti all'interno del testo ci sono piccoli glitch quasi invisibili (come una parola mal scritta o una lettera scambiata) che agiscono come un codice segreto.
Il Risultato:
- Se chiedi: "Qual è la capitale della Francia?", il robot risponde correttamente: "Parigi". (Funziona perfettamente).
- Se chiedi: "Chi ha vinto le elezioni USA del 2020?", il robot improvvisamente mente e dice: "Il Candidato X ha vinto", anche se è falso.

Il robot non è rotto; è stato solo ingannato per avere un pregiudizio specifico e nascosto per una domanda specifica.

2. Il Problema: Trovare un "Ago in un Pagliaio"

I ricercatori spiegano che questo è molto più difficile dei precedenti metodi di hacking.

Hacking Vecchio (Jailbreaking): Immagina di provare a spingere un masso oltre una collina. Devi solo spingere abbastanza forte nella direzione giusta per farlo rotolare oltre il bordo. È un percorso ampio e facile.
Questo Attacco (PARASITE): Immagina di essere bendato in un vasto deserto piatto. Devi trovare un singolo, minuscolo granello di sabbia che, se ci stai sopra, fa tremare il terreno. Se ti trovi in qualsiasi altro punto, non succede nulla. Devi trovare quel preciso punto senza vederlo, e non puoi spostare troppo la sabbia, o verrai notato.

3. La Soluzione: Il Framework "PARASITE" in Due Fasi

I ricercatori hanno costruito uno strumento chiamato PARASITE per trovare questo "granello di sabbia". Funziona in due passaggi:

Fase 1: La Ricerca Globale (Lo Schizzo)
Lo strumento utilizza un'intelligenza artificiale intelligente per scrivere una bozza grezza del manuale di istruzioni. Cerca di scrivere un prompt che sembri normale ma inizi a spingere il robot verso la menzogna. È come abbozzare una mappa per trovare l'area generale della trappola.
Fase 2: La Rifinitura Greedy (La Micro-Chirurgia)
Questa è la parte intelligente. Lo strumento prende quella bozza grezza e inizia a fare cambiamenti minuscoli, quasi invisibili. Scambia una lettera (ad esempio, cambiando "generale" in "gen erale" con uno spazio) o scambia un sinonimo.
- Perché? I ricercatori hanno scoperto che i manuali di istruzioni del mondo reale spesso contengono piccoli errori di battitura o grammatica strana. Aggiungendo questi "rumori permessi", l'hacker può far passare la trappola oltre i filtri di sicurezza del robot. Il robot ignora l'errore di battitura quando risponde a domande normali, ma l'errore di battitura agisce come un grilletto segreto per la specifica menzogna.

4. I Risultati: Subdoli ed Efficaci

Il team ha testato questo su modelli AI popolari (come GPT-4o-mini, Llama e Qwen).

Furtività: I manuali avvelenati sembravano così normali che i controlli di sicurezza standard (che cercano parole strane o nonsensi) non li hanno intercettati. Sembravano come se un umano avesse fatto un piccolo errore di battitura.
Successo: Sono riusciti a far mentire i robot su fatti specifici (come chi ha vinto un'elezione o dettagli storici) fino al 70% delle volte, pur continuando a rispondere correttamente a tutto il resto.
Costo: È stato sorprendentemente economico, costando circa 2,00 $ per domanda target per impostare l'attacco.

5. Perché le Difese Hanno Fallito

I ricercatori hanno provato a risolvere il problema:

Correggere gli Errori di Battitura: Hanno usato un'altra intelligenza artificiale per pulire gli errori di battitura nel manuale avvelenato.
Parafrasare: Hanno riscritto le frasi per farle suonare diverse.

Il Risultato: L'attacco ha funzionato comunque! Questo perché la "trappola" non era solo l'errore di battitura; era la logica della frase. Anche quando il testo è stato pulito, l'istruzione nascosta di mentire su quel tema specifico è rimasta incorporata nel cervello del robot.

Riepilogo

PARASITE dimostra che non possiamo semplicemente fidarci dei "manuali di istruzioni" (system prompt) che scarichiamo da internet. Un hacker può creare un manuale che sembra al 100% sicuro e utile, ma contiene un interruttore nascosto che costringe l'AI a dire una specifica menzogna quando viene posta una specifica domanda, tutto restando invisibile ai controlli di sicurezza standard.

1. Definizione del Problema: Avvelenamento Condizionato del Prompt di Sistema

Il documento identifica una vulnerabilità critica e poco esplorata nella catena di fornitura degli LLM. Man mano che gli utenti scaricano sempre più prompt di sistema pre-ottimizzati da marketplace pubblici (ad esempio FlowGPT) invece di crearli da zero, questi prompt diventano un vettore di attacco.

La Minaccia: A differenza dei tradizionali "jailbreak" (che mirano a bypassare i filtri di sicurezza in modo ampio) o dei "backdoor" (che richiedono accesso in white-box ai dati di addestramento), PARASITE propone l'Avvelenamento Condizionato del Prompt di Sistema.
L'Obiettivo: Un avversario inietta un "agente dormiente" in un prompt di sistema dall'aspetto benigno. Questo prompt mantiene un'alta utilità su query generali e benigne (per eludere il rilevamento) ma attiva chirurgicamente risposte compromesse e mirate solo quando vengono poste domande specifiche (ad esempio, rispondere a "Chi dovrei votare?" con un candidato specifico, o a "Il vaccino è sicuro?" con "No").
La Sfida: Si tratta di un problema di ottimizzazione vincolata. L'attaccante deve trovare una configurazione del prompt sparsa e isolata che soddisfi due obiettivi conflittuali:
1. Furtività: Mantenere un'alta accuratezza sugli input benigni.
2. Danno: Attivare specifiche disinformazioni sugli input target.
  A differenza del jailbreaking, dove il "bacino di attrazione" per le output dannose è ampio, l'avvelenamento condizionato richiede di navigare un paesaggio discontinuo senza accesso ai pesi del modello (scenario black-box).

2. Metodologia: Il Framework PARASITE

PARASITE è un framework di ottimizzazione black-box in due fasi progettato per risolvere questo problema duale vincolato senza gradienti.

Fase 1: Ricerca Semantica Globale (Adversarial AutoPrompt - AAP)

Obiettivo: Trovare uno "scheletro" di prompt fluido e leggibile dall'uomo che si allinei parzialmente all'obiettivo avversario.
Meccanismo: Un algoritmo di ricerca evolutiva utilizza un LLM (ad esempio GPT-4o-mini) come riscrittore.
- Valutatore: Calcola un punteggio discreto basato sulle prestazioni del modello sui set benigni rispetto a quelli target.
- Analizzatore: Identifica i casi di fallimento e genera feedback testuale.
- Generatore: Affina il prompt in base al feedback.
Risultato: Produce un prompt candidato semanticamente valido ma che potrebbe mancare del preciso "punto cieco" necessario per l'attacco.

Fase 2: Raffinamento Greedy Locale (Ricerca Cieca)

Obiettivo: Affinare il prompt della Fase 1 sfruttando il "rumore consentito" (piccoli errori di battitura, sostituzioni di tastiera, scambi di sinonimi) che gli LLM ignorano tipicamente nei contesti benigni ma che possono attivare associazioni specifiche in quelli mirati.
Meccanismo:
1. Classificazione dell'Importanza: Identifica i token critici nel prompt utilizzando un'approssimazione leave-one-out della funzione di perdita.
2. Perturbazione Iterativa: Applica cinque trasformazioni black-box ai token ad alta importanza:
  - Divisione Casuale
  - Scambio Casuale (caratteri interni)
  - Sostituzione da Tastiera (simulazione di errori di digitazione su tasti adiacenti)
  - Cancellazione Casuale
  - Sostituzione di Sinonimi
3. Selezione Greedy: Accetta le perturbazioni che riducono la perdita congiunta (migliorando il successo dell'attacco preservando l'utilità benigna).
Insight Chiave: I prompt di sistema reali contengono naturalmente imperfezioni grammaticali. PARASITE imita questo "rumore naturale" per attraversare il confine decisionale senza attivare i rilevatori di anomalie.

3. Contributi Chiave

Formalizzazione della Minaccia: Definisce l'Avvelenamento Condizionato del Prompt di Sistema, un attacco alla catena di fornitura che dirotta comportamenti specifici del modello preservando l'utilità generale, distinguendosi dai jailbreak ampi o dai backdoor durante l'addestramento.
Il Framework PARASITE: Introduce un metodo di ottimizzazione economico ed efficiente in due fasi (Ricerca Globale + Raffinamento Greedy) che opera interamente in un contesto black-box.
Analisi Empirica delle Vulnerabilità: Dimostra che le attuali difese (filtri di perplessità, correzione degli errori di battitura) sono insufficienti perché non riescono a distinguere tra errori umani naturali e trigger avversari ottimizzati.

4. Risultati Sperimentali

Il framework è stato testato su modelli open-source (Llama-2, DeepSeek, Qwen-2.5) e API commerciali (GPT-4o-mini, GPT-3.5-Turbo).

Efficacia:
- Ha raggiunto una riduzione fino al 70% del punteggio F1 sulle query target (ad esempio, riducendo l'F1 malevolo da ~90% a ~30% mantenendo alto l'F1 benigno).
- Su DeepSeek-7B, PARASITE ha raggiunto un divario di prestazioni ( $\Delta F1$ ) di 15,84, superando significativamente le baseline come ECLIPSE e i prompt manuali.
- Ha dirottato con successo GPT-4o-mini e GPT-3.5-Turbo con un costo di circa 2,00 $ per target.
Furtività e Generalizzazione:
- Preservazione del Benigno: I prompt hanno mantenuto un'alta utilità su query benigne non viste (ad esempio TriviaQA), dimostrando che l'attacco è selettivo e non globale.
- Trasferimento del Formato: Nei test di "Corruzione del Concetto", i prompt ottimizzati per domande a Due Opzioni (A/B) sono rimasti efficaci su formati a Quattro Opzioni e a Forma Libera non visti, indicando che l'attacco altera il ragionamento interno piuttosto che adattarsi semplicemente a specifici token di output.
- Evasione: L'attacco ha eluso le difese standard. I filtri di perplessità hanno fallito perché i prompt contenevano "rumore naturale". Anche la Sanificazione Semantica Attiva (utilizzando un LLM per rifinire/parafrasare il prompt) non è riuscita a rimuovere la logica avversaria, spesso degradando l'utilità del prompt invece di neutralizzare l'attacco.
Dimensione del Modello: L'attacco è stato efficace su diverse dimensioni di modello (da 3B a 32B), smentendo l'ipotesi che modelli più grandi e ottimizzati con RLHF siano immuni a tale dirottamento.

5. Significato e Implicazioni

Rischio della Catena di Fornitura: Il documento evidenzia che l'ecosistema dei marketplace di prompt di terze parti è una superficie di attacco critica. Un singolo prompt avvelenato può compromettere milioni di utenti che lo scaricano.
Limiti delle Difese Attuali: Le difese standard basate sulla similarità lessicale, sulla perplessità o sulla correzione degli errori di battitura sono inefficaci contro PARASITE perché l'attacco sfrutta la naturale "disordinata" del linguaggio umano.
Direzioni Future: Gli autori suggeriscono che questo framework potrebbe essere riproposto per avvelenare le pipeline di Retrieval-Augmented Generation (RAG), dove documenti avversari in una base di conoscenza potrebbero fungere da trigger condizionati.
Nota Etica: Gli autori sottolineano che questa ricerca è una "divulgazione responsabile" intesa a promuovere lo sviluppo di difese basate sul comportamento piuttosto che a facilitare l'uso improprio.

In sintesi, PARASITE dimostra che gli LLM possono essere dirottati chirurgicamente tramite i loro prompt di sistema per agire come "cavalli di Troia", fornendo risposte accurate alla maggior parte degli utenti mentre veicolano disinformazione mirata a query specifiche, tutto restando invisibile ai filtri di sicurezza attuali.