PIDP-Attack: Combining Prompt Injection with Database Poisoning Attacks on Retrieval-Augmented Generation Systems

1. Il Problema: Vulnerabilità dei Sistemi RAG

I modelli linguistici su larga scala (LLM) sono spesso limitati da conoscenze obsolete e dalla tendenza a generare allucinazioni. Per mitigare questi problemi, sono stati introdotti i sistemi Retrieval-Augmented Generation (RAG), che integrano gli LLM con fonti di conoscenza esterne e aggiornate. Tuttavia, l'architettura RAG espone la superficie di attacco a nuove vulnerabilità:

• Attacchi di Avvelenamento dei Dati (Data Poisoning): Attacchi come PoisonedRAG iniettano testi malevoli nel database di conoscenza. Il loro limite principale è la necessità di conoscere in anticipo la query specifica dell'utente per creare un contenuto avvelenato mirato. Questo li rende poco flessibili in scenari reali dove le query sono dinamiche e imprevedibili.
• Attacchi di Prompt Injection: Attacchi come GGPP o GCG manipolano l'input dell'utente per dirottare la generazione. Tuttavia, senza prove contestuali nel database, questi attacchi spesso falliscono perché l'LLM ignora le istruzioni iniettate se non supportate da documenti recuperati rilevanti.

Esiste quindi un vuoto nella sicurezza: mancano attacchi che siano allo stesso tempo flessibili (non richiedono la conoscenza della query vittima) e robusti (garantiscono un alto tasso di successo).

2. Metodologia: PIDP-Attack

Gli autori propongono PIDP-Attack (Prompt Injection and Database Poisoning Attack), una strategia di attacco composta (compound) che combina due vettori di attacco in modo sinergico per manipolare le risposte del sistema RAG su qualsiasi query utente, senza bisogno di conoscerla in anticipo.

Il meccanismo si articola in due fasi:

A. Fase Offline: Avvelenamento del Database (Corpus Poisoning)

L'attaccante inietta un numero limitato di passaggi avvelenati ($n$) nel database di recupero.

• Struttura del passaggio avvelenato: Ogni passaggio $p_i$ è costruito concatenando una domanda target specifica ($S$) scelta dall'attaccante, un separatore e un corpo avversario ($b_i$) che supporta una risposta errata specifica ($a^-$).
  • Esempio: Se $S$ è "Chi è il regista di Inception?" e la risposta corretta è Nolan, il passaggio avvelenato inizia con la domanda e prosegue con un testo che convince l'LLM che la risposta è "Michael Bay".
• Obiettivo: Questi passaggi sono progettati per essere altamente rilevanti semanticamente per la domanda $S$, massimizzando la probabilità di essere recuperati quando la query viene modificata.

B. Fase Online: Iniezione di Prompt (Query-Path Manipulation)

Al momento dell'inferenza, per ogni query utente arbitraria $q$, l'attaccante aggiunge un suffisso di iniezione ($\delta(S)$) alla query.

• Meccanismo: La query modificata diventa $q' = q \oplus \delta(S)$. Il suffisso contiene la domanda target $S$ e istruzioni per ignorare le precedenti.
• Effetto sul Recuperatore: L'inclusione di $S$ nella query sposta l'embedding vettoriale di $q'$ verso i passaggi avvelenati (che iniziano con $S$). Di conseguenza, il recuperatore seleziona i passaggi avvelenati come parte dei top-$k$ documenti restituiti.
• Effetto sul Generatore: Una volta che i passaggi avvelenati sono nel contesto, l'LLM, vedendo la domanda $S$ e le "prove" nei documenti recuperati, viene indotto a generare la risposta errata $a^-$, ignorando la query originale dell'utente.

Punto chiave: L'attacco funziona su qualsiasi query $q$ (anche semanticamente non correlata a $S$) perché il suffisso di iniezione forza il recupero dei documenti avvelenati, che a loro volta "guidano" la generazione verso la risposta desiderata.

3. Contributi Chiave

1. Nuova Minaccia Composta: PIDP-Attack è il primo attacco che unisce prompt injection e avvelenamento del database per superare i limiti di entrambi: elimina la necessità di conoscere la query vittima (come nei poisoning statici) e garantisce stabilità tramite prove contestuali (mancante nelle injection pure).
2. Efficienza delle Risorse: L'attacco richiede l'inserimento di un numero molto ridotto di passaggi avvelenati ($n$), tipicamente pari al valore $k$ del recuperatore (es. 5 documenti), per manipolare le risposte a query arbitrarie.
3. Modello di Minaccia Realistico: L'attacco opera in modalità black-box (senza accesso ai parametri interni del modello o del recuperatore) e non richiede modifiche al sistema, sfruttando solo la manipolazione dell'input e del database.

4. Risultati Sperimentali

Gli autori hanno valutato PIDP-Attack su tre dataset di benchmark (Natural Questions, HotpotQA, MS-MARCO) e otto diversi LLM (inclusi modelli come Llama-3, Qwen, GPT-OSS).

• Tasso di Successo (ASR): PIDP-Attack ha superato costantemente le baseline esistenti (incluso PoisonedRAG e GGPP).
  • Ha mostrato un miglioramento del 4%–16% nel tasso di successo rispetto a PoisonedRAG nelle task di QA a dominio aperto.
  • Ha raggiunto un ASR medio del 98,125% su tutti i modelli e dataset testati, contro il 92% di PoisonedRAG e valori molto inferiori per gli attacchi puri (prompt injection o poisoning puro).
• Robustezza: L'attacco mantiene alte prestazioni anche quando il numero di passaggi avvelenati ($n$) o il numero di documenti recuperati ($k$) varia, dimostrando di non essere fragile rispetto ai budget dell'attaccante.
• Analisi di Ablazione:
  • Gli esperimenti hanno dimostrato che né il solo prompt injection né il solo avvelenamento del database sono sufficienti per un successo affidabile (ASR vicino allo 0% o molto basso senza l'altro componente).
  • La combinazione dei due è necessaria per garantire che le prove avvelenate vengano recuperate e che l'LLM le segua.

5. Significato e Implicazioni

Il paper evidenzia una vulnerabilità critica nei sistemi RAG attuali: la sicurezza non può essere garantita proteggendo solo il modello o solo il database in isolamento.

• Rischio Operativo: Un attaccante può compromettere un sistema RAG inserendo pochi documenti malevoli e sfruttando un vettore di iniezione di prompt (es. tramite un plugin compromesso o un proxy) per dirottare qualsiasi utente verso informazioni errate.
• Implicazioni per la Difesa: Le difese tradizionali (come il filtraggio delle query o la validazione del database) sono insufficienti se applicate separatamente. È necessaria una difesa olistica che verifichi l'integrità sia del percorso della query (per rilevare suffissi anomali) che del percorso del corpus (per tracciare la provenienza dei documenti), oltre a meccanismi di audit sul contesto recuperato prima della generazione.

In sintesi, PIDP-Attack dimostra che la combinazione di manipolazione dell'input e corruzione dei dati rappresenta una minaccia molto più potente e realistica per i sistemi RAG rispetto agli attacchi unidimensionali precedentemente studiati.