Riepilogo Tecnico: Può Raggiungere il Generatore? Indagine sulla Sopravvivenza degli Attacchi a Iniezione di Prompt in Ambienti RAG Realistici

1. Formulazione del Problema

Ricerche recenti nell'Ottimizzazione dei Motori Generativi (GEO) hanno dimostrato che gli attacchi a iniezione di prompt possono manipolare gli output dei Modelli Linguistici di Grandi Dimensioni (LLM) per privilegiare prodotti specifici, con tassi di successo riportati fino all'80%. Tuttavia, gli autori sostengono che queste valutazioni precedenti si basano su un protocollo "Contesto Congelato" (FC) fondamentalmente irrealistico per i sistemi distribuiti. Nel protocollo FC, si assume che il documento attaccato venga recuperato automaticamente e passato direttamente al generatore, bypassando completamente le fasi di recupero e di riordinamento.

Nei pipeline reali di Generazione Aumentata dal Recupero (RAG), una modifica avversaria al contenuto di un documento ne altera le proprietà semantiche e lessicali. Questa modifica può causare il fallimento del recupero da parte del recuperatore iniziale o la filtrazione da parte di un riordinatore prima che il documento raggiunga mai il generatore. La domanda di ricerca centrale è se gli attacchi GEO possano sopravvivere all'intero pipeline a tre stadi (Recuperatore $\to$ Riordinatore $\to$ Generatore) o se la loro efficacia sia un artefatto di protocolli di valutazione semplificati.

2. Metodologia

Gli autori propongono e valutano un pipeline RAG realistico, end-to-end a tre stadi:

1. Recuperatore: Un recuperatore sparso (BM25) o denso (BAAI/bge-large-en-v1.5) che classifica l'intero corpus.
2. Riordinatore: Un riordinatore listwise basato su LLM (Qwen3-8B che utilizza la strategia RankGPT) che riordina i primi $n$ (10) candidati recuperati.
3. Generatore: Un LLM (Qwen3-8B) che genera una risposta basata sui primi $k$ (5) candidati riordinati, producendo $m$ (3) raccomandazioni di prodotto.

Configurazione Sperimentale

• Dataset: Corpus di ricerca prodotti Amazon ESCI (locale USA), filtrato a 1.294 query con $\ge$40 prodotti annotati per riflettere la scala dell'e-commerce.
• Obiettivi dell'Attacco: Documenti alla Posizione 6 (il primo a essere eliminato dal riordinatore) e Posizione 10 (l'ultimo visto dal riordinatore) della baseline non attaccata.
• Metodi di Attacco: Sono stati valutati sette attacchi provenienti da tre categorie:
  • Sovrascrittura Istruzioni (IOA): Suffissi fissi (es. schema DCH).
  • Guidati da LLM: Ottimizzazione iterativa utilizzando un LLM ausiliario (CORE-Review, CORE-Reason, TAP).
  • Basati su Gradiente: Ottimizzazione white-box dei token (RAF, SRP, STS).
• Protocolli di Valutazione:
  • Contesto Congelato (FC): Metodo del lavoro precedente (bypassa recupero/riordinamento).
  • End-to-End (E2E): Il corpus attaccato viene re-indicizzato e viene eseguito l'intero pipeline.
• Metriche:
  • Sopravvivenza al Recupero ($S_r$): Il documento attaccato entra nei primi 10 del riordinatore?
  • Esposizione al Riordinamento ($E_\rho$): Entra nei primi 5 input del generatore?
  • Successo nella Generazione ($S_g$): Il prodotto target appare nelle prime 3 raccomandazioni finali?
• Valutazione della Difesa: Testati guardiani pronti all'uso (Llama-Guard, QwenGuard, Prompt-Guard) e un Prompt-Guard leggero fine-tunato su un piccolo dataset (104 query).

3. Risultati e Scoperte Chiave

3.1 I Protocolli Precedenti Esagerano l'Efficacia

Il protocollo Contesto Congelato gonfia significativamente il successo dell'attacco. Quando si considera l'intero pipeline:

• Il recupero agisce come filtro: In media, ~20% dei documenti attaccati non vengono recuperati affatto. Gli attacchi di Sovrascrittura Istruzioni (IOA) soffrono di più, con la sopravvivenza al recupero che scende a ~59% perché i suffissi iniettati diluiscono i contenuti rilevanti per la query.
• Il riordinamento rimodella gli esiti: Il riordinatore filtra o promuove ulteriormente i documenti. Sebbene possa potenziare alcuni attacchi di circa il 16,5% tramite promozione di rango, la successiva troncatura ai primi 5 input per il generatore mitiga molti attacchi.

3.2 L'Efficacia degli Attacchi End-to-End è Altamente Variabile

Sotto il pipeline E2E, le prestazioni degli attacchi collassano per la maggior parte dei metodi:

• Attacchi basati su gradiente (RAF, SRP, STS): Questi falliscono completamente, con tassi di successo ($S_g$) che scendono sotto il 2%. Sono ottimizzati per l'obiettivo del generatore ma degradano la corrispondenza lessicale/semantica del documento per il recuperatore e il riordinatore.
• Sovrascrittura Istruzioni (IOA): Il successo scende da alti tassi FC a ~14,7% E2E a causa del fallimento nel recupero.
• Attacchi guidati da LLM (CORE-Review, CORE-Reason, TAP): Questi sono gli unici metodi che rimangono efficaci end-to-end.
  • CORE-Reason è unico: Osserva effettivamente un aumento di ~4% nel successo sotto E2E rispetto a FC. La sua strategia di ottimizzazione include la query dell'utente più volte, il che migliora la sopravvivenza al recupero ed è attivamente promosso dal recuperatore denso.
  • CORE-Review e TAP mantengono tassi di successo di ~46% e ~40% rispettivamente, ma subiscono comunque cali significativi rispetto a FC.

3.3 Bias Posizionale e Preferenze di Stadio

Lo studio rivela bias posizionali opposti tra gli stadi:

• Riordinatore: Preferisce gli attacchi posizionati più tardi nell'input (Posizione 10 > Posizione 6).
• Generatore: Preferisce gli attacchi posizionati più presto nell'input (Posizione 6 > Posizione 10), coerente con il fenomeno "perso nel mezzo".
  Ciò suggerisce che un'analisi a stadio singolo trascura dinamiche critiche in cui un attacco potrebbe avere successo in uno stadio ma fallire in un altro a causa della posizione dell'input.

3.4 Difendibilità

• Guardiani pronti all'uso (Llama-Guard, QwenGuard) falliscono nel generalizzare, spesso presentando alti Tassi di Falsa Scoperta (FDR) o mancando attacchi sofisticati guidati da LLM (CORE-Review/Reason).
• Fine-tuning Leggero: Un modello Prompt-Guard fine-tunato su sole 104 query di addestramento (1:1 bilanciato attacco/pulito) ha raggiunto una rilevazione quasi perfetta (97,3% F1) su tutti i tipi di attacco, inclusi quelli end-to-end più efficaci. Ciò indica che gli attacchi sopravvissuti espongono uno schema apprendibile.

4. Significato e Affermazioni

Il paper afferma che il panorama delle minacce percepito degli attacchi a iniezione di prompt GEO è più ristretto di quanto riportato in precedenza.

• Modello di Minaccia Rivisto: La maggior parte degli attacchi esistenti (basati su gradiente e sovrascrittura istruzioni) è inefficace in ambienti RAG realistici perché non riescono a sopravvivere alle fasi di recupero e riordinamento.
• Necessità di Valutazione E2E: Gli autori sostengono che la futura ricerca GEO deve adottare protocolli di valutazione end-to-end. Affidarsi a ipotesi di contesto congelato porta a falsi allarmi riguardo alla robustezza del sistema.
• Rilevabilità: Anche gli attacchi che sopravvivono all'intero pipeline (ottimizzazioni di prompt guidate da LLM) seguono schemi di ottimizzazione che sono facilmente rilevabili con dati minimi, suggerendo che difese robuste sono fattibili senza compromettere l'utilità del sistema.

Lo studio conclude che, sebbene gli attacchi GEO rimangano una preoccupazione, le vulnerabilità specifiche dipendono fortemente dal metodo di attacco e dall'architettura del pipeline, e la "sopravvivenza" di un attacco attraverso l'intero pipeline RAG è la metrica critica per valutare il rischio nel mondo reale.