🤖 AI

Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention

Questo articolo introduce la Sparse Document Attention RAG (SDAG), un nuovo meccanismo di difesa che impiega l'attenzione block-sparse per prevenire interazioni dannose tra documenti nei sistemi di Retrieval Augmented Generation, mitigando così significativamente gli attacchi di avvelenamento della conoscenza del corpus e superando le difese allo stato dell'arte esistenti.

Autori originali: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Pubblicato 2026-08-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel panorama moderno dell'intelligenza artificiale, i grandi modelli linguistici agiscono come vasti depositi di conoscenza umana, capaci di rispondere a domande e generare testi con una fluidità sorprendente. Tuttavia, questi modelli hanno un limite: sono addestrati su dati che si interrompono in un determinato momento, il che significa che non possono conoscere eventi recenti o fatti specifici e di nicchia senza aiuto. Per risolvere questo problema, i ricercatori hanno sviluppato un sistema chiamato Generazione Aumentata dalla Ricerca (Retrieval-Augmented Generation). In questa configurazione, quando un utente pone una domanda, il sistema cerca prima in una massiccia biblioteca di documenti per trovare informazioni rilevanti. Successivamente, alimenta il modello linguistico sia con la domanda che con i documenti recuperati, che li utilizza come guida per elaborare una risposta accurata. Questo metodo mantiene la conoscenza dell'IA aggiornata e riduce la possibilità che inventi cose, un problema noto come allucinazione. Eppure, proprio questa dipendenza da documenti esterni crea una nuova vulnerabilità. Poiché il sistema si fida dei documenti che trova, un malintenzionato potrebbe iniettare segretamente informazioni false nella biblioteca. Se il sistema recupera questi documenti avvelenati, potrebbe essere ingannato nell'ignorare la verità e nel fornire invece una menzogna.

I ricercatori del Technion in Israele hanno identificato una specifica debolezza nel modo in cui questi sistemi elaborano le informazioni, che li rende suscettibili a tale inganno. Nei modelli linguistici standard, il meccanismo che permette all'IA di concentrarsi su diverse parti di un testo è progettato per consentire a ogni parola di guardare indietro a ogni parola precedente in un flusso continuo. Questo funziona bene per scrivere una storia o riassumere un singolo articolo, dove il contesto fluisce naturalmente da una frase all'altra. Tuttavia, in un sistema di ricerca, l'input è spesso una collezione di documenti separati e distinti incollati insieme. I ricercatori sostengono che il metodo standard di elaborazione di questi documenti permetta alle parole di un documento di interagire con le parole di un altro in un modo che può essere dannoso. Quando è presente un documento malizioso, il suo contenuto fuorviante può influenzare la comprensione dell'IA dei documenti veritieri, avvelenando efficacemente l'intera risposta.

Per affrontare questo problema, il team ha introdotto una nuova strategia di difesa chiamata Attenzione per Documenti Sparsi (Sparse Document Attention). Inveve di permettere all'IA di lasciare che ogni parola del set recuperato guardi tutte le altre parole, questo metodo crea un confine rigoroso tra i documenti. Costringe il sistema a trattare ogni documento recuperato come un'isola isolata. All'interno di un singolo documento, le parole possono ancora riferirsi tra loro per mantenere il contesto, ma sono completamente bloccate dal guardare o dall'essere influenzate dalle parole in qualsiasi altro documento recuperato. Questa modifica viene applicata solo quando il sistema sta generando una risposta, non richiedendo il riaddestramento del modello IA sottostante né l'aggiunta di complessi componenti al software. È un semplice aggiustamento alle regole dell'attenzione che impedisce il dannoso "cross-talk" tra un bugiardo e un portatore di verità.

I ricercatori hanno testato questo approccio rigorosamente attraverso una varietà di scenari, utilizzando diversi dataset di domande e risposte e molteplici tipi di modelli linguistici. Hanno simulato attacchi in cui un avversario ha iniettato documenti fuorvianti progettati per indirizzare l'IA verso una specifica risposta errata. In questi test, il sistema standard, che permetteva ai documenti di influenzarsi a vicenda, è caduto frequentemente nell'inganno, producendo spesso la risposta falsa desiderata dall'attaccante. Al contrario, il sistema che utilizza il nuovo metodo di attenzione sparsa si è dimostrato molto più resiliente. Ha ignorato con successo i documenti avvelenati nella stragrande maggioranza dei casi, mantenendo l'accuratezza delle sue risposte e riducendo drasticamente il tasso di successo degli attacchi. Il miglioramento è stato così significativo che il nuovo metodo ha superato le strategie di difesa esistenti, più complesse, che erano state sviluppate per intercettare questi attacchi.

Lo studio ha anche esplorato come la posizione di un documento falso influenzi il risultato. Hanno scoperto che quando un documento ingannevole è molto simile nei contenuti a quelli veritieri, è più difficile per il sistema resistere alla sua influenza. Tuttavia, il nuovo metodo è rimasto efficace anche in queste situazioni difficili. Inoltre, i ricercatori hanno scoperto che questa difesa funziona bene anche quando l'IA è chiamata a risolvere problemi complessi che richiedono di combinare informazioni da più documenti, come le domande di ragionamento multi-step. Sebbene la configurazione iniziale abbia mostrato un leggero calo delle prestazioni rispetto al metodo standard, i ricercatori hanno scoperto che un breve periodo di fine-tuning del modello sulle nuove regole ha recuperato completamente questa perdita, dando origine a un sistema che era sia robusto contro gli attacchi sia altamente accurato.

Le scoperte suggeriscono che il modo in cui un'IA guarda il suo materiale sorgente è importante quanto il materiale stesso. Semplicemente impedendo ai diversi documenti di parlarsi tra loro, il sistema diventa molto più difficile da ingannare. Questo approccio offre un modo pratico ed efficiente per mettere in sicurezza i sistemi di IA basati sulla ricerca, assicurando che essi si affidino alla verità piuttosto che essere influenzati dalla menzogna più persuasiva presente nella stanza. Il lavoro stabilisce un nuovo standard per la protezione di questi sistemi, dimostrando che un cambiamento fondamentale nel modo in cui il modello elabora le informazioni può essere più efficace dell'aggiunta di strati di complessi strumenti di rilevamento.

Sintesi Tecnica: Affrontare gli attacchi di avvelenamento della conoscenza del corpus su RAG tramite l'attenzione sparsa

Definizione del problema

La Generazione Aumentata dal Recupero (RAG) è un paradigma dominante per aggiornare la conoscenza dei Large Language Model (LLM) e ridurre le allucinazioni. Tuttavia, i sistemi RAG sono vulnerabili ad attacchi di avvelenamento della conoscenza del corpus, in cui un avversario inietta documenti fuorvianti o malevoli nel corpus di recupero per indirizzare l'output dell'LLM verso una risposta errata desiderata.

Gli autori sostengono che una vulnerabilità fondamentale, spesso trascurata, nei RAG derivi dal meccanismo di attenzione causale standard utilizzato nei modelli LLM decoder-only. In una pipeline RAG standard, i documenti recuperati vengono concatenati in un unico prompt. Sotto l'attenzione causale, i token di un documento recuperato possono prestare attenzione a (e essere influenzati da) i token di altri documenti recuperati. Quando il set recuperato contiene informazioni contrastanti — come documenti benigni corretti rispetto a documenti avversari iniettati — questa attenzione incrociata tra documenti permette al contenuto avversario di corrompere gli stati nascosti dei documenti benigni, portando a una generazione errata.

Metodologia: Sparse Document Attention RAG (SDAG)

Per mitigare questa vulnerabilità, gli autori propongono Sparse Document Attention RAG (SDAG), un meccanismo di difesa che modifica la maschera di attenzione durante l'inferenza senza richiedere il fine-tuning del modello o cambiamenti architettonici.

Meccanismo principale

SDAG impone un pattern di attenzione block-sparse sui documenti recuperati:

Attenzione Intra-documento: I token all'interno di un singolo documento recuperato possono prestare attenzione ai token precedenti all'interno dello stesso documento.
Blocco Inter-documento: L'attenzione incrociata tra diversi documenti recuperati è esplicitamente disabilitata. I token nel documento $d_i$ non possono prestare attenzione ai token nel documento $d_j$ (dove $i \neq j$ ).
Contesto Preservato: I token nel blocco di istruzione del task ( $B_T$ ) e nel blocco di contesto del generatore ( $B_C$ ) mantengono l'attenzione causale standard, permettendo loro di prestare attenzione a tutti i token precedenti. Allo stesso modo, i token generati possono prestare attenzione a tutti i token precedenti nella sequenza.

Implementazione

Overhead Minimo: Il metodo richiede solo una modifica alla maschera di attenzione al tempo di inferenza.
Compatibilità: È compatibile con qualsiasi LLM decoder-only e può essere integrato con i metodi di difesa pre-generazione esistenti (ad esempio, filtraggio o discriminazione dei documenti).
Nessun Addestramento: A differenza di molte strategie di difesa, SDAG non richiede il fine-tuning del generatore o l'addestramento di discriminatori aggiuntivi.

Configurazione Sperimentale

Gli autori hanno condotto una valutazione empirica rigorosa attraverso molteplici dimensioni:

Dataset: HotpotQA (multi-hop), TriviaQA e Natural Questions (NQ) (single-hop), utilizzando l'dump di English Wikipedia come corpus.
Modelli: Tre generatori LLM (Llama-8B, Qwen-7B, Mistral-7B) e vari retriever (E5, Contriever, BM25).
Strategie di Attacco:
- In-Set vs. In-Corpus: Valutazione di scenari in cui i documenti avversari sono garantiti nel set recuperato rispetto a scenari in cui sono iniettati nel corpus e possono o meno essere recuperati.
- Conteggio Documenti: Attacchi a singolo documento e attacchi a documenti multipli (2 o 3 documenti avversari).
- Strategie Spaziali: Selezione casuale, "Near" (documenti avversari vicini ai documenti benigni nello spazio degli embedding) e "Far" (distanti nello spazio degli embedding).
- Attacchi Adattivi: Scenari in cui l'attaccante osserva i documenti benigni o le risposte precedenti del modello per perfezionare l'attacco.
Baseline: Standard Causal Attention RAG (CARG), RAGDefender (basato su filtraggio) e Discern&Answer (basato su discriminatore).
Metriche: Accuratezza (ACC) e Tasso di Successo dell'Attacco (ASR).

Risultati Chiave

1. Superiorità rispetto all'Attenzione Standard (RQ1)

SDAG supera costantemente lo standard Causal Attention RAG (CARG) negli scenari avversari:

Riduzione dell'ASR: SDAG riduce significativamente il Tasso di Successo dell'Attacco in tutti i dataset, generatori e retriever. Ad esempio, negli attacchi a singolo documento sul dataset NQ, SDAG ha ridotto l'ASR di oltre la metà rispetto a CARG in diverse configurazioni.
Miglioramento dell'Accuratezza: Nella maggior parte dei casi, anche SDAG migliora l'accuratezza delle risposte generate rispetto a CARG, indicando che il blocco dell'attenzione incrociata tra documenti preserva l'integrità delle informazioni benigne.
Robustezza: La difesa regge sia per domande single-hop che multi-hop, dimostrando che SDAG non ostacola la capacità del modello di sintetizzare informazioni tra i documenti (verificato in setting oracle non avversari).

2. Confronto con le Difese allo Stato dell'Arte (RQ2)

Attacchi a Singolo Documento: SDAG supera le difese esistenti allo stato dell'arte (RAGDefender e Discern&Answer) negli scenari di attacco a singolo documento. Questa è una scoperta critica, poiché molte difese esistenti si basano sulla rilevazione di somiglianze tra più documenti avversari, un presupposto che fallisce quando è presente un solo documento malevolo.
Attacchi a Documenti Multipli: Quando SDAG viene integrato con le difese esistenti (specificamente Ramente RAGDefender), l'approccio combinato stabilisce un nuovo stato dell'arte, ottenendo miglioramenti statisticamente significativi sia in ASR che in accuratezza rispetto alle sole baseline.

3. Analisi della Posizione Spaziale (RQ3)

Gli autori hanno analizzato la relazione tra la distanza geometrica dei documenti avversari dai documenti benigni nello spazio degli embedding e l'efficacia dell'attacco:

Effetto di Prossimità: Gli attacchi sono più efficaci quando i documenti avversari sono "Near" (vicini al centroide dei documenti benigni) nello spazio degli embedding. Gli attacchi "Far" sono meno efficaci.
Efficacia della Difesa: Il vantaggio relativo delle prestazioni di SDAG rispetto a CARG è ancora più pronunciato quando i documenti avversari sono geometricamente distanti dal set benigno, suggerendo che il meccanismo block-sparse è particolarmente efficace nell'isolare cluster semantici distinti.

Significato e Rivendicazioni

Il documento rivendica i seguenti contributi e significati:

Identificazione di un Difetto Fondamentale: Gli autori identificano il meccanismo di attenzione causale standard come un vettore primario per l'avvelenamento del corpus, dove le interazioni tra documenti permettono al contenuto avversario di corrompere il contesto benigno.
Una Difesa Nuova e Leggera: SDAG offre una difesa pratica che non richiede fine-tuning, nessun componente aggiuntivo della pipeline e cambiamenti minimi al tempo di inferenza (solo modifica della maschera).
Prestazioni allo Stato dell'Arte: SDAG stabilisce un nuovo benchmark per la robustezza RAG, in particolare nello scenario di attacco a singolo documento, finora poco esplorato. La sua capacità di integrarsi con altre difese per creare una difesa composita superiore ne evidenzia la versatilità.
Intuizione sulla Dinamica degli Attacchi: L'analisi della posizione nello spazio degli embedding fornisce nuove intuizioni su come gli attaccanti ottimizzano le loro iniezioni e su come le difese possano sfruttare la separazione geometrica per migliorare la robustezza.

Gli autori segnalano limitazioni, tra cui la restrizione ai modelli open-source (a causa della necessità di controllo della maschera di attenzione), il focus sulla QA basata su English Wikipedia e l'uso di modelli LLM relativamente piccoli (7B-8B) per la maggior parte degli esperimenti, sebbene notino che anche i modelli più grandi (70B) e quelli capaci di ragionamento beneficiano dell'approccio.