One Shot Dominance: Knowledge Poisoning Attack on Retrieval-Augmented Generation Systems

1. Il Problema

I sistemi RAG (Retrieval-Augmented Generation) combinano i Large Language Models (LLM) con basi di conoscenza esterne per migliorare l'accuratezza delle risposte e ridurre le allucinazioni. Tuttavia, questa dipendenza da fonti esterne introduce vulnerabilità critiche: se una base di conoscenza è pubblica e modificabile (es. Wikipedia), gli attaccanti possono iniettare contenuti malevoli per "avvelenare" la conoscenza.

Le ricerche precedenti su questo tema presentavano due limitazioni fondamentali:

1. Mancanza di furtività: Richiedevano l'iniezione di molteplici documenti avvelenati per avere successo, rendendo l'attacco facilmente rilevabile.
2. Limitata applicabilità: Funzionavano efficacemente solo su query semplici, fallendo di fronte a domande complesse che richiedono ragionamento multi-hop (collegamento di più entità).

Il paper identifica la sfida di un attacco "One Shot" (singolo documento): riuscire a manipolare l'output di un LLM modificando un solo documento, anche in presenza di basi di conoscenza vaste e della conoscenza interna pre-addestrata del modello, mantenendo allo stesso tempo un alto livello di furtività.

2. Metodologia: AuthChain

Gli autori propongono AuthChain, un nuovo metodo di attacco che supera le sfide sopra citate attraverso tre principi chiave, implementati in tre fasi distinte:

A. Generazione di Contenuti Basata sull'Intento (Intent-Based Content)

Per massimizzare la visibilità del documento durante la fase di recupero (retrieval):

• Si estraggono le caratteristiche chiave della domanda: l'intento (l'obiettivo finale), i nodi di evidenza (entità chiave) e le relazioni tra di esse.
• Si genera un contenuto che allinea perfettamente l'obiettivo del documento con l'intento della domanda, garantendo che il sistema di recupero lo classifichi in alto e che l'LLM vi presti attenzione durante il ragionamento.

B. Generazione di Contenuti a Catena di Evidenza (Chain-of-Evidence - CoE)

Per garantire recuperabilità e competitività rispetto ad altre fonti:

• Il documento viene strutturato come una catena di evidenza autonoma e autocontenuta.
• Questo approccio preserva la struttura logica completa della domanda, collegando tutti gli elementi chiave e le loro relazioni in modo coerente.
• Una catena di evidenza strutturata è più convincente e completa rispetto a frammenti di conoscenza esterna che corrispondono solo parzialmente alla logica della domanda, permettendo al documento avvelenato di superare le fonti legittime.

C. Generazione di Contenuti di Autorità (Authority Content)

Per superare il bias della conoscenza interna dell'LLM:

• Gli autori sfruttano l'"effetto autorità" della psicologia sociale.
• Il documento viene arricchito con segnali di autorità specifici del dominio, come endorsement da istituzioni autorevoli e timestamp recenti.
• Questo inganna l'LLM facendogli credere che la fonte esterna sia più aggiornata e affidabile rispetto alla sua conoscenza interna statica, riducendo la resistenza del modello all'avvelenamento.

Il processo utilizza agenti LLM (Intent Agent, CoE Judge Agent, Revise Agent, Authority Generator Agent) per iterare e perfezionare il documento fino a quando non soddisfa tutti i criteri di coerenza e autorità.

3. Contributi Chiave

• Nuovo Paradigma di Attacco: Dimostrazione che è possibile compromettere i sistemi RAG complessi con un singolo documento iniettato, superando la necessità di inondare la base di conoscenza.
• Efficacia su Query Complesse: AuthChain funziona efficacemente su domande multi-hop che richiedono relazioni complesse tra più elementi, un ambito dove i metodi precedenti fallivano.
• Superamento del Bias Interno: La strategia di "Autorità" permette di sovrascrivere la conoscenza interna dell'LLM, un ostacolo significativo per gli attacchi di avvelenamento.
• Furtività Superiore: Il contenuto generato è più naturale (bassa perplexity) e logicamente coerente, rendendolo difficile da rilevare per i meccanismi di difesa esistenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 6 LLM popolari (inclusi GPT-3.5, GPT-4, GPT-4o, Llama3-8B/70B, DeepSeek-V3) e tre dataset standard (HotpotQA, MS-MARCO, Natural Questions).

• Tasso di Successo dell'Attacco (ASR):
  • AuthChain ha raggiunto un ASR medio del 87,0% su HotpotQA, 81,5% su MS-MARCO e 77,8% su Natural Questions.
  • Ha superato i metodi dello stato dell'arte (PoisonedRAG e HijackRAG) con un miglioramento del 21,7% - 46,5% nel tasso di successo.
• Furtività e Qualità:
  • Il documento generato ha una Perplexity (PPL) significativamente più bassa (media 33,4) rispetto ai baselines (69,9 per PoisonedRAG e 381,1 per HijackRAG), indicando un testo molto più naturale e meno sospetto.
  • Il tasso di recupero (RSR) rimane alto, confermando che il documento viene effettivamente selezionato dal sistema di recupero.
• Resistenza alle Difese:
  • Sottoposto a framework di difesa come InstructRAG e AstuteRAG, AuthChain ha mantenuto tassi di successo superiori, riducendo l'accuratezza (ACC) delle risposte corrette in misura maggiore rispetto ai baselines.
  • In particolare, contro AstuteRAG (che verifica la coerenza interna/esterna), AuthChain ha dimostrato di poter ingannare il modello grazie ai segnali di autorità.
• Robustezza:
  • L'attacco rimane efficace anche quando le query utente vengono parafrasate o in scenari di conversazione multi-turno, sebbene con una leggera diminuzione delle prestazioni dovuta al contesto aggiuntivo.

5. Significato e Implicazioni

Questo lavoro evidenzia una vulnerabilità critica e sottovalutata nei sistemi RAG: la fiducia eccessiva in una singola fonte esterna se questa è strutturata in modo persuasivo e autorevole.

• Sicurezza: Dimostra che le difese attuali basate sul rilevamento di pattern anomali o sulla verifica della coerenza interna sono insufficienti contro attacchi sofisticati che mimano l'autorità e la logica.
• Difese Proposte: Gli autori suggeriscono misure difensive come la verifica rigorosa delle fonti, l'analisi critica dell'evidenza (CoE) piuttosto che solo dell'autorità, il fact-checking in tempo reale e il monitoraggio di pattern anomali nelle modifiche alle basi di conoscenza.
• Impatto: La ricerca spinge la comunità a sviluppare meccanismi di difesa più robusti per la sicurezza delle basi di conoscenza, fondamentali per l'adozione sicura dell'IA generativa in ambito aziendale e pubblico.

In sintesi, AuthChain rappresenta un avanzamento significativo nella comprensione delle vulnerabilità dei sistemi RAG, dimostrando che un attacco mirato, ben strutturato e "one-shot" può compromettere efficacemente anche i modelli più avanzati.