KEPo: Knowledge Evolution Poison on Graph-based Retrieval-Augmented Generation

Il paper introduce KEPo, un nuovo metodo di avvelenamento progettato specificamente per aggirare le difese dei sistemi GraphRAG manipolando l'evoluzione della conoscenza all'interno del grafo per indurre i modelli linguistici a generare risposte dannose.

L'essenziale

Immagina che un Intelligenza Artificiale (IA) sia come un chef stellato molto intelligente, ma che ha una piccola debolezza: non ricorda tutto ciò che è successo nel mondo ogni giorno. Per cucinare risposte perfette, si affida a un bibliotecario (il sistema di recupero) che gli porta i libri più recenti e rilevanti dalla biblioteca esterna.

Quando questo sistema usa una semplice lista di libri (il vecchio metodo "RAG"), è facile ingannarlo: basta scrivere un libro con una bugia grossa e chiara, e l'chef la leggerà e la userà.

Ma i ricercatori hanno creato una biblioteca nuova e più intelligente chiamata GraphRAG. Invece di semplici libri, qui le informazioni sono organizzate come una mappa gigante di relazioni (un "Grafo della Conoscenza"). Se chiedi "Chi è il presidente?", la mappa non ti dà solo un testo, ma ti mostra come quel nome si collega a partiti, elezioni e storia. È come se l'IA potesse "ragionare" guardando la mappa invece di leggere a caso.

Il problema? Questa mappa è così intelligente che le bugie semplici non funzionano più. Se provi a inserire un libro con scritto "Il cielo è verde", la mappa lo scarta subito perché contraddice tutto il resto.

La Scoperta: KEPo (L'Avvelenamento dell'Evoluzione)

Gli autori di questo studio, Chen e il suo team, hanno scoperto un modo geniale e subdolo per ingannare anche questa mappa intelligente. L'hanno chiamato KEPo (Knowledge Evolution Poison), che possiamo tradurre come "Avvelenamento dell'Evoluzione della Conoscenza".

Ecco come funziona, usando un'analogia semplice:

1. Il Problema: La Bugia Improvvisa

Immagina che la tua mappa della conoscenza dica: "Nel 2000, la medicina diceva che il tumore A era il più comune."
Se provi a inserire un foglio volante che dice: "Nel 2024, il tumore B è il più comune!" senza spiegazioni, la mappa lo rifiuta. Sembra un'informazione isolata, un "fantasma" che non si collega a nulla. È come se qualcuno avesse scritto una frase a caso su un muro: nessuno ci crede.

2. La Soluzione di KEPo: La Storia Finta

KEPo non inserisce la bugia da sola. Invece, costruisce un'intera storia falsa che collega la verità passata alla bugia futura.

Immagina che l'attaccante voglia far credere che il tumore B sia il più comune oggi.

• Passo 1: Prende la verità (Tumore A nel 2000).
• Passo 2: Crea una scusa plausibile (un "percorso di evoluzione"). Scrive: "Nel 2010, i ricercatori hanno notato dei dati strani. Nel 2015, hanno scoperto un nuovo metodo di analisi. Nel 2020, hanno corretto un errore statistico. Infine, nel 2024, la nuova ricerca conferma che il Tumore B è il più comune."
• Passo 3: Inserisce questa storia completa nella biblioteca.

Perché funziona?

Perché la mappa della conoscenza (GraphRAG) vede che la nuova informazione (la bugia finale) non è isolata. È collegata a una catena logica di eventi che parte dalla verità. Per l'IA, sembra che la conoscenza abbia evoluto naturalmente nel tempo.
È come se qualcuno cambiasse il finale di un libro di storia: non cancella le pagine precedenti, ma aggiunge nuovi capitoli che spiegano perché la storia è cambiata. L'IA, vedendo questa "evoluzione" coerente, pensa: "Ah, quindi la conoscenza è cambiata nel tempo, e questa è la nuova verità!".

L'Attacco Multi-Obiettivo: La Rete di Bugie

Se vuoi ingannare l'IA su più argomenti (es. tumori, clima, politica), KEPo crea diverse di queste "storie false". Poi, le collega tra loro.
Immagina di avere diversi gruppi di bugie. KEPo crea dei ponti tra di essi, come se tutte queste scoperte false fossero state fatte dagli stessi scienziati o nello stesso contesto. Questo crea una comunità di bugie molto grande e forte. Più la comunità è grande, più l'IA la considera importante e affidabile.

I Risultati

Gli esperimenti mostrano che questo metodo è terribilmente efficace:

• Riesce dove gli altri falliscono: I vecchi metodi di attacco (bugie semplici o comandi nascosti) vengono bloccati dalla mappa intelligente. KEPo passa attraverso le difese.
• È difficile da fermare: Anche se provi a controllare se il testo è tossico o a riscrivere le domande, l'IA continua a credere alla "storia evolutiva" perché sembra logica e coerente.
• Funziona ovunque: Funziona sia con le mappe complesse (GraphRAG) che con i sistemi più semplici.

In Sintesi

KEPo è come un falsario di storia che non si limita a scrivere un falso documento, ma riscrive l'intera cronologia degli eventi per far sì che la menzogna sembri l'inevitabile risultato di una scoperta scientifica. Invece di urlare una bugia, sussurra una storia così convincente che l'Intelligenza Artificiale la accetta come la nuova verità.

Questo studio ci avvisa che, man mano che le IA diventano più intelligenti nel collegare le informazioni, i metodi per ingannarle devono diventare più sofisticati e "narrativi", rendendo la sicurezza di questi sistemi una sfida ancora più grande.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "KEPo: Knowledge Evolution Poison on Graph-based Retrieval-Augmented Generation" in italiano.

1. Il Problema

I sistemi Graph-based Retrieval-Augmented Generation (GraphRAG) migliorano le prestazioni dei Large Language Model (LLM) costruendo un Grafo della Conoscenza (KG) da database esterni, permettendo un ragionamento multi-hop e una maggiore accuratezza rispetto ai metodi RAG tradizionali basati su vettori. Tuttavia, questa architettura introduce nuove superfici di attacco.

Gli autori evidenziano che le tecniche di avvelenamento (poisoning) esistenti, progettate per i sistemi RAG convenzionali, falliscono contro GraphRAG per tre motivi principali:

1. Sostituzione di unità semantiche: I modelli LLM su larga scala utilizzati da GraphRAG comprendono bene la semantica, rendendo difficile confonderli con semplici sostituzioni di sinonimi o sememi.
2. Iniezione di prompt: Le istruzioni maliziose (es. "ignora le istruzioni precedenti") non vengono estratte come entità o relazioni significative durante la costruzione del KG, quindi non vengono integrate nel grafo.
3. Avvelenamento RAG classico: Questi metodi dividono il testo in una "testa" per il ranking e una "coda" per l'inganno. In GraphRAG, queste parti spesso formano comunità piccole e disconnesse nel grafo, con un basso ranking di recupero e un'alta perplessità quando integrate con la conoscenza originale, fallendo nell'ingannare il generatore.

L'obiettivo è quindi sviluppare un attacco che possa manipolare efficacemente la struttura logica e temporale del KG di GraphRAG.

2. Metodologia: KEPo (Knowledge Evolution Poison)

KEPo è un metodo di avvelenamento specifico per GraphRAG che si basa sulla falsificazione di percorsi di evoluzione della conoscenza. L'idea centrale è non inserire un fatto tossico in modo isolato, ma costruire una narrazione coerente che mostri come la conoscenza sia "evoluta" da un fatto originale verificato a un fatto tossico target.

Il processo si articola in quattro fasi principali:

1. Identificazione dei Fatti Ancora:

   • Per una query target $q$ e una risposta desiderata tossica $a^*$, il sistema interroga il GraphRAG originale per ottenere la risposta corretta $a$ (che contiene fatti originali $f$).
   • Vengono estratti i fatti originali e un "ancoraggio temporale" $t$ (data o periodo) da $a$.

2. Falsificazione del Percorso di Evoluzione:

   • Viene generato un percorso di evoluzione $L$ che collega il fatto originale $f_t$ al fatto tossico $f^*_{t+\Delta t1}$ (dove $t+\Delta t1$ è una data futura, es. la data dell'attacco).
   • Questo percorso simula un processo di aggiornamento della conoscenza nel tempo, rendendo il fatto tossico una "conclusione logica" dell'evoluzione precedente.

3. Falsificazione del Contesto Iniziale (Backfilling):

   • Per aumentare ulteriormente la coerenza, il sistema genera anche uno stato iniziale precedente $f^*_{t-\Delta t2}$ e il percorso che porta al fatto originale $f_t$.
   • Vengono aggiunti contesti autorevoli e fonti per rendere la narrazione credibile.
   • Il corpus tossico finale $d$ è una concatenazione: Stato Iniziale $\rightarrow$ Percorso 1 $\rightarrow$ Fatto Originale $\rightarrow$ Percorso 2 $\rightarrow$ Fatto Tossico.

4. Attacco Coordinato Multi-Target:

   • Per attacchi su più query, KEPo identifica i nodi critici (quelli con la massima centralità di grado) in diversi sottografi tossici.
   • Vengono create relazioni fittizie tra questi nodi basate sulla similarità semantica delle risposte target.
   • Questo crea una "comunità tossica" su larga scala che si rafforza a vicenda, aumentando il ranking di recupero nel sistema GraphRAG.

Vantaggio Teorico: Utilizzando la teoria dell'informazione, gli autori dimostrano che questo approccio riduce la Perplessità Condizionata (C-PPL) del testo tossico rispetto alla conoscenza esistente. Poiché il testo tossico è presentato come una continuazione temporale e semantica coerente dei fatti veri, il modello LLM lo considera più probabile e lo integra meglio nel KG rispetto a un'iniezione diretta.

3. Contributi Chiave

• Analisi delle Vulnerabilità: Dimostrazione che i metodi di attacco RAG classici falliscono su GraphRAG a causa della robustezza dell'estrazione delle entità e della struttura a grafo.
• Nuovo Vettore di Attacco (KEPo): Introduzione di un metodo che sfrutta la falsificazione temporale e l'evoluzione della conoscenza per ingannare il sistema di recupero e generazione.
• Strategia Multi-Target: Sviluppo di una tecnica per collegare sottografi tossici distinti, espandendo la scala dell'attacco e migliorando l'efficacia in scenari complessi.
• Prestazioni Superiori: KEPo raggiunge lo stato dell'arte (SOTA) sia in scenari di attacco singolo che multi-target, mantenendo alta efficacia anche se il framework di recupero degenera in un RAG naive.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset specifici per GraphRAG (GraphRAG-Bench, diviso in Graph-Story e Graph-Medical) e su MuSiQue, utilizzando framework come GraphRAG, LightRAG e HippoRAG 2.

• Tasso di Successo dell'Attacco (ASR): KEPo supera significativamente le baseline (PoisonedRAG, CorruptRAG, GRAG-Poison).
  • Su GraphRAG-Local Search, KEPo raggiunge un ASR medio del 72.2% (Single) e 73.1% (Multi), contro un massimo del 54.1% delle baseline.
  • Su Graph-Story con LightRAG, l'ASR sale fino al 75.1% (Single) e 77.2% (Multi).
• Tasso di Successo Condizionato (CASR): KEPo mostra una capacità superiore di manipolare la conoscenza che l'LLM è propenso ad adottare, anche quando il sistema originale avrebbe prodotto la risposta corretta.
• Analisi delle Dimensioni: L'ASR aumenta con la lunghezza del testo tossico fino a circa 120 parole; oltre questo limite, i guadagni sono marginali. Nell'attacco multi-target, collegare più di 5 corpus inizia a ridurre l'efficacia a causa della diminuzione della similarità semantica.
• Robustezza: KEPo funziona bene indipendentemente dal modello LLM utilizzato come "Fabricator" (anche modelli più piccoli come Qwen3-14B) e come "Generator".
• Resistenza alle Difese: Le tecniche di difesa standard (paraphrasing delle query, ignorare istruzioni, rilevamento di prompt) falliscono nel rilevare i corpus avvelenati da KEPo, mantenendo un tasso di ritenzione dei token tossici superiore al 98% e un ASR quasi invariato.

5. Significato e Implicazioni

Il lavoro di KEPo rivela una vulnerabilità critica nei sistemi GraphRAG: la loro dipendenza dalla coerenza logica e temporale della conoscenza può essere sfruttata per ingannare il modello.

• Sicurezza: Dimostra che la semplice estrazione di entità non è sufficiente a proteggere i sistemi RAG basati su grafi. Gli attaccanti possono manipolare la "storia" della conoscenza per far apparire le informazioni tossiche come aggiornamenti legittimi.
• Urgenza di Nuove Difese: Poiché le difese attuali sono inefficaci, il paper sottolinea la necessità di sviluppare nuovi meccanismi di difesa capaci di rilevare anomalie nei percorsi di evoluzione della conoscenza e nella coerenza temporale dei dati inseriti nel KG.
• Impatto Futuro: Questo studio invita la comunità di ricerca a considerare la sicurezza dei grafi della conoscenza non solo come un problema di filtraggio dei contenuti, ma come una sfida di integrità strutturale e logica.