Blast Radius Characterization of Triple-Level Poisoning Attacks in Knowledge Graph Retrieval-Augmented Generation Systems

Immaginate internet come una biblioteca gigante e caotica dove ogni libro è un pezzo di informazione. Per molto tempo, i computer che cercavano di rispondere alle domande (come i nostri assistenti IA super intelligenti) si limitavano a prendere il singolo libro più simile da uno scaffale, lo leggevano e ipotizzavano la risposta. Era come chiedere a un bibliotecario una ricetta e ricevere un ricettario casuale che per caso aveva la parola "pollo" sulla copertina. Ma recentemente, gli scienziati hanno iniziato a costruire un tipo diverso di biblioteca: un Grafo di Conoscenza (Knowledge Graph). Invece di semplici pile di libri, questa biblioteca è una vasta rete luminosa dove ogni fatto è un nodo (un punto) e ogni relazione è un filo che li connette. Se chiedete informazioni sul "pollo", il sistema non trova solo un libro; segue i fili per vedere cosa mangia il pollo, quali malattie potrebbe trasmettere e quali ricette lo utilizzano. Questo si chiama Generazione Aumentata dal Recupero (Retrieval-Augmented Generation - RAG). È come dare all'IA una mappa invece di un semplice elenco di parole, permettendole di ragionare attraverso catene complesse di fatti.

Tuttavia, questa nuova biblioteca simile a una rete ha una nuova e spaventosa debolezza. Nel vecchio sistema a scaffali di libri, se qualcuno inseriva una pagina falsa in un libro, solo chi cercava quel libro specifico veniva ingannato. Ma in una rete di punti connessi, se avveleni un singolo filo nel mezzo della mappa, quella menzogna può viaggiare lungo decine di percorsi diversi contemporaneamente. È come versare una singola goccia di colorante rosso al centro di un fiume; improvvisamente, ogni torrente, stagno e cascata collegato a quel fiume diventa rosa. Questo articolo investiga esattamente quanto si diffonda quel "colorante". I ricercatori volevano sapere: se un malintenzionato inietta una sola bugia in questa rete connessa, quante diverse domande l'IA risponderà in modo errato a causa di essa? Lo chiamano "Raggio d'Azione" (Blast Radius). È una misura di quanto danno possa causare un singolo piccolo errore quando il sistema è costruito su una intricata rete di connessioni.

Il Grande Esperimento: Quanto si Diffonde il Veleno?

Gli autori di questo articolo hanno allestito un esperimento digitale per misurare questo "Raggio d'Azione" in un ambiente molto specifico e ad alta posta in gioco: un grafo di conoscenza medica. Hanno utilizzato un sistema chiamato Microsoft GraphRAG alimentato da un modello di IA chiamato Gemma 2 9B, fornendogli una collezione di veri abstract medici riguardanti temi come cancro, diabete e virus.

Per testare il sistema, non hanno cercato di ingannare l'IA con codice complesso o password segrete. Inveverso, hanno giocato a un gioco di "sabotaggio strutturale". Hanno iniettato tre diversi tipi di fatti falsi (chiamati "triple") nel grafo per vedere come si diffondessero i danni:

1. L'Attacco "Edge" (Marginale): Hanno piantato una bugia su un fatto medico minore e oscuro (come un farmaco specifico per una condizione rara) che aveva solo poche connessioni con altri fatti.
2. L'Attacco "Hub" (Centro): Hanno preso di mira un fatto medico superstar — un "Hub" — che è connesso a decine di altre cose. Nel loro esperimento, hanno scelto p53, una famosa proteina che è un personaggio centrale nella ricerca sul cancro, collegandosi a geni, malattie e trattamenti ovunque. Hanno iniettato una bugia dicendo che la p53 causa tumori invece di fermarli.
3. L'Attacco "Chain" (Catena): Hanno creato una storia falsa composta da tre bugie connesse, collegando quattro diversi argomenti medici in una catena che non esisteva nella realtà.

I Risultati Scioccanti: Una Bugia, Quattordici Errori

I risultati sono stati un campanello d'allarme. I ricercatori hanno scoperto che la forma della rete conta più del contenuto della bugia.

• L'Attacco "Edge": Quando hanno mentito su un fatto minore e oscuro, il danno è stato contenuto. Per ogni bugia iniettata, l'IA ha dato 7 risposte errate. Il veleno si è diffuso, ma è rimasto per lo più locale.
• L'Attacco "Hub": È qui che le cose sono diventate folli. Quando hanno iniettato una sola bugia sulla proteina super-connessa p53, il raggio d'azione è esploso. Quella singola informazione falsa ha causato 14 risposte errate da parte dell'IA. Ciò significa che l'attacco "Hub" era due volte più pericoloso dell'attacco "Edge", anche se avevano usato un solo pezzo di dati falsi. La bugia non è rimasta solo con la p53; ha viaggiato attraverso la rete, corrompendo le risposte su trattamenti oncologici, terapia genica e meccanismi farmacologici che l'utente non aveva nemmeno chiesto direttamente riguardo alla p53.
• L'Attacco "Chain": Quando hanno costruito la catena falsa di tre bugie, il danno è stato profondo ma leggermente meno esplosivo per singola bugia (circa 4 risposte errate per bugia). Tuttavia, è stata molto efficace nel trarre in inganno l'IA su domande complesse e a più fasi.

Il "Punto di Equilibrio" dei Due Salti (Two-Hop)

Una delle scoperte più interessanti è stata quali domande venivano messe in discussione maggiormente. I ricercatori hanno testato domande che richiedevano all'IA di compiere un passo (1-hop), due passi (2-hop) o tre passi (3-hop) attraverso la rete per trovare una risposta.

Hanno scoperto che le domande a due passi erano le più vulnerabili. Sembra che quando l'IA deve saltare sopra un fatto intermedio per arrivare alla risposta, sia più probabile che inciampi nella zona avvelenata. Nell'attacco Hub, 6 domande su 10 a due passi sono state corrotte. L' "Effetto Cascata" era reale: l'IA non ha solo sbagliato la domanda diretta; ha sbagliato anche le conseguenze di quella bugia. Infatti, in ogni scenario, il danno da "cascata" (risposte indirettamente influenzate) era molto maggiore del danno "diretto" (risposte che menzionavano esplicitamente la bugia).

Perché Questo è Importante e Come Risolvere il Problema

L'articolo conclude che in un Grafo di Conoscenza, la posizione è tutto. Se avveleni un angolo tranquillo della biblioteca, è un piccolo problema. Se avveleni l'incrocio principale dove tutte le strade si incontrano, l'intera città si perde. Questo è un enorme problema per settori come la medicina, il diritto e il business, dove un singolo fatto errato potrebbe portare a una diagnere errata o a una strategia legale sbagliata.

Per combattere questa minaccia, gli autori propongono una nuova difesa chiamata "Punteggio di Fiducia Pesato sul Grado" (Degree-Weighted Trust Scoring). Immaginate un guardiano della sicurezza all'ingresso della biblioteca. Inveve di leggere solo il libro per vedere se è falso, questo guardiano guarda l'autore e l'argomento. Se un nuovo fatto riguarda un "Hub" (un'entità super-connessa come la p53), il guardiano diventa molto sospettoso e segnala il fatto affinché un essere umano lo ricontrolli prima di lasciarlo entrare nel sistema. Se il fatto riguarda un argomento minore e oscuro, il guardiano lo lascia passare rapidamente. In questo modo, il sistema concentra le sue energie nel proteggere le parti più pericolose della mappa.

In breve, questo articolo ci mostra che, sebbene collegare la conoscenza della nostra IA in una rete la renda più intelligente, la rende anche più fragile. Una singola bugia nel posto giusto (o sbagliato) può propagarsi e confondere il sistema in modi che non ci aspettavamo, trasformando un piccolo errore in un disastro massiccio.