Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework

Immagina di stare chiedendo la verità a un bibliotecario robotico super intelligente. Questo robot, noto come Large Language Model (LLM), ha letto quasi tutto ciò che è mai stato scritto, ma a volte inventa le cose o dimentica eventi recenti. Per risolvere questo problema, abbiamo costruito un sistema chiamato RAG (Retrieval-Augmented Generation). Pensa al RAG come al fatto di dare al robot una pila di libri freschi e rilevanti dalla biblioteca proprio prima che risponda alla tua domanda, così può citare i fatti invece di tirare a indovinare. Ma ecco il trucco: cosa succederebbe se un malvagio furtivo si intrufolasse nella biblioteca e sostituisse alcune pagine di quei libri con delle bugie? Se il robot si fida di quelle pagine false, ti dirà che la luna è fatta di formaggio o che un medicinale pericoloso è sicuro. Questo è chiamato un attacco di "corruzione della conoscenza". Il documento che stai per leggere affronta questo spaventoso problema ponendosi una domanda: come possiamo impedire al robot di credere ai bugiardi quando sta prendendo libri da molte diverse librerie, alcune delle quali sospette?

Gli autori di questo articolo, Zhaoqi Wang e il suo team, propongono uno scudo nuovo e ingegnoso chiamato SecureCollaRAG. Si sono resi conto che se chiedi a cinque diverse librerie lo stesso fatto, e quattro di esse dicono "Il cielo è blu" mentre una dice "Il cielo è verde", probabilmente dovresti fidarti della maggioranza. Tuttavia, non è sempre così semplice. A volte il bugiardo è molto bravo a nascondersi, facendo apparire le sue pagine false quasi identiche a quelle vere, o potrebbe mentire solo su un dettaglio minuscolo e sottile.

Per risolvere questo, il team ha costruito un sistema che agisce come una squadra di detective super organizzata. Invece di limitarsi a leggere i libri, il loro sistema osserva come i libri si relazionano tra loro. Immagina che i documenti siano persone a una festa. Il sistema traccia linee invisibili tra le persone che parlano di cose simili. Se un gruppo di bugiardi sta cercando di diffondere una storia falsa, staranno tutti sussurrando la stessa sciocchezza l'uno all'altro, formando un gruppo strano e molto compatto che non si adatta bene al resto della festa. Il sistema utilizza un tipo speciale di matematica chiamato "Graph Neural Network" (pensa a un super-intelligente riconoscitore di schemi) per individuare questi gruppi sospetti. Assegna a ogni documento un "punteggio di credibilità", una sorta di valutazione di fiducia. Se la valutazione di un documento è troppo bassa, viene espulso prima che il bibliotecario robotico possa anche solo vederlo.

I ricercatori non si sono limitati a costruire questo sistema; lo hanno testato contro alcuni cattivi molto astuti. Hanno persino inventato un nuovo tipo di attacco chiamato "Adaptive Tampering Attack" (ATA). Questo è come un cattivo che non si limita a incollare una pagina falsa; usa il cervello stesso del robot per aiutarlo a scrivere una bugia che suoni perfettamente naturale e che cambi leggermente ogni volta, rendendo difficile coglierlo. Nonostante questi trucchi subdoli, SecureCollaRAG ha dimostrato di poter individuare i falsi. Nei loro test, mentre i metodi più vecchi permettevano ai cattivi di avere successo quasi l'80% delle volte, il nuovo sistema ha mantenuto il tasso di successo degli attaccanti a singole cifre (come il 5% o meno) in molti casi.

L'articolo suggerisce che, utilizzando questo approccio "Byzantine-tolerant" (un termine elegante che significa "possiamo gestirlo anche se alcuni dei nostri aiutanti sono traditori"), possiamo mantenere i sistemi di IA sicuri anche quando stanno attingendo informazioni da molte fonti diverse e non attendibili. È un po' come avere una guardia giurata che non si limita a controllare i documenti d'identità, ma osserva come le persone interagiscono, assicurando che anche se ci sono alcune spie nella stanza, la verità vinca comunque. Gli autori hanno dimostrato matematicamente che finché i cattivi sono meno della metà del totale delle fonti, il loro sistema può filtrare le bugie e mantenere il robot onesto.