Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework

Stel je voor dat je een superintelligente robotbibliothecaris om de waarheid vraagt. Deze robot, bekend als een Large Language Model (LLM), heeft bijna alles gelezen wat ooit geschreven is, maar soms verzint hij dingen of vergeet hij recente gebeurtenissen. Om dit te oplossen, hebben we een systeem gebouwd genaamd RAG (Retrieval-Augmented Generation). Zie RAG als het geven van een stapel verse, relevante boeken uit een bibliotheek aan de robot vlak voordat hij je vraag beantwoordt, zodat hij de feiten kan citeren in plaats van te gokken. Maar hier zit de adder onder het gras: wat als een sluwe schurk de bibliotheek binnensluipt en een paar pagina's in die boeken vervangt door leugens? Als de robot die nep pagina's vertrouwt, zal hij je vertellen dat de maan van kaas is gemaakt of dat een gevaarlijk medicijn veilig is. Dit wordt een "knowledge corruption" aanval genoemd. Het artikel dat je nu gaat lezen, pakt dit angstaanjagende probleem aan door de vraag te stellen: hoe houden we de robot tegen de leugenaars wanneer hij boeken haalt uit vele verschillende, soms verdachte, bibliotheken?

De auteurs van dit artikel, Zhaoqi Wang en zijn team, stellen een slim nieuw schild voor genaamd SecureCollaRAG. Ze realiseerden zich dat als je vijf verschillende bibliotheken om hetzelfde feit vraagt, en vier van hen zeggen "De lucht is blauw" terwijl één van hen zegt "De lucht is groen", je waarschijnlijk de meerderheid moet vertrouwen. Echter, het is niet altijd zo simpel. Soms is de leugenaar erg goed in het verbergen, waardoor hun nep pagina's bijna exact lijken op de echte pagina's, of ze liegen misschien over een klein, subtiel detail.

Om dit op te lossen, bouwde het team een systeem dat werkt als een supergeorganiseerd detective-team. In plaats van alleen de boeken te lezen, kijkt hun systeem naar hoe de boeken met elkaar verband houden. Stel je voor dat de documenten mensen zijn op een feestje. Het systeem trekt onzichtbare lijnen tussen mensen die over soortgelijke dingen praten. Als een groep leugenaars probeagt een vals verhaal te verspreiden, zullen ze allemaal dezelfde onzin tegen elkaar fluisteren, waardoor ze een vreemde, hechte klik vormen die niet echt past bij de rest van het feestje. Het systeem gebruikt een speciaal soort wiskunde genaamd een "Graph Neural Network" (denk aan een superslim patroonherkenner) om deze verdachte klikjes op te sporen. Het geeft elk document een "credibility score", een soort betrouwbaarheidsscore. Als de score van een document te laag is, wordt het eruit gegooid voordat de robotbibliothecaris het ooit ziet.

De onderzoekers hebben dit niet alleen gebouwd; ze hebben het getest tegen enkele zeer verraderlijke schurken. Ze hebben zelfs een nieuw type aanval uitgevonden genaamd de "Adaptive Tampering Attack" (ATA). Dit is als een schurk die niet alleen een nep pagina plakt; ze gebruiken het eigen brein van de robot om hen te helpen een leugen te schrijven die volkomen natuurlijk klinkt en elke keer lichtelijk verandert, waardoor het moeilijk te vangen is. Ondanks deze sluwe trucjes toonde SecureCollaRAG aan dat het de nepperij kon opsporen. In hun tests, terwijl oudere methoden de slechteriken bijna 80% van de tijd succes lieten hebben, hield het nieuwe systeem de succesratio van de aanvallers laag in enkel cijfers (zoals 5% of minder) in veel gevallen.

Het artikel suggereert dat door dit "Byzantine-tolerant" benadering te gebruiken (een chique term die betekent "we kunnen ermee omgaan, zelfs als sommige van onze helpers verraders zijn"), we AI-systemen veilig kunnen houden, zelfs wanneer ze informatie ophalen uit vele verschillende, onbetrouwbare bronnen. Het is een beetje alsof je een beveiligingsbeambte hebt die niet alleen ID-bewijzen controleert, maar ook kijkt naar hoe mensen met elkaar omgaan, om er zeker van te zijn dat zelfs als er een paar spionnen in de kamer zijn, de waarheid toch wint. De auteurs bewezen wiskundig dat zolang de slechteriken minder dan de helft van de totale bronnen zijn, hun systeem de leugens kan filteren en de robot eerlijk houdt.