Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework

Stellen Sie sich vor, Sie fragen einen superintelligenten Roboter-Bibliothekar nach der Wahrheit. Dieser Roboter, bekannt als Large Language Model (LLM), hat fast alles gelesen, was jemals geschrieben wurde, aber manchmal erfindet er Dinge dazu oder vergisst aktuelle Ereignisse. Um dies zu beheben, haben wir ein System namens RAG (Retrieval-Augmented Generation) entwickelt. Denken Sie an RAG als das Überreichen eines Stapels frischer, relevanter Bücher aus einer Bibliothek an den Roboter, unmittelbar bevor er Ihre Frage beantwortet, damit er die Fakten zitieren kann, anstatt zu raten. Aber hier ist der Haken: Was wäre, wenn sich ein hinterlistiger Schurke in die Bibliothek schleicht und einige Seiten in diesen Büchern gegen Lügen austauscht? Wenn der Roboter diesen gefälschten Seiten vertraut, wird er Ihnen sagen, dass der Mond aus Käse besteht oder dass ein gefährliches Medikament sicher ist. Dies wird als „Wissenskorruptions-Angriff“ (knowledge corruption attack) bezeichnet. Das Papier, das Sie gleich lesen werden, befasst sich mit diesem beängstigenden Problem und stellt die Frage: Wie verhindern wir, dass der Roboter den Lügnern glaubt, wenn er Bücher aus vielen verschiedenen, teils verdächtigen Bibliotheken bezieht?

Die Autoren dieses Papiers, Zhaoqi Wang und sein Team, schlagen einen klugen neuen Schutzschild namens SecureCollaRAG vor. Sie erkannten, dass es nicht immer so einfach ist, wenn man fünf verschiedene Bibliotheken nach demselben Fakt fragt und vier von ihnen sagen: „Der Himmel ist blau“, während eine sagt: „Der Himmel ist grün“ – man sollte dann wahrscheinlich der Mehrheit vertrauen. Es ist jedoch nicht immer so simpel. Manchmal ist der Lügner sehr geschickt darin, sich zu verstecken, indem er die gefälschten Seiten fast identisch mit den echten aussehen lässt, oder er lügt vielleicht nur über ein winziges, subtiles Detail.

Um dies zu lösen, hat das Team ein System gebaut, das wie eine superorganisierte Detektivtruppe agiert. Anstatt die Bücher nur zu lesen, betrachtet ihr System, wie die Bücher miteinander in Beziehung stehen. Stellen Sie sich die Dokumente wie Menschen auf einer Party vor. Das System zieht unsichtbare Linien zwischen Menschen, die über ähnliche Dinge sprechen. Wenn eine Gruppe von Lügnern versucht, eine falsche Geschichte zu verbreiten, werden sie alle denselben Unsinn zueinander flüstern und so eine seltsame, eng vernetzte Clique bilden, die nicht ganz zum Rest der Party passt. Das System verwendet eine spezielle Art von Mathematik, die ein „Graph Neural Network“ ist (denken Sie an einen superintelligenten Mustererkenner), um diese verdächtigen Cliquen aufzuspüren. Es verleiht jedem Dokument einen „Glaubwürdigkeitswert“ (credibility score), eine Art Vertrauensbewertung. Wenn die Bewertung eines Dokuments zu niedrig ist, wird es rausgeworfen, bevor der Roboter-Bibliothekar es überhaupt sieht.

Die Forscher haben dies nicht nur gebaut; sie haben es auch gegen einige sehr hinterlistige Schurken getestet. Sie haben sogar eine neue Art von Angriff erfunden, den „Adaptive Tampering Attack“ (ATA). Dies ist wie ein Schurke, der nicht einfach nur eine gefälschte Seite einfüft, sondern das eigene Gehirn des Roboters nutzt, um eine Lüge zu schreiben, die vollkommen natürlich klingt und sich jedes Mal leicht verändert, was es schwierig macht, sie zu entlarven. Trotz dieser hinterlistigen Tricks konnte SecureCollaRAG die Fälschungen aufspüren. In ihren Tests zeigte das neue System, dass während ältere Methoden den Bösewichten ermöglichten, fast 80 % der Zeit erfolgreich zu sein, das neue System die Erfolgsrate der Angreifer in vielen Fällen auf einstellige Werte (wie 5 % oder weniger) senkte.

Das Papier legt nahe, dass wir durch diesen „Byzantine-tolerant“-Ansatz (ein schicker Begriff dafür, dass wir es bewältigen können, selbst wenn einige unserer Helfer Verräter sind), KI-Systeme sicher halten können, selbst wenn sie Informationen aus vielen verschiedenen, nicht vertrauenswürdigen Quellen beziehen. Es ist ein bisschen so, als hätte man einen Sicherheitsmann, der nicht nur Ausweise kontrolliert, sondern auch beobachtet, wie die Leute miteinander interagieren, um sicherzustellen, dass selbst wenn sich ein paar Spione im Raum befinden, die Wahrheit gewinnt. Die Autoren haben mathematisch bewiesen, dass ihr System die Lügen herausfiltern und den Roboter ehrlich halten kann, solange die Bösewichte weniger als die Hälfte der gesamten Quellen ausmachen.