Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework

あなたは、真実を求めて超スマートなロボット司書に問いかけているところだと想像してください。このロボットは、大規模言語モデル（LLM）として知られており、これまでに書かれたほぼすべての文献を読み込んできましたが、時々作り話をしたり、最近の出来事を忘れたりすることがあります。これを修正するために、私たちはRAG（検索拡張生成）と呼ばれるシステムを構築しました。RAGは、ロボットが推測して答えるのではなく、事実を引用できるように、質問の直前に図書館から新鮮で関連性の高い本の束を渡しておくようなものだと考えてください。しかし、ここに落とし穴があります。もし悪賢い悪党が図書館に忍び込み、それらの本の中の数ページを嘘にすり替えたらどうなるでしょうか？もしロボットがそれらの偽のページを信じてしまったら、月はチーズでできているとか、危険な薬が安全であるといったことをあなたに伝えてしまうでしょう。これは「知識汚染（knowledge corruption）」攻撃と呼ばれます。これから読む論文は、この恐ろしい問題に取り組んでいます。つまり、ロボットが、時には疑わしいこともある様々な図書館から本を受け取っているとき、どのようにして嘘つきの言葉を信じないようにするか、という問いです。

この論文の著者である王昭奇（Zhaoqi Wang）氏とそのチームは、SecureCollaRAGという賢明な新しい盾を提案しています。彼らは、もし同じ事実について5つの異なる図書館に尋ねて、4つが「空は青い」と言い、1つが「空は緑だ」と言った場合、おそらく多数派を信じるべきであることに気づきました。しかし、それは必ずしも単純なことではありません。時として、嘘つきは非常に巧妙に隠れ、偽のページを本物のページとほとんど見分けがつかないように見せかけたり、あるいは、ごくわずかで微細な詳細についてだけ嘘をついたりすることもあります。

この問題を解決するために、チームは超組織的な探偵部隊のようなシステムを構築しました。単に本を読むのではなく、彼らのシステムは文書同士がどのように関連しているかを見ます。ドキュメントをパーティーに参加している人々だと想像してみてください。システムは、似たようなことについて話している人々の間に、目に見えない線を引きます。もし嘘つきのグループが偽の物語を広めようとしているなら、彼らは皆、同じナンセンスなことを互いにささやき合い、他のパーティーの参加者とは一致しない、奇妙で結束の強い「派閥（clique）」を形成するはずです。システムは、「グラフニューラルネットワーク（Graph Neural Network）」（超スマートなパターン認識器と考えてください）という特殊な数学を用いて、これらの疑わしい派閥を見つけ出します。そして、すべてのドキュメントに「信頼度スコア」、つまり信頼度評価を与えます。もしドキュメントの評価が低すぎる場合は、ロボット司書がそれを見る前に排除されます。

研究者たちはこれを作っただけでなく、非常にトリッキーな悪党たちに対してテストも行いました。彼らは「適応型改ざん攻撃（Adaptive Tampering Attack: ATA）」と呼ばれる新しいタイプの攻撃さえも考案しました。これは、単に偽のページを貼り付けるだけでなく、悪党がロボット自身の脳を利用して、完璧に自然に聞こえ、かつ毎回少しずつ変化する嘘を書き上げるようなものです。このような巧妙なトリックにもかかわらず、SecureCollaRAGは偽物を見抜けることを示しました。テストにおいて、従来のメソッドでは悪党の成功率が80%近くに達した一方で、この新しいシステムは、多くの場合で攻撃者の成功率を1桁（5%以下など）に抑え込みました。

この論文は、この「ビザンチン耐性（Byzantine-tolerant）」（「一部の助っ人が裏切り者であっても対処できる」という専門用語）のアプローチを用いることで、信頼できない複数のソースから情報を引き出している場合でも、AIシステムを安全に保てることを示唆しています。これは、単にIDをチェックするだけでなく、人々がどのように交流しているかを観察し、たとえ部屋の中に数人のスパイがいたとしても、真実が勝つようにするセキュリティガードを持っているようなものです。著者たちは、悪党の数が全ソースの半分未満である限り、彼らのシステムは嘘をフィルタリングし、ロボットの誠実さを保てることを数学的に証明しました。