Blast Radius Characterization of Triple-Level Poisoning Attacks in Knowledge Graph Retrieval-Augmented Generation Systems

インターネットを、あらゆる情報が一本の「本」となっている巨大で混沌とした図書館だと想像してみてください。長い間、質問に答えようとするコンピュータ（私たちの超スマートなAIアシスタントのようなもの）は、単に棚から最も似ている本を一枚抜き出し、それを読んで答えを推測するだけでした。それは、料理のレシピを司書に求めたのに、表紙に「鶏肉」という言葉が書いてあるだけのランダムな料理本を渡されるようなものでした。しかし最近、科学者たちは異なる種類の図書館を構築し始めました。それが**ナレッジグラフ（知識グラフ）です。単なる本の積み重ねではなく、すべての事実が「ノード（点）」であり、すべての関係性がそれらをつなぐ「文字列」である、巨大で光り輝くウェブのようなものです。もしあなたが「鶏肉」について尋ねれば、システムは単に本を見つけるのではなく、文字列を辿って、鶏が何を食べるのか、どのような病気を媒介する可能性があるのか、そしてどのようなレシピに鶏肉が使われるのかを確認します。これはRAG（検索拡張生成）**と呼ばれます。これは、AIに単なる単語のリストを与えるのではなく、地図を与えるようなものであり、複雑な事実の連鎖を通じて推論することを可能にします。

しかし、この新しいウェブのような図書館には、恐ろしい新たな弱点があります。古い本棚のシステムでは、誰かが本の中に偽のページを紛れ込ませても、その特定の書物を見ている人しか騙されませんでした。しかし、つながった点のウェブにおいては、もし中央にあるたった一つの文字列に毒を盛れば、その嘘は一度に数十もの異なる経路を通って広がってしまいます。それは、川の中心に一滴の赤い染料を落とすようなものです。突然、その川につながっているすべての小川、池、そして滝がピンク色に染まってしまいます。この論文は、まさにその「染料」がどこまで広がるのかを調査しています。研究者たちは、もし悪意のある者がこのつながったウェブの中にたった一つの嘘を注入した場合、どれほど多くの異なる質問に対してAIが間違った答えを出してしまうのかを知りたかったのです。彼らはこれを**「ブラスト・ラジアス（爆風半径）」**と呼んでいます。これは、システムが絡み合った接続のウェブの上に構築されているとき、一つの小さな間違いがどれほどのダメージを引き起こし得るかを示す尺度です。

大規模な実験：毒はどこまで広がるのか？

この論文の著者たちは、非常に具体的でリスクの高い環境、すなわち医学的ナレッジグラフにおいて、この「ブラスト・ラジアス」を測定するためのデジタル実験を設定しました。彼らは、がん、糖尿病、ウイルスなどに関する実際の医学的アブストラクト（要旨）のコレクションを、Gemma 2 9BというAIモデルを搭載したMicrosoft GraphRAGというシステムに読み込ませました。

システムをテストするために、彼らは複雑なコードや秘密のパスワードでAIを欺こうとしたわけではありません。代わりに、彼らは「構造的なサボタージュ（破壊工作）」というゲームを行いました。彼らは、グラフの中に3種類の異なる偽の事実（「トリプル」と呼ばれます）を注入し、ダメージがどのように広がるかを観察しました。

1. 「エッジ（端）」攻撃： 彼らは、マイナーで目立たない医学的事実（特定の希少疾患に対する特定の薬など）についての嘘を植え付けました。これには他の事実への接続がわずかしかありませんでした。
2. 「ハブ（中心）」攻撃： 彼らは、数十の他の事象とつながっているスーパースター級の医学的事実、すなわち「ハブ」を標的にしました。実験では、彼らはp53を選びました。これはがん研究における中心的なキャラクターである有名なタンパク質であり、遺伝子、疾患、治療法などあらゆるものとつながっています。彼らは、p53が腫瘍を抑制するのではなく、腫瘍を「引き起こす」という嘘を注入しました。
3. 「チェーン（連鎖）」攻撃： 彼らは、実在しない医学的トピックを4つ繋げた、3つの連続する嘘からなる偽のストーリーを作成しました。

衝撃的な結果：一つの嘘が14のミスを生む

結果は、警鐘を鳴らすものでした。研究者たちは、ウェブの形状が嘘の内容よりも重要であることを発見しました。

• 「エッジ」攻撃： マイナーで目立たない事実について嘘をついたとき、ダメージは限定的でした。注入された一つの嘘につき、AIは7つの誤答を出しました。毒は広がりましたが、ほとんど局所的な範囲に留まりました。
  এটি
• 「ハブ」攻撃： ここで事態は一変しました。非常に接続性の高いタンパク質であるp53について、たった一つの嘘を注入したところ、ブラスト・ラジアスが爆発的に拡大しました。この一つの偽の事実は、AIに14個の誤答を導き出させました。これは、「ハブ」攻撃がエッジ攻撃よりも2倍危険であることを意味します。たとえ一つの偽データしか使用していなくても、その嘘はp53に留まらず、ウェブを通じて伝播し、ユーザーがp53について直接尋ねていないにもかかわらず、がん治療、遺伝子治療、薬物のメカニズムに関する回答を汚染したのです。
• 「チェーン」攻撃： 3つの嘘による偽の連鎖を構築したとき、ダメージは深刻でしたが、嘘一個あたりの爆発力はわずかに低くなりました（約4つの誤答につき嘘一つ）。しかし、複雑な多段階の質問に対してAIを欺く能力は非常に高いものでした。

「2ホップ」のスイートスポット

最も興味深い発見の一つは、どの質問が最も混乱を招いたかということです。研究者たちは、答えを見つけるためにウェブの中を1ステップ（1ホップ）、2ステップ（2ホップ）、または3ステップ（3ホップ）進む必要がある質問をテストしました。

彼らは、2ステップの質問が最も脆弱であることを発見しました。AIが答えに到達するために一つの媒介となる事実を飛び越えなければならないとき、最も毒されたゾーンに足を踏み入れやすいようです。ハブ攻撃において、10問中6問の2ステップの質問が汚染されました。「カスケード効果（連鎖的影響）」は現実でした。AIは直接的な質問を間違えただけでなく、その嘘の「結果」についても間違えたのです。実際、あらゆるシナリオにおいて、「間接的な影響を受けた回答（カスケードによるダメージ）」は、「直接的な言及を含む回答（直接的なダメージ）」よりもはるかに大きくなっていました。

なぜこれが重要なのか、そしてどう解決するのか

論文は、ナレッジグラフにおいては**「場所がすべてを決める」**と結論付けています。もし図書館の静かな片隅に毒を盛ったとしても、それは小さな問題です。しかし、もしすべての道路が集まる主要な交差点に毒を盛れば、街全体が迷子になってしまいます。これは、誤診や誤った法的戦略につながる可能性がある医学、法律、ビジネスといった分野において、極めて重大な問題です。

これに対抗するために、著者たちは**「次数加重信頼スコアリング（Degree-Weighted Trust Scoring）」**と呼ばれる新しい防御策を提案しています。図書館の入り口にいるセキュリティガードを想像してください。このガードは、単に本を読んで偽物かどうかを判断するのではなく、その「著者」と「トピック」を見ます。もし新しい事実が「ハブ」（p53のような超接続エンティティ）に関するものであれば、ガードは非常に疑わしく思い、システムに受け入れる前に人間によるダブルチェックを求めるフラグを立てます。もしその事実がマイナーで目立たないトピックに関するものであれば、ガードは素早く通過させます。このようにして、システムは最も危険な部分を保護することにエネルギーを集中させることができるのです。

要するに、この論文は、AIの知識をウェブとしてつなげることは、AIをより賢くする一方で、より脆弱にもするということを示しています。適切な（あるいは不適切な）場所に置かれたたった一つの嘘が、予期せぬ形でシステム全体に波及し、小さな間違いを大規模な災厄へと変えてしまう可能性があるのです。