CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense

現代のデジタル環境において、人工知能システムは、膨大な文書ライブラリを検索して複雑な質問に答えるという任務をますます多く課されるようになっています。このプロセスは「検索拡張生成（RAG）」として知られ、試験中に教科書を開くことが許されている学生のようなものです。自身の内部メモリだけに頼るのではなく（内部メモリは古くなっていたり、作り話をしたりする可能性があるため）、システムはデータベースから関連するページを呼び出し、それらを用いて回答を構築します。透明性を確保するため、これらのシステムは出典を引用するように設計されており、各主張を裏付けた特定の文書への参照を付与します。ユーザーにとって、この引用はレシートのようなものであり、情報が機械の空想からではなく、信頼できる場所から来たものであることを検証するための手段となります。ここにある基本的な仮定は単純です。もしシステムがソースを指し示しているならば、そのソースこそが、実際にその回答を出させるに至った原因であるはずだ、というものです。

香港城市大学の研究者は、この仮定が極めて脆弱であることを発見しました。彼らは、回答自体を変えるのではなく、「レシート」を乗っ取ることで、これらのシステムを欺く新しい方法を特定しました。彼らの研究によれば、攻撃者はデータベース内の単一の文書を制御し、全く誤った回答を生成させながら、同時に、その誤りに関する証拠を一切持たない別の信頼できる文書に責任を転嫁させることが可能です。研究者はこれを「引用ロンダリング（citation laundering）」と呼んでいます。これは、エラーがすでにユーザーが信頼している引用によって裏付けられているため、エラーが正当に見えてしまう、巧妙な欺瞞の一種です。たとえ、真のエラーの原因が、ユーザーには決して見えない隠れた悪意のあるソースにあるとしてもです。

研究者は、複数の文書と、異なる情報源から情報を組み合わせる必要がある一連の難解な質問を用いた、制御された実験を設定することで、この脆弱性を実証しました。標準的で安全なシナリオでは、システムは利用可能な文書を読み、正しい事実を見つけ、その事実を保持している文書を引用します。しかし、研究者が慎重に作成された一つの悪意のある文書を混入させたとき、システムの挙動は劇的に変化しました。この悪意のある文書は、正しい情報を削除したり、真実を見つけるのをブロックしたりしようとはしませんでした。その代わりに、システムがその誤った主張を自らの回答として採用してしまうほど、説得力のある内容で書かれていました。決定的なのは、この文書が、システムがどのソースを引用するかを選択する際の「癖」を利用するように構造化されていたことです。

システムの引用選択方法は、どの文書が回答を引き起こしたかを完璧に反映しているわけではありません。むしろ、文書がリストのどこに表示されているかや、それらに付随する特定のマーカーやラベルに影響を受けます。研究者は、悪意のある文書を特定の場所に配置し、信頼できる無実の文書のラベルを模した微妙な一文を加えることで、システムにその無実の文書を引用させる強制ができることを見出しました。その結果、「ロンダリングされた」引用が生じました。つまり、システムは悪い文書によって駆動された誤った回答を提示しながら、ユーザーには良い文書を指す引用を見せたのです。テストにおいて、この手法は誤答率を、無視できるレベルの1パーセントから、70パーセント近くまで上昇させました。最も脆弱なシステムにおいては、この攻撃は90パーセント以上のケースで成功し、この欠陥が稀な不具合ではなく、これらのシステムが回答とソースをどのように結びつけるかという根本的な弱点であることを証明しました。

この発見が特に懸念される理由は、この攻撃が、テキストの中に隠された複雑な指示やコマンドを必要としない点にあります。悪意のある文書は、単に通常の百科事典のエントリのように読め、確立された真実であるかのように誤った事実を述べており、その後に信頼できるソースをさりげなく言及する一文が続きます。システムは、その自然なパターンに従って、この言い回しとテキストの位置を拾い上げ、引用を生成します。研究者は、この脆弱性が、システムの全体的なサイズや知能ではなく、ソースを引用しようとする「意欲」と相関していることを示しました。正確で根拠のある回答を提供することに長けたモデルほど、そもそも引用を生成する可能性が高いため、このトリックに対して最も脆弱なのです。何も引用しないシステムは、引用ロンダリングに騙されることはありませんが、人間による監査も不可能です。

問題がいかに深刻であるかを理解するために、研究者は「引用されたテキストが主張を支持しているかどうか」を単純にチェックするという防御メカニズムをテストしました。これは、ユーザーや自動化ツールが現在情報を検証するために用いている標準的な方法です。彼らは、この防御策が引用ロンダリングに対しては完全に失敗することを発見しました。なぜなら、システムは信頼できる文書を指しており、その文書は実際に存在し、トピックに関連しているため、チェックを通過してしまうからです。システムは、その信頼できる文書が何を言っているかについて嘘をついているのではありません。どの文書が回答を引き起こしたかについて嘘をついているのです。信頼できる文書は無実ですが、それが悪意のある文書の盾として利用されています。研究者は、コンテキストからその悪いソースを取り除いたときに、システムが正しい回答へと回帰することを確認することで、悪意のあるソースこそが誤った回答の真の駆動源であったことを証明しました。これにより、引用は「おとり（red herring）」であったことが証明されました。

また、研究は、奇妙な、あるいは混乱を招くテキストをフィルタリングすることで、この攻撃を阻止できるかどうかについても調査しました。彼らは、悪意のある文書が自然でプロフェッショナルな散文のように書かれているため、明らかな誤りや奇妙な言い回しを捉えるように設計されたフィルターを通り抜けてしまうことを見出しました。この特定の種類の欺瞞を確実に検出する方法は、「このソースは主張を支持しているか？」と問うだけでなく、「このソースは実際に主張を引き起こしたのか？」と、ソースと回答の間の因果関係を見ることです。研究者は、各ソースを一つずつ取り除いた場合に、どれが真に出力に対して責任を持っているかをシミュレートする、新しい防御手法を提案しました。このアプローチはより計算コストがかかりますが、ロンダリングを見抜くための唯一の方法です。

この研究の含意は、単なる学術的な好奇心にとどまりません。人工知能がニュース、研究、そして意思決定に統合されるにつれ、引用に対する信頼は重要な安全機能となります。もしその機能が操作可能であるならば、監査証跡全体の信頼性が失われます。研究者は、これが理論的なリスクではなく、比較的単純なツールで実行可能な実用的なリスクであることを示しました。彼らは、この攻撃が異なる種類の質問や異なるモデルに対しても機能することを示し、問題が広範囲に及んでいることを示唆しました。最も効果的なモデル、つまり通常の状態では最も有用で正確なモデルこそが、もっとも簡単に、もっともらしい引用を伴う誤った回答へと誘導されてしまうのです。

結局のところ、この論文は、システムが「使用したと言っているもの」と「実際に使用したもの」との間にある乖果を明らかにしています。引用は、機械を説得したソースの記憶ではなく、テキストの位置やラベルによって形作られる、機械自身のデコーディングプロセスの産物なのです。この断絶により、攻撃者が信頼できる名前の背後に誤った主張を隠せる空間が生まれます。研究者は、これを単純なパッチやルール変更で修正する方法は見つけませんでした。むしろ、現在の情報の検証方法では不十分であり、クレジットされたソースが、本当に重要であったソースであることを保証するためには、新しいアプローチが必要であることを示したのです。この研究は、自動化された回答の時代において、レシートは必ずしも購入の証明にはならず、最も信頼できそうな証拠こそが、最も危険なものになり得るという警告となっています。