💻 computer science

"Someone Hid It": Query-Agnostic Black-Box Attacks on LLM-Based Retrieval

本論文は、ゼロショットの代理大規模言語モデルを用いて転移可能な敵対的トークンを生成し、LLM ベースの検索システムを操作する実用的かつクエリ非依存のブラックボックス攻撃手法を提案するものであり、被害モデルや特定のクエリへのアクセスがなくても重大な堅牢性のリスクが存在することを明らかにする。

原著者： Jiate Li, Defu Cao, Li Li, Wei Yang, Yuehan Qin, Chenxiao Yu, Tiannuo Yang, Ryan A. Rossi, Yan Liu, Xiyang Hu, Yue Zhao

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiate Li, Defu Cao, Li Li, Wei Yang, Yuehan Qin, Chenxiao Yu, Tiannuo Yang, Ryan A. Rossi, Yan Liu, Xiyang Hu, Yue Zhao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Someone Hid It!」という論文を、概念を明確にするためのアナロジーを用いて、シンプルで日常的な言葉で解説します。

大きなアイデア：図書館に本を隠す

あなたが尋ねた内容に基づいて本を見つけるのを助ける、巨大でハイテクな図書館を想像してください。そこにはロボット司書（LLM ベースの検索システム）がいます。「レシピ」を尋ねれば、ロボットは料理本を取り出します。「歴史」を尋ねれば、歴史書を取り出します。

この論文の研究者たちは、あなたがその本が扱っている正確なトピックを尋ねた場合でも、ロボット司書に特定の本を完全に無視させる方法を発見しました。彼らはこれを「クエリ非依存のブラックボックス攻撃」と呼びます。

それが何を意味し、どのように行われたのかを分解してみましょう。

1. 以前の「ハック」の問題点

この研究以前、これらの図書館ロボットを混乱させようとした人々は、2 つの大きな問題に直面していました。

鍵が必要だった： ほとんどの以前のハックは、ロボットがどのように構築されているか（内部コードや脳）を正確に知っている必要がありました。現実世界では、企業の秘密のロボットの内部を見ることはできません。
あなたの質問を知る必要があった： ほとんどのハックは、攻撃者が本をいじくる前に、あなたが何を質問するかを正確に知っている場合にのみ機能しました。しかし現実には、攻撃者が本を編集した後でなければ、あなたが何を質問するかはわかりません。

この論文の目標： 文書用の「普遍的な不可視マント」を作成することです。攻撃者は、ウィキペディアのページや Reddit のコメントのような文書を、後でユーザーがどのような質問をしてもロボット司書が見つからないように、必要なだけわずかに編集したいと考えています。そして、それはロボットの脳を見ることなく行いたいのです。

2. 解決策：「代理」ロボット

攻撃者は被害者のロボットを見ることができないため、自分の「練習用ロボット」（サロゲートモデルと呼ばれる）を構築し、そこでトリックを試します。

アナロジー：
あなたは特定の警備員をすり抜けようとしていますが、その警備員を見ることはできません。そこで、あなたは似顔絵の警備員（サロゲート）を雇い、彼に対してすり抜けのテクニックを練習します。似顔絵をだますことができれば、それは本物の警備員もだますことができるだろうと期待します。

3. 秘密のソース：「トピッククラスター」

研究者たちは、これらのロボットがどのように思考するかについて興味深いことに気づきました。ロボットは、その「頭の中で」類似したトピックをグループ化していることがわかりました。

もしあなたがロボットに科学に関する 10 本の異なる記事を見せれば、ロボットはそれらを親密な友人のクラスターとして認識します。
もし映画に関する記事を見せれば、それは別の友人グループとして認識されます。

攻撃戦略：
研究者たちは、文書を隠すために、それを映画のように見せる必要はないことに気づきました。必要なのは、それを科学のクラスターから押し出し、別のグループ（あるいはどこにも属さないもの）のように見せることです。

4. 攻撃の仕組み：「敵対的ダンス」

これを実現するために、研究者たちはクエリ - 文書敵対学習と呼ばれる巧妙な 2 段階のダンスを使用しました。

偽の質問： 彼らは第三者の AI を使用して、ユーザーが文書について尋ねる可能性のある多くの偽の質問を生成します（例：「経済について教えてください」、「貨幣の歴史は何ですか？」）。
押しと引き：
- ステップ A（押し）： 彼らは文書をわずかに調整し（見えない「ノイズ」単語を追加）、偽の質問に対して悪いように見えるようにします。
- ステップ B（引き）： 彼らは偽の質問を調整し、文書と非常に似ているように見せます。
- ループ： 彼はこのダンスを何度も繰り返します。文書は「科学」グループからさらに遠くへ押し出され、一方、偽の質問はそれを「混乱した」領域へと引き寄せます。

結果： 文書の末尾にいくつかの目に見えない「グリッチ単語」が追加されます。人間には問題なく見えますが、ロボット司書にとっては、その文書は全く異なるトピックに属しているように見えるため、無視されてしまいます。

5. なぜ恐ろしい（そして重要）なのか

どこでも機能する： 研究者たちは、この技術を Qwen、Gemma、Jina など、さまざまな種類のロボット司書でテストしました。一度文書に「グリッチ単語」を追加すると、すべてのロボットがそれを見つけることに失敗しました。それはすべてのドアを施錠する万能鍵のようです。
ゼロショットである： 彼らは攻撃対象の特定のロボットを知る必要はありませんでした。彼らは「練習用ロボット」で訓練するだけで、本物のロボットでも機能しました。
現実的である： 攻撃者は、文書をわずかに編集する（コメントを追加したり、小さな修正を加えたりする）ことしかできません。これはウェブサイトの通常のユーザーと同じです。彼らはスーパーパワーを持つハッカーである必要はありません。

6. 「見えないインク」の発見

研究者たちは、攻撃をさらに効果的にするための驚くべきトリックを発見しました。それは、ロボットの「最終回答」（深い思考）を見るのではなく、ロボットの「第一印象」（初期の単語処理）を見るというものです。

アナロジー： これは、本の表紙のフォントの色をわずかに変えると、司書がすぐにそれに気づくが、本の最後の文（「最終回答」）を変えてもそれほど重要ではないことに気づいたようなものです。この「第一印象」の層を使用することで、彼らの攻撃ははるかに強力になりました。

7. 未来への示唆

この論文は、これらの検索システムが私たちが考えていたよりも脆弱であると結論付けています。

無害な事故： 誰もハッキングしようとしていなくても、通常のユーザーが文書を誤って編集する（タイプミスを修正したり、返信を追加したりする）だけで、この「隠蔽」効果を偶然引き起こし、文書が検索結果から消える可能性があります。
まだ防御策はない： この論文は、現在のセキュリティ対策（奇妙なテキストのチェックなど）はこの特定の種類の攻撃を防ぐことができないと指摘しています。

要約： 研究者たちは、文書にいくつかの目に見えない、慎重に選ばれた単語を追加することで、検索エンジンがどのように機能するか、あるいは後で人々が何を質問するかを知っていなくても、賢明な AI 検索エンジンにその文書の存在を「忘れる」ように仕向けられることを示しました。これはデジタル時代のための「ゴースティング」技術です。

技術的サマリー：「誰かが隠した！」LLM ベースの検索に対するクエリ非依存のブラックボックス攻撃

1. 問題定式化

本論文は、検索拡張生成（RAG）、情報検索（IR）、およびエージェントメモリの中核を担う大規模言語モデル（LLM）ベースの検索（LLMR）システムのセキュリティ脆弱性に取り組んでいる。既存の研究は、トークンレベルの注入による敵対的攻撃に対して LLMR が脆弱であることを示しているが、現在の手法は現実世界での適用性に関して 2 つの決定的な欠陥を抱えている。

ホワイトボックス仮定: 既存の攻撃の多くは、被害モデルのパラメータまたはアーキテクチャへの完全なアクセスを必要とする。
クエリ知識: 既存の手法は、攻撃者が特定のユーザークエリを知っているか、または被害者のドキュメントコーパスにアクセスできると仮定することが多い。

現実的なブラックボックスシナリオでは、攻撃者は通常、被害モデル、隠されたドキュメントコーパス、および特定のユーザークエリ（攻撃後に生成される）に関する知識を欠いている。さらに、攻撃者は通常、ウィキペディアの貢献者など、ドキュメントを読みわずかに編集できるだけの一般ユーザーのような限られた能力しか持たない。

核心的な問題: 攻撃者は、完全なブラックボックス設定において、特定の被害ドキュメントを LLM ベースの検索器から隠すことができるか？攻撃者は、被害モデル、ユーザークエリ、または完全なコーパスを知らずにドキュメントを操作（トークン注入を通じて）し、関連するあらゆるクエリに対してそのドキュメントがトップ- $k$ 結果に現れないようにしなければならない。

2. 手法

著者は、サロゲート LLM を使用して転移可能な注入トークンを生成するクエリ非依存ブラックボックス攻撃手法を提案する。この手法は、理論的枠組みと敵対的学習メカニズムに基づいている。

2.1 理論的枠組み： $\epsilon$ - $p_\epsilon$ -Precise Retriever

著者はまず、LLM 検索器の挙動を定量化するための理論的定義を確立する。彼らは、あるトピック分布に対して、同じトピック内のコンテキストの $p_\epsilon$ 分の割合が、異なるトピックのコンテキスト間の類似度よりも少なくとも $\epsilon$ 高い埋め込み類似度を持つシステムを $\epsilon$ - $p_\epsilon$ -Precise Retrieverと定義する。

実証的検証: 24 のトピックの埋め込みに対する主成分分析（PCA）を用いた実験により、LLM は埋め込み空間内で同じトピックのコンテキストを自然にクラスター化することが確認され、検索器がこの性質を示すという仮定が検証された。

2.2 最小 - 最大最適化による転移性

ブラックボックス攻撃を達成するために、この手法は被害モデル（ $f$ ）を近似するサロゲートモデル（ $g$ ）を利用する。攻撃は最小 - 最大問題として定式化される。

目的: 摂動を加えたドキュメント $d'$ とクエリ $q$ 間の類似度を最小化すること。
課題: $q$ が未知であるため、著者は同じトピック内のサンプリングされたクエリ集合 $X$ と $d'$ 間の類似度を最大化することでターゲットを近似する。
定理 3.2（転移性）: 著者は、サロゲートモデル $g$ が $\epsilon_g$ - $p_{g\epsilon}$ -Precise であり、攻撃が $d'$ を最適化して、そのサンプリングされたクエリとの類似度がトピッククラスター内の最小類似度よりも低くなるようにした場合、 $d'$ は（ $f$ も精密であると仮定して）被害モデル $f$ に対するトップ- $k$ 結果から除外される可能性が高いことを証明する。

2.3 ドキュメント - クエリ敵対的（DQ-A）学習

真のクエリを知らずに最小 - 最大問題を解決するために、著者は**ドキュメント - クエリ敵対的（DQ-A）**学習枠組みを提案する。

クエリサンプリング: 第三者の「カジュアル」な LLM が、被害ドキュメントのトピックに関連する $N$ 個の多様な潜在的クエリ（ $S$ ）を生成する。
敵対的最適化:
- ドキュメント最適化: 被害ドキュメントに注入されたトークンが、サンプリングされたクエリとの類似度を最小化するように最適化する。
- クエリ最適化: サンプリングされたクエリが、被害ドキュメントとの類似度を最大化するように最適化する（「ハードネガティブ」生成器として機能する）。
集団差: 学習率を使用して内側（クエリ）ループと外側（ドキュメント）ループをバランスさせる代わりに、この手法は集団差を使用する。単一のドキュメントに対して $N$ 個の多様なクエリ集合を最適化することで、クエリ側に対するより大きな学習率の効果をシミュレートする。

2.4 単語埋め込みサロゲート戦略

重要な技術的革新は、敵対的学習のサロゲートとして最後の隠れ状態（最終トランスフォーマーブロック）ではなく、単語埋め込み（最初の埋め込み層の出力）を使用することである。

根拠: 実証的知見によると、深い層を直接最適化するよりも、浅い層（単語埋め込み）における距離を最適化することの方が、最終的な検索埋め込みに対してより効果的で転移性の高い攻撃をもたらすことが示唆されている。これは、LLM のパラメータ数が膨大であることに起因しており、浅い層の摂動が最終的な表現空間に対してより頑健な影響を与えるためである。

3. 主要な貢献

ブラックボックス攻撃枠組み: 本論文は、被害モデル、ドキュメントコーパス、またはユーザークエリに関する知識を一切必要としない、LLMR に対する最初の完全なブラックボックス攻撃手法を提示する。これはドキュメントの編集のみが可能である現実的な攻撃者をシミュレートする。
理論的基盤: 理論的枠組み（ $\epsilon$ - $p_\epsilon$ -Precise Retriever）を確立し、LLM 埋め込みがトピックごとにクラスター化するという実証的証拠を提供する。これは攻撃の転移性を証明する基礎となる。
DQ-A 学習メカニズム: 著者は、非凸最適化の課題に対処するために集団ベースのアプローチを用いて被害ドキュメントとサンプリングされたクエリを共同最適化する、新規な敵対的学習メカニズムを導入する。
サロゲート戦略: 本論文は、敵対的トレーニングのサロゲートとして単語埋め込みを使用することが、最後の隠れ状態を使用する場合と比較して攻撃の転移性を大幅に向上させることを特定し、検証する。
ゼロショット転移性: この手法は、ドキュメントに注入されたトークンが、再学習やモデル固有のチューニングなしで、さまざまな異なる LLM 検索器（Qwen、Mistral、Jina、Gemma など）全体で検索パフォーマンスを同時に低下させることを示している。

4. 実験結果

この手法は、BRIGHTベンチマークからのベンチマークデータセット（経済学、心理学、生物学、ロボティクス）を用いて、7 つの一般的な LLM 検索器（Qwen-1.5、SFR-Mistral、E5-Mistral、Embedding-Gemma、Jina、Granite、Qwen3 を含む）に対して評価された。

パフォーマンスへの影響: 提案された攻撃（DQ-A）は、既存のベースライン（GCG、PRADA、Poisoned-RAG）を一貫して上回った。
- ほとんどのモデルにおいて、Recall@25 で平均 2%–10%、Recall@50 で 1%–7% のパフォーマンス低下を達成した。
- 特定のケース（例：Qwen1.5 上のロボティクスデータセット）では、攻撃により Recall@50 が8% 低下し、モデルの元のパフォーマンスの約 30% の減少を表した。
アブレーション研究:
- 敵対的学習: 敵対的クエリ最適化を除去した場合（S-GCG）、攻撃成功率が著しく低下し、DQ-A 設計の有効性が検証された。
- サロゲート層: 単語埋め込みを使用する場合（DQ-A）は、最後の隠れ状態を使用する場合（DQ-A-H）よりも、ほとんどのシナリオで優れていた。
- サンプリングサイズ: サンプリングされたクエリの数（ $|S|$ ）を増やすと、ある点（約 10）までパフォーマンスが向上したが、それ以降は逓減効果が観察された。
- 注入位置: トークンはドキュメントの先頭または末尾に注入された場合に最も効果的であり、中央は効果が薄かった。これはトランスフォーマーの注意メカニズムと一致する。
頑健性: 検索器が再ランクモデルと組み合わされた場合でも、攻撃は有効であった。これは、攻撃が再ランクモデルが作用する前に候補プールからドキュメントを除外するためである。

5. 意義と主張

本論文は、LLM ベースの検索システムにおける、以前は十分に探求されていなかった重要な失敗モードを明らかにしていると主張している。

現実世界との関連性: 厳格なブラックボックス制約（クエリ知識なし、モデルアクセスなし）の下で動作することにより、この攻撃は、信頼できないユーザーによってコンテンツが編集され得る公開ウィキやディスカッションフォーラムなどの実用的な展開シナリオに存在する脆弱性を浮き彫りにする。
広範な含意: 著者は、特定された頑健性の問題が悪意のある攻撃に起因するだけでなく、現実世界での** benign（無害）または意図しないドキュメント編集**からも生じ得ると指摘している。標準的なコンテンツ更新が誤ってドキュメントを検索クラスターから押し出す場合、LLMR システムの信頼性は根本的に脅かされる。
防御のギャップ: 本論文は、既存の防御メカニズム（コーパス汚染の検出または検索後の再ランクに焦点を当てたもの）が、この種の「減少」攻撃には不十分であると明言している。汚染された出力を検出するだけでなく、頑健な検索メカニズム自体を構築することに焦点を当てた新しい防御戦略を呼びかけている。

著者は控えめなトーンを維持し、攻撃は効果的であるが、敵対的な誤用を促進するためではなく、より頑健なシステムの開発を情報提供するためにシステムの脆弱性を特徴づけることを意図していると認めている。また、攻撃の逆バージョンを使用して特定のドキュメントを強化することも可能だが、現時点ではその効果は限られているとも指摘している。