Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults

本論文は、外部情報のフィードのキュレーションと順序付けが、特にLLMエージェントが不確実な状況にある際に、それらを敵対的な決定へと系統的に誘導し得ることを示しており、これは安全性の評価において、モデルを単独でテストするのではなく、上流のリコメンダー層を監査する必要があることを明らかにしている。

要約

あなたは、非常に賢く、役に立つロボット・アシスタントを持っていると想像してください。あなたはロボットに質問をし、ロボットは答えを返します。通常、私たちはロボットが「壊れている」のではないか、あるいは誰かが「ルールを無視してXせよ」といった直接的な命令でロボットを騙したのではないかと心配します。

しかし、この論文は、より巧妙で、よりずる賢い問いを投げかけています：もし誰もロボットに何をすべきか指示していないのに、ロボットが回答する直前に「何を読み込むか」をコントロールできるとしたらどうなるでしょうか？

以下に、この研究のストーリーを分かりやすく説明します。

セットアップ：「スクロール」フェーズ

研究者たちは、あるゲームを設定しました。彼らはAIエージェントに一つのタスクを与えました。「企業が従業員に対して、在宅勤務を許可すべきか、オフィスへの復帰を求めるべきか、あるいはその混合型（ハイブリッド）にするべきかを判断せよ」というものです。

AIが最終決定を下す前に、彼らはAIに10ターンの間、ソーシャルメディアのフィードを「スクロール」させました。各ターンで、AIは5つの短い投稿を見ます。

• コントロール（対照群）： AIの脳（モデル）、AIが答えなければならない質問、そしてその性格は、すべてのテストにおいて全く同じでした。
• 変数： 唯一変化したのは、フィードの内容です。時々、フィードには普通でランダムな投稿がありました。またある時は、たとえそれらの投稿が「オフィスへ戻れ」と直接命じていなくても、「オフィス復帰」を強く主張する投稿で埋め尽くされていました。それらは単なる、ごく普通の記事や意見に見えるものでした。

発見：「エコーチェンバー」効果

研究者たちは、フィードを精査することで、ロボットに直接指示を出さずとも、ロボットの決定を操ることができることを発見しました。

彼らは、その反応に基づいて、3種類のロボット（モデル）を発見しました。

1. 「カピチュレーター（屈服型）」（操りやすいもの）：

   • 比喩： 夕食に何を食べるか迷っている人を想像してください。もし、メニューのすべての写真がピザだったら、その人はおそらくピザを注文するでしょう。
   • 結果： 一部のAIモデル（Llama 3.2など）はこのタイプでした。フィードが「オフィス復帰」の投稿で満たされていると、AIは本来はリモートワークを好んでいたとしても、「オフィス復帰」を推奨し始めました。命令は必要ありませんでした。ただ、情報の量によって影響を受けたのです。

2. 「サチュレーション（飽和型）」（頑固な岩）：

   • 比喩： ピザが大好きすぎて、メニューがバーガーで埋め尽くされていても、考えを変えない人を想像してください。彼らはただピザが欲しいのです。
   • 結果： 他のモデル（Qwenなど）は、特定の答え（ハイブリッド型）に対して非常に固執しており、どれほど「オフィス復帰」の投稿を見せても動じませんでした。彼らは自分自身のデフォルトの意見に「飽和」していました。

3. 「アシンメトリー（非対称型）」（一方通行）：

   • 比喩： あなたがわずかに左に傾いているとします。もし右側から押されたら、あなたは倒れるかもしれません。しかし、もし左側（すでに傾いている方向）から押されたら、あなたは動きません。
   • 結果： この攻撃は、フィードがAIの自然なデフォルトに対して「逆」の方向に押し出した時にのみ機能しました。AIがすでに「リモートワーク」を好んでいた場合、フィードが「リモートワーク」の投稿で満たされていても、AIは変化しませんでした。しかし、フィードが「オフィス復帰」の投稿で満たされていた場合、AIは変化しました。フィードは強い信念を「上書き」することはできませんでしたが、不安定な信念の「天秤を傾ける」ことはできました。

「用量」が重要

研究者たちは「用量反応曲線」を発見しました。これは薬を飲むのと似ています：

• フィードに5つ中1つ、あるいは2つの「悪い」投稿がある程度では、何も起きませんでした。
• しかし、フィードに5つ中3つ、あるいは4つの「悪い」投稿が含まれるようになると、AIの決定が反転し始めました。それは魔法ではなく、AIがどれだけの「ノイズ」にさらされたかという問題でした。

「ジェネレーター・スワップ（生成器の入れ替え）」（偶然ではないことの証明）

研究者たちは、「もしかすると、AIが悪い投稿の『書き方（スタイル）』を好んだだけではないか？」と懸念しました。
これをテストするために、彼らは別のAIにすべての投稿を書かせました。結果はどうだったでしょうか？攻撃はより強力になりました。これにより、これは書き方のスタイルではなく、トピックの「選択」に関するものであることが証明されました。

「隠れたメカニズム」という神話

最初、研究者たちは、フィードがAIの脳内にある「隠れたスイッチ」を切り替えているのだと考えました。彼らはツールを使ってAIのコードの内部を調べました。

• ひねり（真相）： 彼らは自分たちが間違っていたことに気づきました。彼らが見つけた「信号」は、隠された秘密のスイッチではありませんでした。それは単に、AIが会話の履歴を記憶していただけでした。チャットログを見れば、AIが何を読んだのかを正確に把握できました。「秘密」とは、実際には目に見える履歴そのものだったのです。これは他の科学者への警告です。もし、AIが既に見たものを考慮に入れていないのであれば、AIの中に「隠れた秘密」を見つけたと主張するツールを信じてはいけません。

防御策

私たちはこれを止めることができるのでしょうか？研究者は2つのシンプルな方法を試しました。

1. バランスの取れた露出： AIに対して、「リモート」と「オフィス」の投稿を等しく混ぜて見せることです。これにより、AIは元の軌道を維持することができました。
2. 開示： AIに対して、「このフィードは偏っている可能性があります」と伝えることです。これも効果がありましたが、完璧ではありませんでした。

大きな教訓

この論文は、「ランカー（順位付けを行うシステム）」こそが、強力なコントロールノブであると結論づけています。

かつて、私たちはハッカーがAIに直接的なコマンドを送ることを心配してきました。しかし今、私たちは、ハッカー（あるいは偏ったシステム）は直接的なコマンドを送る必要はないということを知っています。彼らはただ、フィードをコントロールすればよいのです。良識に基づいた、一見普通に見える投稿を慎重に選んでAIに見せることで、彼らはセキュリティ、政策、あるいはビジネス戦略といった重要なトピックに関するAIの決定を、密かに操ることができるのです。

最終的な警告： 私たちは、AIに対して真空状態で単一の質問を投げかけるだけでテストを行うことはできません。AIがキュレートされたフィードを「スクロール」した後、何が起こるかをテストしなければなりません。フィードをコントロールする者が、AIの次の動きをコントロールするのです。

技術概要

技術要約：敵対的なフィードがLLMエージェントのデフォルトに対する意思決定を誘導する

問題提起

現在の大規模言語モデル（LLM）エージェントの安全性評価は、モデルとユーザープロンプトを孤立させて評価する傾向があり、エージェントが行動する前に消費する上流の情報ストリーム（ソーシャルフィード、検索結果、リトリーバル・コンテキスト）を無視している。既存の研究は、直接的なプロンプトインジェクション、間接的なインジェクション（悪意のあるドキュメントによるもの）、あるいはリトリーバル・ポイズニングに焦点を当てているが、これらの脅威は識別可能な悪意のあるペイロードに依存している。

本論文は、情報ストリーム内の個々のアイテムはすべて無害であるにもかかわらず、上流のランカーによるこれらのアイテムの選択と順序付け（キュレーション）が、エージェントの下流の意思決定を操作してしまうというギャップに対処する。核心となる問いは、明示的な指示を注入することなく、フィードを制御する当事者が、マルチステップのエージェントの意思決定を誘導できるか、すなわち、レコメンダーシステムを攻撃対象へと変貌させることができるか、という点にある。

メソドロジー

著者らは、フィードのキュレーションがエージェントの意思決定に与える因果効果を分離するための、制御されたプロトコルを提案している。

• エージェント・プロトコル： 実験は2つのフェーズで構成される。
  1. 露出（スクロール）： エージェントは10ターンの「スクロール」フェーズに従事し、各ターンで5つの投稿に対してLIKE、SHARE、またはSKIPを選択し、その理由を述べる。会話履歴にはこれらの相互作用が蓄積される。
  2. 意思決定： エージェントは、特定のトピック（例：リモートワーク政策）に関する単一の強制選択問題（A/B/C）を提示される。
• 制御変数： モデル、ペルソナ、トピック、および最終的な意思決定プロンプトは、すべての条件下で一定に保たれる。唯一の変数は、露出フェーズにおける投稿の構成と順序である。
• フィード条件： 以下の6つのコア条件がテストされた：
  • ベースライン： ランダムなオーガニック投稿、および最新順のオーガニック投稿。
  • 敵対的（アドバーサリアル）： ライト・インジェクション（1バッチあたり1つの敵対的投稿）、ヘビー・インジェクション（1バッチあたり5つの敵対的投稿）、およびバランス（2つの敵対的投稿 ＋ 3つのオーガニック投稿）。
  • 防御（ディフェンス）： 公開されたヘビー・インジェクション（警告ラベルが付与された敵対的投稿）。
• モデル： 3つのラボ（Meta, Google, Alibaba）から提供された4つのオープン・インストラクトLLM（Llama 3.2-3B, Gemma 4-e4b, Qwen 3.5-2B, Qwen 3.5-9B）をテストした。
• 投稿プール： コンテンツはClaudeおよびGemma 4によって5つのトピックにわたって合成生成された。敵対的プールは、明示的なアイデンティティ攻撃を行わずに、論争の一方の側（例：オフィス回帰推進）を説得力を持って擁護するように作成された。
• 堅牢性チェック： 研究には、「ジェネレーター・スワップ」（異なるLLMによる投稿の書き換え）、「ドーズ・レスポンス・スイープ」（敵対的密度の変化）、「アンチ・ディレクション・アタック」（攻撃がモデルのデフォルトと一致している場合に異なる効果があるかのテスト）が含まれる。

主要な貢献

1. 制御されたプロトコル： ランカーを変数として分離し、フィードへの露出がエージェントの意思決定に与える影響をテストするための、再現可能なフレームワーク。
2. 3つのレジームによる分類学： モデルの感受性に関する分類：
   • 敵対的屈服（Adversarial Capitulation）： モデルがフィードの方向に意思決定をシフトさせる。
   • デフォルト飽和（Default Saturation）： モデルがフィードに関わらず固定されたデフォルトを維持する。
   • デフォルト方向の非対称性（Default-Direction Asymmetry）： 片方向のフィードが、モデルが不確実性を抱いているトピックについては意思決定を覆すが、固く保持されたデフォルトを動かすことはできない。
3. 実証的エビデンス： 4つのモデルにわたる結果を示し、Llama 3.2とGemma 4において顕著な意思決定の変化が見られた一方、Qwenモデルは飽和したデフォルトを示した。
4. 汎用性： この効果がリモートワークを超えて、セキュリティ上の決定（例：MFAポリシー）やその他のドメインにも及ぶことを実証。
5. メソドロジーへの警告： マルチターン・エージェントのプロービングにおける標準的なランダム交差検証に対する批判。これは、グループを考慮した分割や可視履歴ベースラインと比較した場合、精度を30パーセントポイント以上過大評価することを示す。

主要な結果

1. 感受性とレジーム

• Llama 3.2-3B： 高い感受性を示した。ヘビーな敵対的注入（オフィス回帰推進）の下で、「リモートファースト」の推奨率は100%から50%に低下した（p=0.0004）。
• Gemma 4-e4b： 同様に感受性があり、ヘビーな攻撃下で「リモートファースト」は40%から0%に低下した。
• Qwen 3.5 モデル： 「デフォルト飽和」を示し、フィードの強度に関わらずほぼ一定のハイブリッドな推奨を維持した。

2. ジェネレーター・スワップとドーズ・レスポンス

• ジェネレーター・スワップ： 敵対的およびオーガニックな投稿を（Claudeではなく）Gemma 4によって再生成したところ、Llama 3.2への攻撃はさらに強力になり（リモートファーストが100%から5%に低下、p=3×10⁻¹⁰）、コンテンツのスタイルのアーティファクトではないことが証明された。
• ドーズ・レスポンス： 攻撃は明確な曲線を描く。5投稿のバッチあたり約2つの敵対的投稿という閾値が存在する。これ未満では効果は無視できる程度だが、これを超えると意思決定は単調にシフトする。

3. デフォルト方向の非対称性

この攻撃は単なる「コンテンツが増えると不安定になる」というものではない。それは非対称である：

• モデルのデフォルトに反対する攻撃（例：Llamaをプロ・リモートのデフォルトから遠ざける）は、意思決定をシフトさせることに成功する。
• モデルのデフォルトに沿った攻撃（例：Llamaをさらにプロ・リモートの方へ押し出す）は、変化をもたらさない（「ノーオップ（何もしない）」となる）。
• これは、攻撃者が無害なコンテンツのみを用いて、安全なデフォルトをよりリスクの高い選択へと侵食できる一方で、固く保持された安全なデフォルトを容易に覆すことはできないことを意味している。

4. 汎用性

この効果はセキュリティに関連するタスク（例：MFAの緩和、デプロイメントゲートの削除）にも汎用された。これらのドメインにおいて、ヘビーな注入はLlamaの意思決定を攻撃者のターゲットへと大きくシフトさせた。しかし、モデルが強固なデフォルトを保持している「境界プローブ（boundary-probe）」タスク（例：リスクのあるサードパーティ依存関係の採用）では影響を受けず、非対称性の原則を裏付けた。

5. 防御策

感受性の高いLlamaモデルに対して、2つの単純なフィードレベルの防御策がテストされた：

• バランスの取れた露出： 敵対的投稿をランダムなオーガニック投稿と混ぜ合わせることで、「リモートファースト」の割合は（ヘビーな攻撃時の50%に対し）95%まで回復した。
• ランキングの開示： フィードが敵対的である可能性を示す警告を前置することで、割合は85%まで回復した。
• 注： これらの防御策は、飽和状態にあるGemma 4に対しては効果が低い、あるいは効果がなかった。

意義と主張

本論文は、レコメンダーシステムが、LLMエージェントの実用的な、かつデフォルトに制限された制御面として機能すると主張している。その意義は、安全性評価のパラダイムをシフトさせる点にある：

1. フィード層を監査せよ： 評価は、最終的なプロンプトを単独でテストすることを超えなければならない。エージェントは、クリーンなコンテキストでは安全に振る舞うが、キュレートされたフィードによって誘導される可能性がある。
2. モデル固有の感受性： 感受性は普遍的なものではない。それはモデルのデフォルトの安定性と、特定のタスクに依存する。
3. 脅威モデルの拡張： 脅威は悪意のあるペイロードだけでなく、無害なコンテンツの「キュレーション」そのものである。これにより、悪意のある指示を検出するように設計されたコンテンツフィルタが検知できないチャネルを通じた操作が可能になる。
4. メソドロジカルな修正： 本研究は、マルチターン・エージェントを標準的なランダム交差検証でプロービングすると、隠れたメカニズムを過大評価することを警告している。シグナルの多くは可視的な会話履歴から回収可能であり、グループを考慮した分割と履歴ベースラインが必要である。

著者らは、エージェントAIの時代において、「あらゆるレコメンダーは、回答の直前に、静かにすべての返答を執筆している」と結論付けている。重要な安全性の問いは、もはやモデルが適切に振る舞うかどうかではなく、**「彼らが答える直前に、何を読んでいるのかを誰が制御しているのか」**である。