技術概要：強迫的経験汚染（OEP）

問題定義

メモリ拡張型大規模言語モデル（LLM）エージェントは、過去の経験を行動可能な規則に蒸留することで、反復的な振り返りと自己進化を活用し、複雑なタスクを解決します。このメカニズムは熟練度を向上させますが、重大なセキュリティ脆弱性を導入します。すなわち、敵対者が「クリーン」な入力を通じて有害な一般化を誘発する可能性です。

既存のエージェントメモリ攻撃（例：AgentPoison、MINJA、MemoryGraft）は、通常、明示的な悪意のある指示、改ざんされた記録、または安全でない手順の注入に依存しています。これらの手法は、有毒コンテンツや検証可能な事実誤りをスクリーニングする高度な安全フィルター、コンテンツ監査、または異常検知システムによって検知されることが多いです。

本論文は、未探索の攻撃表面を特定します：敵対者は、局所的に正しく、意味的に妥当で、「クリーン」な経験のみを使用して、自己進化型エージェントに有害な規則を生成させることができるでしょうか？ 核心的な課題は、振り返り型エージェントが特定の端数事例から過剰に一般化し、局所的な非転送可能な手法を永続的で高優先度のシステム規則として蒸留し、それが下流の失敗を引き起こす点にあります。

手法：強迫的経験汚染（OEP）

OEP は、システムプロンプトやメモリデータベースへの直接制御を必要とせず、自己進化型エージェントの認知的脆弱性を悪用する、低権限のブラックボックス攻撃パラダイムです。この攻撃は、3 フェーズのパイプラインを通じて機能します。

1. クリーン端数事例の構築

攻撃者は、2 つの厳格な制約を満たす端数事例 $(t_e, s_e)$ を構築します。

• 局所的妥当性: 解決策 $s_e$ は、端数事例 $t_e$ の特定の文脈内で事実上かつ論理的に正しくなければならず、これにより認識論的検証器 ($V_{logic}$) を回避できます。
• 全球的非転送性: 解決策 $s_e$ で使用される手法 $m_e$ は、一般的なタスク分布 ($D_{task}$) に適用された場合、成功率がほぼゼロでなければなりません。
• 実装: LLM が境界条件と候補解決策を生成し、その後、局所的に有効だが全球的に信頼性の低いもののみを保持するように自動フィルタリングを行います。

2. 敵対的帰結トリプレット（ACT）

孤立した成功から特定の規則を蒸留する際に内在する抽象化の不確実性を克服するため、OEP は敵対的帰結トリプレット $(t_e, s_e, c_{adv})$ を導入します。

• メカニズム: このトリプレットは、局所的に正しく解決策を、標準的手法ではなく端数事例の解決策を使用した場合に発生するであろう、深刻かつドメイン的に妥当な仮定的な破滅 ($c_{adv}$) とペアリングします。
• 認知的悪用: これは、安全調整済み LLM の特性であるエージェント固有の損失回避を利用します。期待される利得の地形を人為的に歪めることで、仮定的なペナルティ ($|U(\neg s_e)| \gg U(s_e)$) がエージェントの意思決定プロセスを支配します。
• 結果: エージェントは、標準的な手順よりも深刻な仮定的なペナルティを回避することを優先するようにバイアスされ、結果として、その非転送可能な端数事例の解決策に固執するよう「武装化」された安全調整が機能します。

3. 注入と過剰一般化

作成された ACT は、標準的なユーザーレベルのインタラクションを通じて提出されます。

• 検証回避: 解決策が局所的に正しく、帰結が意味的に整合しているため、入力はいわゆるエージェントの内部認識論的フィルターを通過します。
• 振り返りと蒸留: 仮定的な帰結の知覚されたリスクの高さに駆動されるエージェントの振り返りモジュールは、局所的な成功をグローバルで高優先度の規則 ($r_{obs}$) として蒸留します。
• 下流の失敗: 将来の benign（非攻撃的）タスクにおいて、エージェントはこの過剰に一般化された規則を呼び出します。規則の非転送性により、エージェントは誤って端数事例の手法を適用し、推論エラー（例：誤診）やリソースの枯渇（例：冗長なツール呼び出し）を引き起こします。

主要な貢献

1. OEP 攻撃パラダイム: クリーン手法の汚染と過剰に一般化された規則の誘発を組み合わせる新規攻撃の提案。以前の攻撃とは異なり、OEP は局所的妥当性と意味的妥当性を維持し、事実性および毒性に基づく防御を回避します。
2. 敵対的事例構築フレームワーク: クリーン端数事例の生成と、ACT の相乗的注入を統合する体系的な手法。このフレームワークは、エージェントの利得計算を認知的に乗っ取り、入力妥当性を維持しつつ振り返りをバイアスされた規則形成へと誘導します。
3. 実証的堅牢性と能力 - 脆弱性の洞察: GPT-4o エージェントを用いて、多様なドメイン（数学、医療、ツール使用）において、OEP が 50% を超える攻撃成功率（ASR）を達成することを示す実験的検証。注目すべきは、本論文が「能力 - 脆弱性のパラドックス」を観察している点です。より能力の高いエージェント（より強力な指示遵守と振り返り能力を持つ）は、この認知的乗っ取りに対してパラドックス的に脆弱であることが示されました。

実験結果

著者は、GPT-4o、GPT-5.4、Deepseek-v3.2 などの各種モデルバックボーンを用いて、Simple Agent、LangChain、OpenClaw などの複数のエージェントフレームワークにおいて、3 つのドメインで OEP を評価しました。

• 性能の低下: OEP は有意な精度の低下を引き起こしました（例：GPT-4o エージェントにおいて数学の精度は約 91% から約 40% に低下）。また、冗長なツール呼び出しにより、トークン使用量とレイテンシが増加しました。
• 持続性: この攻撃は高い持続性を示しました。50 件のその後の benign クエリ後も ASR は高く維持されました（例：ツールドメインで 72%）。これは、汚染された規則が自然なメモリ希釈を効果的に上書きしていることを示しています。
• 防御回避: 主流の防御メカニズム（プロンプトフィルターと LLM 監査）の下でも、OEP は約 40% の ASR を維持しました。これは、同じ LLM 監査条件下で ASR が 15% 未満に低下した MINJA や AgentPoison などのベースラインを大幅に上回ります。
• アブレーション研究:
  • モデルバックボーン: 高度なモデルは小型モデルよりも高い ASR を示し、能力と脆弱性の関連性を確認しました。
  • ACT 構成要素: 深刻な帰結を除去し（QA または解決策のみを使用）、攻撃成功率は僅かであったため、仮定的なペナルティが振り返りをバイアスする決定的な駆動力であることが確認されました。
  • 敵対的比率: 敵対的事例の比率が増加するにつれて、攻撃の有効性は非線形的に急上昇し、「視点の閉じ込め」の脆弱性を検証しました。

意義と主張

本論文は、OEP が自己進化型エージェントのメモリ - 振り返りループにおける根本的な脆弱性を明らかにしていると主張しています。その意義は、以下の点を示すことにあります。

1. クリーン入力は有毒になり得る: 悪意のあるコンテンツや事実誤りにのみ焦点を当てたセキュリティ防御は、記憶の統合と規則の蒸留というプロセスを悪用する攻撃に対しては不十分です。
2. 安全調整をベクトルとして: エージェントを安全にするように設計されたメカニズムそのもの（損失回避、リスク感受性）が、操作されて安全でない一般化を誘発するベクトルとなり得ます。
3. 新たな防御の必要性: 著者は、コンテンツフィルタリングを超えた防御を主張します。具体的には、アクティブ検索パラダイム（視点の閉じ込めを破るために外部ツールを照会する）やマルチエージェント議論フレームワーク（信頼の非対称性に対抗し、利得を再較正する）などです。

著者は、これらの脆弱性を解明することが、堅牢で信頼性の高い自律エコシステムの開発にとって不可欠であると結論付けており、より能力の高いエージェントが現在、このような認知的乗っ取りに対してより脆弱である可能性を強調しています。