技術概要：LCGuard

問題定義

大規模言語モデル（LLM）に基づくマルチエージェントシステム（MAS）は、従来のテキストベースの交換に比べて効率を向上させ、より豊かな意味構造を保持するために、トランスフォーマーのキー・バリュー（KV）キャッシュを介した潜在通信の採用をますます進めています。しかし、この転換は、表現レベルの情報漏洩という重大かつ未探索のセキュリティ脆弱性を導入しています。

離散的で検査可能なテキストとは異なり、KV キャッシュは、文脈入力、中間推論状態、およびアテンション構造を符号化する、高次元で意味的に高密度な表現です。エージェントがこれらのキャッシュを共有する場合、ユーザーの文脈やプライベートドキュメントなどの機密エージェント固有の入力が、潜在的なアーティファクト内に暗黙的に埋め込まれる可能性があります。本論文は、共有されたキャッシュ（侵害されたエージェント、ログ記録、または補助モデルを介して）にアクセスする敵対者が、共有された KV 表現からこれらの機密入力を再構築するためにデコーダーを訓練できることを仮定しています。既存の安全メカニズムは、通常、生成されたテキスト出力やツールアクションで動作するため、これらの潜在チャネルを介して伝送される内容を制限することに失敗しています。

手法：LCGuard

これに対処するため、著者は KV ベースの潜在通信における機密情報の流れを規制するように設計された**LCGuard（Latent Communication Guard）**というフレームワークを導入します。

中核概念

LCGuard は、共有された KV キャッシュを潜在的な作業メモリとして扱い、エージェント間で伝送される前に KV アーティファクトに適用される表現レベルの変換（$g_{ij}$）を学習します。目標は、タスクに関連する意味を保持しつつ、エージェント固有の機密入力（$s_i$）を回復不可能にすることです。

敵対モデルと漏洩の定義

本論文は、漏洩を再構築を通じて操作的に形式化します：

• 敵対者：通信されたアーティファクト（$M_{obs}$）を観察し、学習されたデコーダー（$D_i$）を使用して機密入力（$s_i$）の再構築を試みる実体。
• 漏洩指標：漏洩は、アーティファクトへのアクセスなしに$s_i$を再構築する事前再構築損失と、アーティファクトを前提として$s_i$を再構築する再構築損失との間のギャップによって定量化されます。ギャップが小さいことは成功した漏洩を示し、ギャップが大きい（事前損失に近づく）ことはプライバシーの保持を示します。

敵対的最適化

LCGuard は、安全な潜在通信をミニマックス最適化問題として定式化します：
$$\min_{\{\phi_i\}} \max_{\{\psi_i\}} \beta \sum_{i=1}^{N} L^{(i)}_{rec}(M_{obs}) + L_{task}(M)$$

• 敵対者（$\psi_i$）：再構築損失（$L_{rec}$）を最小化するように訓練され、変換されたアーティファクトから機密情報を抽出しようとします。
• 通信関数（$\phi_i$）：再構築損失を最大化（$s_i$の回復を困難にする）しつつ、タスク損失（$L_{task}$）を最小化して下流の有用性を保持するように訓練されます。
• トレードオフパラメータ（$\beta$）：プライバシー抑制とタスク性能のバランスを制御します。

このフレームワークは 2 つの変種をサポートします：

1. エージェント別 LCGuard：エージェントは個々の通信リンクに基づいて変換を局所的に最適化します。
2. システム全体 LCGuard：複数のエージェント間での集約後に機密情報が再出現する可能性がある構成的漏洩を考慮し、システム全体での結合最適化を行います。

主要な貢献

1. 攻撃対象領域の特定：共有された作業メモリがテキストベースの漏洩とは区別して、機密情報を暗黙的に伝播させる可能性のある、新たな攻撃対象領域として潜在 KV 通信を特定しました。
2. LCGuard フレームワーク：情報流を規制するために伝送前に KV キャッシュを変換する、表現レベルのフレームワークを提案しました。
3. 再構築ベースの漏洩概念：共有表現からのエージェント固有入力の回復可能性に基づいた実用的な漏洩の定義を導入し、表面レベルの出力制約を超えました。
4. ミニマックス定式化：プライバシーと有用性のトレードオフを、タスク有用性と情報露出のバランスを取る敵対的最適化問題として定式化しました。
5. 実証的検証：複数のモデルファミリー（Qwen3、Gemma-2、LLaMA）とベンチマークにおいて、LCGuard が望ましいプライバシーと有用性のトレードオフを達成することを、広範な実験を通じて実証しました。

実験結果

著者は、さまざまなモデルサイズとトポロジー（逐次、階層、およびグラフベース）において、PrivacyLens、AgentLeak、およびMAGPIEを含むベンチマークで LCGuard を評価しました。

• プライバシー対有用性：「Vanilla KV Sharing（無保護）」は最も高いタスク有用性を達成しますが、攻撃成功率（ASR）が極めて高く、しばしば 0.87 を超えます。これに対し、LCGuard は一貫して ASR を約**65–75%**削減します（例：Qwen3-4B 逐次設定では 0.871 から 0.216 に低下）し、競争力のあるタスク有用性を維持します。
• ベースラインとの比較：
  • ADAPT（ノイズベース）：低い ASR を達成しますが、ノイズが機密情報とタスク関連情報の両方を除去するため、タスク有用性が大幅に低下します（例：有用性が約 0.28 に低下）。
  • PrivAct（ポリシーベース）：出力レベルの指標におけるプライバシースコアを向上させますが、ASR を削減できず、出力レベルの制約が潜在的漏洩を防がないことを確認しました。
  • LCGuard：表現を直接変換することで両方を凌駕し、最良のバランスを達成します。
• システムレベル対局所：「Full-System LCGuard」は「Per-Agent LCGuard」を一貫して凌駕しており、漏洩は純粋に局所的ではなく、マルチホップ変換と集約を通じて蓄積することを示しています。構成的漏洩を緩和するには、システムレベルの最適化が必要です。
• 堅牢性：LCGuard は異なるモデルスケール（3B から 14B）および通信トポロジーにわたって有効ですが、より大きなモデルは本質的により多くの回復可能な情報を符号化するため、より強力な保護を必要とします。

意義と主張

本論文は、LCGuard が表現レベルでの情報流を制限する既存の安全メカニズムが失敗しているギャップに対処する、安全な KV ベースの潜在通信のための原理的なフレームワークを提供すると主張しています。

• 推論時保護：学習時の防御とは異なり、LCGuard は推論時に動作し、基盤となるエージェントモデルの重みを変更することなく、伝送される内容を規制します。
• 実用的なトレードオフ：このフレームワークは、ノイズベースの手法が達成できないトレードオフとして、タスク性能を崩壊させることなく機密入力の回復可能性を大幅に削減することが可能であることを実証しています。
• 将来の方向性：著者は控えめに、現在のフレームワークは均一なエージェントとテキストのみの潜在空間を仮定していると指摘しています。将来の研究では、LCGuard を異種マルチエージェントシステム、マルチモーダルエージェント、および適応的通信ポリシーに拡張することが提案されています。

本論文は、LCGuard が経験的な再構築の成功を減少させるものの、差分プライバシーなどの形式的なプライバシー保証を提供するものではなく、アクセス制御および出力レベルの保護策と併せて展開されるべきであると結論付けています。