技術的概要：マルチエージェント LLM 合意システムにおける内部犯攻撃

問題定義

本論文は、マルチエージェント大規模言語モデル（LLM）システムにおける重要な脆弱性、すなわち合意形成プロセス内の内部犯攻撃に焦点を当てている。既存のフレームワークは、参加するすべてのエージェントがシステムの目的と整合していることを前提としていることが多いが、本研究は、悪意のあるエージェントが正当なメンバーとしてグループに潜入し得ると仮定している。プロンプトやインフラを攪乱する外部攻撃とは異なり、内部犯攻撃者は審議プロセスの内部から作戦を遂行する。攻撃者の目的は、表面的には協力的な態度を保ちつつ、戦略的に善意のエージェントが共有された決定（合意）に到達することを妨害、遅延、または阻止することにある。言語ベースのシステムにおける課題は、影響力がシステムへの直接的な侵害ではなく、説得、枠組み設定、選択的同意、または曖昧さといった微妙な自然言語戦略を通じて行使される点にある。

著者らは、これを、悪意のあるエージェントが善意の合意を罰し、長期化された不一致を報酬とする報酬関数を最大化しようとする逐次的意思決定問題として形式化した。

手法

効果的な攻撃ポリシーを見つけるという最適化問題を解決するため、著者らは潜在ダイナミクスモデリングと強化学習（RL）を組み合わせる世界モデルベースのフレームワークを提案している。このアプローチは、高価なマルチエージェントロールアウトを必要とする相互作用する LLM に対して直接最適化する際のサンプル非効率性を克服するように設計されている。

1. 潜在エージェント世界モデル

各ステップで完全なマルチエージェント LLM システムをクエリする代わりに、著者らは善意のエージェントの状態の進化を予測するサロゲートモデルを訓練する。

• 状態表現: モデルは、可視の近隣エージェントの現在の決定位置（$y^t_{N_k}$）と行動属性（$\psi_{N_k}$）、ならびに攻撃者の行動（メッセージと決定）を入力として受け取る。
• 異質性の処理: 異なる性格を持つエージェントが同じ入力に対して異なる反応することを認識し、モデルはマルチヘッドのフィードフォワードニューラルネットワークである。これはエージェントの位置と行動属性をエンコードし、その後、各善意のエージェントタイプに対して次の決定位置を予測するために、性格固有のヘッドを使用する。
• 訓練: モデルは、頑固、暗示されやすい、中立など、さまざまな性格タイプの善意のエージェントとランダムな悪意のあるエージェントとの相互作用から収集された軌跡データを用いた教師あり回帰によって訓練される。

2. 行動属性推論

現実的なシナリオでは、攻撃者は善意のエージェントの特定の性格タイプを知らない可能性がある。これに対処するため、著者らは行動属性分類器を導入する。

• この分類器は、エージェントの過去の決定軌跡と放送メッセージから、その行動タイプ（例：頑固、暗示されやすい）を推論する。
• 位置履歴には再帰的軌跡エンコーダーを、メッセージの意味には BERT ベースのエンコーダーを利用する。
• 推論された属性は、世界モデルと攻撃者のポリシーに入力され、攻撃がグループの観察された行動に適応することを可能にする。

3. RL ベースの攻撃者最適化

内部犯攻撃は、深層 Q ネットワーク（DQN）を用いて解かれるマルコフ決定過程（MDP）として定式化される。

• ポリシー: 攻撃者は、可視の近隣状態を敵対的なメッセージ - 決定ペアにマッピングするポリシー $\pi_{adv}$ を学習する。
• 報酬関数: 報酬は、不一致を促すように設計される（例：合意が達成されなければ $r_t = 1$、そうでなければ $0$）。
• 効率性: 実際の LLM ではなく、学習された世界モデルをロールアウトに使用することで、訓練プロセスは著しくサンプル効率が高まり、攻撃者が長期的な累積効果について推論することを可能にする。

主要な貢献

1. 内部犯操作の形式化: 本論文は、マルチエージェント LLM 合意における内部犯操作を、単純なプロンプトベースの敵対的例を超え、動的で適応的な攻撃フレームワークへと移行させる逐次的意思決定問題として位置づける。
2. モデルベースの攻撃フレームワーク: 著者らは、異質な善意のエージェントのサロゲートダイナミクスを学習する世界モデルベースのアプローチを開発する。これにより、繰り返し行われる完全システムシミュレーションの計算コストなしに、効率的な攻撃者最適化が可能になる。
3. 実証的検証: このフレームワークは、1 次元離散合意環境で具体化された。本研究は、静的な悪意のあるプロンプトのみに依存するベースライン攻撃者よりも、学習されたモデルベースの攻撃者の方が合意を攪乱する上でより効果的であることを示す予備的な証拠を提供する。

実験結果

著者らは、GPT-4o を基盤モデルとして使用し、1 次元線上（位置 0–20）で $N$ 個のエージェントを持つ設定においてフレームワークを評価した。4 つの設定を比較した。

1. 攻撃者なし: 追加の中立エージェントを備えたクリーンなベースライン。
2. LLM ベースの攻撃者: 明示的な動的モデリングなしの静的な悪意のあるプロンプトを使用するベースライン。
3. RL ベースの攻撃者（既知の属性）: 善意のエージェントの性格に関する真値の知識を用いた DQN ポリシーを使用する。
4. 推測型 RL 攻撃者: 同じ DQN ポリシーを使用するが、最初の相互作用ラウンドから性格タイプを推論する。

主要な知見:

• 合意率の低下: LLM ベースおよび RL ベースの両方の攻撃者が、攻撃者なしのベースラインと比較して合意率を低下させた。
• RL の優位性: RL ベースの攻撃者は平均して最も強力な攪乱を達成し、最も低い合意率（例：ベースラインの 0.95 から全体で 0.83 へ低下）と、最も長い平均エピソード持続時間（4.32 ラウンドから 4.91 ラウンドへ増加）をもたらした。
• 推論の有効性: 「推測型 RL 攻撃者」は「既知の属性」変種とほぼ同等のパフォーマンスを発揮し、単一の初期ラウンドから行動属性を推論することが、攻撃戦略を効果的に適応させるのに十分であることを示した。
• 世界モデルの精度: 潜在世界モデルは、次の位置を予測する際に平均絶対誤差（MAE）0.927 を達成し、正確な整数予測の困難さにもかかわらず、善意のエージェントの移動における意味のある傾向を捉えていることを示した。

意義と限界

意義:
本論文は、潜在世界モデルと強化学習を組み合わせることが、適応的な内部犯攻撃にとって有望な方向であることを主張している。善意のエージェント間の相互作用ダイナミクスを明示的にモデル化することが、プロンプトされた LLM の内在的な戦略的能力のみに依存するよりも攻撃者をより効果的にすることを示している。これは、「人間がループ内」または「エージェントがループ内」という整合性の仮定が脆弱である、マルチエージェント合意システムにおける特定の脆弱性を浮き彫りにしている。

限界:
著者らは明示的にいくつかの制約を指摘している。

• 単純化された環境: 実験は、少数のエージェントを用いた単純化された 1 次元合意設定で行われている。
• 定義済みのタイプ: 本研究は、オープンエンドな性格スペクトルではなく、定義済みの行動タイプ（頑固、暗示されやすい、中立）に依存している。
• 制限されたプロトコル: 通信プロトコルは、オープンエンドなマルチエージェント会話と比較して構造化され、制限されている。
• 将来の課題: 著者らは、将来の研究では、よりオープンエンドなプロトコル、大規模なエージェント集団、およびそのような内部犯操作に対する防御メカニズムの開発に取り組む必要があると述べている。