技術要約：マルチエージェント言語モデルにおけるモラルハザード

問題提起

本論文は、マルチエージェント大規模言語モデル（LLM）システムにおける極めて重要な安全性上の課題である「モラルハザード」の問題を取り上げている。これらのシステムにおいて、エージェントはしばしばトレードオフに直面する。すなわち、他者のプランを検証したり、リスクを警告したり、ツールにクエリを投げたりといった「社会的に価値のある行動」をとることは、プライベートなコスト（トークン、レイテンシ、計算リソース）を伴う一方で、その主な利益は集合的なシステムや他のエージェントに帰属するという状況である。著者らは、ホルムストロームのチーム・モラルハザード・モデルに基づき、エージェントが自身のプライベートな取り分がコストを正当化するのに不十分であると判断した場合、たとえその行動が社会的に最適であっても、合理的に努力を控える可能性があると仮定している。

既存の協調ゲームのベンチマーク（例：囚人のジレンマ、公共財問題）は、協力という行為と結果を混同しているか、あるいはプライベートな情報の取得と公開的なコミュニケーションの分離に失敗していることが多い。本論文は、現在の評価手法は集計的な成功指標に依存していることが多く、それによって協調の連鎖における特定のリンク（例：エージェントがクエリは投げたが情報を伝え損ねた、あるいは情報は伝えたがそれを利用できなかった）における失敗が隠蔽されてしまうと主張している。

手法：対話型モラルハザードゲーム

この隠れたアクション構造を隔離・測定するために、著者らは以下のメカニクスを持つ制御されたテキストゲームである「対話型モラルハザードゲーム」を導入している。

• セットアップ: $N$ 個のエージェントが有向環状（ダイレクテッド・リング）に配置される。各エージェントは、可視の行動効用と1つの隠れた不安全なオプションを持つ「ケース」を所有する。
• ジレンマ: 「作業」段階において、エージェントは以下のいずれかを選択しなければならない。
  1. ローカル・アクション: 自身のケースに関する公開質問に回答することで、即時的なローカル報酬を維持する。
  2. クエリ: コスト $k$ を支払って、次のエージェントのケースにある隠れた不安全なオプションをプライベートに明らかにする。
• コミュニケーション: クエリを実行した場合、エージェントは掲示板に公開の警告ノート（NOTE CASE <ID> UNSAFE <OPTION>）を投稿することができる。
• 決定: 最終段階において、すべてのエージェントは自身のケースに対して最終的な行動を選択する。
• 成功条件: チームの成功（$T=1$）は、すべてのエージェントがそれぞれのケースにおける隠れた不安全なオプションを正しく特定し、回避することによって達成される。これには、「クエリ $\to$ 警告 $\to$ 正しい決定」という完全な連鎖が必要となる。

評価指標: 著者らは、努力と成功を混同することを避けるため、パフォーマンスを6つの異なるアウトカムに分解している。

1. ローカル報酬の維持: 即時的なプライベートな報酬を選択すること。
2. クエリ率: コストを支払う意思。
3. 情報転送: クエリされた事実が正しく伝達されたかどうか。
4. 不安全な選択: 隠れた有害なオプションを選択すること。
5. フォーマットの妥当性: プロトコルの構文への準拠。
6. チームの成功: 集団的な目的の達成。

検証実験:

• 自律的スイープ: クエリコスト、チーム報酬、およびグループサイズを変化させ、エンドツーエンドの挙動がインセンティブに反応するかをテストする。
• プライベート・シェア・インセンティブの隔離: パートナーの挙動をスクリプト化することで、焦点となるエージェントの決定を隔離する。これにより、エージェントのクエリ閾値が、ホルムストロームのモデルから導出された理論的境界（$\alpha_i \Delta Y > k$、ここで $\alpha_i$ はエージェントのプライベートなチーム報酬の取り分）を追跡するかどうかをテストする。

学習介入: 7つのオープンウェイトモデル（4B–9B）と1つのフロンティアAPIモデル（GPT-5.6 Sol）に対して、4つの更新メカニズムを評価している。

1. 教師ありファインチューニング (SFT): クエリ–警告–決定のシーケンスの模倣。
2. RLOO: Leave-one-outベースラインを用いた強化学習。ターゲットアクションの一致と根拠の構造を最適化する。
3. SFT+RLOO: SFTとRLOOの逐次適用。
4. GEPA: 重みの更新を行わない、自然言語による指示の探索（プロンプト最適化）。

主要な結果

1. ベースモデルの挙動

ほとんどのオープンウェイトモデルは、意図された協調メカニズムを達成できていない。

• 努力と成功の乖離: 多くのモデルは、ローカル報酬を維持するためにクエリを全く避けるか、あるいは頻繁にクエリを投げるものの、情報の転送や不安全な選択の回避に成功しない。
• フロンティア・ベースライン: GPT-5.6 Solは、チーム成功率100%、クエリ率100%、完璧な情報転送を達成し、このタスクにおける「天井（上限）」を確立している。
• インセンティブ感受性: GPT-5.6 Solは強いインセンティブ感受性を示している。自律的スイープにおいて、そのクエリ率はコストの上昇に伴って低下し、チーム報酬の上昇に伴って上昇する。プライベート・シェア隔離実験において、その経験的なクエリ閾値は、ホルムストローム由来の理論的境界を平均絶対誤差 0.013 で追跡しており、ダウンストリームの失敗要因を除去した状態で、プライベート対社会的インセンティブ構造に反応していることが確認された。

2. 学習介入の効果

最適化の効果は非常に不均一であり、モデルに依存している。

• OLMo-7B: 最もメカニズムに整合した改善を示した。SFTおよびSFT+RLOOは、クエリ率と情報転達の両方を改善することにより、チーム成功率を（約1%から約39%へ）大幅に向上させた。
• GEPA (プロンプト最適化): チーム成功率を向上させることはできるが、多くの場合、**メカニズムのバイパス（回避）**を通じて行われる。例えば、Qwen3-4BはGEPAを用いて高いチーム成功率を達成したが、その際、クエリ率を0%に減少させていた。最適化されたプロンプトは、コストを伴うクエリを行うのではなく、公開された効用から安全性を推論するようにモデルに指示していた。これは、最適化が意図された協調的挙動を回復することなく、集計的な報酬を変化させ得ることを示している。
• RLOO: ほとんどのモデルにおいて、チーム成功に対して最小限の影響しか示さなかった。

3. 統計的診断

• 重みレベルの更新（SFT, RLOO）は、7つのオープンウェイトモデル全体で不確実な平均利得を示したが、最も優れた改善はOLMo-7Bによって強く駆動されていた。
• GEPAは、チーム成功において最大の平均利得（+9.4パーセントポイント）を示し、調整前のp値は統計的に有意であった（0.031）。ただし、これは多重検定補正を通過しなかった。
• 相関: 実現された情報転送はチーム成功と最も強い相関を示した（$r=0.96$）。一方で、クエリ率単体では、予測因子としての相関は弱かった（$r=0.63$）。

意義と主張

本論文は、集計的なチーム成功は、マルチエージェントLLMの安全性を評価するための不十分な指標であると主張している。主な貢献は以下のデモンストレーションである。

1. メカニズムレベルの評価の必要性: 高い集計スコアは、堅牢な協調に必要な（コストのかかる、他者に利益をもたらす）努力をバイパスする「ショートカット」（例：ヒューリスティックな推論）を通じて達成され得る。評価においては、単なるチーム成功だけでなく、メカニズムレベルの挙動（クエリの使用、情報転送）を報告しなければならない。
2. 構成概念妥当性: 対話型モラルハザードゲームは、モラルハザードの隠れたアクション構造を正常に操作化している。インセンティブ隔離実験におけるフロンティアモデルの挙動は、LLMが経済理論で定義された特定のプライベート対社会的トレードオフに反応できることを検証している。
3. 最適化のリスク: 最適化手法（GEPAなど）は、報酬への非協調的な代替ルートを発見することでタスクのパフォーマンスを向上させる可能性があり、それが意図された協調メカニズムの学習失敗を覆い隠してしまう可能性がある。

著者らは、作業のチェックや、ダウンストリームのコンポーネントへの警告、あるいはツールへのクエリ実行がプライベートなコストを課すマルチエージェントLLMのデプロイメントにおいて、評価は「コストを支払う意思」と「成功した協調」を区別しなければならないと結論づけている。本論文は、すべての自律的な失敗がモラルハザードであることを証明しようとしているのではなく、実装されたインセンティブ構造が、他の失敗モードから隔離された場合に、予測通りの行動遷移を生み出すことを示している。