技術サマリー: Social Gym および SPARTAN

問題提起

大規模言語モデル（LLM）エージェントは、協力、交渉、適応を必要とするマルチエージェントの社会的設定において、ますます展開されるようになっています。しかし、既存の評価手法における社会的スキルの測定と向上には、以下の3つの決定的な限界があります。

1. 静的なベンチマーク: 多くの評価は、静的な心の理論（Theory-of-Mind）に関する質問票（例：FANToM, ToMi）に依存しており、再現可能なスコアは生成できるものの、持続的なマルチターン（多段階）の振る舞いをテストすることができません。
2. 主観的な判定: オープンエンドな対話型評価（例：SOTOPIA）はマルチターンのスキルを評価しますが、LLMによる判定（LLM-as-judge）に依存しており、これはポジション・バイアス、冗長性バイアス、自己強化バイアスに陥りやすく、結果がノイズが多く主観的になりがちです。
3. 狭い範囲: 検証可能な報酬を用いる最近の研究は、特定のゲームやドメインを孤立して対象とする傾向があり、異なる相互作用構造にわたる社会的な知能の広がりを捉えきれていません。

したがって、マルチターンであり、ドメインの範囲が広く、かつ（主観的な判断ではなく相互作用のルールによって決定される）検証可能な評価フレームワークへのギャップが存在します。さらに、LLMがパラメータ更新（重みの変更）なしに、社会的な推論能力を向上させることができるかどうかは依然として不明なままです。

メソドロジー

Social Gym: 検証可能なベンチマーク

著者らは、5つのカテゴリにわたる21のマルチエージェント・ソーシャルゲームで構成される環境である Social Gym を導入しています。これらは以下の社会的な推論をテストするように設計されています。

1. 正規形ゲーム (6つ): 完全情報かつコミュニケーションのない、反復的な行列ゲーム（例：囚人のジレンマ、チキン）。
2. 経済ゲーム (3つ): 戦略的な推論を必要とする多ラウンドの資源配分（例：公共財ゲーム、センチピード・ゲーム）。
3. ブラフ（欺瞞）ゲーム (4つ): 誤情報の提示や推論を必要とする隠れた状態を持つゲーム（例：ライアーズ・ダイス、Coup）。
4. 隠れた役割の推論 (6つ): 仲間や敵を特定するための対話ベースの識別を必要とする、秘密の役割割り当てがあるゲーム（例：人狼、レジスタンス、Spyfall）。
5. 社会的戦略 (2つ): 同盟形成や評判に依存する完全情報ゲーム（例：サバイバー）。

主要なアーキテクチャの特徴:

• 検証可能な結果: すべてのゲームにはアルゴリズムによって決定される結果（勝ち/負け/スコア）があり、LLMによる判定を排除しています。
• 部分的観測性: 可視化レイヤーがメッセージを「公開（Public）」、「チーム限定（Team-Private）」、「個人限定（Private）」の範囲にフィルタリングし、エージェントに「心の理論」に基づく推論を強制します。
• 統一されたEloトーナメント: ブラドリー・テリーの最大尤度推定を用いて、ゲームごとの勝率テーブルとクロスゲーム・リーダーボードを生成し、多様な社会的構造におけるモデルの客観的なランキングを可能にします。

SPARTAN: 学習フリーの自己改善

LLMが重みの更新なしに改善できるかという問題に対処するため、著者らは3段階のループである SPARTAN (Self-Play and Reflect-Transfer) を提案しています。

1. Play（プレイ）: モデルは特定のゲーム $G$ において $N$ 回の自己対戦を行い、軌跡（トラジェトリー）を生成します。
2. Reflect（リフレクト）: モデルは自身の軌跡と結果を分析し、第一人者視点の、転用可能な戦略的プレイブック（欺瞞、検知、説得などをカバーするもの）を生成します。極めて重要な点として、このプレイブックはゲームに依存しない（特定のゲーム番号への言及を避ける）ように指示されます。
3. Transfer（トランスファー）: 生成されたプレイブックは、後続のゲームにおけるエージェントのシステムプロンプトの先頭に付加されます。

このアプローチは、「学習データ」がモデル自身のプレイ内容であり、「学習された重み」が自然言語のルールであるという、「インコンテキスト・ファインチューニング」として機能します。

主要な結果

ベンチマーク結果 (Social Gym)

• リーダーボードの逆転: GPT-5-miniが総合リーダーボード（1110 Elo）でトップとなりますが、すべてのゲームやロールにおいて一様に優れた性能を示すモデルはありません。ランキングは急激に逆転します。例えば、Qwen3-32Bは、評価された7つのモデルの中で、特定のゲームである「Chicken」では第1位（1328 Elo）となりますが、「Werewolves」では最下位（817 Elo）となります。
• ロールの非対称性: 隠れた役割を持つゲームにおいて、モデルは少数派/欺瞞的なロール（Alt）と多数派/協力的なロール（Main）で異なるパフォーマンスを示すことがよくあります。一般的に、混合された能力の対戦相手を相手にする場合、少数派のロールの方が構造的に勝ちやすいですが、この優位性は、より強力なモデルによる能力の均衡した自己対戦においては逆転します。
• モデルの限界: 小規模なモデル（例：Qwen2.5-3B）は「鸚せ（おうせ）効果」を示し、独立した議論を生成するのではなく、前の話し手の言葉をパラフレーズ（言い換え）する傾向があり、これがパフォーマンスの低下に寄つづけています。

SPARTAN の評価結果

著者らは、SPARTANを「ゲーム内反復」、「ゲーム間転用」、「マルチゲーム転用」、「モデル間蒸留」の4つの軸で評価しました。

1. ゲーム内反復 (GPT-5-mini):

   • 非対称なゲーム（例：Werewolves）において、プレイブック（$R_1$）を注入することで、構造的に弱い側（Alt）の勝率が大幅に上昇しました（WerewolvesのAltの勝率は23%から36%に上昇）。
   • 逆に、同じプレイブックを持たされた構造的に強い側（Main）は、パフォーマンスが低下することがよくあります。
   • 改善は非単調です。改善の大部分は $R_1$ で発生し、その後のラウンド（$R_2$–$R_4$）では、利益の蓄積ではなく再分配が行われます。

2. ゲーム間およびマルチゲーム転用:

   • あるゲーム（例：Werewolves）から生成されたプレイブックは、他の隠れた役割を持つゲーム（例：Spyfall, Resistance）の弱い側に対して効果的に転用され、勝率を+7〜+27パーセントポイント向上させることができました。
   • マルチゲームのプレイブック（複数のソースで訓練されたもの）は、シングルゲームのプレイブックを一貫して上回ることはなく、単一の関連する訓練ゲームが転用には十分なシグナルを提供することを示唆しています。

3. モデル間蒸留:

   • GPT-5-miniによって生成されたプレイブックは、より弱い学生モデル（例：Qwen3-4B, GPT-4o-mini）へと正常に蒸留され、それらのモデルの構造的に弱いロール（例：Resistanceにおけるスパイ）のパフォーマンスを+13〜+24パーセントポイント向上させました。
   • この効果は、学生モデルの能力ではなく、ロールに依存しています。プレイブックは、学生のベースとなる能力に関わらず、不利なロールをプレイしているモデルを助けます。

4. キャパシティ依存性 (Qwen3-32B):

   • オープンウェイトのQwen3-32Bに適用した場合、SPARTANは複雑な社会的推論ゲーム（Werewolves, Spyfall）におけるパフォーマンス向上にほとんど失敗しました。
   • 唯一の例外は「囚人のジレンマ」であり、そこではプレイブックが離散的なアクション（最終ラウンドでの裏切り）を規定しており、モデルがそれを実行できました。
   • 議論中心のゲームにおいて、Qwen3-32Bは「鸚せ（おうせ）行動」を打破することに失敗しており、リフレクションのプロセスが、鸚せを排除するのではなく、むしろそれをプレイブックの中にコード化してしまうことがよくあります。

意義と主張

本論文は、主に2つの貢献を主張しています。

1. Social Gym は、主観的なLLM判定に頼ることなく、LLMの社会的推論を測定するための、再現可能で検証可能な基盤を提供します。これにより、社会的能力は単一のスカラー値としての能力ではなく、相互作用の構造、ロール、およびゲームカテゴリに強く依存していることが明らかになりました。
2. SPARTAN は、自己対戦から転用可能な戦略を抽出することにより、LLMがパラメータ更新なしに社会的パフォーマンスを向上させられることを示しています。しかし、この向上はキャパシティ依存かつ構造依存です。つまり、高容量のモデルにおいては複雑なゲームにおける構造的に弱いロールを効果的に底上げできますが、長期的な社会的軌跡を処理したり、鸚せパターンを打破したりするための推論能力が不足しているモデルには効果がありません。

著者らは、Social GymとSPARTANが、社会的設定の構造的特性とモデル固有の失敗（例：弱い欺瞞、不十分な同盟追跡）を分離するための自然なテストベッドを提供すると結論付けています。これは、LLM判定なしで大規模に社会的推論スキルを訓練することを可能にする、将来の検証可能な報酬を用いた強化学習（RLVR）研究のための自然な場であることを示唆しています。

認められた限界事項:

• 外部妥当性: すべてのゲームは固定されたルールと勝敗基準を持っており、長期的な信頼構築のような現実世界の社会的相互作用を完全には捉えきれない可能性があります。
• サンプルサイズ: 結果は条件あたり約30のゲームに基づいており、信頼区間は約±18パーセントポイントとなっています。
• プラセボ制御の欠如: 本研究には、内容の効果と一般的なプロンプトの摂動を完全に切り分けるためのプラセボ・プレイブック制御が欠けています。ただし、構造的なパターンは、効果が内容に起因していることを示唆しています。
• リフレクションの制約: リフレクションはシステムプロンプト内の自然言語の散文に限定されており、外部の検索や構造化された推論ツールは備えていません。