Symbolic Reasoning Frameworks Modulate LLM Risk Aversion in Multi-Agent Strategic Settings

技術要約：記号論的推論フレームワークによるマルチエージェント戦略設定におけるLLMのリスク回避性の変調

問題提起
戦略的エージェントとして配備された大規模言語モデル（LLM）は、固有の行動傾向、具体的には防御的なプレイへと向かうリスク回避的な「亀（turtle）」バイアスを示す。先行研究では、個々のエージェントの振る舞いを変化させるためにペルソナ・プロンプティングが有効であることが示されているが、単一のエージェントの推論フレームワークを調整することが、マルチエージェント・システムにおいて、システムレベルの生態系結果に決定的な変化をもたらすかについては未解明である。具体的には、あるエージェントに対する記号論的推論フレームワークの選択が、他のエージェントの勝利分布を変化させるのか、そしてこの変調はフレームワークの「意味的内容」によるものなのか、それともそれが強いる「解釈プロセス」によるものなのか。

手法
本研究では、中国の戦国時代（紀元前475年–221年）を舞台とした、46の領域を持つ46領域マップ上の『ディプロマシー（Diplomacy）』の7プレイヤー・バリアントを使用する。

• エージェント: 7つの独立したエージェント（各国家につき1名）は、特定の歴史的・哲学的ペルソナ（例：秦のための法家、燕のための儒教）に基づき、Claude Opus 4.6によって駆動される。
• 介入: 最も小さく最も弱い国家である「漢」を代表するエージェントに対し、41回のゲーム（単一キャンペーン内でのメモリ蓄積）を通じて、以下の4つの異なる条件を適用する：
  1. コントロール（対照群）: 長さを一致させた一般的な内省プロンプト。
  2. 易経（Yarrow）: 各ラウンドごとに、卦数と抽象的な解説を含むプロンプトを提供し、エージェントにオラクル（神託）を戦略的文脈の中で解釈することを要求する。
  3. タロット（Tarot）: 各ラウンドごとに、状況解釈を伴う3枚引きのスプレッドを提供する。
  4. スクランブル（Scrambled）: 意味的な一貫性を破壊するために易経のテキストを単語単位でシャッフルしたアブレーション（切除）条件。プロンプトの構造と解釈の義務は維持される。
• 測定: 本研究では、行動プロファイル（防御的保持率、協力的支援、推論の長さ）および生態系レベルの勝者分布を追跡する。統計的有意性は、勝者分布に対してはフィッシャーの正確検定を、行動率に対してはクラスカル＝ウォリス検定およびマン・ホイットニーのU検定を用いて評価する。

主要な貢献と知見

1. フレームワーク特有の生態系シグネチャ: 単一のエージェント（漢）に対する推論フレームワークの選択は、漢自身が一度も勝利していないにもかかわらず、システム全体の勝者分布に対して明確かつ統計的に有意な影響を与える。
   • コントロール: 燕が支配する（11勝中7勝、64%）。
   • 易経: 燕と楚が共同支配する。最強の拡張主義国家である秦が完全に抑制される（10戦中0勝）。
   • タロット: 秦が支配する（10戦中5勝、Fisher $p=0.006$ vs. プール集団）。
   • スクランブル: 斉が支配する（10戦中5勝、Fisher $p=0.006$ vs. プール集団）。
2. プロセス駆動であり、コンテンツ駆動ではない: 行動の変調は、エージェントがオラクルの意味的内容に従った結果ではない。
   • 卦のテーマとタロットの姿勢は、エージェントのその後の行動選択との間に統計的な関連性を示さない（$\chi^2$ $p=0.95$ および $p=0.69$）。
   • しかし、エージェントは推論の83%においてオラクルに言及している。
   • スクランブルのアブレーションは極めて重要である。意味的一貫性を破壊しながら構造を維持することで、コントロールや一貫性のある易経条件とは異なる独自の生態系シグネチャ（斉の支配）を生み出した。これにより、単純な内容への追従やプロンプト構造の効果だけでは説明できないことが証明された。
3. 伝播のメカニズム: フレームワークは「解釈プロセス」を変容させ、それがリスク回避性と協調性を変調させ、システム全体へと伝播することを特定した：
   • 易経: 「解釈的混乱」を誘発し、終盤の協調（支援率17.1%）を高める。これが摩擦を生み出し、秦のような拡張主義国家を抑制する。
   • タロット: 防御的姿勢の「累積的なトーン増幅」を誘発し、極端なリスク回避（保持率78.3%）と協力の欠如をもたらす。これが真空状態を作り出し、秦に利用される。
   • スクランブル: 「パース（解析）失敗」を引き起こし、自己参照的な推論と反応的な自己支持をもたらす。これが局所的な摩擦を生み、遠方の国家である斉に利益をもたらす。
4. 推論の長さ vs. 戦略の質: 推論の長さには明確な勾配が存在する（Control < Yarrow $\approx$ Tarot < Scrambled）。しかし、熟考の増加は漢の戦略的成果の向上とは相関しない。実際、タロットによって誘発された拡張（ピーク領土の増加）は、生存率を向上させることなく、連合による排除を招いた。

意義と主張
本論文の知見は、エージェントレベルにおけるアライメント・フレームワークの選択が、独特なシステムレベルの結果を生み出すという観察を提示している。

• システムレベルの影響: システム内の最も弱いエージェントであっても、その推論の足場となるフレームワークを選択することによって、システム全体の勝者分布を再形成することができる。たとえそのエージェント自身が勝利を収めることがなくても、である。
• エージェント中心評価の限界: アライメント介入を、アライメントされたエージェント自身の成果のみに基づいて評価することは不十分である。「生態系への影響」を測定する必要がある。
• コンテンツよりもプロセス: 推論フレームワークの具体的な内容よりも、それが強いる認知プロセス（例：抽象的なメタファーを解釈するという行為）の方が重要である。異なるフレームワークは、必ずしも意思決定の質を向上させるわけではないが、行動モードをシフトさせる信頼できる摂動（perturbator）として機能する。

著者らは、最小の国家はオラクルを仰いでも勝利することはできないが、オラクルはフレームワーク特有の方法で世界を変えるのだと結論付けている。これは、推論の足場の選択が、ローカルなエージェント設定ではなく、システムレベルのデザイン決定であることを示唆している。