技術的概要：LLM ベースのマルチエージェントシステムにおける調整層としてのアーキテクチャ

問題定義

マルチエージェント型大規模言語モデル（LLM）システムは、本番環境において高い失敗率（41%～87%）を示しており、その失敗の大部分は基盤モデルの限界ではなく、調整上の欠陥（仕様の曖昧さ、エージェント間の不整合、検証の欠如）に起因している。この問題に対する現在の対応は不十分である：

1. 経験的分類体系（例：MAST）は失敗モードをカタログ化しているが、特定のアーキテクチャ構成と予測可能な失敗シグネチャを結びつけることに失敗している。
2. 宣言的オーケストレーションフレームワーク（例：AWS Strands、Microsoft Foundry）は、エンジニアリングの生産性向上のためにワークフロー仕様と実装を分離しているが、仕様をアーキテクチャ推論や失敗予測の基盤として扱っていない。
3. 既存の実証研究には方法論的交絡が存在し、性能向上が、より良い調整によるものではなく、情報アクセスの増加（より大きなコンテキストウィンドウ、より多くのツール呼び出し）と交絡していることが多い。

核心的な問題は、現在の評価において情報アクセスの影響からアーキテクチャの影響を分離できないことが悪化要因となり、調整構成から予測可能な失敗モードシグネチャへの原理的なマッピングが欠如していることにある。

方法論：情報制御された実証研究

著者は、調整をエージェントの論理や情報アクセスから分離可能な、構成可能なアーキテクチャ層として扱うことを提案する。これを検証するため、Ao ら（2026）の批判に基づいた情報制御の実験デザインを開発した。

中核原則

1. 情報の固定：すべての構成は以下の要素を同一にする：
   • 基盤 LLM（claude-opus-4-6）。
   • ツールスタック（市場メタデータ、価格履歴；ウェブ検索は無効）。
   • プロンプトテンプレート（役割固有の指示のみが変化する）。
   • 呼び出しごとの出力上限。
   • 質問セット（モデルのトレーニングカットオフ後に解決された 100 の Polymarket 二値市場）。
2. 内生計算量：質問あたりの総計算量（トークン数）は一定に保たれない。これはアーキテクチャの出力として扱われる（例：逐次パイプラインは、並列アンサンブルよりも自然に多くのトークンを消費する）。これにより、コストと品質のパレート分析が可能となる。
3. 評価指標：
   • マーフィー分解：ブライアースコアを信頼性（REL）（較正誤差）と解像度（RES）（識別能力）に分解する。これにより、集計されたブライアースコアが類似していても、異なる調整構成が識別可能なシグネチャを残すことができる。
   • アルファスコア：市場コンセンサス基準に対するブライアースコアの超過分。

実験設定

• テストベッド：2025 年 8 月以降に解決された、カテゴリと基準価格のデシールで層化された 100 の Polymarket 二値市場。
• 構成：5 つの参照調整アーキテクチャをテストした：
  1. 独立アンサンブル：並列エージェント、平均集約。
  2. ピアクリティク・ディベート：エージェントがラウンドを通じて観察し、修正する。
  3. オーケストレータ・スペシャリスト：プランナーがタスクを分解；スペシャリストが実行；プランナーが統合する。
  4. 逐次パイプライン：固定順序（調査 $\to$ 分析 $\to$ 予測）。
  5. コンセンサス整合：不一致が閾値以下になるまで反復収束させる。
• 成果物：本研究は 3 つのリポジトリを公開した：実験用ハーネス、1,710 万の推論トークンのデータセット、Foresight Arena 用の本番エージェントコード。

主要な結果

1. 集計性能

• 正のアルファの欠如：どの構成も市場コンセンサス基準に対して正のアルファスコアを達成しなかった。市場コンセンサス（ブライア 0.152）は、最良の構成（sequential_pipeline、ブライア 0.153）と同等であり、残りの構成を上回った。
• コスト–品質のパレートフロンティア：
  • 支配：orchestrator_specialist と peer_critique_debate は、independent_ensemble によって支配された（より低いコスト、同等以上の精度）。
  • フロンティア：independent_ensemble（市場あたり 0.10 ドル）と sequential_pipeline（市場あたり 0.36 ドル）がフロンティアを形成した。sequential_pipeline は最低のブライアを提供したが、コストは著しく高かった。

2. マーフィー分解シグネチャ

本研究は、REL と RES に関する事前に指定された予測をテストした：

• 支持：
  • 独立アンサンブル：中程度の REL と高い RES を示した（予測 1）。
  • コンセンサス整合：非常に低い RES（多様性の崩壊）と、収束点に対する高い REL を示した（予測 5）。
• 部分的に支持：
  • ピアクリティク・ディベート：RES の低下（多様性の崩壊）を示したが、予測された低い REL ではなく、中程度の REL の改善のみを示した（予測 2）。
  • 逐次パイプライン：初期の「調査」段階が有能に機能し、予測されたカスケード失敗を回避したため、最良のシナリオ（低い REL、高い RES）を示した（予測 4）。
• 矛盾：
  • オーケストレータ・スペシャリスト：低い REL が予測されたが、代わりにすべての構成の中で最も高い REL（最悪の較正）を示し、オーケストレータが較正を修正するのではなく、誤較正を導入したことを示唆した（予測 3）。

3. 統計的検出力と分離

• サンプルサイズ：$n=100$ において、ブライアースコアのペアワイズ差はボンフェローニ補正後の有意水準（$p < 0.005$）に達しなかった。
• ブートストラップ分析：探索的なブートストラップ区間は、consensus_alignment が他の 4 つの構成と明確に区別可能（より悪い）であることを示唆したが、他のペア間の対比はこのサンプルサイズでは曖昧なままだった。
• 必要なサンプルサイズ：検出力分析によると、consensus_alignment と他の構成の対比を解明するには $n \approx 500$ が必要であり、すべてのペアを解明するには $n \approx 2,500$ が必要である。

4. 失敗モードのケーススタディ

特定の市場の定性的分析は、アーキテクチャ的な失敗モードを確認した：

• ピアクリティク：少数派の視点の崩壊（整合圧力が正しい異議を抑制）。
• コンセンサス整合：中点アンカリング（結果から遠い値への収束）。
• 逐次パイプライン：誤った自信のカスケード（下流の段階が検証なしに上流の誤りを拡張）。

意義と主張

本論文は、普遍的なアーキテクチャ法則の主張ではなく、「調整をアーキテクチャ層とする」というフレームワークの方法論を検証する最初の具体化として位置づけられている。

1. アーキテクチャ推論：本研究は、調整をエージェントの論理から分離することで、集計されたブライアースコアだけでは見えない失敗シグネチャ（REL/RESのトレードオフ）に関する反証可能な予測が可能であることを実証した。
2. 方法論的厳密性：情報アクセスを固定し、アーキテクチャのみを変化させることで、本研究は調整効果を分離し、先行文献で指摘された「情報–アーキテクチャの交絡」に対処した。
3. 実用的含意：結果は、テストされたタスクファミリー（固定情報による予測）において、「オーケストレータ・スペシャリスト」や「ピアクリティク・ディベート」といった人気パターンが、コスト調整ベースではより単純な「独立アンサンブル」アプローチに支配される可能性を示唆している。
4. 限界：著者は明示的に、負のアルファ結果は情報レジーム（ウェブ検索無効、カットオフ後の出来事）に対する判決であり、調整アーキテクチャそのものに対するものではないと指摘している。本研究は、モデル間やドメイン間の一般化をまだ主張していない。

この研究は、公開されたオープンソースのハーネスとデータセットを活用し、より豊かな情報レジーム（例：ウェブ検索有効）や異なるモデルにおいてこれらのアーキテクチャシグネチャを検証する将来の研究の基盤として機能する。