Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents

以下は、論文「Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents」の詳細な技術的サマリーです。

1. 問題提起

本論文は、AI の予測能力を評価する現在の手法における 3 つの根本的な限界を特定しています。

• データセット汚染: 静的なベンチマーク（固定された質問/解決策）は、トレーニングデータの漏洩に対して脆弱です。モデルはテストセットを事前学習中に暗記したため、単に正確に見えているに過ぎないという状況が発生します。
• 中央集権的な信頼: 既存のフレームワークは、予測の記録やスコア計算のために中央機関に依存しており、事後の改ざんや選択的な報告のリスクを生み出し、商業的な信頼を損なっています。
• 不適切な指標: 取引の損益（PnL）を通じてエージェントを評価することは、予測の精度と取引戦略（ポジションサイジング、タイミング、リスク許容度）を混同します。エージェントは、正確な予測にもかかわらず資金を失ったり、不運や過剰な賭けにより予測が不正確でも資金を得たりする可能性があります。

著者らは、厳密な評価には、過学習に耐性があり、**分散型（トラストレス）**であり、インセンティブ整合的なスコアリングルールに基づいた環境が必要であると主張しています。

2. 手法とシステム設計

Foresight Arena は、Polymarket から供給されるリアルワールドの二値予測市場において AI エージェントを評価するために、Polygon PoS 上に展開されたライブのパーミッションレスなオンチェーンベンチマークです。

コアアーキテクチャ

• コミット・リーveal プロトコル: エージェントは、競争相手の動きを観察するのを防ぐため、期限前に予測の暗号化ハッシュ（コミットフェーズ）を提出します。その後、実際の確率とソルトを後ほど開示（リーvealフェーズ）します。これにより、予測の独立性が保証されます。
• トラストレスな解決: 結果は、Polymarket が使用するのと同じオラクルである**Gnosis 条件付トークンフレームワーク（CTF）**を介して自動的に解決されます。人間のキュレーターが解決を操作することはできません。
• ガスレスな参加: エージェントは、EIP-712 で署名されたメッセージを使用してリレイヤーを介して対話するため、ネイティブトークン（POL）を保有することなく参加できます。
• 永続的な評判: スコアはERC-8004 評判レジストリに蓄積され、各エージェントにとって改ざん不可能で検証可能な実績記録が作成されます。

スコアリングフレームワーク

このシステムは、主に 2 つの指標を使用します。

1. ブライアースコア: 確率的予測の精度を測定する適切なスコアリングルール（$S = (p - x)^2$）です。エージェントが真の信念を報告するときにのみ、厳密に最小化されます。
2. アルファスコア（$\alpha$）: エージェントが市場のコンセンサスに対して持つ優位性を測定する新しい指標です。
   • 数式: $\alpha = B_{base} - B_{agent}$。ここで、$B_{base}$ は市場のミッドプライスのブライアースコアです。
   • 正の $\alpha$ は、エージェントが市場の集合知よりも優れていることを示します。

統計的分析

著者らは、スコアリングルールに対する形式的な数学的処理を提供しています。

• マーフィー分解: ブライアースコアを不確実性（UNC）、信頼性（REL）、**解像度（RES）**に分解しています。
  • $\alpha$ は、解像度の向上（市場よりも優れた識別力）と信頼性のギャップ（市場よりも優れた較正）の和であることが示されています。
• 検出力分析: アルファの分散に対する閉形式の式を導出し、特定の優位性（$\alpha^*$）を検出するために必要なサンプルサイズを計算しています。
  • 発見: 真の優位性 $\alpha^* = 0.02$ を検出するには、約 350 回の予測（7 市場の 50 ラウンド）が必要です。$\alpha^* = 0.01$ を検出するには、その約 4 倍の量が必要です。

3. 主な貢献

1. オンチェーン検証可能性: すべての予測、コミット、スコアがパブリックブロックチェーンに記録され、第三者が主催者を信頼することなくエージェントの履歴を独立して再生および検証できる、初のベンチマークです。
2. トラストレスな解決: 結果の解決に Gnosis CTF を使用することで、中央集権的な仲裁者の排除を実現しました。
3. 形式的なアルファスコア分析: アルファが適切なスコアリングルールであることを示す厳密な統計的証明と、予測スキルを信頼性高く検出するための分散およびサンプルサイズ要件の導出。
4. マーフィー分解の洞察: 「市場に勝つこと」と「較正されていること」が数学的に区別可能であることを実証し、特定の失敗モード（例：ノイズを伴う市場追従対真の較正不備）の診断を可能にしました。
5. パーミッションレスなインフラ: オープンソースでガスレスなシステムであり、任意の Ethereum 互換アドレスが参加し、永続的なオンチェーン資格を構築できます。

4. 実験結果

著者らは、5 つの最先端大規模言語モデル（LLM）エージェントとランダムなベースラインを含む50 ラウンドのライブ評価を実施しました。

• 評価対象エージェント: claude-opus-4-5, gpt-5-2, gemini-3-pro, grok-4-1, glm-4-7、およびランダムベースライン。
• 全体的なパフォーマンス:
  • ランダムベースライン: すべての LLM よりも著しく低いパフォーマンス（$\bar{\alpha} \approx -0.14$）を示し、LLM が真の予測能力を有していることを確認しました。
  • トップティア: claude-opus-4-5, gpt-5-2, gemini-3-pro は、わずかな正のアルファスコア（$+0.003$ から $+0.005$）を達成しました。正値ではあるものの、50 ラウンドの期間では統計的に有意ではありませんでした（$\alpha^* \ge 0.02$ が必要であるという検出力分析の予測と一致）。
  • 低パフォーマンス: grok-4-1 と glm-4-7 は負のアルファスコアを達成しました。マーフィー分解により、これらは較正エラーだけでなく、低い解像度（市場価格を追跡しながらノイズを追加する）に苦しんでいたことが明らかになりました。
• ドメイン特化:
  • 暗号資産: LLM はここで最も強い優位性を示しました。これは、市場のミッドプライスよりも速く速報ニュースを統合できる能力に起因する可能性があります。
  • 地政学: すべてのエージェントが市場を下回りました。これは、LLM が低頻度で曖昧性の高い政治的出来事に対処することに苦労していることを示唆しています。
  • スポーツ/経済: 特定のモデルがドメインごとの強みを示すなど、結果は混合しました。

5. 意義と含意

• 予測と取引の分離: 損益（PnL）の代わりに適切なスコアリングルールを使用することで、Foresight Arena はモデルの世界に関する知識を取引戦略から分離します。これにより、PnL ベースの評価では見逃される失敗モード（例：ノイズを伴う市場追従）が明らかになります。
• 検証可能な AI 資格: このシステムは、オンチェーン資格という AI 評価の新しい基準を提案しています。これらは改ざん不可能で累積的なパフォーマンス記録であり、偽造できません。自律エージェントの商業的ライセンス付与と展開に不可欠です。
• 統計的誠実さ: 本論文は、現在の短期評価（例：50 ラウンド）がトップティアの最先端モデルを区別する検出力を欠いていることを強調しています。AI の予測能力を信頼性高く順位付けるには、長期的かつ継続的な評価が必要であることを確立しました。
• 設計ガイダンス: この分析は、エージェントが市場に勝つためには、単に市場価格を反復したり、過信したりするのではなく、新鮮な情報（解像度）と制御された大胆さを優先する必要があることを示唆しています。

結論として、Foresight Arena は、静的なデータセットや利益ベースの指標を超え、暗号学的検証と情報理論に基づいたシステムへと移行する、AI 予測を測定するための最初の堅牢で分散型かつ統計的に厳密なフレームワークを提供します。