💬 NLP

Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters

本論文は、LLMによる予測におけるデータ漏洩を防ぐための厳格な評価フレームワークである「Hindcast」を導入するものであり、これは、モデルが事後的な想起ではなく真の先見性に基づいて採点されることを保証するために、公開情報の凍結されたタイムカットオフ・スナップショットに対して予測市場をリプレイするものである。

原著者： Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

公開日 2026-07-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

探偵がミステリーを解く能力がどれほど高いかをテストしたいと考えていると想像してください。あなたはケースファイル（事件記録）を渡し、「誰がクッキーを盗んだのか？」と尋ねます。もし探偵が単にファイルを開き、一番下に書かれている答えを読み取るだけなら、それは探偵としてのスキルを見せているのではなく、単に読解力を見せているに過ぎません。これは、科学者がAIモデルの未来予測能力をテストする際に直面する、非常にトリッキーな問題です。

AIが本当に賢いかどうかを確認するために、研究者は通常、「2022年のワールドカップで優勝したのは誰か？」のように、すでに起こった出来事を予測させます。問題は、今日のAIモデルはインターネット上のあらゆる情報を学習しており、その中には試合が終わった後に書かれた記事も含まれていることです。ですから、AIが「アルゼンチンが優勝した」と言うとき、それは事前に手がかりを解明したからではなく、単に学習データの中から最終スコアを思い出しているだけかもしれません。これは、答えの解答集を密かに暗記してしまった状態で歴史のテストを受けている学生のようなものです。これを解決するために、科学者はAIの「先見の明」（何が起こるかを推測する能力）を、答えの「解答集」（実際に何が起きたか）を見てズルをすることなくテストする方法を見つける必要があります。

ここで、HINDCASTと呼ばれる新しい研究が登場します。研究者たちは、もしAIに「未来で何が起きたかという知識を持たない状態」を強制した場合、AIが真に未来を予測できるかどうかを知りたいと考えました。彼らは、予測市場（人々が結果に賭ける場所）と、凍結されたインターネット・アーカイブを用いた「タイムトラベル・シミュレーション」を構築しました。その結果、AIがズルをできないように制限すると、古いニュースを読むことで予測精度を高めることができるものの、それはそのニュースに「有用な事実」が含まれている場合に限られることが分かりました。もし古いニュースが単なる人々の推測や叫び声（意見）ばかりであった場合、それを読むことは、むしろAIの予測精度を悪化させてしまうのです。

タイムトラベル・テスト

研究チームは、HINDCAST（「フォアキャスト（予測）」をもとにした「ヒンドキャスト（過去への遡及）」の造語）と呼ぶシステムを構築しました。タイムマシンを想像してください。そのマシンは、例えば大きなスポーツ大会が始まる1ヶ月前といった、歴史の特定の瞬間を凍結させます。この凍結された瞬間において、AIはニュース記事やフォーラムの投稿のライブラリを参照することを許可されますが、参照できるのはその日付より前に書かれたものだけです。たとえ今日、ライブラリの中にそれ以降の日付の記事が置かれていたとしても、AIはそれを見ることはできません。

AIをテストするために、研究者はPolymarketという実在のベッティング・マーケット（賭け市場）を使用しました。これらは、「チームXが勝つか？」といった事象に対して人々が賭けるデジタル・カジノのようなものです。これらの市場はすでに終了しているため、研究者は真の答えを知っています。また、その凍結された時点での「市場価格」も把握しています。これは、当時の群衆が考えていたオッズを象徴しています。

セットアップは以下の通りです：

時間を凍結する： 市場が決着する前の過去の日付（ $t_0$ ）を選択する。
ライブラリをロックする： AIは、その日付より前に投稿されたReddit（人気のインターネット・フォーラム）のスナップショットのみを検索できる。
予測を行う： AIは利用可能な投稿を読み、結果を推測する。
採点する： AIの成績は、実際の最終結果にどれだけ近かったか、および、その瞬間の人間のベッターたちの考えにどれだけ近かったか、という2つの要素で評価される。

大きな発見：事実 vs 煽り（ハイプ）

チームは、AIにこの「凍結されたライブラリ」へのアクセスを与えることが、自身の記憶だけで推測するよりも予測に役立つかどうかを確認するため、9つの異なるAIモデルをテストしました。

朗報： ほとんどのAIモデルにおいて、古い投稿を読むことは予測に役立ちました。実際、9つのモデルのうち8つにおいて、アーカイブを読むことでAIのミスは減少しました。最大の改善が見られたのはQwen3-32Bというモデルで、エラー率が23%減少しました。このことは、過去に具体的な事実が存在する場合、AIはそれらを利用してより賢い推測ができることを示唆しています。

悪報（および落とし穴）： この恩恵は普遍的なものではありませんでした。それは、AIが「何を読んでいるか」に完全に依存していました。

効果があったケース： スポーツ、賞レース、トレーディングなどのトピックでは、イベント前のインターネット投稿には具体的な事実（例：「チームのスター選手が負傷した」「金の価格が上昇している」など）が満載でした。これらの場合、AIは事実を読み取り、勝者の予測精度を高めることができました。
失敗したケース： エンターテインメント（どの曲が1位になるかを当てるなど）や政治といったトピックでは、インターネットは騒がしい意見やファンの熱狂、憶測で溢れていました。AIがこれらの投稿を読むと、混乱が生じました。AIは「熱狂（ハイプ）」を事実であると信じ込み始めたのです。例えば、ファンが「新曲が1位になる」と叫んでいれば、AIはその曲に賭けますが、実際にはほとんどの曲がトップにはなれません。これらのケースでは、アーカイブを読むことは、自らの論理に基づいた推測を行うよりも、むしろAIの予測を悪化させました。

「読みすぎ」の問題

研究では、奇妙なパターンが見つかりました。市場が開いている期間が長ければ長いほど、AIがノイズによって混乱する可能性が高まるのです。市場が長時間開いていると、インターネット上には果てしないチャットや矛盾する意見が充満します。AIは役に立とうとしてそれらすべてを読み込み、考えすぎてしまい、結果として確かな事実ではなく、騒がしい意見に基づいて誤った推測を下してしまうのです。

特に、R1-Distill-Qwen-7Bというモデルは、閲覧を許可されると全体的に精度が低下しました。研究者たちは、このモデルが長く混乱した推論の連鎖を読みすぎるあまり、実際の証拠を忘れてしまったのではないかと考えています。これは、学生がトピックに関する多種多様な意見を読みすぎて、単純な事実を忘れ、結局間違った推測をしてしまうようなものです。

未来への意味

HINDCASTの主な教訓は、AIの未来予測能力は、イベントが発生する前に見つけられる情報の質に依存するということです。インターネットが事実で満たされていれば、AIは優れた予測者になれます。しかし、インターネットが噂や熱狂で満たされている場合、AIは単なる「自信満々な愚か者」となり、真実ではなく最も声の大きい意見を信じてしまう可能性があります。

また、研究者たちは、この「タイムトラベル」によるテスト手法が強力なツールであることも示しました。ライブラリが凍結されているため、新しいAIモデルに対して、彼らがズルをすることなく、同じ古い問いを投げかけることができます。これにより、AIが進化してもテストを継続的に改善し、彼らが単に「記憶している」のではなく、本当に「思考している」のかを測定し続けることができるのです。

要約すると、HINDCASTは、事実のライブラリを与えることはAIの未来を見通す助けになる一方で、噂のライブラリを与えることは、AIの目を曇らせることになる、ということを証明しています。

技術要約: HINDCAST – LLMフォキャスター（予測モデル）の評価のための予測市場のリプレイ

1. 問題提起

現在の大規模言語モデル（LLM）フォキャスターの評価手法は、解決済みの質問に対してバックテストを行い、モデルが既知の結果に対して割り当てた確率に基づいて採点することに依存しています。著者らは、このパラダイムにおける2つの決定的な「リーク（漏洩）」を特定しました。これらは、モデルが予測時点では存在し得なかった情報にアクセスすることで、実質的に「ズル」することを可能にします。

検索リーク（Retrieval Leakage）: 検索システムを備えたモデルは、イベント発生後に書かれたレポート、記事、または議論を表面化させることができ、結果として予測が「ルックアップ（検索）」タスクへと変質してしまいます。
学習データリーク（Training Data Leakage）: モデルが現在に近いデータで再学習されるにつれ、以前のモデルバージョンでは「未来」であった質問が、新しいバージョンの学習データの一部となります。

その結果、標準的な評価は、モデルの「先見性（過去の時点 $t_0$ において割り当てられたであろう反事実的な確率）」ではなく、結果に対する「想起（リコール）」を測定してしまっています。ライブ・ベンチマークはオープンな質問を提示することでこれを回避していますが、解決済みの質問が提供する即時的な正解（グラウンド・トゥルース）や人間によるベースライン（市場価格）を欠いています。

2. メソドロジー: HINDCAST

著者らは、特定の過去の日付 $t_0$ において、結果が判明する前、かつ事後情報が検索コーパスに存在しない状態で予測が行われたことをシミュレートするように設計された評価プロトコル、HINDCASTを導入します。

コア・コンポーネント

凍結された情報環境（Frozen Information Environment）: このシステムは、公開されているRedditの「時間的に固定されたアーカイブ」（Pushshiftの月次スナップショットから派生）を使用します。このアーカイブは不変です。一度スナップショットが取得されると、二度と変更されません。これにより、シミュレートされた任意の時刻 $t_0$ における検索は、厳密に $t_0$ より前に作成されたコンテンツのみを返すことが保証されます。
予測市場のグラウンド・トゥルース: 評価には、解決済みの Polymarket バイナリ市場を使用します。各市場について、システムは以下を記録します：
- 解決された結果 ( $y$ )。
- 時刻 $t_0$ における市場示唆確率 ( $q_{t_0}$ )。これは、同じ $t_0$ 前の情報から導き出された、人間による予測のベースラインとして機能します。
カットオフの強制（Cutoff Enforcement）: ルーティングエラーを防ぐため、検索バックエンドは、すべての検索およびルックアップ操作において、SQLレベルで厳格な created_at < t_0 という述語を強制します。

評価パイプライン

本研究では、2つの予測器ファミリーを同一のインターフェースに対して比較します：

ゼロショット・ベースライン: LLMは、自身のパラメトリックなメモリのみを使用し、 $t_0$ で利用可能であった知識のみに依拠するよう指示されて予測を行います。
検索エージェント（Retrieval Agent）: LLMは、 $t_0$ 時点の凍結されたアーカイブに対してクエリを投げ、証拠を読み、予測を洗練させるという、限定されたリサーチ・ループ内で動作します。

指標

予測は2つのターゲットに対してスコアリングされます：

結果の回収（Outcome Recovery）: 解決されたバイナリ結果 ( $y$ ) に対する精度およびブライア・スコア。
市場の改善（Market Improvement）: モデルの予測と $t_0$ における市場価格との絶対差 ( $|\hat{p}_{t_0} - q_{t_0}|$ )。

3. 主な貢献

HINDCAST プロトコル: 検索可能な情報を固定した状態で、過去の $t_0$ におけるモデルの予測を測定する評価フレームワーク。これにより、モデルが改善されてもテストが陳腐化することなく、新しい市場に対してテストを再実行することが可能になります。
不変のアーカイブ: 25ヶ月分（2024年1月〜2026年1月）の公開Redditスナップショットから構築された、リークのない検索バックエンド。これは、密な意味検索およびIDによるルックアップ用にインデックス化されており、厳格な時間的フィルタリングを備えています。
二重の参照予測器: ゼロショット・ベースラインと検索に基づいたエージェントの両方をサポートする統一されたインターフェースを提供し、証拠検索による寄与を分離します。
実証分析: 検索が予測を向上させる領域と、投機的なノイズによって性能を低下させる領域を特定する研究。

4. 実験結果

著者らは、216個の解決済みPolymarket市場を含むバランスの取れたデータセットを用いて、9つのオープンウェイトLLM（Qwen3、Llama 3、Gemma 3、Ministralファミリーを含む）をベンチマークしました。

全体的なパフォーマンス: 検索は、9つのモデルのうち8つにおいてブライア・スコアを低下させました（改善）。最も顕著な改善が見られたのは Qwen3-32B であり、ブライア・スコアを0.234から0.179へと減少させました（23%の低下）。
トピック依存の分散: 検索の恩恵は一様ではありません。それは、事前 $t_0$ $t_{0}$ コーパスにおける議論の性質に大きく依存します：
- 検索が役立つケース: スポーツ、アワード、およびトレーディング／コモディティにおいて、検索は精度を大幅に向上させました。これらの領域では、Redditの議論には、イベント前の具体的な事実に基づいたシグナル（例：チームのパフォーマンス、価格動向）が含まれており、モデルが活用できるものでした。
- 検索が有害となるケース: エンターテインメント、選挙／政治、およびテック／AIにおいては、検索はしばしば性能を低下させました。これらの領域では、イベント前のコーパスは、投機的なハイプ（熱狂）や意見（例：チャートに入らなかった曲に対するファンの興奮）によって支配されていました。検索エージェントは、この「最も声が大きい」ものの予測力に乏しいチャットに過剰に反応し、自信満々だが誤った予測を導き出しました。
較正（キャリブレーション） vs 精度: いくつかのケース（例：Llama-3.1-8B）では、検索は精度を低下させた（より多くの誤った決定を下した）一方で、較正を改善し（確率が極端な誤値ではなく0.5に近づいた）、ブライア・スコアを低下させました。
ルックバックの感度: カットオフ $t_0$ を変化させた場合（市場寿命の25%から100%まで）、検索による利得は利用可能なルックバックの全期間に達するずっと前に飽和しました。これは、検索の恩恵が直近のニュースよりも、初期のシグナルによって駆動されていることを示唆しています。

5. 意義と主張

本論文は、検索に基づいた推論が普遍的に有益であるわけではないことを主張しています。その有効性は、事前イベント情報の環境における証拠の質によって厳密に制限されます。

リークの解消: HINDCASTは、モデルが学習データや検索ツールを通じて「未来を見る」ことができないようにすることで、先見性を評価するための厳格な方法を提供します。
シグナル vs ノイズ: 本研究は、アーカイブが事前イベントのシグナル（事実、データ、具体的な分析）を保持している場合にのみ、検索が予測を助けることを示しています。アーカイブが投機のみを保持している場合、検索はノイズを増幅させることで、予測に積極的に悪影響を及ぼす可能性があります。
動的な評価: 静的なベンチマークとは異なり、HINDCASTは継続的な評価を可能にします。新しいモデルは、同じ凍結された歴史的アーカイブに対してテストを行うことができ、テストが記憶力の測定ではなく、先見性の測定であり続けることを保証します。

著者らは、検索が事実に基づいたドメインでは予測を向上させる一方で、投機的なドメインでは、事前イベントのハイプへの過学習を避けるために慎重な較正が必要であると結論付けています。彼らは、HINDCASTを完成された自動取引ツールではなく、研究用のテストベッドとして位置づけ、較正されていない検索エージェントが自動化された意思決定に誤った権威を与えかねないことに警告を発しています。