技術的概要：ベータ・ベルヌーイ較正器による人間の不確実性との LLM 整合化

問題定義

確率論的予測は、経済から国家安全保障に至るまで、意思決定において極めて重要である。大規模言語モデル（LLM）は広範な知識と推論能力を有しているが、熟練した人間の予測者を上回る性能を発揮するには至っていないことが多い。LLM の予測精度を向上させる既存の手法は、通常、二値結果（例えば、事象が発生したかどうか）を用いた教師あり微調整（SFT）または強化学習（RL）に依存している。しかし、これらのアプローチには重大な限界が存在する。すなわち、リソース集約的であること、ブラックボックスモデルには適用できないことが多いこと、そして人間の予測に含まれる豊富な情報を活用できていないことである。具体的には、人間の予測は単なる集約的な確率推定値だけでなく、予測者間の合意度（一致度）も提供しており、これは人間の感情や認識的不確実性に関する貴重なシグナルを符号化している。現在の手法は、この分布情報をほとんど無視し、代わりに点推定値や言語化された信頼スコアに焦点を当てているが、これらは過信的でノイズの多いことが示されている。

手法：ベータ・ベルヌーイ較正器（BBC）

著者らは、軽量かつモデル非依存の事後較正フレームワークである**ベータ・ベルヌーイ較正器（BBC）**を提案する。基盤となる LLM の微調整を試みる手法とは異なり、BBC は独立した小型モデルとして機能し、任意の入力 LLM からの初期の言語化された予測を洗練させる。

中核フレームワーク

このフレームワークは、潜在事象確率 $p$ をベータ分布から抽出された確率変数 $p \sim \text{Beta}(\alpha, \beta)$ として、また観測された二値結果 $y$ をベルヌーイ試行の実現値 $y \sim \text{Bernoulli}(p)$ としてモデル化する。

• 入力: 較正器は、予測質問 ($x_i$) と入力 LLM からの初期の言語化された点予測 ($\hat{p}^{init}_i$) を受け取る。
• 出力: 単一の確率を出力する代わりに、較正器はベータ分布のパラメータ（柔軟性のために $K$ 個のベータ分布の混合）を予測する。
  • 予測分布の平均は、較正された点予測として機能する：$\hat{p}_i = \mathbb{E}[p_i] = \frac{\hat{\alpha}_i}{\hat{\alpha}_i + \hat{\beta}_i}$。
  • 分散は認識的不確実性の尺度として機能する：$\hat{u}_i = \text{Var}[p_i]$。

学習目的

較正器は、合成損失関数 $\mathcal{L}_{total} = \mathcal{L}_{binary} + \mathcal{L}_{human}$ を用いて学習される。

1. 二値結果による教師信号（$\mathcal{L}_{binary}$）: モデルは実現された二値結果 ($y_i \in \{0, 1\}$) から学習する。著者らは、ベータ・ベルヌーイモデル下での二値結果の尤度を最大化することが、分布の平均に関する**二値交差エントロピー（BCE）**損失を最小化することと数学的に等価であることを実証している。これにより、モデルは真の確率を予測することを学習する。
2. 人間予測による教師信号（$\mathcal{L}_{human}$）: 識別性の問題（異なるベータ分布が同じ平均と BCE 損失をもたらす場合）に対処し、分布の形状を捉えるために、モデルは人間予測によって教師信号を受ける。著者らは、人間予測を真の潜在分布からのノイズを含むサンプルとして扱う。彼らは人間予測のヒストグラムを構築し、このヒストグラムと予測されたベータ（またはベータの混合）分布との間のカルバック・ライブラー（KL）ダイバージェンスを最小化する。これにより、モデルは集団に内在する「合意」および不確実性を学習できる。

アーキテクチャ

較正器は、マルチレイヤーパーセプトロン（MLP）ヘッドを備えた小型言語モデル（例：Llama-3.2-1B）として実装される。これは入力テキストと初期予測をエンコードし、ベータパラメータを予測する。この設計により、本手法は計算効率が良く、内部重みや表現へのアクセスなしに、任意のブラックボックス LLM に適用可能である。

主要な貢献

1. ベータ・ベルヌーイ較正器: 点予測を事象可能性の分布に変換し、アルエトリック（本質的なランダム性）と認識的不確実性（モデルの不確実性）の両方を効果的に捉える、軽量かつモデル非依存の手法。
2. 分布教師信号としての人間: Metaculus や Polymarket などのプラットフォームから集約された人間予測分布を教師信号として使用する、革新的なアプローチの導入。これは二値結果を超えた情報、特に確率分布の形状と予測者間の合意度に関する情報を提供する。
3. 予測者としての認識的不確実性: 著者らは、予測されたベータ分布の分散が、LLM によって提供される言語化された信頼スコアよりも予測誤差のより信頼性の高い予測子であることを示す。

実験結果

本フレームワークは、MetaculusおよびPolymarketのデータセットで評価され、Kalshiにおける分布外（OOD）テストも行われた。

• ベースラインとの性能比較: BBC は、従来の事後較正手法（プラットスケーリング、アイソトニック回帰）および予測用に特別に微調整されたモデル（例：OpenForecaster-8B、Future-as-a-label-32B）を一貫して上回った。
  • テストセットにおいて、BBC は言語化されたベースラインと比較してブライアースコアを約 14.4% 削減し（例：Claude-Sonnet-4 では 0.146 から 0.125 へ）、AUC を 72.3% から 74.2% に向上させた。
  • BBC は微調整モデルよりも優れた較正（低い期待較正誤差）と強い弁別力（高い AUC）を達成し、軽量な較正器が完全なモデル微調整よりも効率的な代替手段であることを示唆している。
• 人間教師信号の影響: 「BBC（二値のみ）」と「BBC（二値＋人間）」を比較した結果、人間予測分布を組み込むことがブライアースコアと AUC の向上に一貫して寄与することが明らかになった。予測分布と人間予測との間の KL ダイバージェンスが減少し、モデルが人間の信念とよりよく整合していることを示している。
• 認識的不確実性: 分析により、ベータ分布の分散が予測誤差（ブライアースコア）と強く相関することが示された。対照的に、言語化された信頼スコアはノイズが多く、実際の性能としばしば相関しなかった。
• 汎化: 較正器は、従来の較正手法が失敗した OOD である Kalshi データセットに対しても堅牢な汎化性能を示し、強力な性能を維持した。
• 効率性: 実験により、10 億パラメータの較正器がはるかに大規模なモデル（例：700 億パラメータ）からの予測を実質的に洗練させるのに十分であることが確認され、本アプローチの計算効率の高さが浮き彫りになった。

意義と主張

本論文は、ベータ・ベルヌーイ較正器が以下の点で LLM 予測において重要な進展をもたらすと主張している。

1. ギャップの埋め合わせ: 「大衆の知恵」を単なる点推定値としてだけでなく、不確実性をモデル化する分布シグナルとして効果的に活用し、現在の LLM 予測文献におけるギャップを埋める。
2. モデル非依存性: 事後較正器として機能することで、高価な微調整や内部状態へのアクセスを必要とせず、あらゆる LLM（プロプライエタリなブラックボックスモデルを含む）の較正を可能にする。
3. 信頼性の高い不確実性の定量化: LLM の信頼性の低い自己申告型信頼度を超え、誤差を予測する原理的な認識的不確実性の推定方法を提供する。
4. 相補性: この手法は既存の技術と相補的であると提示されており、すでに予測用に微調整されたモデルの上に適用することで、さらなる性能向上をもたらすことができる。

著者らは、人間の予測者が現在の LLM よりも優位である状況は残っているものの、BBC フレームワークは人間の合意シグナルを活用してモデルの信念を較正することで、このギャップを大幅に狭め、より信頼性の高い AI 予測に向けたスケーラブルかつ効率的な道筋を提供すると結論づけている。