Is Capability a Liability? More Capable Language Models Make Worse Forecasts When It Matters Most

技術的サマリー：分布予測における能力の負債

問題定義
大規模言語モデル（LLM）は一般的に多様なタスクにおいて性能が向上するが、本論文は「逆スケーリング」と呼ばれる特定のクラスを特定しており、ここでは能力の向上が性能の低下を招く。具体的には、著者らは、より高度な能力を持つ LLM が、超線形成長に続きレジーム変化の尾部リスク（例えば、突然の暴落や介入）を特徴とする時系列において、劣った分布予測を生み出すことを記録している。この構造は、金融、疫学、経済において一般的である。核心的な失敗モードは、有能なモデルが成長シグナルを正確に検出するものの、それらの外挿に過度にコミットし、上部尾部の予測を上方にシフトさせる点にある。レジームが変化し成長が反転した際、これらの高まった上部尾部は甚大な誤差をもたらすが、能力の低いモデルはよりアンカーされた状態を維持する。

重要なのは、この逆スケーリングが、頻繁に正のスケーリングを示す標準的な二値または単一閾値指標（例えば、顕著なカットオフにおけるブライアースコア）では見えない点である。この失敗は、連続的で尾部を含むスコアリングルール（例えば、CRPS）でのみ検出可能であり、同一のモデル出力が従来のベンチマークでは「優れている」と評価される一方で、分布精度指標では「劣っている」と評価されるという状況を生み出している。

手法
本研究は、この現象を分離・検証するために多角的なアプローチを採用している：

1. ForecastBench-Sim (FBSim): 戦略ゲーム『FreeCiv』から手続き的に生成されたロールアウトに基づき、汚染のないベンチマークを構築。財庫、領土、人口などの 6 つのテンプレートにわたる、二値および連続的な質問のペアを生成する。著者らは、「崩壊可能なテンプレート」（減少がモードとなる結果）と「崩壊不可能なテンプレート」を区別する。
2. 合成メカニズムの分離: 逆スケーリングの駆動要因を解きほぐすため、制御された SIR（感受性 - 感染性 - 回復）疫学モデルを使用。超線形成長に続くレジーム変化を伴う系列と、同一の暴落構造を持つ線形成長系列を比較する。
3. ファミリー内アブレーション研究: Llama-3.1 ファミリー（{70B, 405B} × {base, instruct}）を用いた制御された $2 \times 2$ 実験により、モデルの規模とポストトレーニング（RLHF/指示微調整）の独立した効果および相乗効果を分離する。
4. 実世界での再現: 以下の 4 つの実世界ドメインでパターンを検証：
   • COVID-19 発生数（60 カ国）。
   • 米国住宅価格（2003–2006 年のバブル）。
   • 超インフレエピソード（10 カ国における 12 のエピソード）。
   • ワクチン前の米国麻疹データ（1928–1962 年、35 シーズン、重症度で選択されていない）。
5. 介入プローブ: ドメイン知識（例えば、ドメインを明示的に命名するか、不確実性のキューを提供するか）が較正を回復するかどうかをテストする。
6. 指標: 分布精度には連続順位確率スコア（CRPS）を、二値/閾値精度にはブライアースコアを使用して性能を評価。ピンボール損失分解を用いて、各分位点の誤差を分析する。

主要な結果

• 長期的視野における逆スケーリング: FBSim において、モデルの能力（Epoch Capabilities Index, ECI）と予測精度（CRPS）の相関は、短期的視野では正（$\rho \approx +0.67$）であるが、長期的視野では負（$\rho \approx -0.42$）に反転する。この反転は、プロバイダーやモデル系統を超えて頑健である。
• メカニズムの特定: 逆スケーリングは、超線形成長とレジーム変化の組み合わせによって具体的に駆動される。
  • 合成 SIR データ（超線形成長＋暴落）において、有能なモデルは強い逆スケーリングを示す（$\rho = -0.62$）。
  • 同一の暴落構造を持つ線形成長データにおいて、有能なモデルは正のスケーリングを示す（$\rho = +0.61$）。
  • 失敗は**上部尾部（p90）**に集中する。より能力の高いモデルは、外挿された成長軌跡を追跡するために p90 を上方にシフトさせる一方、下部尾部（p10）はアンカーされたままとなる。暴落が発生すると、高まった p90 が甚大なピンボールペナルティを招き、CRPS を支配する。
• 規模とポストトレーニング: Llama-3.1 の $2 \times 2$ 研究は、規模の増大（70B から 405B）とポストトレーニング（base から instruct）の両方が、暴落レジームにおける誤差を独立して増幅することを確認した。この効果は相乗し、405B instruct モデルが最悪の性能を示す。被害は、小規模では上部尾部から始まり、大規模では中心傾向へと波及する。
• 実世界での検証: 逆スケーリングは、COVID-19、住宅バブル、超インフレ、ワクチン前の麻疹において再現する。特に、重症度で選択されていない麻疹データセットは、視野の拡大に伴い正のスケーリングから逆スケーリングへの交差を示し、この効果が極端な事象の事前選択のアーティファクトではないことを確認する。
• ドメイン知識の失敗: プロンプト介入の効果は一貫しない。ドメインを命名することは COVID-19 の較正を回復し、住宅および麻疹では部分的に軽減するが、超インフレには効果がない。重要なのは、モデルが 48 回の直接プローブのうち 46 回で超インフレ危機を正しく特定しているにもかかわらず、予測中にこの知識を較正された尾部に変換できない点である。
• 指標への依存性: 本論文は、スコアリングルールに応じて能力 - 精度関係の符号が反転することを示している。FBSim において、有能なモデルは二値ブライアースコアでは改善する（$\rho = +0.45$）が、CRPS では劣化する（$\rho = -0.42$）。同一の連続予測からブライアースコアを導出すると、正のスケーリングが再現され、失敗は二値結果ではなく上部尾部の積分にあることを証明する。

意義と主張
本論文は、二値または単一閾値指標のみに依存する現在の LLM 予測ベンチマークは、尾部リスクを伴うタスクに対して根本的に欠陥があると主張している。これらのベンチマークは、尾部を含むスコアリングが壊滅的な劣化を明らかにする場において、能力を認定している。

著者らは、最も能力の高いモデルが成長軌跡に「早期にコミット」する可能性が最も高く、レジームが変化した際に較正が崩れると論じている。これは注意散漫による誤りではなく、「能力駆動型の過剰コミットメント」の一種である。標準的な訓練目的と評価指標が閾値精度を報酬とするため、この過剰コミットメントは規模の拡大だけでは修正されず、さらなるスケーリングに伴って相乗する可能性がある。

本論文は、LLM 予測評価には、上部尾部の失敗を検出するために、閾値指標に加えて連続的で有界ではない精度指標（CRPS や対数スコアなど）を含めるべきであると推奨している。これらの知見は、適切な分布較正なしに、現在の最先端モデルを（感染症介入のタイミング、金融リスク管理、金融政策など）尾部に敏感なタスクに展開することは、体系的な過剰反応をもたらし、回避可能な現実世界の害を招く可能性を示唆している。