技術要約: UNPREDICTABENCH

問題提起

大規模言語モデル（LLM）は、経済シミュレーション、疫学モデリング、マルチエージェント環境などのアプリケーションにおいて、人間の行動や確率的システムのプロキシ（代理）として、ますます活用されるようになっている。LLMは確率分布について推論し、確率を推定する能力を示しているが、ターゲットとなる分布を忠実に反映したサンプルを「生成」する能力には決定的な欠落がある。現在のモデルは、単一の妥当な回答や狭い出力範囲へと「崩壊（collapse）」する傾向があり、現実世界の確率的プロセスに内在する真の予測不可能性や分散を捉えきれないことが多い。出力の多様性を向上させるための既存の研究は、単に多様な出力を出すことではなく、特定のターゲット分布に校正されたサンプルを必要とするこれらのシミュレーション・タスクに対しては不十分である。LLMが、グラウンドトゥルース（正解）の分布と統計的に一致する不確実な結果を生み出すことができるかどうかを判断するための、体系的な評価手法が不足している。

メソドロジー

このギャップに対処するため、著者らは、LLMの分布的ランダム性を評価するために設計されたベンチマークである UNPREDICTABENCH を導入する。

ベンチマークの構成

このベンチマークは、40種類のターゲット確率分布（単峰型から多峰型、離散型から連続型まで）に由来する448個のテストインスタンスで構成されている。タスクは、多様な表現形式を通じて分布理解を調査するために、以下の7つのカテゴリに分類されている：

1. Text Explicit（テキスト明示型）: 分布とそのパラメータが明示的に名前付けられており、モデルはサンプルを生成しなければならない。
2. Text Implicit（テキスト暗示型）: 分布の名前は挙げられず、現実世界のシナリオが記述される。モデルは確率過程を推論し、サンプルを生成しなければならない。
3. Code Explicit（コード明示型）: モデルは、分布から直接サンプリングを行うPythonプログラム（例：NumPy経由）の出力を予測する。
4. Code Implicit（コード暗示型）: ターゲット分布が（例：ガンマ変数の比率などにより）変換を通じて誘導されるプログラムの出力を、モデルは予測する。
5. Multimodal（マルチモーダル）: 2つ以上の成分分布の混合からのサンプリング。
6. Shuffling（シャッフル）: リストの一様ランダム置換の生成（評価のためにレーマー符号を用いてエンコードされる）。
7. Real-World Scenarios（現実世界のシナリオ）: 本質的に不確実な環境（例：レースコンディション、MCMCダイナミクス、ネットワークシミュレーション）を含む、手作業でキュレーションされたタスク。

評価指標: KS@N

主要な評価指標は、コルモゴロフ・スミルノフ（KS）統計検定を用いて分布の忠実度を定量化する KS@N である。

• 手順: 与えられた問題に対し、モデルは $N$ 個の独立したサンプル（通常 $N=100$）を生成する。これらは、グラウンドトゥルースの分布から抽出された $M=10,000$ 個のリファレンスセットと比較される。
• 計算: 2標本KS検定を実行し、p値を得る。p値が厳格な閾値（$p_{threshold} = 0.0001$）を超える場合、モデルのサンプルはグラウンドトゥルースと矛盾しないものとして棄却されない。
• スコア: KS@N は、モデルのサンプルが棄却されなかった問題の割合として定義される。スコアが高いほど、分布の校正（キャリブレーション）が優れていることを示す。
• 補完的指標: また、テールの挙動や位置のシフトを捉えるための Debiased Wasserstein-1 Distance (WDZ) および、密度レベルの形状の不一致を測定する Jensen–Shannon Divergence (JSD) も報告されている。

主な結果

著者らは、多様なオープンウェイトモデルおよびプロプライエタリモデル（GPT-4o/5.4、Claude Sonnet、Llama 3、Qwen、Nemotron、DeepSeekを含む）を評価した。

• 全般的なパフォーマンス: いかなるモデルも KS@100 スコアで40%を超えなかった。最も優れた性能を示した Nemotron-3 Super 120B は 32.64% を記録したが、多くの最先端モデル（例：GPT-5.4、Claude Sonnet 4.6）は15%を下回った。ほとんどのモデルは0%から20%の間に集中していた。
• 失敗モード: モデルは2つの異なる方法で失敗する。(1) ターゲット分布の内部表現が欠如している、または (2) おおよその形状は理解しているが、狭い出力範囲に崩壊する（モード崩壊）。
• タスクの難易度:
  • Shuffling および Code タスクは最も困難であり、どのモデルも40%を超えず、強力なモデルであっても0%に崩壊するものがあった。
  • Real-World タスクは、一部のモデル（例：Llama-3.2-1B が 59.09% に到達）において高い個別スコアを記録したが、これは特定のシナリオにおける実効的な出力範囲が狭いためと考えられる。
  • Multimodal 分布は、決定論的な傾向が強いモデルにとって著しく困難であり、しばしば完全な崩壊を引き起こした。
• 介入の影響:
  • Reasoning（推論）: 推論トークンを有効にすることで、一部のモデルで最終的な出力性能が向上したが、他のモデルにおいては、推論トークンが最終出力よりも広い候補セットを含んでいることから、「言っていること以上に知っている（know more than they say）」という現象も明らかになった。
  • Instruction Tuning（指示チューニング）: 指示チューニングによる恩恵は限定的であり、場合によってはベースモデルと比較して出力の多様性を能動的に減少させた。
  • Temperature（温度）: 高い温度（例：$T=1.2$）は、多様性を高めることで一般に KS@100 を向上させたが、弱いモデルではテールの偏差が増大することによる悪影響も受けた。
  • List Prompting（リスト・プロンプティング）: サンプルのリスト（例：一度に10個ずつ）を生成するように求めることは、能力のあるモデルではグローバルなカバレッジを向上させたが、他のモデル（例：Llama-3.2-1B）では性能を低下させた。

意義と主張

本論文は、UNPREDICTABENCH を、LLM を信頼できる複雑な確率的システムの代用として使用するための不可欠な第一歩として位置づけている。

• 統計的根拠: 「LLM-as-a-judge」型の評価とは異なり、UNPREDICTABENCH は既知のグラウンドトゥルースに対する分布の忠実度を直接測定する、統計的根拠に基づいた指標（KS@N）を提供している。
• 有用性との相関: このベンチマークは、創造性ベンチマーク（NoveltyBench、CREATE）の有用性指標と強く相関しており、分布の忠実度が、創造的かつ多様な生成に関連する真の品質側面を捉えていることを示唆している。
• 現在の限界: 著者らは、単純な分布シミュレーションでさえ現在のモデルにとって大きな課題であることを強調している。現在のパフォーマンスと理論的な上限（Random Machine）との間の大きな隔たりは、LLMが、忠実なランダム性を必要とするハイステークスなシミュレーション・タスクに対して、まだ準備ができていないことを示している。
• 今後のロードマップ: このベンチマークは、将来の研究のためのテンプレートを提供している。具体的には、スケーラブルな難易度曲線（$N$ の増加による）と、ランダム性、不確実性の校正、および学習目的（例：RLHF）が確率的挙動に与える影響を調査するための統一されたテストベッドを提供している。

結論として、LLMはランダム性について推論することはできるが、それを「生成」する能力は根本的に欠陥があり、校正を犠牲にすることなく出力の多様性を維持するための、モデルアーキテクチャや学習戦略に関するさらなる研究が必要であるとしている。