論文要約：大規模言語モデルは悪いサイコロプレイヤーである

（原題：Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions）

この論文は、最先端の大規模言語モデル（LLM）が、指定された確率分布から忠実にサンプリングする能力に根本的な欠陥を抱えていることを実証した、大規模かつ統計的に強力な調査報告です。LLM が単なるチャットボットから、確率的パイプラインや汎用人工知能（AGI）に近づくシステムの中核コンポーネントへと進化している現状において、この「確率的サンプリング能力の欠如」は理論的な興味を超えた機能的な課題となっています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

LLM は、合成データ生成、教育用教材の自動作成（多肢選択問題の作成）、テキストから画像へのプロンプト生成など、確率的な出力が求められる多くの応用分野で利用されています。これらの応用では、モデルが指定された確率分布（一様分布、正規分布など）に従ってデータを生成できることが前提とされています。

しかし、既存の研究は小規模なサンプル数や単純な分布に限定されており、LLM が「内部に確率的サンプリャー（確率分布を内在的に理解・実装する機構）」を持っているかどうかは未解明でした。本研究は、LLM が外部のライブラリ（例：NumPy）に頼らず、言語モデル単体で指定された分布からサンプリングできるかを検証することを目的としています。

2. 手法 (Methodology)

2.1 評価対象とタスク

• モデル: 11 種類の最先端 LLM（GPT-5.2, GPT-4o, Gemini-3, DeepSeek-V3.2, Llama-4 など）を評価対象としました。
• 分布: 15 種類の確率分布を 3 つの階層（Tier）に分類して評価しました。
  • Tier I (基本): 一様分布、正規分布、ベルヌーイ分布など。
  • Tier II (制約あり): ベータ分布、二項分布、ポアソン分布など。
  • Tier III (複雑): コーシー分布、学生 t 分布、カイ二乗分布など（重たい裾や未定義のモーメントを持つ分布）。
• サンプルサイズ: 各設定で $N=1000$ のサンプルを生成し、統計的な検出力を確保しました。

2.2 二重プロトコル設計 (Dual-Protocol Design)

失敗モードを解明するため、2 つの異なるプロトコルで評価を行いました。

1. バッチ生成 (Batch Generation): 1 つのプロンプトで $N=1000$ 個のサンプルを一度に生成させる。
   • 目的：コンテキスト内の自己修正（文脈依存性）が分布の忠実度に与える影響を評価。
2. 独立リクエスト (Independent Requests): $N=1000$ 回のステートレスな個別呼び出しを行い、1 回につき 1 つのサンプルを生成させる。
   • 目的：モデルの「内在的な」サンプリング能力（文脈依存なし）を評価。

2.3 評価指標

• 統計的妥当性: Kolmogorov-Smirnov (KS) 検定（連続分布）およびカイ二乗適合度検定（離散分布）を用い、$p > 0.01$ を合格基準としました。
• 忠実度メトリクス: ワッセルシュタイン距離 (Wasserstein-1 distance, W1) および KL 発散を用いて、生成分布と目標分布の幾何学的な乖離を定量化しました。

2.4 下游応用タスク

抽象的な数値生成だけでなく、実世界タスクへの影響も検証しました。

• 多肢選択問題 (MCQ) 生成: 正解の位置（A, B, C, D）が一様分布になるよう指示し、バイアスを検証。
• 属性制約付きプロンプト生成: 性別、人種、身長、コートの色など、米国国勢調査に基づく特定の分布に従うよう指示し、テキスト生成における分布遵守能力を評価。

3. 主要な結果 (Key Results)

3.1 プロトコル間の極端な非対称性

• バッチ生成: 中程度の統計的妥当性を示しました。最上位モデルでも分布の 40% しか合格しませんが、中央値は 7% でした。
• 独立リクエスト: ほぼ完全な失敗でした。11 モデル中 10 モデルが、どの分布においても統計的検定を 1 つも合格しませんでした（合格率 0%）。
• 結論: LLM の「サンプリング能力」は、文脈依存による自己修正に依存しており、独立したサンプリング能力は欠如しています。

3.2 分布の複雑さとサンプリング精度の逆相関

• 分布の複雑さ（Tier I から Tier III へ）が増すにつれて、モデルの合格率は単調に低下し、W1 距離は増大しました。
• 特にコーシー分布やカイ二乗分布など、数学的に複雑な分布では、どのモデルも統計的検定を通過できませんでした。

3.3 サンプリング予算（N）の増加による精度低下（逆スケーリング）

• 通常、サンプル数 $N$ を増やすと分布への収束が良くなると予想されますが、LLM では逆の現象が観測されました。
• $N$ が増加するにつれて、W1 距離は増大し、統計的検定の p 値は有意水準以下に急落しました。
• これは、サンプリングの誤差が蓄積し、長期的な生成において分布からの乖離が顕著になることを示しています。

3.4 下游タスクへの系統的バイアス

• MCQ 生成: 「正解の位置を均一に」という明確な指示があったにもかかわらず、すべてのモデルが特定の位置（例：GPT-4o は B、GPT-OSS は C）に偏った正解を生成しました。
• プロンプト生成: 性別や人種の分布を指定しても、モデルは特定の属性（例：男性の過剰表現、特定の人種の欠落）に強く偏り、身長分布では分散が目標値の 10 分の 1 以下に収束（Variance Collapse）する現象が観測されました。

4. 主要な貢献 (Contributions)

1. 機能性のある内部サンプリャーの欠如の証明: 現在の LLM は、確率的サンプリングを行うための機能的な内部メカニズムを持っていないことを初めて大規模に実証しました。
2. 分布の複雑さによる性能限界の特定: サンプリングの精度は分布の複雑さに強く依存し、複雑な分布ではモデルが表面的なパターンマッチングに留まり、数学的構造を一般化できないことを示しました。
3. サンプリング予算の逆効果の発見: サンプル数 $N$ の増加が分布への適合を改善するのではなく、むしろ統計的に有意な乖離を露呈させる「逆スケーリング」現象を明らかにしました。

5. 意義と示唆 (Significance)

• 実用的な影響: 合成データ生成、公平性のある評価資料の作成、シミュレーションなど、確率的厳密性が求められる分野において、LLM をそのまま使用することは危険です。生成されたデータは意図した分布から系統的に逸脱しており、バイアスを増幅させる可能性があります。
• アーキテクチャ的限界: LLM は「ランダムさの言語的記述」は学習していますが、「ランダムさの機能的な実行」は学習していないことを示唆しています。これは、汎用人工知能（AGI）への道筋において、世界ダイナミクスのシミュレーション能力が未熟であることを意味します。
• 解決策の必要性: 統計的な保証が求められるアプリケーションでは、LLM 単体での生成に頼らず、NumPy や SciPy などの外部数値ライブラリを呼び出すコード生成（Tool Use）や、外部のランダム数生成器との連携が必須であることが示されました。

結論として、 現在の LLM は「サイコロを振る」ことができません。彼らはランダムな数字を生成するのではなく、学習データに基づいた確定的なバイアスを反映した出力を生成しており、確率的システムの中核コンポーネントとして信頼して使用することはできません。