論文「The Illusion of Stochasticity in LLMs」の技術的サマリー

1. 問題定義

大規模言語モデル（LLM）がエージェントとして複雑な環境と対話する際、推論された方策（ポリシー）に従って確率的に行動することが求められます。しかし、従来の研究や実運用において、LLM は「方策を理解している（Knowing）」にもかかわらず、その方策に従って「確率的に行動する（Doing）」ことができないという「Knowing-Doing Gap」が存在していました。

本論文は、この現象の根本的な原因として、LLM が特定の分布から信頼性を持ってサンプリング（乱数生成）できないという欠陥を指摘しています。標準的な強化学習エージェントは外部のサンプリング機構に依存しますが、LLM は内部の確率推定値を確率的な出力にマッピングする際に失敗し、訓練データのバイアスや位置バイアスに依存した「疑似的な確率性（Illusion of Stochasticity）」しか生み出せないことを示しています。

2. 研究方法

著者らは、Gemini ファミリー（2.5-Flash, 2.5-Pro, 3.0-Pro）や Qwen3 ファミリー（8B, 14B, 32B など）など、複数の最先端モデルを対象に、以下の多角的な実験を行いました。

• 独立サンプリング実験:

  • 一様離散分布（0-9、文字列など）、一様連続分布、ガウス分布などから、モデルに N 回（通常 1024 回）独立してサンプリングを指示。
  • 生成されたサンプルの分布を目標分布と比較し、カイ二乗検定やコルモゴロフ・スミルノフ検定（GoF テスト）を用いて適合度を評価。
  • 温度パラメータ（Temperature）、Top-p、Top-k などのデコーディングパラメータを変化させて影響を調査。
  • Chain-of-Thought（CoT）を有効・無効にした場合の比較。

• 逐次・バッチサンプリング実験:

  • 過去の生成履歴（全履歴または最終履歴）をコンテキストに含め、状態依存型のサンプリング（疑似乱数生成器 PRNG の模倣）を試行。
  • 一度に大量のサンプル（バッチ生成）を要求する実験。

• ツール利用と PRNG 模倣:

  • Python コード実行ツール（サンドボックス）を利用させ、random モジュールを用いたサンプリングを指示。
  • ツールを使わず、LLM 自身に PRNG アルゴリズム（線形合同法など）のコードとシードを与えて、計算プロセスを模倣させる実験。

• 分布変換実験:

  • 一様分布 [0, 1] から生成された乱数を「シード」として与え、LLM に決定論的なアルゴリズム（逆変換サンプリングなど）を用いて、他の分布（一様離散、ガウス、混合ガウスなど）へ変換させる実験。

3. 主要な結果

3.1 独立サンプリングの失敗

• 分布の偏り: どのモデルも、一様分布やガウス分布から信頼性を持ってサンプリングできませんでした。特に離散空間では特定の値（例：7 や 42）を過剰に選択する傾向や、連続空間では分布の中央付近に偏る傾向が見られました。
• 位置バイアス: 選択肢の提示順序によって偏りが変化しました（例：「上、下、左、右」の順で提示すると「上」を選びがちだが、順序を変えると「左」や「右」を選ぶなど）。
• パラメータの影響: 温度パラメータやデコーディング設定を変更しても、根本的なサンプリング失敗は解消されませんでした。

3.2 逐次・バッチサンプリングの限界

• 履歴依存: 過去の生成履歴をコンテキストに入れることで一様分布の近似度は向上しましたが、ガウス分布では依然として失敗しました。また、生成序列間に強い自己相関（時間的バイアス）や周期性が生じ、ランダム性が損なわれていました。
• バッチ生成: 一度に多数のサンプルを生成させる場合、LLM は指示された個数を正確にカウントできず、生成パターンが周期的に繰り返されるなどの問題が発生しました。

3.3 ツール利用と PRNG 模倣

• ツール利用: Python コード実行ツールを使用し、かつ「現在の時刻をシードとして使用せよ」と明確に指示した場合、モデルは比較的良好なサンプリングが可能になりました。ただし、モデルの指示追従能力に依存し、シード設定を忘れるケースや、並列実行時の競合によるバイアスが発生するリスクがありました。
• PRNG 模倣: LLM 自身に PRNG アルゴリズムを計算させる場合、一様分布のシミュレーションはモデルサイズが十分大きければ 90% 以上の精度で成功しました。しかし、ガウス分布のシミュレーション（Box-Muller 変換など）では、2 回目の乱数生成時に巨大な数の乗算が必要となり、計算精度が著しく低下して失敗しました。

3.4 分布変換の成功（重要な発見）

• 決定論的変換の能力: 外部から [0, 1] の一様乱数を与え、「この値を基に特定の分布に変換せよ」と指示した場合、LLM は逆変換サンプリングやバケツ化などの決定論的アルゴリズムを正しく実行し、目標分布に非常に忠実にサンプルを生成できました。
• モデルサイズ依存性: この変換能力はモデルサイズに依存しており、ガウス分布への変換には 4B パラメータ以上のモデル、一様離散分布への変換には 1.7B パラメータ以上のモデルが必要であることが示されました。

4. 主要な貢献

1. LLM の確率的サンプリング能力の限界の明確化: 最先端の LLM であっても、内部で確率分布から直接サンプリングすることは本質的に困難であり、単なる「確率性の錯覚」に過ぎないことを実証しました。
2. 「Knowing-Doing Gap」のメカニズム解明: モデルが分布の概念を理解していても、それを確率的な出力に変換するプロセス（特にランダム性の注入）に失敗していることを示しました。
3. 解決策の提示と限界の特定:
   • 外部ツール（PRNG）や、与えられた乱数を用いた「分布変換」アプローチが有効であることを示しました。
   • 一方で、状態依存型の PRNG 模倣や複雑な分布変換（特にガウス分布）における計算能力の限界を明らかにしました。

5. 意義と今後の展望

本論文は、LLM をエージェントとして活用する際の重要なボトルネックを浮き彫りにしました。

• エージェント設計への示唆: LLM に確率的な行動を委ねるのではなく、確率的サンプリングのタスクは外部の信頼性の高いランダムジェネレーターに任せるか、LLM には「決定論的な変換ロジック」のみを実行させ、ランダムな入力（シード）は外部から与えるというアーキテクチャが現実的であることを示唆しています。
• 研究の方向性: 現在の LLM は「計算」や「変換」は得意ですが、「生成（サンプリング）」が不得意であるという非対称性が明らかになりました。今後は、このギャップを埋めるための特別なトレーニング（ランダム性学習）や、状態を管理するツールとの連携が重要になるでしょう。

結論として、LLM は「確率的な意思決定」を行うためのランダム性生成器としては機能せず、あくまで「確率的な方策を決定論的に実行する変換器」として利用するべきであるという重要な知見を提供しています。