技術要約：DモデルとEモデル：大規模言語モデルのサンプリング挙動における多様性–安定性のトレードオフ

問題提起

大規模言語モデル（LLM）は、コード生成、検索、レコメンデーションシステムなどのウェブスケールなアプリケーションにおいて、ますます活用されています。これらの文脈において、モデルの生成プロセスは、潜在的なアイテムの分布からのサンプリング操作として実質的に機能します。LLMは現実世界の分布を近似できることが知られていますが、その細粒度なステップごとのトークン・サンプリング確率（$P_{token}$）が、タスクレベルの目標分布（$P_{task}$）に忠実に一致しているかどうかについては、理解における決定的なギャルプが存在します。

既存の研究では、乱数生成やコイン投げを行う際のLLMの能力の欠陥が特定されていますが、これらは主に経験的かつシナリオ固有のものです。内部的なトークンレベルの分布（$P_{token}$）とタスクレベルの目的分布（$P_{task}$）の間のマッピングに関する系統的な分析や、これらの内部メカニズムが複雑なタスクにおける実用的な結果にどのように影響するかについての明確な理解は不足しています。本研究が取り組む核心的な問いは、「LLMは異なるタスクの目的分布を効果的に理解し適応できるのか、そして彼らの内部サンプリング挙動は、多様性と安定性に影響を与える明確なパターンを示すのか？」という点です。

手法

著者らは、以下の3つの主要な分布を関連付けることで、LLMのサンプリング挙動を分析するための確率論的フレームワークを提案しています。

1. $P_{task}$: タスクによって定義される候補セットに対する目標確率分布（例：特定の数値分布の生成）。
2. $P_{token}$: 各生成ステップにおいて、モデルが出力する語彙に対する内部確率分布。
3. $P_{result}$: 最終的に生成された出力の経験的分布。

実験設計

本研究では、多段階の検証アプローチを採用しています。

• シミュレーションによる分布タスク: 著者らは、明示的に定義された $P_{task}$ を持つ離散確率サンプリングタスク（例：一つの支配的なトークンを持つ「極端な分布」や、一様確率を持つ「フラットな分布」）を設計しました。モデルには、これらの分布に厳密に従って数値列を生成するようにプロンプトを与えました。
• 指標:
  • e-score: $P_{token}$ の極端さを定量化します（各ステップにおける最大確率の平均）。高いスコアは決定論的な挙動を示します。
  • ATVD (Average Total Variation Distance): 分布間の乖離（$P_{task}$ vs $P_{token}$、$P_{task}$ vs $P_{result}$、および $P_{token}$ vs $P_{result}$）を測定します。
  • ATVD-step: $P_{token}$ と $P_{task}$ のステップごとの整合性を測定します。
• ダウンストリームタスク評価: 特定されたモデルタイプは、コード生成（HumanEvalベンチマーク）およびレコメンデーション（MovieLens-1Mデータセット）で評価されました。
  • コード: $\Delta_{pass}$（成功したソリューションの多様性）およびベクトル類似性を通じて測定。
  • レコメンデーション: Precision（適合率）および「can-hit」率（推奨事項が事前に定義された候補リスト内に含まれる割合）を通じて測定。
• 内部メカニズム分析: 本研究では、温度（Temperature）、事前バイアス（Prior Bias）（固有の数値的選好）、層ごとの確率進化（Layer-wise Probability Evolution）、およびクォータ補償仮説（Quota Compensation Hypothesis）（モデルが過去のサンプリング誤差に基づいて将来のロジットを調整するかどうか）の影響を調査しました。

主要な知見とモデル分類

制御されたシミュレーションとダウンストリーム評価を通じて、著者らはLLMの挙動における顕著な二分法を特定し、モデルを2つの異なるタイプに分類しました。

1. Dモデル (Deterministic Models / 決定論的モデル)

• 例: Qwen-2.5, Llama-3.1, DeepSeek-R1, DeepSeek-v3.
• 挙動: 高い e-score（多くの場合 > 0.9）を示し、$P_{token}$ がターゲット分布に関わらず単一のトークンに高度に集中していることを示します。
• メカニズム: 彼らは決定論的なグローバル・プランニングを採用しています。一様な出力が求められる場合でも、特定のトークンに固執する傾向があり、その結果、$P_{token}$ にステップ間の大きな変動が生じます。
• パフォーマンス:
  • コード生成: 決定論的なコアへの微小な摂動を通じて多様な候補ソリューションを生成するため、高い $\Delta_{pass}$ を実現し、優れたパフォーマンスを発揮します。
  • レコメンデーション: 「can-hit」率が低くなる傾向があり、多様ではあるものの、提供された候補リストから外れた無関係なアイテムを生成することがあります。

2. Eモデル (Exploratory Models / 探索的モデル)

• 例: Mistral-Small, Gemma-2, GPT-3.5-Turbo, GPT-4o.
• 挙動: 低い e-score を示し、$P_{token}$ 分布が $P_{task}$ とより密接に一致しています。
• メカニズム: 彼らは探索的なローカル・プランニングを示します。トークン確率はより安定しており、タスクが要求する分布に適応しますが、厳密に要求されるよりも高い集中度を示す傾向があります。
• パフォーマンス:
  • コード生成: $\Delta_{pass}$ が低くなります。構文に敏感なタスクにおける広範な探索は、しばしば意味的または実行上のエラーを導入します。
  • レコメンデーション: 生成が候補セットの制約に厳密に沿うため、高い「can-hit」率とPrecisionを達成します。

内部特性

• 温度感受性: Eモデルは温度変化に対して非常に敏感であり、多様性の柔軟な制御を可能にします。Dモデルは、高い温度設定においても低エントロピーなサンプリングを維持し、分布の平坦化に対する抵抗性を示します。
• 事前バイアス: 分析により、偏差はモデルの固有の数値的選好（プライア）によるものではないことが確認されました。
• 層の進化: 初期の層では、両方のモデルタイプが均一な確率を示します。しかし、「アップレイヤー（出力に近い層）」において、Dモデルは極端な確信度を維持する一方、Eモデルは徐々にタスク分布へと収束していきます。
• クォータ補償: Dモデルが $P_{task}$ に一致させるために、サンプリング誤差を補正するように将来のロジットを調整するという仮説は、棄却されました。相関分析の結果、過去のサンプリング残差と将来の確率調整との間に有意な関係は見られず、Dモデルは反応的な補償ではなく、グローバルな計画に依存していることが示唆されました。

主な貢献

1. ウェブタスクの確率論的視点: 本論文は、ウェブタスクを確率的サンプリングプロセスとして定式化し、$P_{token}$ と $P_{task}$ の間の整合性に基づいた2つの異なるモデル挙動（DモデルとEモデル）の存在を検証しました。
2. タスク固有のトレードオフ: 本研究は、系統的な多様性–安定性のトレードオフを明らかにしました。Dモデルは多様性と決定論的な洗練を優先しますが（コード生成に有利）、厳密な制約への遵守には苦戦します（レコメンデーションに不利）。Eモデルは安定性と制約への遵守を優先しますが（レコメンデーションに有利）、複雑なコード探索に必要な制御された多様性が不足する場合があります。
3. メカニズム分析: 温度感受性、層ごとの進化、および補償メカニズムを調査することで、本論文は、なぜこれらの行動の違いが存在するのかについて、経験的な観察を超えた因果的な洞察を提供しています。

意義と主張

著者らは、これらの知見がLLMの確率的サンプリング挙動に関する基礎的な洞察を与えるものであると主張しています。DモデルとEモデルの特定は、現実世界のウェブアプリケーションにおけるモデルの選択と構成に実用的な指針を提供します。

• 信頼性と厳密な制約遵守が求められるタスク（例：検索、レコメンデーション、存在しないアイテムの幻覚が致命的となる対話型エージェント）には、Eモデルが推奨されます。
• 多様なソリューションの探索と反復的な洗練が求められるタスク（例：コード生成、クリエイティブ・ライティング）には、Dモデルがより効果的である可能性があります。

本論文は、サンプリングプロセスを監査可能かつ説明可能にすることが、責任あるAI開発にとって極めて重要であると結論付けています。モデルがDモデルとして機能しているかEモデルとして機能しているかを理解することで、実世界の不確実性下において、多様性と信頼性のバランスをより適切に取ることが可能になります。