技術要約：大規模言語モデルにおける非決定論的なドリフトの定量化

問題提起

大規模言語モデル（LLM）は、要約から意思決定支援に至るまで、極めて重要なタスクへの導入が進んでいる。これらのデプロイメントにおける基本的な期待は、固定された「決定論的」な設定（例：temperatureを0.0に設定し、シード値を固定）の下で実行された場合、同一のプロンプトは同一の出力を生成することである。しかし、経験的な証拠は、これが必ずしも成立しないことを示唆している。

本論文は、**ベースライン行動ドリフト（baseline behavioural drift）**という現象を取り上げる。これは、安定化のための指示やオペレーターレベルの介入なしに、同じプロンプトが複数回発行された際に観察される変動のことである。このドリフトは、主に以下の2つのソースから発生する：

1. モデル固有の特性： サンプリングアルゴリズムおよびモデルのスケール。
2. インフラストラクチャに起因する非決定性： サービング・インフラストラクチャ（誤ったコンパイルによるサンプリングアルゴリズム、浮動小数点数の非結合性、および不透明なAPI最適化（例：ダイナミックバッチング、リクエストキューイング）を含む）。

核心となる問題は、このドリフトをオペレーターの介入なしに体系的に定量化する手法が欠如していることである。測定されたベースラインがなければ、固有のモデルの変動性と、提案された緩和策の効果を区別することは不可能である。

メソドロジー

本研究は、通常の、オペレーター不在の条件下でのベースライン・ドリフトを定量化するために設計された、測定重視の実験である。本研究は、新しい安定化技術やプロンプトエンジニアリングの手法を導入するものではない。

実験セットアップ

• テスト対象モデル：
  • gpt-4o-mini： 独自のクラウドAPIを介して提供される小型モデル。
  • llama3.1-8b： 単一のNVIDIA A100 GPU上でvLLMエンジンを使用して動作するオープンウェイトモデル。
• プロンプトカテゴリ： 感度をテストするために、以下の5つの異なるカテゴリを使用した：
  1. 不十分な仕様の要約（Underspecified summaries）
  2. 不十分な仕様のアドバイス（Underspecified advice）
  3. 緩い制約（Light constraints）
  4. スタイルプロンプト（Style prompts）
  5. 厳しい制約（Hard constraints）
• プロンプティングモード：
  1. 正確な反復（Exact Repeats）： 同一のプロンプトを複数回実行。
  2. 摂動入力（Perturbed Inputs）： 意味を維持しつつ、類義語や軽微な語彙の変化を導入。
  3. 再利用（Reuse）： 前回の回答を次のプロンプトの入力としてフィードバック。
• パラメータ： 実験は、temperature 0.0 および 0.7 で実施された。
• ボリューム： 各モデル/プロンプトの組み合わせについて、30回（gapfillデータセット）または20回（small battery）実行した。APIエラーまたは拒絶が発生した実行は除外した。

指標

本研究は、セマンティック（意味論的）な指標がより深い分析には必要であることを認めつつも、ドリフトの保守的な下限値を提供するために、語彙的指標に依存している（セマンティックな指標は今後の課題として残されている）。

1. ユニーク出力比率（Unique Output Fraction）： 全実行数に対する異なる回答の割合（2回目の呼び出しにおける新しい回答の確率を近似するもの）。
2. 平均ペアワイズ・ジャカード類似度（Average Pairwise Jaccard Similarity）： トークン化された出力に対して計算され、語彙的な重複を測定する。
3. 単語数統計（Word Count Statistics）： 実行間における単語数の平均および標準偏差。

主要な結果

実験の結果、「決定論的」であるはずの設定（Temperature 0.0）においても、非決定性が持続していることが明らかになった。

• Temperature 0.0 におけるベースラインの変動性：

  • gpt-4o-mini： 約 24% の実行で異なる出力が発生した（Unique Fraction = 0.24）。平均ジャカード類似度は0.89であった。
  • llama3.1-8b： 約 9% の実行で異なる出力が発生した（Unique Fraction = 0.09）。平均ジャカード類似度は0.97であった。
  • 観察事項： API経由のモデルは、ローカルのオープンウェイトモデルよりも約2.5倍高い変動性を示した。

• 摂動と再利用の影響：

  • 摂動入力（Perturbed Inputs）： 変動性が大幅に増加した（gpt-4o-mini: 0.57; llama3.1-8b: 0.27）。
  • 再利用モード（Reuse Mode）： 正確な反復と比較して変動性が減少した（gpt-4o-mini: 0.20; llama3.1-8b: 0.10）。

• Temperature (0.7) の影響：

  • Temperatureを0.7に上げると、ほぼ完全な多様性が生じた。ほぼすべての実行で新しい回答が得られ（Unique Fraction $\approx$ 1.0）、語彙的類似度はすべてのモードにおいて0.52を下回った。

• モデルおよびデプロイメントの違い：

  • より大きなモデルおよびAPI経由のデプロイメントは、一般的に高い分散を示した。本研究は、API環境で見られるドリフトの一部は、モデルの重みそのものではなく、推論スタック（隠れた最適化、バッチング）を反映していることを示唆している。

主要な貢献

1. ベースライン・ドリフトの体系的な定量化： 本論文は、2つの異なるデプロイメントタイプ（API vs ローカル）、5つのプロンプトカテゴリ、および3つのプロンプティングモードにわたる、ベースライン行動ドリフトの初の体系的なマルチモード測定を提供している。
2. 持続的な非決定性の証拠： 「決定論的」な設定（Temperature 0.0）が再現性を保証しないことを実証している。変動のパターンは、モデルのサイズ、デプロイメント方法、およびプロンプティングモードによって異なる。
3. 「分散予算（Variance Budgets）」による概念的枠組み： これらの測定値を、信頼性工学における「エラー予算（error budget）」に類似した「分散予算」の概念を用いて文脈化している。これにより、ドリフトを単なる二値的な失敗ではなく、アプリケーションが許容可能な変動レベル（例：財務数値における $\pm$5%）を決定すべきリソース配分問題として位置づけている。
4. 測定と制御の分離： 本研究は、ドリフトの測定と、その緩和を明確に区別している。偏りのないベースラインを確立することで、測定ノイズと将来の安定化技術の有効性の混同を防いでいる。

重要性と主張

本論文は、処方的な解決策ではなく、記述的かつ基礎的な研究として位置づけられている。その重要性は以下の点にある：

• 参照点の確立： 将来の緩和研究（例：プロンプトエンジニアリング、制約付きデコーディング）と比較するための、必要なベースラインを提供している。このベースラインがなければ、介入が実際にドリフトを減少させているのか、あるいは単にそれを覆い隠しているだけなのかを判断することは不可能である。
• インフラストラクチャの影響の強調： 観測されるドリフトの大部分は、モデル自体ではなく、推論スタック（API、ハードウェア、バッチング）に由来していることを示唆する結果を得ている。
• 語彙的指標の限界の定義： 本研究は解釈可能性のために語彙的指標を使用しているが、その限界（例：無害な言い換えをドリフトとしてフラグ立てしてしまうこと）を明示的に認め、将来の研究におけるセマンティックな指標の統合を求めている。
• 信頼性への示唆： これらの知見は、LLMの単一の実行に依存することが、ワーストケースのパフォーマンスを見落とす可能性があることを示唆している。モデルの挙動の完全な姿を示すためには、複数回の実行を報告することが推奨される。

著者らは、非決定性は現在のLLMにおける固有の特徴であり、スケールとインフラストラクチャの両方に起因すると結論付けている。このドリフトを理解し定量化することは、マルチエージェントシステムや長期的な相互作用におけるLLMの信頼性を向上させるための前提条件である。