Sequential statistical inference for Large Language Models: Representation, validity, and monitoring

技術要約：大規模言語モデルのための逐次的統計的推論

問題提起
現在の大規模言語モデル（LLM）に関する統計的枠組みは、多くの場合「次トークン予測」の観点に依存しており、モデルの出力を孤立した、独立したイベントとして扱っています。しかし、実際の運用において、LLMは繰り返しクエリを受け、進化するコンテキストに条件付けられ、ユーザーやツールと相互作用し、フィードバックループを取り入れるといった、動的な環境内で動作します。この運用の実態は、一連の独立したプロンプトと応答のペアではなく、依存関係のある確率過程を生み出します。その結果、古典的な共形予測（conformal prediction）に求められる交換可能性（exchangeability）といった標準的な統計的仮定が頻繁に崩れることになります。本論文は、LLMを静的な予測器として扱うことは、デプロイメントにおける重要な課題、すなわち、依存性下での妥当性の保証、適応的な相互作用の管理、そしてモデルの更新や分布の変化に伴う振る舞いの変化（例：キャリブレーション、安全性、ハルシネーション率）の検出への対応に失敗していると主張しています。

手法とフレームワーク
本論文は、**逐次的統計的推論（sequential statistical inference）**を中心とした、信頼できるLLMデプロイメントのための統一されたフレームワークを提案しており、以下の相互に関連する3つのコンポーネントで構成されています。

1. 表現（分析の単位）：
   著者らは、統計的な分析単位を、孤立したプロンプトと応答のペアから、**依存関係のある相互作用の軌跡（interaction trajectories）**へとシフトすることを提唱しています。LLM駆動型のワークフローは、各相互作用 $t$ が、プロンプト／コンテキスト ($P_t$)、モデルの応答 ($R_t$)、およびその後のユーザー／ツール／環境からのフィードバック ($U_t$) のタプル $X_t = (P_t, R_t, U_t)$ を表す確率過程としてモデル化されます。履歴 $H_t$ と情報集合（filtration）$\mathcal{F}_t$ は、システムの適応的な性質を捉えます。ここでは、過去の相互作用に基づいて将来のプロンプトが選択されます。この表現は、応答 $R_t$ の条件付き法則が全履歴 $(P_t, \mathcal{F}_{t-1})$ に依存することを示しており、標準的な交換可能性の仮定が無効であることを認めています。

2. 妥当性（依存性下における不確実性）：
   本論文は、不確実性の定量化を、静的な「信頼度（confidence）」指標から**オンライン妥当性（online validity）**へと再定義しています。これは、「信頼度」（トークン確率から導出されるモデル側の量）と、「妥当性」（特定のデプロイメント条件下で不確実性の言明が保持されることを保証する、手続き側の保証）を区別するものです。

   • 共形推論（Conformal Inference）： 古典的な共形予測は交換可能性に依存していますが、本論文では、オンライン共形推論、分布シフト下での共形推論、および依存関係のある時系列データのための手法などの拡張を利用することを提案しています。
   • 逐次的スコア： 妥当性は、信頼性、安全性、またはアライメントなどの特性を要約する、タスク固有のスコア列 $S_t = \phi_t(X_t, \mathcal{F}_{t-1})$ にわたって評価されます。このアプローチは、繰り返されるプロンプティングに内在する「停止オプション（optional stopping）」の問題に対処し、適応的な相互作用の下でも保証が意味を持ち続けることを確実にします。

3. モニタリング（変化点検出）：
   本フレームワークは、デプロイ後のモニタリングを**逐次的変化点検出（sequential change-point detection）**問題として扱います。目標は、孤立したエラーではなく、システムのレジーム（体制）の変化（例：キャリブレーション、拒絶行動、または公平性の変化）を検出することです。

   • メカニズム： 相互作用のストリームから監視対象のスコア列 $\{Z_t\}$ が生成されます。アラーム時刻 $\tau$ は、検出統計量 $W_t$ が閾値 $b$ を超える停止時刻として定義されます。
   • ドリフトの範囲： 入出力分布の変化に焦点を当てた従来のコンセプトドリフトとは異なり、LLMのモニタリングは、プロンプト分布、モデルの更新、検索システムの変化、ツール環境、およびユーザーフィードバックループの変化を考慮しなければなりません。
   • 統合： モニタリングは妥当性と密接に結合しています。変化点が検出された場合、以前のキャリブレーション保証は停止される可能性があり、再キャリブレーションや人間によるレビューが必要となります。

主な貢献

• 概念的転換： 本論文は、「逐次的推論レイヤー」が、不確実性の定量化、共形予測、公平性、および解釈可能性に関する既存のアジェンダを補完する、個別の、かつ必要な統計的コンポーネントであることを確立しています。
• 分析単位の再定義： トークンレベルの確率から軌跡レベルの信頼性へと焦点を明確に移し、確率過程論、情報集合（filtrations）、および状態進化との自然なインターフェースを提供しています。
• 統一的構造： 多様なLLMの課題（不確実性、共形予測、モデル適応、公平性）に共通する運用構造を特定し、それらを適応型システムのための**統計的プロセス制御（SPC）**というパラダイムの下に統合しています。
• 方法論的架け橋： LLMのデプロイメントを、依存関係のあるデータ、逐次的一般化線形モデル、時系列分析、およびオンライン変化点検出を含む、確立された統計学の文献へと結びつけ、依存性と非定常性に対処するための厳密な言語を提供しています。

結果と主張
議論論文であるため、本研究は新しい実験結果や経験的なベンチマークを提示するものではありません。代わりに、その「結果」は理論的かつ構造的なものです。

• LLMを依存関係のある確率過程として捉えることで、標準的な統計的仮定（交換可能性）とデプロイメントの現実（適応とフィードバック）との間のミスマッチが解消されることを示しています。
• 繰り返しの使用や停止オプションに対応するため、妥当性の保証は「随時有効（anytime-valid）」である必要があると主張しています。
• モデルの更新や進化するユーザー行動によって引き起こされるレジームシフトを考慮すると、逐次的アラームによるモニタリングは、信頼性を維持するために不可欠であると断じています。

意義
本論文は、LLMの時代において、依存性、妥当性、および変化検出に関する古典的な統計的問題が、新たに緊急性を帯びていると主張しています。信頼できるLLMのデプロイメントを、オンライン妥当性と統計的プロセス制御の問題として枠付けることで、著者らは統計学者がLLM研究に貢献するための自然な言語を提供しています。この視点は、既存のアジェンダ（Ji et al., 2026など）に取って代わるものではなく、不確実性の定量化、共形予測、および人間とAIの協調の背後にある逐次的構造を明示することで、それらを補完するものです。最終的な示唆として、堅牢なLLMシステムには、軌跡レベルのモデリング、依存性下でも保持される妥当性手順、および再キャリブレーションや監査のためのヒューマン・イン・ザ・ループのワークフローに紐付けられた継続的なモニタリングメカニズムが必要であるとしています。