論文要約：Quantile Tokens と近傍コンテキストを用いたテキストから分布への予測

本論文は、大規模言語モデル（LLM）を用いたテキスト回帰タスクにおいて、単一点値の予測ではなく、条件付き確率分布全体を予測するという課題に焦点を当てています。特に、各入力テキストに対して複数の観測値（実証的な量子）がペアリングされている「実証量子監督（Empirical-Quantile Supervision）」の下で、より精度の高い分布予測を実現する新しい手法を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

背景

従来の LLM ベースの回帰タスクは、単一の点推定（Point Estimation）に焦点が当てられてきました。しかし、価格予測、需要予測、リスク評価などの実世界の応用では、中央値だけでなく、分散や裾の挙動（Tail Behavior）を含む完全な確率分布の理解が不可欠です。

既存手法の限界

最近の研究（Vedula et al., 2025 など）では、LLM の最終隠れ状態に複数の線形回帰ヘッダを接続し、それぞれ異なる量子を予測するアプローチが提案されました。しかし、このアーキテクチャには以下の 3 つの重大な限界があります。

1. 共有表現のボトルネック: すべての量子予測が同じ隠れ状態から導出されるため、入力特徴と特定の量子出力との間に間接的な接続しか存在しません。モデルは分布に関するすべての情報を単一のベクトルに圧縮する必要があり、量子ごとの特性を捉えきれません。
2. 局所的情報の欠如: 予測がクエリテキストのみに基づいて行われるため、ターゲット分布に関する情報が不足しています。人間は類似事例との比較を通じて分布を推論しますが、既存のモデルはこのような参照点に明示的にアクセスできません。
3. 分布監督の不足: 既存の検索拡張（Retrieval-Augmented）手法は、近傍事例に対して単一の点ラベルしか付与せず、分布全体の情報を活用できていません。

2. 提案手法：Quantile Token Regression と検索拡張

著者らは、これらの限界を克服するために、Quantile Token Regressionと近傍コンテキストを用いた検索拡張を組み合わせた新しいアーキテクチャを提案しました。

2.1 Quantile Token Regression（量子トークン回帰）

• 仕組み: 入力シーケンスの末尾に、学習可能な専用の「量子トークン（$\langle Q_{\tau_1} \rangle, \dots, \langle Q_{\tau_Q} \rangle$）」を挿入します。
• 動作: トランスフォーマーの自己アテンション機構において、各量子トークンは入力テキストの異なる部分に直接アテンションし、その量子レベルに特化した情報を収集します。
• 利点:
  • 直接の入力 - 出力経路: 共有された最終隠れ状態を経由するのではなく、各量子が独立して入力から情報を引き出せるため、極端な量子（裾）の予測精度が向上します。
  • 解釈性: どの入力特徴にどの量子トークンが注目しているかを可視化できます（例：人気のあるタグは短時間の回答を、複雑なコードは長時間の回答を予測するなど）。

2.2 検索拡張による分布推定（Retrieval-Augmented Distribution Estimation）

• 仕組み: 入力テキストと意味的に類似した「近傍事例（Neighbor）」を候補プールから検索し、入力に追加します。
• 革新点: 従来の検索拡張が近傍事例に単一の点ラベルを付与するのに対し、本手法では近傍事例の完全な実証分布（量子の集合）をそのまま入力として提供します。
• 効果: 類似事例の分布パターン（中央傾向、分散、裾の形状）を明示的な証拠として利用することで、ターゲット分布の推定を局所的に裏付け（Grounding）、精度を向上させます。

2.3 損失関数の理論的解析

実証量子をターゲットとする場合の損失関数について理論的解析を行いました。

• Wasserstein 距離（$\ell_1$/$\ell_2$）: 実証量子と予測量子の差を最小化する手法。大規模な観測数において、母集団の量子に対して Fisher 整合性（Fisher-consistent）を持つことが示されました。
• Pinball Loss の適用: 標準的な Pinball Loss を実証量子ターゲットに直接適用すると、推定量の分布の量子を学習してしまい、系統バイアス（Inflation/Deflation）が生じることを示しました。
• 結論: 実証量子監督においては、Wasserstein 距離（特に$\ell_1$）が最も優れた精度と鋭さ（Sharpness）のトレードオフを提供します。

3. 実験と結果

データセットとモデル

• データセット:
  • Inside Airbnb: 物件のテキスト記述から価格分布を予測（55 都市、約 84 万件）。
  • StackSample: Stack Overflow の質問テキストから回答までの時間分布を予測（約 5.8 万件）。
• モデル: Qwen3 シリーズ（1.7B 〜 14B パラメータ）を LoRA で微調整。

主要な結果

1. Quantile Token の優位性:
   • 共有ヘッダ方式（Baseline）と比較して、Quantile Token 方式は平均 MAPE を大幅に削減し、予測区間を著しく狭めました。
   • StackSample（小規模・高難易度）では、Baseline に対して平均 MAPE が 68% 削減され、99% 信頼区間の幅（RCIW@99）が 131 倍も狭まりました。
2. 検索拡張の効果:
   • 近傍事例（K=8）を追加することで、すべてのモデルサイズで性能が向上しました。
   • データが限られている場合（StackSample）に特に効果的で、分布の推定を安定させます。
3. 組み合わせの相乗効果:
   • Quantile Token と検索拡張を組み合わせることで、最も高い性能を達成しました。
   • Airbnb 試験セットでは、MAPE が約 4 ポイント低下し、予測区間は 2 倍狭くなりました。
4. 損失関数の比較:
   • $\ell_1$ Wasserstein 損失が、最も低い MAPE と最も狭い予測区間を実現しました。Pinball 損失ベースの手法は CRPSS は高いものの、予測区間が極端に広がり実用性に欠けました。

4. 意義と貢献

本論文の主な貢献は以下の通りです：

1. アーキテクチャの革新: 量子ごとの専用トークンを導入し、自己アテンションを通じて直接入力にアクセスさせることで、分布予測における「ボトルネック」を解消しました。これは、LLM における分布回帰の新しい標準となり得ます。
2. 検索拡張の拡張: 従来の点推定ベースの検索拡張から、分布そのものを近傍事例として利用するアプローチへと進化させました。これにより、分散や裾の挙動を含む分布の推定が飛躍的に改善されました。
3. 理論的裏付け: 実証量子監督における損失関数の挙動を理論的に解析し、Wasserstein 距離が最適であることを示しました。
4. 実用性の証明: 異なるスケール（1.7B〜14B）と異なるドメイン（不動産、Q&A）での実験により、この手法がスケーラブルで汎用的であることを実証しました。

5. 結論

本論文は、LLM によるテキストから分布への予測タスクにおいて、「Quantile Token」による直接的な量子予測と**「近傍事例の分布」による局所的な裏付け**を組み合わせることで、従来の手法を大幅に凌駕する精度と鋭い予測区間を実現することを示しました。特にデータが限られたり、不確実性が高いタスクにおいてその効果が顕著であり、リスク管理や需要予測など、分布全体を考慮する必要がある実務応用への道を開く重要な研究です。