技術的概要：テキスト条件付き回帰のための LLM フロープロセス

問題定義

本論文は、時系列予測において、専門家の事前知識と非構造化テキストメタデータを回帰モデルに組み込む課題に取り組んでいる。事前学習済み大規模言語モデル（LLM）は、暗黙の専門知識を活用することで少数ショット回帰において有望な結果を示しているが、以下のような重大な限界を有している：

1. エラーカスケード: 自己回帰型 LLM（例えば、直接プロンプト法）は「露出バイアス」を示す。すなわち、自身の不完全な予測に基づいて条件付けを行うことで、特に予測horizonが増大する（例：100 点以上）につれてエラーが連鎖する。これはしばしば、線形傾向へのモード崩壊や発散する軌道をもたらす。
2. 計算的非効率性: 自己回帰サンプリングは逐次的であり、計算コストが高く、並列化が困難である。
3. 一貫性の欠如: LLM からの独立した周辺予測（個々の点を個別に予測する）は、局所的な構造的相関を捉えきれず、不整合な軌道や外れ値を生じさせる。

一方、ニューラル拡散プロセス（NDP）は、一貫性があり並列化可能な軌道生成を提供し、合成データを通じて多様な関数空間上でメタ学習を行うことができる。しかし、標準的な NDP は、「モントリオールの日平均気温」のような豊富な非構造化テキストメタデータを取り込み、関数空間の選択を誘導するメカニズムを欠いている。

手法：LLM フロープロセス（LLM-FP）

著者は、**LLM フロープロセス（LLM-FP）**を提案する。これは、**エキスパートの積（Product-of-Experts: PoE）**アプローチを用いて、LLM の意味的条件付け能力とニューラル拡散プロセスの構造的整合性を組み合わせたフレームワークである。

中核メカニズム

本手法は、目標分布 $\pi_1(y_1|c)$ を 2 つの分布の積として定義する：

1. エキスパート（$q$）: テキストプロンプト（$c$）とコンテキストデータに基づいて条件付けされた、LLM 由来の分布。著者は、LLM が個々の点の周辺確率を予測し、結合分布を因数分解する「独立 LLM プロセス（I-LLMP）」を利用する。
2. 事前分布（$p_1$）: 合成データ（混合カーネルを持つガウス過程など）で訓練されたニューラル拡散プロセス（NDP）であり、整合的な確率過程事前分布を学習する。

結合分布は以下の通りである：
$$\pi_1(y_1|c) \propto q(y_1|c) p_1(y_1)$$

畳み込みによる勾配フリーサンプリング

この拡散/フローマッチングフレームワーク内でのエキスパートの積に対する勾配不要かつモンテカルロ非依存のサンプリング手法が、主要な技術的貢献である。

• 標準的アプローチ: 通常、外部エネルギーまたはエキスパート項を用いて拡散を誘導するには、エキスパートの勾配を計算するか、モンテカルロ推定を使用する必要があり、計算負荷が高く不安定である。
• 提案アプローチ: 著者は、LLM の出力がビン化された確率分布（区分的に一定）であることを利用する。そして、エキスパート分布 $q$ をガウスカーネル（時刻 $t$ における拡散ノイズを表す）で畳み込む時間依存のスコア補正項を導出する。
• 閉形式解: 区分的に一定な関数とガウス関数の畳み込みは、標準ガウス分布の累積分布関数（$\Phi$）を用いて表現可能な閉形式解を持つため、スコア補正は、LLM を通じた逆伝播やモンテカルロサンプリングを使用することなく、正確に計算できる。
  $$\nabla_{y_t} \log \pi_t(y_t|c) \approx s_\theta(y_t) + \nabla_{y_t} \log \tilde{q}_t(\hat{y}_{1|t}(y_t)|c)$$
  ここで、$\tilde{q}_t$ は平滑化されたエキスパート密度、$\hat{y}_{1|t}$ は NDP によるノイズ除去推定値である。

これにより、モデルは NDP が学習した局所構造と整合性のある軌道をサンプリングしつつ、LLM が提供するテキスト制約と整合するように「サブ選択」された軌道を生成できる。

主要な貢献

1. 勾配フリー PoE サンプリング: ガウス畳み込みが閉形式で表現可能なエキスパート分布と拡散モデルの積からサンプリングするための一般的手法。これにより、エキスパートの勾配やモンテカルロ推定が不要となる。
2. LLM-フロープロセス（LLM-FP）: 上記手法の具体化であり、LLM 由来のテキスト条件付き確率を NDP と統合する。これによりテキスト条件付き関数空間の選択が可能となり、モデルは自然言語記述と整合する振る舞い（例：周期性、傾向）を選択または外挿できる。
3. 失敗モードの実証的検証: 論文は、自己回帰型 LLM 回帰の特定の失敗モード（エラーカスケード、線形傾向のアトラクター）を記録し、LLM-FP が NDP の結合構造を活用することでこれらを緩和することを示している。

実験結果

著者は LLM-FP を 3 つのベースラインと比較評価した：

• NDP: 無条件ニューラル拡散プロセス。
• LLM-Direct: 制約付きデコーディングを備えた自己回帰型 LLM。
• LLM-Independent: 独立した周辺 LLM 予測。

タスク:

• 変化点回帰: 不連続点に関するテキスト記述への忠実性をテスト。
• サンディエゴの降雨: 季節的構造を伴う外挿。
• 周期性＋線形傾向: 合成関数の外挿。
• マウナロア CO2: 実世界の気象データの外挿。

知見:

• 整合性対忠実性: LLM-FP は、NDP のように一貫性（滑らかさ、時間的整合性）がありつつ、テキストプロンプトに忠実（NDP はそうではない）な軌道を生成する。
• 頑健性: LLM-Direct と異なり、LLM-FP は予測horizonが増大するにつれて（256 点までテスト）エラーカスケードに悩まされない。自己回帰モデルで見られる線形傾向の「アトラクター状態」を回避する。
• 較正: LLM-FP は、周期的および実世界のタスクにおいて、ベースラインと比較して優れた連続順位確率スコア（CRPS）および負の対数予測密度（NLPD）を達成し、より適切に較正された不確実性を示している。
• 性能トレードオフ: 変化点タスクでは、LLM-Direct は（線形傾向アトラクターの単純さにより）単一軌道の精度でほぼ完璧な結果を達成したが、LLM-FP は外れ値を平滑化したものの、その特定の事例において自己回帰ベースラインほど鋭い不連続点を完璧に再現しなかった。ただし、LLM-FP は一貫して周辺 LLM-Independent ベースラインを上回った。

意義と主張

本論文は、LLM-FP が合成データで訓練された確率過程事前分布と言語で表現された専門家の知識を組み合わせる原理的な方法を提供すると主張している。

• メカニズム: テキストは「ソフトな関数クラスセレクター」として機能し、基礎となるプロセス構造を置き換えることなく、特定の振る舞い（例：周期性）に向けて NDP 事前分布を再重み付けする。
• 一般性: 勾配フリー畳み込み手法は、独立した関心対象として提示され、閉形式ガウス畳み込みを許容する任意のエキスパート分布（例：区分的多項式、量子化測定値）に適用可能である。
• 限界: 著者は、本手法が NDP と LLM 因子間の独立性を仮定していることを指摘している。もしこれらが強く相関している場合、証拠が二重計上される可能性がある。さらに、本手法は、NDP 事前分布が関連する関数クラスに十分な質量を割り当てていることに依存している。望ましい振る舞いが NDP のサポートから遠く外れている場合、LLM は新しい軌道構造を創造するのではなく、再重み付けしか行えない。

この研究は、ニューラルプロセスの較正性と結合構造を維持しつつ、LLM の柔軟な条件付け能力の恩恵を受け、直接自己回帰回帰の不安定性を回避する回帰モデルへの道筋を示唆している。