Conditioning Tree-Based Diffusions and Flows for Probabilistic Tabular Regression

技術要約：確率的テーブル回帰のための条件付きツリーベース拡散モデルおよびフロー

問題提起
テーブルデータにおける確率的回帰には、勾配ブースティング決定木（GBDT）の予測力と、キャリブレーション、意思決定、および不確実性定量化に適した完全な予測分布を組み合わせたモデルが必要である。Treeffuserのようなツリーベース拡散モデルが登場しているが、これらは現在、ニューラル拡散の設定から継承された設計デフォルト（ノイジング・パス、パラメータ化、学習分布、特徴量、サンプラーを含む）に従っており、ヒストグラムベースのツリー学習器にとっては最適ではない場合が多い。本論文は、これらのデフォルト設定が拘束条件として作用していると主張する。すなわち、勾配ブースティングアンサンブルが解く特定の教師あり回帰問題は、これらの条件付き設定がどのように構成されるかによって決定されるのである。

手法：DiffGBM
著者は、ツリーベース拡散の条件付き選択肢を固定されたデフォルトではなく、明示的かつ調整可能な軸として扱うTreeffuserの拡張版であるDiffGBMを提案する。この手法は、主に2つの軸に沿って開発されている：

1. スコア側の修正（「Score-Flex」空間）:
   著者は、共有LightGBMサーフェス上でのスコアベース拡散のための、共同調整可能なレシピを提案している。主な修正点は以下の通りである：

   • 条件付き平均残差化（Conditional-Mean Residualization）: 最初に交差検証によるLightGBM平均予測器 $\hat{\mu}(x)$ を適合させる。拡散は $y$ ではなく残差 $y - \hat{\mu}(x)$ に対して適用され、条件付き位置をスコア回帰のターゲットから外す。
   • EDM前処理（EDM Preconditioning）: EDMの原則に従い、モデルは単位分散にスケールされたデノイズされたターゲット $D_\theta(y_t, t)$ を予測し、代数的にスコアを再構成する。これにより、ツリーの回帰ターゲットが安定し、ノイズレベルに応じてノイズ予測の大きさを外挿する必要がなくなる。
   • Log-Sigma時間サンプリングと特徴量: 一様時間サンプリングの代わりに、学習分布は $\log \sigma(t) \sim \mathcal{N}(-1.2, 1.2^2)$ を描く。極めて重要な点として、$\log \sigma(t)$ を明示的な特徴量として入力ベクトルに追加し、ツリーの分割がノイズレジームに直接条件付けできるようにしている。
   • 損失重み付けとヒストグラム解像度: これらは、モデルの容量をどこに費やすかを制御するための調整可能な次元として公開される。

2. ガウスパス・フローマッチング（FM）:
   著者は、$p(y|x)$ に対するガウスパス・フローマッチング・トレーナーを実装している。

   • 速度場の学習: スコアを直接学習するのではなく、勾配ブースティング決定木を通じて速度場 $v_\theta$ を学習する。
   • 代数的スコア回復: 任意のガウスパスに対して、条件付きスコアは速度から代数的に回復可能である（補題1）。これにより、モデルが確率的補間サンプラーを使用したい場合に備えることができる。
   • サンプラーの効率性: このアプローチにより、決定論的な少ステップODEサンプラー（具体的には5ステップのHeun ODE）の使用が可能になり、確率的SDEと比較して推論レイテンシを大幅に削減できる。
   • パスの選択: 著者らは線形、三角、および分散保存（VP）パスを比較している。VPパスは入力を単位スケールの近くに保つが、最適なパスはデータセットと残差化との相互作用に依存することを指摘している。

主な貢献

1. 条件付きツリーベース予測のためのフローマッチング: 勾配ブースティング決定木を用いて速度場を直接学習するガウスパスFMトレーナーを提供し、最も安価なサンプラーと最も良く校正された動作点を実現する。
2. 共同調整可能なスコアレシピ: スコア側の修正（残差化、EDM前処理、log-sigmaサンプリング、明示的なノイズ特徴量、損失重み付け、ヒストグラム解像度）を、調整可能な軸として公開した。「Score-flex」空間は、公開されたレシピを特殊なケースとして提示しているが、データセット固有の最適化を可能にしている。
3. 共通のボトルネックとしての回帰条件付け: 論文は、両方の軸における性能向上は、誘導された教師あり問題をヒストグラムツリーの有限な分割解像度に、より良く適合させることから生じると断じている。制約は、目的関数の集団レベルの特性ではなく、すべてのノイズレベルを同時に扱うために必要な有限のビン割り当てである。

実験結果
本手法は、11の標準的なテーブル回帰ベンチマーク（9つのUCI、2つのscikit-learn）において、入れ子状のチューニングプロトコル（フォールド0でチューニング、フォールド1–5で評価）を用い、一致させた40回の試行予算で評価された。

• 精度（Score-Flex）: 共同調整されたscore-flexレシピは、最高の集計CRPSスキルスコア（公開されたベースラインの0.725に対し0.699）および正規化CRPS（1.106に対し1.248）を達成した。これは、すべてのデータセットにおいて公開されたベースラインを上回った（対応するウィルコクソンの $p < 10^{-3}$）。
• 校正と速度（Flow Matching）: DiffGBM-FMバリアントは、最も校正されたDiffGBM行（50/90%レベルでの被覆誤差が最小であり、PIT通過率が最高）であり、かつ最も安価なサンプラーであった。これは、競争力のあるCRPS（0.707）を維持しながら、公開されたベースラインよりも5.2倍高速であった（合計61.3秒に対し196.3秒）。
• アブレーション研究:
  • 他の変更を加えないまま、スコアモデルにEuler SDEからHeun ODEに切り替えると精度が低下した。これは、サンプラーが自由な高速化手段ではないことを示している。
  • EDM前処理は、スコア側の性能において最大の単一の跳躍を提供した。
  • 残差化はFlow Matchingにとって極めて重要であり、これなしではFMの性能が著しく低下した。
  • 確率的サンプラー（$\epsilon > 0$）は、集計CRPSまたはレイテンシにおいて決定論的サンプラー（$\epsilon = 0$）をパレート優越することはなかったが、高不確実領域におけるテール被覆を改善できる可能性はある。

意義と主張
本論文は、ニューラル拡散の設定から継承された設計デフォルトが、ツリーベースの確率的回帰における主要なボトルネックであると主張している。ノイジング・パス、パラメータ化、および学習分布を調整可能な条件付き選択肢として扱うことで、DiffGBMは精度と校正の両面で大幅な改善を実現している。

著者は、「Score-flex」と「Flow-matching」のアプローチは相補的であると強調している：

• Score-Flex は精度の選択肢であり、データが増えるにつれて優位性が増し、最大のデータセットで勝利するが、確率的サンプラーによる高いレイテンシと緩い中央被覆を伴う。
• Flow Matching は、高速で校正された選択肢であり、その残差化された少ステップODEが最も強力な小規模から中規模のデータセットにおいて勝利する。

本論文は、単一のレシピ軸が普遍的であることはなく、最適な構成はデータセットの特性（例：ct_slicesのような決定論に近いデータセットは、より細かいヒストグラムビンとノイズ予測を好む）に依存すると結論付けている。本研究は、誘導された教師あり問題をヒストグラム分割の有限な解像度に適合させることが、ツリーベースの拡散およびフローモデルの可能性を解き放つ鍵であることを確立している。