技術要約：XGBoostのための畳み込み平滑化分位点回帰

問題提起

XGBoostのような機械学習（ML）アルゴリズムは広く採用されているが、主に点推定（例：条件付き平均）に焦点を当てている。この焦点は、予測の不確実性、条件付き分布、および稀な、あるいは極端な結果を特徴付ける能力を制限する。森林火災による煙のエピソードや熱波の予測といった科学的応用では、単なる平均的な挙動ではなく、裾の挙動や超過確率を理解することがしばしば求められる。

分位点回帰は、パラメトリックな仮定を置かずに条件付き分位点を直接推定することで、この問題への解決策を提供する。しかし、分位点回帰をXGBoostに統合するには、以下のような重大な最適化の課題が存在する：

1. 非微分可能性： 標準的なピンボール損失関数は、残差がゼロ（$y = \hat{y}$）において微分不可能であり、収束を妨げる。
2. 曲率の欠如： ピンボール損失の二階微分は、ほとんどの場所でゼロである。XGBoostは効率的な決定木の分割とニュートン更新のために二階勾配（ヘシアン）情報に依存しているため、標準的な分位点目的関数は事実上、一次手法へと退化し、XGBoostの速度と効率の利点を失ってしまう。
3. 分位点の交差（Quantile Crossing）： 複数の分位点を独立して推定する場合、得られる累積分布関数（CDF）はしばしば単調性を損ない（分位点の交差）、特に分布外のデータに対して無効となる。

Huberピンボール損失やarctanピンボール損失などの既存の平滑化代替案は、微分可能性に対処しようとするものであるが、限定的な曲率や、変動の激しいデータ領域における不安定性の問題に依然として直面する場合がある。

手法

著者らは、畳み込み平滑化分位点回帰をXGBoostに統合したフレームワークであるQXGBを提案している。コアとなる手法は以下の通りである：

1. 畳み込み平滑化損失関数

非平滑なピンボール損失を直接使用する代わりに、著者らはピンボール損失をカーネル関数 $K(\cdot)$ とバンド幅パラメータ $h$ で畳み込む。

• 定式化： 実験的な平滑化損失は $\hat{Q}_h(\beta) = \frac{1}{n} \sum_{i=1}^n \ell_h(y_i - \langle x_i, \beta \rangle)$ と定義される。ここで $\ell_h = \rho_\tau * K_h$ である。
• 特性： このアプローチは、関数がグローバルに凸であり、かつ二回連続微分可能となる損失関数をもたらす。決定的なのは、至る所で非ゼロのヘシアンを提供することであり、これによりXGBoostが決定木の分割のために二階情報を利用することを可能にする。
• カーネル： 本論文では2つの特定のカーネルを評価している：
  • ガウスカーネル（Gaussian Kernel）： 滑らかなベースラインを提供する。
  • ラプラスカーネル（Laplace Kernel）： 重い裾を持ち、大きな外れ値や極端なスパイク（例：森林火災の煙）を伴うデータに適している。
• 微分： 著者らは両方のカーネルに対する勾配とヘシアンの明示的な公式を導出し、XGBoostの最適化ループへのシームレスな統合を可能にしている。

2. マルチアウトプット木 vs 独立した木

このフレームワークは、2つの構成で実装されている：

• 独立した木（Independent Trees）： 各分位点レベル $\tau$ に対して個別のブースティングアンサンブルを訓練する。これはしばしば分位点の交差を引き起こす。
• マルチアウトプット木（Multi-Output Trees）： 単一の決定木構造をすべての分位点レベルで共有し、各リーフには予測分位点のベクトルを格納する。分割は、すべての分位点レベルにわたって集計された損失を最小化するように選択される。この結合により、分位点間で情報が共有され、分位点の交差を大幅に減少させる。

3. ターゲット標準化（Zスケーリング）

畳み込み平滑化は、勾配とヘシアンに指数関数（例：$e^{-z}$）に依存している。大きな予測誤差は、浮動小数点オーバーフローや勾配の不安定性を引き起こす可能性がある。これを軽減するために、著者らは決定木の適合前にターゲット標準化ステップを導入している：

• ターゲットは $y_{scaled} = (y - \mu_{train}) / \sigma_{train}$ としてスケールされる。
• 予測は訓練後に逆変換される。
  これにより、特に空間的に揮発性の高いデータにおいて、数値的な安定性が確保される。

4. 密なCDFおよび超過確率の推定

手法は、条件付きCDFを再構成するために、密な分位点グリッド（$\tau \in \{0.05, \dots, 0.95\}$）を推定する。特定の閾値（例：$P(Y > y_{thresh}|X)$）に対する超過確率は、ソートされた予測分位点の線形補間を介して導出される。

主な貢献

1. アルゴリズムの統合： 畳み込み平滑化分位点損失をXGBoostに導出し統合することで、ヘシアン情報を復元し、標準的な分位点目的関数が欠いている二階の最適化を効率的に可能にした。
2. 安定化メカニズム： 畳み込みカーネルにおける数値オーバーフローを防ぐためのターゲット標準化の導入、および単調性を強制し分位点の交差を排除するためのマルチアウトプット木の採用。
3. 包括的なベンチマーク： シミュレーション研究および実世界のデータを用いて、ネイティブのXGBoost分位点目的関数、Huberピンボール損失、およびarctanピンボール損失との厳格な比較を行った。
4. 極端な事象への適用： データが高度に歪み、揮発性の高い（例：森林火災の煙）状況における、裾の挙動や超過確率の予測における本手法の有用性を実証した。

結果

シミュレーション研究

• 分位点の交差： 独立した木による推定は、高い交差率（Huberで最大0.69）を示した。一方、マルチアウトプット木は、すべての平滑化手法において交差率をほぼゼロ（0.00–0.03）に減少させた。
• 精度（CRPS）： 畳み込み手法（ガウスおよびラプラス）は、平滑化パラメータを調整することで、他の平滑化手法と同等、あるいはそれ以上の低い連続ランク確率スコア（CRPS）を達成した。
• 超過確率： 畳み込み平滑化手法は、最も高いブライア・スキル・スコア（BSS）と、35.0 $\mu g/m^3$ の閾値に対する最も正確な超過確率推定値を示した。
• 区間推定： 畳み込み手法は、良好な幅を持つ、よく較正された90%予測区間（PICP $\ge$ 0.9）を生成した。Huber法は過小被覆（PICP = 0.73）に苦しみ、arctan法は一部の設定で過度に広い区間を生成した。

実世界の適用（北カリフォルニアPM2.5）

• データ： 53地点からの日次PM2.5測定値（2012–2018年）、これには極端な2018年の森林火災シーズンが含まれる。
• パフォーマンス：
  • 交差率： マルチアウトプット木は、中程度から高い平滑化レベルにおいて、畳み込みおよびarctan手法の交差率を0.00に減少させたが、独立した木は最大0.84の率を示した。
  • CDF推定： 最適な平滑化において、畳み込み手法（ラプラスおよびガウス）は、HuberおよびArctan手法よりも低いCRPS（1.36–1.41）を達成し、よりシャープで、より良く較正された分布を提供した。
  • 超過： ガウスカーネル畳み込み法は、35.0 $\mu g/m^3$ の閾値超過を予測する上で、最高の較正と最高のBSS（0.70）を提供した。
  • 区間： 畳み込み手法は、90%区間に対してほぼ完璧な被覆（PICP 0.97–0.98）を達成した。arctan法も完璧な被達を達成したが、その区間は過度に広く（PINAW = 1.02）、有用性が低いものであった。

意義と主張

論文は、畳み込み平滑化QXGBが、特にマルチアウトプット木およびターゲット標準化と組み合わされた場合、分布予測のための堅牢なフレームワークを提供すると主張している。その主な意義は以下の通りである：

• 効率性の回復： 標準的な分位点目的関数が欠いている二階の更新に必要なヘシアン情報を提供することで、XGBoostの計算効率を維持する。
• 極端な事象への対応： 生の分位点ブースティングで見られる不安定さを回避しながら、稀な事象（森林火災の煙など）の裾の挙動と超過確率を効果的に特徴付ける。
• 実用的な信頼性： 分位点の交差がほぼゼロであり、よく較正されたCDFを提供するため、極端な結果が重要となる科学的分野におけるリスク評価や意思決定に適している。

著者らは、データの希薄さにより、極めて稀な事象（右側の裾）の確率を推定することの難しさという限界についても言及しており、極端な分布により良く適合するための非対称または歪み適応型カーネルの探索といった将来の研究を示唆している。