技術要約: Conditional PED-ANOVA

問題提起

ハイパーパラメータ重要度（HPI）分析は、最適化の実行結果を解釈し、重要な設計上の選択肢を特定し、探索空間を導くための、自動機械学習（AutoML）における極めて重要なツールである。f-ANOVAやPED-ANOVAといった既存の手法は、固定された非条件的な探索空間におけるHPIの推定には効果的であるが、条件付き探索空間においては苦戦する。現実世界のシナリオ（例：モデル選択やニューラルアーキテクチャ探索）では、ハイパーパラメータの存在やドメインが、「親」ハイパーパラメータの値に依存することが多い（例：ニューラルネットワークが選択された場合にのみ、層の数が意味を持つ）。

著者らは、標準的なHPI推定器（PED-ANOVAを含む）は、すべてのパラメータに対して固定されたドメインを仮定しているため、このような設定では機能しないと主張している。不活性なサンプルを除外したり、欠損値をデフォルト値で補完したり、ドメインを人工的に拡張したりといった素朴な適応策は、条件付きのセマンティクス（意味論）を損なうものである。これらのヒューリスティックは、誤解を招く、あるいは解釈不可能な重要度スコアをもたらし、ゲーティング変数（親）の影響を従属変数に、あるいはその逆に誤って帰属させてしまう。

手法: condPED-ANOVA

本論文は、元のPED-ANOVAの計算効率を維持しつつ、条件付き探索空間に特化してHPIを推定するために設計された、原理的なフレームワークであるconditional PED-ANOVA (condPED-ANOVA) を提案する。

1. レジームに基づく表現

この手法は、条件付きハイパーパラメータを有限個の**レジーム（regimes）**に分割することで形式化する。ハイパーパラメータ $x^{(d)}$ に対して、各レジーム $i$ は特定のドメイン $Z^{(d)}_i$ を持つ。もしあるハイパーパラメータがあるレジームにおいて不活性である場合、そのドメインは特殊な記号 $\perp$ となる。これにより、条件付きの活性化（存在/不在）と、レジーム依存のドメインシフトの両方を扱うことが可能になる。

2. 条件付き局所HPIの定義

中心となる理論的洞察は、局所的な周辺分散によって定義される標準的な局所HPIは、2つの変動源を混同しているという点である：

1. レジーム内分散（Within-regime variance）: 特定のレジーム内におけるハイパーパラメータの値によるパフォーマンスの変化。
2. レジーム間分散（Inter-regime variance）: レジームの「切り替え」（親変数によって決定される）によるパフォーマンスの変化。

著者らは、レジームは他の変数によって決定されるものであるため、レジーム間の分散を条件付きハイパーパラメータに帰属させることは根本的な欠陥であると論じている。これに対処するため、彼らはレジーム内の局所周辺分散のみを用いて条件付き局所HPIを定義する。これにより、重要度が「ハイパーパラメータがレジーム内で活性である場合に、その値がいかにパフォーマンスに影響を与えるか」のみを測定することを保証し、ゲーティング変数から従属変数への重要度の「漏洩（leakage）」を防いでいる。

3. 閉形式の推定器

PED-ANOVAの枠組みに基づき、著者らはレジーム内分散の閉形式の推定器を導出している。この推定器は、上位-$\gamma'$（よりタイトな）および上位-$\gamma$（より緩やかな）パフォーマンス部分集合におけるハイパーパラメータの一次元確率密度関数（PDF）間のピアソンダイバージェンス（$D_{PE}$）を利用する。

最終的な推定器は、それぞれの部分集合におけるレジーム確率で重み付けされた、すべてのレジームにわたるダイバージェンスを集計する：
$$v^{(d)}_{\gamma, \text{within}} = \left(\frac{\gamma'}{\gamma}\right)^2 \sum_{i=1}^{K^{(d)}} \frac{(\alpha^{(d)}_i)^2}{\beta^{(d)}_i} D_{PE}\left(p^{(d)}_{\gamma', i} \parallel p^{(d)}_{\gamma, i}\right)$$
ここで：

• $\alpha^{(d)}_i$ および $\beta^{(d)}_i$ は、それぞれ上位-$\gamma'$ および 上位-$\gamma$ の集合におけるレジーム $i$ の確率である。
• $p^{(d)}_{\gamma', i}$ および $p^{(d)}_{\gamma, i}$ は、それぞれの部分集合内におけるハイパーパラメータの経験的PDFである。

この定式化により、高次元空間の積分や高価なサロゲートモデルの訓練を必要とせず、カーネル密度推定（KDE）を用いた効率的な計算が可能となる。

主な貢献

1. 根本的な落とし穴の特定: 本論文は、条件付き空間における標準的な局所HPIが、条件付きで活性化される変数の重要性を、条件付け変数へと系統的に誤帰属させるという問題を、理論的および経験的に実証した。
2. 条件付き局所HPIの定義: 条件付きの活性化やドメインシフトによる混同効果を取り除き、レジーム内の変動のみに重要度を分離する新しい定義を提示した。
3. 効率的な推定器 (condPED-ANOVA): ヒエラルキー構造を扱いながら、元の手法の速度上の利点を維持しつつ、効率的に条件付き局所HPIを計算する、PED-ANOVAスタイルの閉形式の推定器を開発した。
4. 経験的検証: 素朴な拡張（フィルタリング、補完、拡張）を用いる手法は不自然な結果をもたらすが、condPED-ANOVAは一貫して意味のある重要度を算出できることを、合成および実世界のベンチマークを通じて示した。

実験結果

著者らは、合成および実世界のベンチマークの両方でcondPED-ANOVAを評価した：

• 合成実験:

  • 条件付き活性化（ゲートが設定された場合にのみパラメータが存在するタスク）において、素朴な手法は活性パラメータと不活性パラメータを区別できなかったり、ゲートの重要性を誤って帰属させたりしたが、condPED-ANOVAは、中央値のパフォーマンスにはゲートが、トップ層のパフォーマンスには活性パラメータが重要であることを正しく特定した。
  • レジーム依存ドメイン（ゲートに基づいてパラメータの範囲が変わるタスク）において、素朴なドメイン拡張は歪んだ重要度スコアを招いたが、condPED-ANOVAはレジームの変化に伴うパラメータの重要性の変化を正確に捉えた。
  • アブレーション研究により、標準的な局所分散（レジーム間の項を含む）を使用するとゲーティング効果の漏洩が発生すること、および提案されたレジーム重み付き集計が安定性に必要であることが確認された。

• 実世界ベンチマーク (YAHPO Gym):

  • 学習器（SVM、XGBoost、ランダムフォレストなどの選択）を含む rbv2_super および iaml_super シナリオで評価。
  • cond-PED-ANOVAは、学習器固有のハイパーパラメータの重要度と、それら学習器の実際のパフォーマンスとの間で高い相関（例：インスタンス1053で0.98）を達成した。
  • 対照的に、素朴な拡張を行ったベースライン手法（f-ANOVA, MDI, SHAP, PED-ANOVA）は、負の相関や不安定な結果を生じ、探索空間の階層構造を捉えることに失敗した。

意義と主張

本論文は、condPED-ANOVAが、条件付き探索空間を含むワークフローにおいて、信頼性の高いHPI分析のための実用的かつ原理的な基盤を提供することを主張している。階層的な性質を正しく扱うことで、実務家は以下のことが可能になる：

• 特定の領域におけるどのハイパーパラメータ（ゲーティング変数を含む）がパフォーマンスを駆動しているかを正確に特定する。
• 条件付きデータの素朴な前処理から導かれる誤った結論を回避する。
• 非条件的な手法と同じ計算効率でHPI分析を実行でき、Optunaのような既存のHPOフレームワークへの統合に適している。

著者らは、自身のアプローチは新しい最適化アルゴリズムを考案するものではなく、複雑で条件付きのハイパーパラメータ探索空間を理解し、設計するために必要な、事後解析（post-hoc analysis）ツールを洗練させるものであると強調している。