技術要約：高次元ハイパーパラメータ最適化のための重要度認識型スケジューリング

問題提起

ハイパーパラメータ最適化（HPO）は、現代の機械学習およびディープラーニングモデルの堅牢性と汎用性にとって極めて重要である。しかし、探索空間の次元数が増加するにつれ、従来のオプティマイザ（TPEやBOHBなどのベイズ最適化手法）は著しい効率の低下に直面する。主要な課題は、単なる次元の量ではなく、ハイパーパラメータの極端に不均一な影響力にある。すなわち、ごく一部のサブセットが性能の変化を左右する一方で、他の多くの変数は限定的な影響しか持たないという点である。

標準的なオプティマイザは通常、すべての座標を足並みを揃えて進めるため、一様なスケジューリング戦略を強制してしまう。高次元空間において、このアプローチは低影響な変数に対して評価予算を希釈化させ、以下の問題を引き起こす：

1. ノイズの多い密度推定: 座標あたりの有効サンプルサイズが縮小し、サロゲートモデルが不安定になる。
2. 相互作用の無視: TPEのような手法における独立性の仮定は、高次元における結合効果を捉えることができない。
3. 信号の希釈: 低影響な次元が多数存在することで、評価あたりの信号対雑音比（S/N比）が低下し、収束が遅くなる。

ハイパーパラメータ重要度評価（HIA）手法（fANOVAやN-RReliefFなど）は、変数の重要度を推定するために存在するが、それらが具体的なスケジューリング決定へと運用されることは稀であり、理論的な重要度と実用的な探索戦略との間には乖離が存在している。

手法：Greedy Importance First (GIF)

著者らは、HIAの推定値を具体的な予算付きの探索計画へと変換する重要度認識型スケジューリング戦略である**Greedy Importance First (GIF)**を提案している。このパイプライン（論文の図1に記載）は、主に4つの段階で構成される：

1. ウォームスタート (Warm Start): 初期履歴 $(H, Y)$ を収集するために、少量のサンプルによる初期化を行う。この履歴は重要度推定器の学習に使用され、ランダムな初期化よりも優れた事前分布を提供する。
2. ハイパーパラメータ重要度評価 (HIA): ウォームスタートによる履歴を用い、重要度評価器（デフォルトはN-RReliefF）を使用して、各ハイパーパラメータの限界的な寄与を推定する。これらの推定値は、重要度重み $\{I_i\}$ を生成するために正規化される。
3. 重要度順のグルーピングと比例配分:
   • ハイパーパラメータは、推定された重要度順にソートされ、最大グループサイズ $k$ を持つグループ $G = \{G_j\}$ に分割される。
   • 現在のラウンドの評価予算 ($B_{cur}$) は、各グループの合計重要度重みに比例して割り当てられる。
   • グループ単位の最適化: 各グループに対して、オプティマイザ（デフォルトはTPE）は、グループ外の変数を現在の最良値 ($h_{best}$) に固定した制限付き探索を実行する。これにより、最も影響力のある部分空間に探索信号を集中させる。
4. フルスペース・フォールバック (Full-Space Fallback): グループ単位の最適化のラウンドで改善が見られない場合、アルゴリズムは全空間 $\Theta$ に対する結合最適化へのフォールバックをトリガーする。このステップは、誤ったグルーピングや重要度推定による局所的な停滞を防ぐため、特定の予算枠（$\rho B_{total}$）を確保して予約されている。

アルゴリズムは、総評価予算 $B_{total}$ が使い果たされるまで、これらのステップを反復し、見出された最良のインカンベント（現時点での最良値）を出力する。

主な貢献

本論文の具体的な貢献は以下の通りである：

• GIFアルゴリズム: ハイパーパラメータを順序付け、グループに分割し、試行回数を比例配分し、さらにラウンドごとのフルスペース・フォールバックを導入することで、HIAを運用可能な形にするプラグ互換の戦略。
• HIA事前分布の検証: 標準的なHIA推定器（特にN-RReliefF）が、限定的な評価回数であっても、制御された関数上で真の異方性を信頼性高く復元できることを検証し、スケジューリングのための事前分布としての使用を支持した。
• 高次元における経験的優位性: 固定された評価予算の下で、GIFは高次元ベンチマーク（最大 $d=50$ の異方性解析関数および $d=33$ のNAS-Bench-301）において、既存のベースライン（TPE, BOHB, ランダムサーチ, 逐次グルーピング）を一貫して上回った。
• アブレーション解析: 重要度駆動のランキング、比例的な予算配分、およびフルスペース・フォールバックの3つのコアコンポーネントすべてが性能向上のために必要であることを実証した。これらを削除すると、有効性が明らかに低下する。

実験結果

著者らは3種類のベンチマークでGIFを評価した：

1. 異方性解析関数 (Anisotropic Analytic Functions):

   • 設定: 5つの関数（Sphere, Rosenbrock, Ackley, Griewank, Rastrigin）を、既知の異方性ウェイトを持つ次元 $d \in \{5, 10, 30, 50\}$ にスケールさせたもの。
   • HIAの検証: N-RReliefFは真の異方性を正常に復元した。推定値と真のウェイト間のピアソン相関係数は高い値を維持しており（例：$d=5$ で $0.99$、$d=50$で$\approx 0.76$ まで低下するものの、減衰パターンは捉えている）、スケジューリングの事前分布として機能している。
   • 性能: 低次元（$d=5$）では、GIFは競争力はあるが圧倒的ではない。次元が増加する（$d \ge 10$）につれ、GIFは正規化レグレットAUCおよび最終的な最良値の観点から、すべてのベースラインを大幅に上回った。ベースラインに対する勝率は次元とともに上昇し、$d=30$ および $d=50$ では100%に達した。

2. Bayesmark (中次元):

   • 設定: 4つのデータセット（breast, digits, iris, wine）と4つのモデル（DT, RF, MLP-adam, MLP-sgd）を用い、次元数は6から9の範囲。
   • 性能: GIFは、タスク全体を通じて最高の平均ランク、最良の正規化最終スコア、および最高の勝率（0.75）を達成した。ランダムサーチは高速であったが、最終的な性能は著しく劣っていた。GIFは、特に有効次元数が高いMLPにおいて、調整のオーバーヘッドがサンプル効率の向上によって正当化されることを示した。

3. NAS-Bench-301 (高次元):

   • 設定: DARTS-XGBサロゲートを用いた、33次元の探索空間を持つニューラルアーキテクチャ探索（NAS）。
   • 性能: GIFはTPE、BOHB、およびランダムサーチよりも速い収束を示し、より優れたインカンベントに到達した。GIFは340回の評価前後で全てのベースラインを追い抜いた。スコア対シミュレーション時間のパレート分析において、GIFはフロンティアを占め、他の手法と比較して同等の時間コストに対してより高い精度を提供した。

意義と主張

本論文は、GIFが、高次元HPOにおけるサンプル効率を向上させるためのシンプルかつプラグ互換の経路を提供すると主張している。その意義は、基礎となるサロゲートモデルを変更すること（例：TPEから複雑なGPへの切り替え）ではなく、初期の重要度推定に基づいて探索の努力を再配分することにある。

著者らは、GIFが最も効果的となる条件を以下のように強調している：

• 探索空間が高次元である場合。
• ランドスケープが強い異方性（変数の影響の不均一性）を示す場合。
• 評価予算が厳しく、低影響な変数へのリソースの希釈がコストとなる場合。

本研究は、重要な部分空間に予算を集中させつつ、グローバルな探索への原則に基づいたフォールバックを保持することで、GIFがディープラーニングモデルのチューニングに実用的な有用性を提供し、将来の重要度認識型AutoMLシステムの基礎を築くものであると結論付けている。また、低次元のシナリオについては、標準的なオプティマイザが既に良好に機能しており、利得が限定的であるとして、謙虚な姿勢を保っている。