技術概要：動的特徴選択のためのハイパーネットワーク

問題定義

動的特徴選択（DFS）は、アクティブ特徴学習とも呼ばれ、予算制約の下で特徴を逐次的に取得する必要がある機械学習のシナリオに対処する。固定された特徴セットが利用可能な標準的な教師あり学習とは異なり、DFS は、各個体サンプルに対して利用可能な情報に基づき、特徴のサブセットを選択するモデルを必要とする。

核心的な課題は、可能な特徴取得パスの指数的な増大（$M$ 個の特徴に対して $2^M$）にある。既存のアプローチは、一般的に、すべての可能な観測状態にわたって平均的に良好に動作するように訓練された単一の共有予測器に依存している。著者らは、この「償却（amortization）」アプローチが構造的な妥協を強いると主張している。すなわち、単一のパラメータセットは、すべての可能な特徴サブセットに対して同時に最適であり得ない。これにより、特定サブセットにおける性能の劣化、信頼性の低い逐次決定、特に取得ポリシーが偏っている場合の小さな特徴サブセットへの過学習が生じる。さらに、バイナリマスク（埋め込み手法）を条件として共有ネットワークに条件付ける既存の手法は、入力次元とタスク次元の和に比例してスケーリングする高い構造的複雑さの限界に苦しんでおり、独立してスケーリングするわけではない。

手法：Hyper-DFS

これらの限界に対処するため、本論文は、オンデマンドでサブセット固有の分類器パラメータを生成するハイパーネットワークを利用するフレームワーク Hyper-DFS を提案する。

1. ハイパーネットワークアーキテクチャ

単一の共有予測器を訓練する代わりに、Hyper-DFS は「知識状態（観測された特徴の集合）」を入力とし、主要な予測器ネットワーク $f_\theta$ の重み $\theta$ を出力するハイパーネットワーク $g_\phi$ を採用する。これにより、モデルは $2^M$ 個の個別のモデルを保存するメモリオーバーヘッドなしに、各特徴サブセットに対して固有の最適パラメータセットを維持できる。

2. 滑らかな特徴セット符号化（Set Transformer）

重要な革新は、特徴サブセットの符号化にある。著者らは、標準的なバイナリマスクは、すべての特徴位置を交換可能として扱い、特徴間の意味的関係を捉えられないため、劣った条件付け信号であると論じている。

• Set Transformer エンコーダ: 本手法は、観測されたサブセットを符号化するために Set Transformer（具体的には Induced Set Attention Blocks）を使用する。
• 存在/不在埋め込み: 各特徴 $i$ に対して、モデルは 2 つの異なる埋め込み、すなわち $e^1_i$（存在）と $e^0_i$（不在）を学習する。エンコーダへの入力は、バイナリマスクに基づいてこれらの埋め込みを合計することで構成される。
• 連続的条件付け空間: このアプローチは、離散的な特徴マスクを連続的な表現にマッピングする。機能的に類似したサブセット（同様の最適予測器を誘発するもの）は、幾何学的に近接する。この滑らかさは、Lipschitz 制約を満たすことで、入力マスクのわずかな変化が生成された重みの劇的かつ不安定な変化をもたらさないようにし、ハイパーネットワークが未観測のサブセットに汎化することを助ける。

3. 訓練安定化戦略

著者らは、DFS 設定におけるハイパーネットワークに固有の 2 つの特定の訓練不安定性を特定し、緩和する。

• 分散ドリフト: 生成された重みのノルムは、サブセットの基数によって大きく変動する可能性がある。これは、トークンの総数を $M$ で一定に保つ存在/不在埋め込み方式と、条件付けベクトルの $L_2$ 正規化を組み合わせることで解決される。
• 勾配希薄化と崩壊: 単一のバッチに多数の異なるサブセットを混合すると勾配の相殺を引き起こす可能性があり、圧縮ネットワーク（画像データの入力次元を削減するために使用される）は表現の崩壊を起こしやすい。著者らは以下の手法を採用する。
  • 制限付きマスクによる事前学習: 初期段階では、バッチは固定された少数の知識状態ベクトル（実質的にバッチあたり単一のサブセット）を使用し、主要ネットワークと圧縮ネットワークを安定させる。
  • 線形学習率ウォームアップ: ハイパーネットワークと圧縮ネットワークが協調適応する前に、オプティマイザが大きなステップを踏むことを防ぐ。
  • 補助損失: スケール正則化子は、生成された重みが適切な分散を維持することを保証し、分散ペナルティは、エンコーダまたはハイパーネットワークが定数マップに崩壊するのを防ぐ。

主要な貢献

1. 構造的解析: 本論文は、既存のマスク連結型 DFS アプローチは、高い構造的複雑さの限界（$\Omega(\epsilon^{-(m_1+m_2)})$）を持つ埋め込み手法の事例であることを示し、一方、ハイパーネットワークは条件付け次元を結合解除することでより効率的な限界（$O(\epsilon^{-m_1/r})$）を提供することを示す。
2. Hyper-DFS フレームワーク: Set Transformer を利用して滑らかで機能認識型の条件付け空間を創出する、サブセット固有の分類器を生成するハイパーネットワークベースの DFS の導入。
3. 訓練ソリューション: 不在埋め込み、正規化、制御されたバッチマスク化を通じて、DFS におけるハイパーネットワーク訓練の分散ドリフトと勾配不安定性の特定と解決。
4. 包括的なベンチマーク: 合成データ、実世界の表形式データ、画像データセット全体での評価により、優れた性能と汎化能力を実証。

実験結果

著者らは、Hyper-DFS を、貪欲法、強化学習、多モデルアプローチを含む 8 つの最先端の DFS 手法と比較し、多様なデータセットで評価した。

• 表形式データ: Hyper-DFS（およびそのアンサンブル変種である HyperEns）は、合成および実世界の表形式ベンチマーク（Diabetes、Metabric、MiniBooNE など）の両方で、最良の平均順位と最高の平均 AUAC-F1 を達成した。RePa や VIP などの強力な単一モデルベースラインを一貫して上回った。
• 画像データ: 画像パッチベンチマーク（MNIST、FashionMNIST、SVHN、Imagenette、PCam）において、Hyper-DFS 変種は 5 つのデータセットのうち 4 つで最高スコアを達成し、専用の多モデルアプローチを上回った。
• ゼロショット汎化: 重要な発見は、訓練中に一度も観測されなかった特徴サブセットに対する Hyper-DFS の汎化能力である。保持されたサブセットにおいて、Hyper-DFS は単一モデルベースライン（VIP など）を大幅に上回り、多モデルベースライン（MoE など）と同等かそれ以上の性能を示した。これは、滑らかな条件付け空間が、特徴サブセットと最適予測器との間の関係を効果的に捉えていることを示唆している。
• 効率性: ハイパーネットワークの訓練は単一ネットワークよりも高コストであるが、計算上は実行可能であり、数百の個別の分類器を保存するよりもスケーラビリティが高い。

意義と主張

本論文は、サブセット固有の専門化が最適な DFS にとって根本的な要件であり、共有予測器では達成できないと主張している。ハイパーネットワークを使用することで、提案手法は、すべてのサブセットに対して固有の予測器を持つという理想的だが扱いにくい解決策と、扱い可能だが最適ではない共有予測器との間のギャップを埋める。

著者らは、Set Transformer によって作成された滑らかな条件付け空間が、モデルに未観測の特徴の組み合わせに汎化することを可能にし、これは取得予算が変動したり、新しい特徴の組み合わせが生じたりする可能性のある実世界の展開において重要な能力であると強調している。結果は、Hyper-DFS が、償却された単一モデルアプローチと高価なパターンごとの手法の間に堅牢な中間地帯を提供し、モダリティ全体で予測性能とゼロショット汎化の両面で大幅な改善をもたらすことを示唆している。