Transfer Learning in Nonparametric Regression with Deep ReLU Networks

技術要約：Deep ReLU Networkを用いた非パラメトリック回帰における転移学習

問題の定式化
本論文は、データが構造的な類似性を共有しつつも、グループ固有の偏差を示す複数の異なるグループで構成される設定における、非パラメトリック回帰の問題を扱っている。著者らは、データ生成プロセスを以下のように定式化している：
$$y_i = f_0(x_i) + f_{0, z_i}(x_i) + \epsilon_i$$
ここで、$f_0$ はすべてのグループに共通する共有関数を表し、$f_{0, \ell}$ はグループ $\ell$ のグループ固有の偏差を表す。目的は、グループ固有の条件付き平均関数 $g_{0, \ell}(x) = f_0(x) + f_{0, \ell}(x)$ を推定することである。このフレームワークは、グループ数 $L$ が全サンプルサイズ $n$ と共に増加する場合（多様かつ大規模なデータセットを伴う現代の機械学習の文脈を反映）にも対応できるように設計されている。

手法：2段階オフセット学習（Two-Stage Offset Learning）
提案手法は、事前学習に着想を得た2段階のオフセット学習手順を採用している：

1. 第1段階（共有構造の推定）： 全 $L$ グループのデータをプールして、全体の条件付き平均関数 $\bar{f}(x) = E[Y|X=x]$ を推定する。これは、結合されたデータセットを用いて、関数クラス $\mathcal{F}$（例：深層ReLUネットワーク）に対する経験的リスクを最小化することによって達成される。
2. 第2段階（グループ固有のオフセット推定）： 各ターゲットグループ $\ell$ について、全体の平均とグループ固有の平均との間のオフセットを推定する。具体的には、グループ $\ell$ のデータのみを用いて、残差 $y_i - \hat{f}_{A_n}(x_i)$ に対する関数 $G_\ell(x) = f_{0, \ell}(x) - \sum_{k} f_{0, k}(x)P(Z=k|X=x)$ を推定する。これは、グループ固有の関数クラス $\mathcal{F}_\ell$ 上の経験的リスクを最小化することで行われる。
3. 最終推定器： グループ $\ell$ の最終的な推定器は、加法的に構築される：$\hat{g}_\ell(x) = \hat{f}_{A_n}(x) + \hat{f}_{\ell, B_n}(x)$。

このフレームワークは、両方の段階でデータを共有するバリエーションと、独立したデータを使用するバリエーション（サンプル分割による）の2つをサポートしている。

主な貢献と理論的結果

• 一般的な理論的フレームワーク： 本論文は、緩やかな複雑性とノイズ条件（劣指数分布ノイズを許容）の下で、広範なクラスの非パラメトリック推定器に対する $L_2$ 誤差の上界を確立している。定理3.2は、誤差を第1段階の推定誤差と第2段階の近似・推定誤差に分解する一般的な境界を提供している。
• Deep ReLU Networkと次元の呪い： 階層的合成モデルの下でDeep ReLUネットワークを用いて具体化する場合、著者らは明示的な収束率を導出している。定理3.4は、提案された転移学習フレームワークが、次元の呪いを克服する深層ネットワークの能力を維持することを示している。収束率は、フル機能の複雑な関数に対するレートではなく、共有関数とオフセット関数のレートの和となることが示されている。
• ポジティブ・トランスファー（正の転移）の条件： 本論文は、転移学習が単一グループの推定よりも厳密に速い収束率をもたらす領域を特定している。これは、共有関数 $\bar{f}$ とオフセット $G_\ell$ が、ターゲット関数 $g_{0, \ell}$ よりも（滑らかさや内在的次元の観点で）複雑性が低い場合に発生する。例えば、オフセットがフル機能よりも滑らかであるか、あるいは低次元である場合、2段階のアプローチは、複雑な部分に対してはより大きなプールされたサンプルサイズを活用し、単純な残差に対しては特定のサンプルサイズを活用する。
• サンプル分割（Sample Splitting）： 定理3.7および系3.8は、第1段階と第2段階が独立したデータを使用する場合を分析している。このバリエーションは、関数クラスに対する特定の複雑性の制約を緩和し、特にターゲットグループの割合 $\pi_\ell$ が小さい場合に、よりタイトな収束率をもたらす可能性がある。
• 汎用性： 本フレームワークはニューラルネットワーク以外にも適用可能であることが示されており、転移学習の設定におけるトレンドフィルタリングに対する初の収束保証を提供し、直交級数回帰の既存のレートを回収している。

実証結果
著者らは、広範なシミュレーションと実データ実験を通じて手法を検証している：

• シミュレーション： 実験は、低次元（加法的および非線形混合）および高次元（シフトされた表現を持つ潜在因子モデル）の設定をカバーしている。多様なシナリオにおいて、提案された「2-Stage」深層ニューラルネットワーク推定器は、プールされた学習、個別学習、出力層のみのファインチューニング（Top-FT）、およびラベル付きプーリング（Pool-w-L）を含む競合手法を一貫して上回っている。また、高次元設定においてランダムフォレストやパラメトリックな競合手法（ptLasso）をも上回っている。
• 実データへの適用：
  • Beijing PM2.5： 環境データにおける有効性を示す低次元の研究。
  • UTKFace： 5つの民族グループにわたる高次元の顔年齢推定タスク。2段階の転移学習アプローチは、最も低い全体的な平均二乗誤差（MSE）を達成し、白人、黒人、アジア人のサブグループで最適に機能し、インド人サブグループに対してプールされたベースラインからの大幅な改善を示した。

意義と主張
本論文は、ディープラーニングの経験的な成功と、マルチグループ設定における理論的保証との間の溝を埋める、非パラメトリック回帰における転移学習の一般的な理論的基礎を提供することを主張している。その主な意義は以下の通りである：

1. 理論的正当化： 共有されたデータでの事前学習に続くオフセット学習が、なぜターゲットデータのみでの学習よりも優れているのかを、基礎となる関数が階層的または組成的な構造を示す場合に、厳密な収束率を用いて説明している。
2. 次元の呪い： 本フレームワーク内のDeep ReLUネットワークが、共有成分およびオフセット成分の低次元な構造を利用することで、次元の呪いを効果的に軽減できることを示している。
3. 堅牢性： 本手法が、総データセットに対するターゲットグループのサイズが小さい場合でも、依然として堅牢であることを示している。これは、実世界の転移学習における共通の課題である。

著者らは、階層的関数クラスに対する下界が一般的なケースでは完全には確立されていないことを指摘し、最適性に関して控えめな立場を維持している。また、オフセットが非常に複雑であるか、あるいはグループが異質な場合には、ネガティブ・トランスファー（負の転移）が理論的に起こり得ることも認めているが、彼らの実験は、実世界のデータセットにおける強いグループ間類似性を示唆している。今後の課題として、連続的なタスクの変化、より高度なアーキテクチャ（CNN、Transformer）、およびネガティブ・トランスファーの形式的な検出へのフレームワークの拡張が提案されている。