技術的サマリー：弱から強への一般化のメカニズム

問題定義

弱から強への（W2S）一般化とは、より強力な事前学習モデルが、より弱くタスク特化型のモデルの出力に対してファインチューニングされる際、その特定タスクにおける弱モデルのパフォーマンスを上回ると同時に、より広範な能力を維持する現象を指す。実証的研究（例：Burns ら、2023）は、完全なファインチューニング（特徴学習）が線形プロービング（固定表現）よりも優れていることを示しているが、既存の理論的解析は、特徴学習を最適化プロセス自体から導出しない抽象的な枠組みや、線形・ランダム特徴モデルに大きく制限されてきた。

本論文が扱う中心的な未解決問題は、より事前学習された大規模言語モデル（LLM）に近い設定において、多段階の確率的勾配降下法（SGD）が、W2S における特徴学習（具体的には、多様な事前学習能力を保持しつつ目標特徴方向を学習すること）を証明的に成功させることができるかどうかである。

手法と問題設定

著者らは、2 層ニューラルネットワークを用いた報酬モデル学習の文脈において W2S を形式化した。この設定には以下が含まれる：

1. 加法的報酬モデル: 真の報酬 $r^*(x)$ は、$K$ 個の単一インデックス成分の和としてモデル化される。すなわち $r^*(x) = \sum_{k=1}^K \pi_k \sigma^*_k(\theta_k^\top x)$ であり、ここで各タスク $k$ は特定の特徴方向 $\theta_k$ に対応する。
2. 事前学習部分空間: LLM が低次元部分空間に概念を符号化するという実証的知見と整合的に、強モデルは次元 $s \ll d$ のタスク固有部分空間 $V_k$ に関する事前学習知識を有すると仮定される。強モデルは $\theta_k$ を含む部分空間 $V_k$ を知っているが、$\theta_k$ 自体の正確な方向は知らない。
3. 弱モデル: 目標タスク $\kappa$ に特化した小型の 2 層ニューラルネットワーク。これは報酬成分 $r^*_\kappa$ を近似するように訓練され、$\theta_\kappa$ との特徴の整合性を有する。
4. 強モデル: $K$ 個のタスクに対応するグループに分割されたニューロンを持つ大型の 2 層ネットワーク。これはそれぞれの部分空間に局在化したニューロンで初期化される。
5. 学習ダイナミクス:
   • W2S アルゴリズム: 強モデルは、自身の生成分布（目標部分空間 $V_\kappa$ に集中）から抽出された入力に対してオンライン SGD で訓練され、弱モデルの出力によって監督される。重要なのは、弱モデルの出力がラベルとして使用される前に非線形変換（$z \mapsto z \exp(z)$）を受ける点である。
   • 標準的 SFT（ベースライン）: 比較のため、強モデルは真の報酬関数 $r^*_\kappa$ からの直接ラベルを用いて、等方性入力（$x \sim N(0, I_d)$）に対するオンライン SGD で訓練される。

主要な貢献と理論的結果

1. 多段階 SGD による特徴の誘発（定理 1）

本論文は、特徴学習領域における W2S に対する最初の多段階 SGD 収束保証を提供する。

• メカニズム: 教師信号の非線形変換は、学習問題の有効な「生成指数」を低減する。目標リンク関数 $\sigma^*_\kappa$ が高い情報指数 $p > 2$ を持つ場合でも、この変換により、強モデルは生成指数（偶数多項式の場合 2 となる）に依存するサンプル複雑性で特徴方向 $\theta_\kappa$ を学習できる。
• サンプル複雑性: 強モデルは、$\tilde{O}(s^{3/2})$ のサンプル複雑性で目標特徴 $\theta_\kappa$ と整合する。これは、弱モデルがゼロから同じ特徴を学習するために必要な $\tilde{O}(d^{p/2} s^{(p-2)/2})$ の複雑性や、等方性サンプリング下での標準的 SFT の $\tilde{O}(d^{p-1})$ の複雑性よりも著しく低い。
• 部分空間事前知識: この結果は、強モデルの入力分布が目標部分空間 $V_\kappa$ に集中している（パラメータ $\lambda_\kappa \approx 1$ でパラメータ化）ことに依存しており、これにより学習次元が $d$ から $s$ に実質的に低減される。

2. 特徴の保持（命題 2）

重要な貢献として、W2S が非目標タスク（$k \neq \kappa$）に対する事前学習特徴を保持することを証明した。

• 暗黙的正則化: 強モデルの生成分布（$V_\kappa$ に集中）と非線形教師変換の組み合わせは、暗黙的正則化として機能する。
• 保持の条件: 非目標タスクに目標タスクよりも多くのニューロンが割り当てられている場合（またはより小さな報酬重みを持つ場合）、非目標特徴は保持される。これは局在化パラメータ $\chi_k = N_\kappa \pi_k / (N_k \pi_\kappa)$ によって定量化される。
• 結果: 非目標ニューロンが元の方向 $\theta_k$ との整合性を維持する。整合性の低下は、破滅的忘却ではなく、初期化の重なりや SGD ノイズに関連する項によって制限される。

3. 標準的 SFT における破滅的忘却（定理 2）

W2S と対照的に、本論文は標準的教師ありファインチューニング（SFT）が、非目標特徴が目標と方向性を共有する場合、それらの特徴の破滅的忘却を引き起こすことを証明する。

• メカニズム: 等方性サンプリング下では、勾配信号はすべてのニューロンに伝播する。非目標ニューロンと目標方向 $\theta_\kappa$ との間の初期整合が無視できない場合（具体的には $\theta_k^\top \theta_\kappa \gtrsim s^{-1/2}$）、非目標ニューロンは目標ニューロンが $\theta_\kappa$ に収束するよりも速く $\theta_\kappa$ に収束する。
• 結果: 目標タスクが完全に学習される前に事前学習特徴 $\theta_k$ が失われ、モデルの汎用能力が破壊される。

数値実験

著者らは、入力次元 $d=1024$、部分空間次元 $s=128$ の合成データを用いて理論的知見を検証した。

• W2S の性能: 実験により、強モデルが目標特徴方向（$\theta_1$）を学習しつつ、非目標特徴（$\theta_2$）との整合性を維持することが確認された。これは定理 1 と命題 2 と一致する。
• SFT の失敗: SFT 設定では、目標ニューロンが完全に収束する前に非目標ニューロンが目標方向 $\theta_1$ と整合することが確認され、破滅的忘却の理論的予測（定理 2）が裏付けられた。

意義と主張

本論文は、固定表現や線形モデルを仮定した以前の解析を超え、特徴学習領域における W2S 一般化の理論的基盤を確立すると主張する。

• 誘発のメカニズム: W2S は単に新しい能力を「注入」するのではなく、事前学習部分空間と非線形変換を活用してサンプル複雑性を低減することで、潜在的な知識を効果的に「誘発」することを示す。
• SFT に対する優位性: この研究は、W2S が汎用能力の保持において標準的 SFT を上回る理由を理論的に説明する。その原因はアルゴリズムの違いにある。W2S は強モデルの生成分布（タスク部分空間に集中）上で弱モデルにクエリを行うのに対し、SFT は相関する特徴間の干渉を引き起こす等方性サンプリングに依存する。
• 限界: 著者らは、解析が第 1 層の特徴整合に焦点を当てており、第 2 層の学習（出力層の重み更新）を形式的に解析していないことを指摘する。また、生成指数の低減には目標リンク関数が偶数多項式である必要があることも認めている。

要約すると、本論文は、強モデルの事前学習構造（部分空間局在化）と特定のトレーニングプロトコル（生成分布＋非線形変換）の組み合わせが、より広範な知識を符号化する直交または弱相関する特徴を乱すことなく、効率的に目標特徴を学習することを可能にしているため、W2S は成功すると論じている。