技術的サマリー：パラメータ数ではなく、どのパラメータか：低ランク適応におけるパラメータ配置

1. 問題定義

本論文は、低ランク適応（LoRA）におけるパラメータ配置問題に取り組む。近年の研究では、LoRA アダプタが劇的に削減されたパラメータ数（例：共有ランダム基底やスペクトルパラメータ化）で機能することが示されているが、これらの手法は暗黙のうちに、性能が学習可能なパラメータの数よりも、その同一性に主に依存すると仮定している。

著者らは以下の問いを形式化した：LoRA アダプタの $B$ 行列（$A$ は凍結され、ランダムに初期化される）内で、$k$ 個の学習可能なエントリという固定された予算が与えられたとき、どの $k$ 個のエントリを学習するかという具体的な選択が、下流タスクの性能に有意な影響を与えるか？本研究では、$A$ を凍結し、$B$ の部分集合に学習を制限することで、パラメータの選択をパラメータ数から分離している。

2. 手法

2.1 パラメータ配置戦略

著者らは、学習開始前に最も重要なパラメータを特定するための勾配ベースの選択手順を提案する。

• 初期化：$B$ をゼロに初期化し、$A$ をランダム分布からサンプリングする。
• スコアリングフェーズ：モデルはトレーニング分布上で $N$ 回の順伝播・逆伝播パスを実行する。$B=0$ であるため、モデルの出力は事前学習済みモデルと一致し、勾配 $\nabla_B L$ は各 $B$ エントリの損失低減に対する有用性を直接測定する。
• スコアリング関数：$B$ の各要素 $(i, j)$ に対して 2 つの指標が定義される：
  1. 勾配大きさスコア（$\hat{S}$）：集団平均勾配の大きさ（$|\mathbb{E}[g_{ij}]|$）を推定する。これは、例全体で勾配の方向が一貫している要素を選択する。
     $$\hat{S}_{ij} = \left| \frac{1}{N} \sum_{k=1}^N g_{k,ij} \right|$$
  2. 対角フィッシャースコア（$\hat{F}$）：経験フィッシャー情報の対角成分（$\mathbb{E}[g_{ij}^2]$）を推定する。これは、損失が摂動に対して最も敏感な要素を選択し、平均と分散の両方を捉える。
     $$\hat{F}_{ij} = \frac{1}{N} \sum_{k=1}^N g_{k,ij}^2$$
• 選択：これらのスコアに基づき、すべての層にまたがって上位 $k$ 個の要素をグローバルに選択し、「回路」を形成する。

2.2 勾配構造の理論的分析

本論文は、パラメータ配置の有効性がトレーニングレジームの勾配構造に依存すると仮定している：

• 教師あり微調整（SFT）：勾配は低ランクであり、方向が安定しており、ステップ間で高度に整合している。したがって、パラメータの任意の部分集合も整合した更新を蓄積するため、配置は重要度が低い。
• 強化学習（GRPO）：勾配は高ランクであり、ステップ間でほぼ直交し、高い分散を示す。このレジームでは、ランダムなパラメータへの更新は相殺され（ランダムウォーク）、一貫した符号を持ち大きな勾配を持つパラメータのみが意味のある変位を蓄積する。

2.3 実験設定

• モデル：Qwen2.5（1.5B, 3B, 7B）、Llama-3.2（3B）、Llama-3.1（8B）。
• タスク：
  • SFT：指示追従（Alpaca, Bespoke-Stratos）および視覚言語（MathVista）。
  • RL：数学的推論データセット（GSM8K, MATH-500）におけるグループ相対方策最適化（GRPO）。
• ベースライン：ランダム配置、完全 LoRA、提案された情報に基づく配置（$\hat{S}$ および $\hat{F}$）。

3. 主要な結果

3.1 レジーム依存性

• SFT 下では：ランダム配置と情報に基づく配置は同等の性能を達成する。差は modest であり（例：指示追従ベンチマークで 1% 未満）、SFT 勾配は十分に分散しており、任意の部分集合が有用なシグナルを捉えることを裏付けている。
• GRPO（ベースモデル）下では：ランダム配置は完全に失敗し、ベースモデルレベルの性能（例：1.5B モデルの GSM8K で約 9.5% 精度、完全 LoRA では約 64%）を示す。対照的に、情報に基づく配置（$\hat{S}$ および $\hat{F}$）は標準的な LoRA 精度を回復し、アダプタパラメータの 0.1% 未満でそれを達成または上回る。
• GRPO（インストラクトモデル）下では：ランダム配置はベースモデルよりも良好に機能する（既存の報酬シグナルによるため）が、情報に基づく配置は依然として一貫した優位性を示し、特に分布外（OOD）一般化において顕著である。

3.2 効率性と安定性

• コスト：回路の発見には $N=50$ 回の順伝播・逆伝播パスのみが必要で、単一 GPU で 10 秒未満（完全 SFT トレーニングコストの 0.5% 未満）で完了する。
• 安定性：選択された回路は、異なるランダムシードやデータ部分集合に対して非常に安定している。小規模なサンプルサイズを使用した場合、上位 1 万個の要素は参照回路と 95% 以上重複する。
• 一般化：ある数学データセット（例：MATH）で発見された回路は、他のデータセット（例：GSM8K, AMC, AIME）へ効果的に転移し、OOD 設定では完全 LoRA を上回ることも多い。これは、この手法がデータセット固有のアーティファクトではなく、安定したタスク汎用的なサブネットワークを特定していることを示唆している。

3.3 回路の解剖学

選択されたパラメータの分析は、ランダムではない濃集を示している：

• モジュール：選択されたパラメータは、残差ストリーム書き込み投影（$V$、$O$、および $Down$）に強く集中する。
  • $V$（Value）と $K$（Key）は「アテンションリーダー」として機能し、事前学習済み重みの支配的な特異ベクトルと整合する。
  • $O$（Output）と $Down$ は「残差ライター」として機能し、スペクトル的に集中した低ランク更新を生成する。
• 層：ベースモデルでは、回路は初期層（0–4）に集中し、予算の 70–98% を吸収する。
• ノックアウト検証：学習済みアダプタで上位ランクのパラメータをゼロにすると、ランダムなノックアウトよりも性能が著しく速く低下し、これらの特定のパラメータがアダプタの効果を媒介していることを因果的に確認する。

4. 主要な貢献

1. パラメータ配置の形式化：パラメータ数とパラメータの同一性の効果を分離し、RL 下では配置が重要であるが、SFT 下ではそれほど重要ではないことを実証する。
2. 軽量な選択手順：数秒で効果的な疎な部分集合を特定し、オーバーヘッドを無視できる勾配ベースのスコアリング手法（$\hat{S}$ および $\hat{F}$）を提案する。
3. 実証的検証：情報に基づく配置が、極端な疎性（例：2000 万パラメータのアダプタに対して 1 万パラメータ）でベースモデル上の GRPO 条件下において完全 LoRA の性能を回復することを示し、ランダム配置が失敗することを明らかにする。
4. メカニズム的洞察：RL におけるランダム配置の失敗は、勾配ノイズと直交性によるものであり、これが任意の部分集合における整合した蓄積を妨げている一方、情報に基づく配置は疎で一貫したシグナルを標的としているという証拠を提供する。

5. 意義と主張

本論文は、パラメータ効率型微調整における「いくつ」という仮定では不十分であり、「どの」パラメータを学習するかが、強化学習のような高分散トレーニングレジームにおける決定要因であると主張する。

• SFT において：ランダム配置は妥当なベースラインであるが、情報に基づく配置は極端な予算シナリオにおいて限定的な改善と正則化の利益を提供する可能性がある。
• RL において：この研究は、RL における成功する疎適応には情報に基づくパラメータ選択が必要であることを実証する。勾配シグナルがノイズが多く分散しているため、ランダムな部分集合が整合した更新を蓄積できないことから、ランダム配置はこのレジームでは構造的に学習できない。
• 実用的影響：提案された手法により、アダプタパラメータの 0.05% 未満で効果的なアダプタのトレーニングが可能となり、性能を犠牲にすることなく RL 微調整のメモリおよび計算要件を大幅に削減できる。

著者らは、自らのアプローチが学習にとって機能的に重要なパラメータの「回路」を特定し、密なアダプタでしばしば失われる一般化能力を保持する暗黙の正則化器として機能すると結論づけている。