技術要約：パラメータ効率の良いファインチューニングのための多様体制約付きハイパー接続（Manifold-Constrained Hyper-Connections）

問題提起

現代のディープラーニングシステムは、大規模なデータセットで事前学習された基盤モデルにますます依存しており、それらはその後、ファインチューニングを通じて特定のダウンストリームタスクに適応されます。全パラメータを更新することは計算コストが高く、破滅的忘却のリスクがありますが、パラメータ効率の良いファインチューニング（PEFT）手法は、バックボーンを凍結し、少数の追加パラメータのみを訓練することでこの問題に対処します。LoRA（低ランク適応）やアダプターモジュールなどの既存のアプローチは、主に重み行列や局所的な学習可能モジュールの修正に焦点を当てています。しかし、これらの手法は、モデルのアーキテクチャ上のバックボーン、特に**残差接続（residual connections）**を変化させずに残すことがほとんどです。

残差接続は、深いネットワークの学習において基本的であり、勾配消失を緩和し情報の流れを促進する恒等パスを提供します。近年の研究では、異なる深さのストリームがどのように相互作用するかをモデルに学習させることで、残差接続を一般化するハイパー接続（Hyper-Connections: HC）が導入されました。しかし、制約のないHCは、深さに対して不安定性を引き起こす可能性があります。多様体制約付きハイパー接続（mHC）は、残差混合行列をノルム保存多様体に制約することで、事前学習におけるこのメカニズムを安定化させるために提案されました。本論文が取り組む中心的な問題は、mHCを凍結されたTransformerバックボーンのためのPEFT手法として効果的に転用できるか、そしてその挙動が元の事前学習の設定と比較してどのように異なるかという点です。

手法

著者らは、凍結されたバックボーンの重みを変更することなく、中間表現が残差ストリームをどのように通過するかを修正することにより、事前学習済みTransformerブロック（具体的にはOLMo-2モデル）のラッパーとしてmHCを実装しています。

コアメカニズム

標準的な残差接続は $z_l = f_l(z_{l-1}) + z_{l-1}$ に従います。mHCはこれを一般化し、$n$ 個の並列な残差ストリームを維持します。

1. ルーティング（Routing）: モデルは、ストリームから読み取る方法（$h_{pre}$）、深さにわたってそれらを混合する方法（$H_{res}$）、およびストリームへ書き戻す方法（$h_{post}$）を学習します。
2. 多様体制約（Manifold Constraint）: 制約のないHCで見られる不安定性を防ぐため、残差混合行列 $H_{res}$ は二重確率行列（doubly stochastic）（非負の要素を持ち、行と列の合計が1であること）となるよう制約されます。これは、制約のないロジットをバーコフ・ポリトープ（Birkhoff polytope）に投影するSinkhorn-Knoppアルゴリズムによって実現されます。
3. バリアント（Variants）: 本研究ではいくつかのパラメータ化を評価しています：
   • Sinkhorn mHC: 反復的なSinkhorn投影を使用します。
   • mHC-lite: バーコフ・フォン・ノイマンの定理を用いて、$H_{res}$ を置換行列の凸結合としてパラメータ化します。
   • KromHC: より小さな二重確率行列のクロネッカー積を通じて $H_{res}$ を構築し、優れたスケーラビリティを提供します。
   • 静的 vs 動的（Static vs. Dynamic）: 静的バリアントは層ごとに固定された学習済みロジットを使用し、動的バリアントは現在の入力表現に基づいてルーティングパラメータを予測します。

実験設定

• バックボーン: OLMo-2-0425-1B（1Bパラメータ）およびOLMo-2-1124-7B（7Bパラメータ）。
• データ: Tulu-3 SFT OLMo混合データセット。
• ベースライン: LoRA、VeRA、(IA)3、Prompt Tuning、およびLayer Tuningと比較。
• 評価: 次トークン予測損失（訓練/検証）およびダウンストリームベンチマーク（BBH、DROP、GSM8K、HellaSwag、MATH、MMLU、PIQA、TriviaQA）によって測定。

主要な知見と結果

1. ファインチューニングにおける恒等性の保持は極めて重要である

決定的な発見は、mHCが事前学習と比較してファインチューニングにおいて根本的に異なる挙動を示すことです。

• 観察: ファインチューニングの設定では、学習された残差混合行列 $H_{res}$ は、深い層において自然に恒等行列（$H_{res} \approx I_n$）へと収束します。
• 示唆: $H_{res}$ を恒等行列に強制すること（学習可能な混合パラメータを完全に削除すること）は、訓練可能なパラメータ数を大幅に削減しながら、性能を向上または維持します。
• メカニズム: 著者らは、ファインチューニングにおいてはバックボーンがすでに豊かな表現を持っているため、学習された混合によって事前学習済みの残差経路を乱すことは逆効果であると仮定しています。代わりに、モデルは、深さ方向の残差パスを静的に保ったまま、入力依存のリード/ライト・ルーティング（$h_{pre}$ および $h_{post}$）から恩恵を受けます。

2. スタンドアロンのPEFT手法としての性能

• 損失の減少: mHCのバリアントは、凍結されたベースラインと比較して、訓練およびテスト損失を減少させることに成功しています。
• ベンチマーク比較: スタンドアロンの手法として、mHCはすべてのダウンストリームタスクにおいてLoRAやVeRAのような確立されたベースラインを一貫して上回ることはありません。特定の知識ベースのタスク（例：TriviaQA、PIQA）では競争力のある結果を示しますが、推論重視のタスクではLoRAと比較して性能が劣ることがよくあります。
• パラメータ効率: 静的バリアント（例：Static KromHC）は非常に軽量（例：1Bモデルに対して384パラメータ）ですが、より優れた性能を示す動的バリアントはより多くのパラメータを必要とし、LoRAとの差を縮めます。

3. 既存のPEFT手法との相乗効果

最も有望な応用は、mHCを既存の手法の置き換えではなく、補完として使用することです。

• 結合アプローチ: mHC（具体的には、恒等性を保持する動的KromHCバリアント）をLoRAと組み合わせることで、改善が得られます。
• 結果: パラメータ予算を一致させた場合、mHCとLoRAの組み合わせは言語モデリング損失を改善し、ダウンストリームベンチマーク（例：7BスケールでのGSM8K、HellaSwag、PIQAの改善）においてタスク依存の利点を示します。
• 解釈: これは、mHCとLoRAが直交する軸で動作していることを示唆しています。すなわち、LoRAは局所的な重みの変換を適応させ、mHCは残差ストリームを通じた表現のルーティングを適応させます。

重要性と貢献

本論文は主に5つの貢献を行っています：

1. 新しいPEFTの軸: 凍結されたTransformerのためのPEFTメカニズムとしてmHCを導入し、焦点を重みの適応から残差ルーティングへとシフトさせました。
2. メカニズム的洞察: 恒等性の保持が重要な発見であることを特定し、学習された混合が有益である事前学習の設定とは対照的に、ファインチューニングでは残差混合行列を恒等行列に固定することが性能を向上させることを実証しました。
3. 相補性: mHCは、標準的なPEFT手法（LoRAなど）と組み合わせることで最も効果的であることを確立し、損失やタスク固有の性能を向上させる明確な適応メカニズムを提供します。
4. スケーラビリティ: これらの知見を1Bおよび7Bのモデルスケールにわたって検証し、恒等性を保持するmHCとLoRAの組み合わせによる利点が、より大きなスケールでも持続することを示しました。
5. 効率性: 残差ルーティングが安定して効果的なPEFT戦略であり、特定のバリアント（KromHCなど）が効率的なパラメータ化を提供することを実証しました。

結論

本論文は、mHCがスタンドアロンのPEFT手法として一律にLoRAを凌駕するわけではないものの、残差ルーティングという、明確かつ有望な新しい適応の軸を切り開いたと結論付けています。鍵となる教訓は、凍結されたバックボーンに対しては、複雑なクロスストリーム混合を学習するよりも、事前学習された残差経路を（$H_{res}$ を恒等に固定することで）保持しつつ、入力依存のゲートに容量を利用する方が効果的であるということです。したがって、mHCは既存の手法を直接置き換えるものではなく、表現がモデルの残差ストリームを通じてどのように流れるかを調整することで、PEFTを強化する補完的なメカニズムとして捉えるのが最適です。