技術概要：BiCo – 学習不要なタスクベクトル転送のための双線形座標アライメント

問題定義

現代の機械学習における支配的なパラダイムは、大規模な事前学習モデルを微調整を通じて専門的な下流タスクに適応させることを含む。しかし、事前学習モデルファミリーが、規模、事前学習データ、または学習レシピが異なる新しいバリエーションとともに拡大するにつれて、微調整を通じて獲得された専門知識は、元モデルの特定のパラメータ化に縛られるようになる。その結果、新しいモデルバージョンがリリースされた際、微調整された知識を直接再利用できず、高コストで反復的な微調整プロセスが必要となる。

この「タスクベクトル」の専門知識（パラメータの差 $\tau = \theta_{ft} - \theta_{pre}$ として定義される）を異なるモデル間で転送するための既存のアプローチは、重大な制限に直面している。パラメータ空間のアライメントに依存する手法（例えば、対称性による再盆地化）は、厳密なアーキテクチャの互換性と寸法の一致を必要とする。アクティベーションや勾配などのタスク固有のシグナルを利用する最近の学習不要な手法（例：THESEUS、GradFix）は部分的な対応を提供するが、依然としてターゲットモデルの直接微調整と比較して大きな性能ギャップを示している。核心的な課題は、追加のパラメータ更新なしで、幅、深さ、および事前学習構成が異なるモデル間でタスクベクトルを転送することである。

手法：BiCo

著者は、タスクベクトル転送を双空間アライメント問題として再定義する学習不要なフレームワークであるBiCo（双線形座標アライメント）を提案する。

1. 理論的洞察：タスクベクトルの双線形成

著者はタスクベクトルの機械的形成を再検討する。勾配降下更新則を分析することで、層 $l$ に対するタスクベクトル $\tau^{(l)}$ は、微調整軌道上での入力側アクティベーション ($x_t$) と出力側勾配 ($g_t$) の双線形相互作用の蓄積であることを実証する：
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
この定式化は、タスクベクトルが単なるパラメータのオフセットではなく、入力アクティベーション空間と出力勾配空間という 2 つの異なる座標空間の結合であることを示唆している。著者は、成功した転送には、アクティベーションのみまたはパラメータのみをアライメントするのではなく、更新の背後にある幾何学を保存するために両方の空間をアライメントすることが必要であると主張する。

2. BiCo フレームワーク

BiCo は、少量の較正セット（$N$ サンプル）と凍結された事前学習モデルを通じた単一の順伝播・逆伝播パスを使用して、入力空間と出力空間の両方に対して直交プロクラステス写像を推定する。ターゲットモデルのパラメータは更新されない。

• 入力側アライメント: この手法は、事前学習されたアクティベーションが軌道上のアクティベーションの有効な代理となることを仮定する。ソース事前学習アクティベーション ($\bar{X}_{A,pre}$) とターゲット事前学習アクティベーション ($\bar{X}_{B,pre}$) の間の共分散を計算する。特異値分解（SVD）を用いて直交プロクラステス解 ($R_{in}$) を導出し、関係幾何（Centered Kernel Alignment、CKA によって測定される）を保存しながら、ソース入力座標をターゲット入力空間にマッピングする。
• 出力側アライメント: 同様に、この手法は事前学習初期化における層出力に関する勾配 ($\bar{G}_{A,pre}$ および $\bar{G}_{B,pre}$) を計算する。出力勾配座標をアライメントするために、2 番目の直交プロクラステス解 ($R_{out}$) を推定する。このステップは、ソースモデルとターゲットモデルの間で出力次元が異なることが多く、「タスクに敏感な」方向が異なる基底に符号化されている可能性があるため重要である。
• タスクベクトル転送: ソースタスクベクトル $\tau_A^{(l)}$ は、双線形構造の両側に学習された写像を適用することで、ターゲット互換の更新 $\hat{\tau}_B^{(l)}$ に変換される：
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  最終的なターゲットモデルは $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$ として更新される。

3. 構造的ミスマッチの処理

• 幅のミスマッチ: プロクラステス定式化は、入力/出力次元が異なる場合（例えば、狭いモデルから広いモデルへの転送、またはその逆）に、最適な直交射影を見つけることで自然に対処する。
• 深さのミスマッチ: 層数が異なるモデルの場合、単純な離散的な層インデッチング戦略が採用され、ターゲット層 $j$ を最も近いソース層 $i(j)$ にマッピングする。

主要な貢献

1. タスクベクトル形成の再検討: 本論文は、タスクベクトルが入力アクティベーションと出力勾配の間の双線形相互作用の蓄積であることを確立し、単一空間またはパラメータ空間のアライメントではなく、双空間アライメントアプローチを動機づける。
2. BiCo フレームワーク: 入力アクティベーションと出力勾配の両方に対して直交プロクラステスアライメントを使用し、タスクベクトルを転送する学習不要な手法の導入。少量の較正セットにおける単一の順伝播・逆伝播パスのみを必要とし、パラメータ更新やハイパーパラメータ調整を伴わない。
3. 実証的検証: コンピュータビジョン（8-Vision ベンチマーク）および自然言語処理（GLUE スイート）ベンチマークにわたる広範な実験により、BiCo が既存の学習不要なベースライン（例：THESEUS、GradFix、TransFusion）を一貫して上回り、幅、深さ、および事前学習分布が異なるモデル間であっても、直接微調整との性能ギャップを狭めることが示された。

結果

• 幅のスケーリング: ViT-B/16 からより広い ViT-B/16-plus への転送において、BiCo は単純なパディングや THESEUS を大幅に上回る。100 の較正サンプルのみで、BiCo はゼロショットベースラインに対して平均精度で +18.88% の向上を達成し、THESEUS の +3.81% と比較される。
• 同一アーキテクチャ: アーキテクチャが一致しても事前学習データが異なる場合（Datacomp-XL から LAION-2B へ）、単純な転送は性能を低下させる。BiCo はクラスあたり 5 ショットでゼロショットベースラインに対して平均精度を +17.81% 向上させ、GradFix や THESEUS を大幅に上回る。
• 深さと幅のスケーリング: 深さと幅の両方のミスマッチを含む困難なシナリオ（ViT-B/16 から ViT-L/14 へ）において、BiCo はゼロショットベースラインを +12.89% 向上させ、構造的な一般化可能性を実証する。
• NLP 一般化: T5 モデル（T5-3B から T5-Large へ）に適用した場合、BiCo は GLUE タスク全体で線形プロービング精度において堅牢な改善を示し、較正サンプルの数に応じて効果的にスケーリングする。
• アブレーション研究: 入力側のみ、または出力側のみをアライメントすることは不十分であることが分析により確認された。特に出力側で勾配を使用する両者の組み合わせが性能にとって決定的である。入力側のみをアライメントすることは、深い層においてゼロショットベースライン以下の性能を招くことさえある。

意義と主張

本論文は、BiCo が多様なモデルバリエーション間でタスク固有の専門知識を直接再利用可能にすることで、モデルの再微調整の非効率性に対処すると主張している。タスクベクトルを双線形相互作用として解釈することで、著者は、入力アクティベーション空間と出力勾配空間の両方の幾何学を保存することが効果的な転送に不可欠であると論じている。

この研究の意義は、以下の点にある：

• 計算オーバーヘッドの削減: ターゲットモデルの反復的な微調整の必要性を排除し、較正のために単一の順伝播・逆伝播パスのみを必要とする。
• スケーラブルな再利用の可能化: 幅、深さ、および事前学習構成が異なるモデル間での知識転送を促進する。これは基盤モデルファミリーが進化するにつれて重要となる。
• 性能ギャップの橋渡し: 学習不要な転送と直接微調整の間のギャップを大幅に狭め、モデル適応のための実用的なプラグ・アンド・プレイの代替案を提供する。

著者は限界について謙虚であり、この手法は十分に互換性のある内部構造（例えば、同じバックボーンファミリー内）を仮定しており、直接微調整との間に依然として小さなギャップが残っていることを指摘している。これは、線形座標アライメントだけではすべてのタスク固有の情報を捉えきれない可能性を示唆している。また、この手法はソースタスクベクトルまたは較正データに存在するバイアスを本質的に修正するものではないとも述べている。