技術要約：完全なスペクトルコアを用いた信頼性重み付きスペクトル割り当てによる、パラメータ効率の高い視覚的ファインチューニング

問題定義

学習済み視覚モデルは、ラベル付きデータが限られているダウンストリームタスクに対して頻繁に適応されます。フルファインチューニングは高い性能を提供しますが、計算コストが高く、単一のバックボーンが複数のタスクをサポートする必要がある場合、各タスクに対して個別のフルバックボーンを保存しなければならないため、実用的ではありません。パラメータ効率の高いファインチューニング（PEFT）は、バックボーンを凍結し、コンパクトなタスク固有の状態を学習することでこの問題に対処します。しかし、既存のPEFT手法（アダプター、LoRA、ビジュアルプロンプトなど）は、通常、ランク予算、アダプター幅、挿入位置、または層ごとの割り当てルールといったユーザー指定のハイパーパラメータに依存しています。

固定または一様に分布された適応予算は、事前学習済みバックボーン全体にわたるタスク関連情報の不均一な分布を考慮できていません。異なるテンソルは、異なる勾配スペクトルと転送感度を示します。固定されたランクは、弱い方向に対して容量を浪費する一方で、情報量の多い方向を過小評価してしまう可能性があります。さらに、多くのPEFT手法は、デプロイ時にもメソッド固有のアクティブな推論ブランチを保持するため、レイテンシやメモリトラフィックが増加します。本論文は、以下の要件を満たす手法の必要性を提唱しています：

1. ユーザー定義の予算ではなく、タスクのエビデンスに基づいて容量を割り当てること。
2. 層ごとのランクと参加するテンソルを自動的に決定すること。
3. デプロイ前に代数的なマージによってメソッド固有のブランチを除去すること。

手法

提案手法である**完全なスペクトルコアを用いた信頼性重み付きスペクトル割り当て（Reliability-Weighted Spectral Allocation with Full Spectral Cores）**は、キャリブレーション、スペクトル割り当て、およびマージを伴う適応という、相互に関連する3つのステージで構成されます。

1. キャリブレーションとスペクトルエビデンスの推定

本手法は、バックボーンを更新することなく、タスクに関連するスペクトル方向を推定するためにキャリブレーションデータセットを利用します。

• 勾配プーリング（Gradient Pooling）: 各適格なバックボーンテンソル $W_\ell$ （タスクヘッド、埋め込み層、正規化層を除く）に対し、各キャリブレーションバッチ $t$ について展開された勾配 $G_{\ell,t}$ を計算します。
• 決定的分割（Deterministic Partitions）: キャリブレーションバッチを2つの決定的なパーティション（$I_0$ と $I_1$）に分割します。各パーティションの平均勾配（$G^{(0)}_\ell, G^{(1)}_\ell$）およびプーリングされた平均勾配（$G_\ell$）を計算します。
• スペクトル分解（Spectral Decomposition）: プーリングされた勾配に対してコンパクトな特異値分解（SVD）を実行します：$G_\ell = U_\ell \Sigma_\ell V^\top_\ell$。
• 信頼性重み付きスコアリング（Reliability-Weighted Scoring）: 各スペクトルモード $j$ について、2つのパーティション間の一致度に基づき、一貫性スコア $q_{\ell,j}$ を計算します。
  • $a_{\ell,j}$ および $b_{\ell,j}$ を、パーティション勾配の特異ベクトルへの投影とします。
  • 共通の応答は $s_{\ell,j} = (a_{\ell,j} + b_{\ell,j})/2$ であり、不一致は $d_{\ell,j} = (a_{\ell,j} - b_{\ell,j})/2$ です。
  • 重みは $q_{\ell,j} = \frac{s_{\ell,j}^2}{s_{\ell,j}^2 + d_{\ell,j}^2 + \hat{\nu}_\ell + \epsilon}$ と定義されます。ここで $\hat{\nu}_\ell$ はテンソルレベルの分散ペナルティです。
  • 最終的なモードエビデンスは $e_{\ell,j} = \sigma_{\ell,j}^2 q_{\ell,j}$ であり、これは特異エネルギーとパーティションの一致度を組み合わせたものです。

2. モデル全体の割り当てルール

ユーザー指定のランク予算の代わりに、本手法は全テンソルにわたるエビデンス分布からグローバルな割り当てを導出します。

• 有効サポート（Effective Support）: 正規化されたエビデンス確率から、シャノン有効サポート（$D_1$）と正のエビデンスサポートサイズ（$D_0$）を計算します。
• 自動ランク決定: 保留される総スペクトルモード数 $R$ は、これらのサポートの幾何平均によって決定されます：$R = \lceil \sqrt{D_0 D_1} \rceil$。
• 選択: 全ての層とテンソルにおける上位 $R$ 個のエビデンス値を選択します。これにより、以下が同時に決定されます：
  • どのテンソルが参加するか。
  • 各参加テンソルの具体的なランク $r_\ell$。
  • ユーザーによるランク予算、閾値、または層のリスト指定は不要です。

3. 完全なスペクトルコアの最適化とマージ

• パラメータ化: 選択された左側（$U_{\ell, S_\ell}$）および右側（$V_{\ell, S_\ell}$）のスペクトル部分空間内で、完全なスペクトルコア $K_\ell \in \mathbb{R}^{r_\ell \times r_\ell}$ を最適化します。対角スケーリング（一致したペアのみを更新する）とは異なり、完全なコアはクロスモード相互作用（すべての $i, j$ に対して $u_{\ell,i} v_{\ell,j}^\top$）を捉えます。
• 最適化: スペクトルコアとタスクヘッドを標準的なダウンストリーム損失を用いて最適化します。バックボーンと選択された基底は凍結されたままとなります。
• 代数的マージ（Algebraic Merging）: 学習後、学習された更新は元のバックボーンテンソルに代数的にマージされます：$W_\ell \leftarrow W_\ell + M^{-1}_\ell(U_{\ell, S_\ell} K_\ell V^\top_{\ell, S_\ell})$。これにより、アクティブなスペクトルコア・ブランチが除去され、PEFTメカニズムによるレイテンシオーバーヘッドのない標準的な推論モデルが得られます。

主な貢献

1. 信頼性重み付きスペクトルスコア: プーリングされた勾配エネルギーと、2つの決定的なキャリブレーションパーティション間の一致度を組み合わせた、新しいスコアリングメカニズム。これにより、不安定なモードの影響を低減します。
2. ユーザーフリーのモデル全体割り当て: ユーザー指定のランク予算、層のリスト、または割り当てルールを必要とせず、キャリブレーションデータから直接、保持されるモード数、参加するテンソル、および層ごとのランクを決定する定式化。
3. 完全なスペクトルコア: 選択された部分空間内でフルマトリックスコアを利用してクロスモード相互作用を捉える最適化戦略。これは対角スケーリングよりも理論的に優れており、代数的マージを可能にします。
4. 統一された評価: 提案手法は、単一ラベル分類、マルチラベル認識、およびセマンティックセグメンテーションにおいて、畳み込み型およびTransformer型のバックボーンに対して一様に適用されます。

実験結果

本手法は、DTD、Flowers-102、Oxford-IIIT Pet、およびPascal VOC2007において、ResNet、ViT、Swin、およびMobileNetバックボーンを用いて評価されました。

• リニアプロービングとの性能比較: 本手法は、一貫してリニアプロービングを上回る性能を示しました。顕著な利得は以下の通りです：
  • Flowers-102 (ViT-B/16): リニアプロービングに対し、Acc@1で+4.85ポイント向上。
  • Flowers-102 (ResNet-18): +4.21ポイント向上。
  • DTD (ResNet-50): リニアプロービングに対し+0.69ポイント、フルファインチューニングに対し+1.76ポイント向上。なお、これは23.6Mのパラメータではなく、わずか150.9Kのパラメータを最適化した際の結果です。
• 特化型PEFTとの比較: 本手法は、すべての設定において、特化型のベースライン（RepAdapter、SSFなど）やフルファインチューニングを一律に上回るわけではありません。例えば、DTDのViT-B/16では、RepAdapterの方が高い精度を達成しました。著者らは、本手法は「ヘッドのみの適応では大きなギャップが残るが、フルファインチューニングはコストが高すぎる」場合に最も有益であると述べています。
• パラメータ効率: 本手法は、1,165から54,610個のスペクトルコア座標を最適化しており、これは全モデルパラメータの 0.004% から 0.307% に相当します。
• アブレーション研究:
  • Full vs. Diagonal: DTDのResNet-18において、完全なスペクトルコアは対角スペクトルスケーリングよりも1.07ポイント（Acc@1）高い性能を示し、クロスモード相互作用を捉えることの価値を裏付けました。
  • 信頼性コンポーネント: パーティションの一致度による重み付けを除去すると性能が低下したことから、信頼性スコアの重要性が検証されました。

意義と主張

本論文は、提案手法が手動のPEFT設定に対する原理的かつ自動化された代替案を提供すると主張しています。その主な意義は以下の通りです：

• ハイパーパラメータ探索の排除: ユーザーがランク予算、層のリスト、または割り当てルールを指定する必要をなくし、これらをキャリブレーションデータから直接導出します。
• デプロイの効率性: 更新を代数的にマージすることで、他のPEFT手法に共通する課題である、アクティブなアダプター・ブランチによる推論レイテンシやメモリオーバーヘッドを排除します。
• 汎用性: 多様なアーキテクチャ（CNNおよびTransformer）とタスク（分類およびセグメンテーション）に適用可能な、単一の割り当てルールを提供します。

著者らは、いくつかの限界についても謙虚に認めています。選択された部分空間は特定のキャリブレーションバッチに依存すること、有効サポートのルールは統計的に最適な基準というよりはヒューリスティックであること、そして現在のところ、タスクごとに個別のマージ済みチェックポイントが必要であることです。今後の課題として、割り当ての安定性と、より大規模なモデルのためのキャリブレーション効率の高い近似手法に焦点を当てることを示唆しています。