技術要約：Vision Foundation Modelsにおける微分可能探索による層固有のプロンプト融合の発見

1. 問題提起

Visual Prompt Tuning (VPT) は、大規模なVision Transformer (ViT) をダウンストリームタスクに適応させるための、パラメータ効率の高いファインチューニング (PEFT) 戦略として台頭してきました。標準的なVPTでは、学習可能なプロンプトトークンが、凍結されたViTバックボーンの入力空間および特徴空間に注入されます。コアとなる操作は、これらのプロンプトトークンを、トランスフォーマー層に入る前にイメージトークンと融合させることです。

現在、コミュニティは主に、すべてのトランスフォーマー層に一様に適用される単一の固定された融合スキーム（結合 (concatenation) または 加算 (addition)）に依存しています。本論文は、このアプローチにおける根本的な欠落を指摘しています。すなわち、単一の融合スキームがすべての層やタスクに対して最適であるか、また、ハイブリッド融合様式（異なるスキームを異なる層で組み合わせる手法）がViTの層ごとのセマンティクスをより良く活用できるか否かは不明であるということです。既存の文献では、融合ルール自体を学習可能なコンポーネントとして設計することは稀であり、多くの場合、静的なハイパーパラメータとして扱われています。

2. メソドロジー：Auto-Prompting

著者らは、プロンプトとイメージトークンの間の融合を、探索可能かつ微分可能なコンポーネントとして扱う、Auto-Prompting と呼ばれる統一フレームワークを提案しています。この手法は、微分可能ニューラルアーキテクチャ探索 (DARTS) を介して解決される二段階最適化問題 (bi-level optimization problem) として定式化されています。

2.1 探索空間の設計

標準的な結合や加算を超えて探索空間を豊かにするために、著者らは2つの追加の軽量な融合演算子を導入しています。

1. 結合 ($\Delta_{concat}$): プロンプトトークンをイメージトークンの前方に配置し、固定されたバックボーンのインターフェース ($k \times d$) を維持するためにトークン保存型の削減行列を適用します。
2. 加算 ($\Delta_{add}$): プロンプトをLayerNorm-meanによって要約し、ブロードキャストすることで、プロンプト依存の残差バイアスを注入します。
3. アフィン変換 ($\Delta_{affine}$): Feature-wise Linear Modulation (FiLM) を適用し、プロンプトの要約を用いてチャネルごとのスケールおよびシフトパラメータを生成します。
4. クロスアテンション ($\Delta_{cross}$): イメージトークンがプロンプトメモリ（キー/バリューソースとして扱われる）に注意を向ける、コンテンツ適応的なルーティングを可能にします。

2.2 二段階最適化

フレームワークは2つのフェーズで動作します。

• インナーループ (学習): トレーニングセット上で、学習可能なプロンプトパラメータ ($\phi$) と融合演算子の内部重みを最適化します。
• アウターループ (検証): 各層における融合演算子の混合重み ($\pi$) を決定するアーキテクチャ・ロジット ($\alpha$) を最適化します。これは、検証損失のアーキテクチャパラメータに対する勾配を近似するために、ヘッセ行列・ベクトル積を用いた、1ステップのアンロール近似を用いて行われます。

アウターループの目的関数には、以下の正則化項が含まれます。

• エントロピー正則化: 単一の演算子への早期収束を防ぐため、探索空間の探索を促進します。
• コスト正則化: 重い演算子（Affine/Cross-Attention）が大幅な精度向上をもたらさない限り、より軽量な演算子（Add/Concat）にバイアスをかけ、精度とレイテンシのトレードオフを確保します。

2.3 離散化

探索フェーズの後、連続的な混合重みは、各層で最も確率の高い演算子を選択することによって離散化されます。その後、削減された離散アーキテクチャで性能を回復させるための短いファインチューニングフェーズが続きます。

2.4 理論的視点：情報ボトルネック (IB)

著者らは、この手法を情報ボトルネック (IB) 原理の観点から解釈しています。彼らは、プロンプトと融合スキームを共同で最適化することが、プロンプトのみを最適化する場合と比較して、より低い経験的IBサロゲートをもたらすことを観察しています。具体的には、学習されたハイブリッド融合により、深い層が入力依存の変動を圧縮（$I(T; X)$ の減少）しつつ、ラベル情報との整合性を高める（$I(T; Y)$ の増加）ことができ、より好ましい圧縮・関連性のトレードオフを実現していることを示唆しています。

3. 主な貢献

1. 根本的な問い: 本論文は、単一の融合スキームで十分であるという仮定に異を唱え、固定された融合（結合または加算）が多様なタスクや層において最適な性能を発揮できないことを明らかにしています。
2. 新しい最適化フレームワーク: 微分可能なアーキテクチャ探索を用いて、プロンプトと層固有の融合ルールを共同で学習する、二段階最適化問題として定式化されたハイブリッド融合手法を提案しています。
3. 探索空間の拡張: アフィン変換とクロスアテンションを、VPTの探索空間における新しい軽量なプリミティブとして導入し、より表現力が高く効率的な融合基盤を可能にしました。
4. 包括的な検証: 本研究は、IBを通じた理論的解釈と、ハイブリッド融合の必要性とスケーラビリティに関する広範な実証的評価の両方を提供し、視覚的プロンプトチューニングにおける重要な問いに答えています。

4. 実験結果

本手法は、34のデータセット（VTAB-1k の19個、FGVC の5個の細粒度データセット、HTA の10個の多様なデータセット）において評価されました。バックボーンは、凍結された ViT-Base/16 です。

• 性能向上:

  • VTAB-1k: 平均精度 77.01% を達成し、強力な VPT-Deep ベースライン (69.43%) を +7.58%、最近の変種である VFPT (75.49%) を +1.52% 上回りました。
  • FGVC: 平均精度 92.5% を達成し、VPT-Deep (85.5%) を +7.0% 上回りました。
  • HTA: 平均精度 91.6% を達成し、VPT-Deep (85.5%) を +6.1% 上回りました。
  • パラメータ効率: 本手法は、ViTのパラメータのわずか 0.75% （タスク固有のヘッドを含む）のみをチューニングしており、他の SOTA PEFT 手法と同等かそれ以下です。

• 汎用性:

  • 本手法は、異なる事前学習パラダイム（MAE および MoCo v3）において堅牢性を示し、再構成中心の目的関数と対照学習の目的関数の両方において、一貫してベースラインを上回りました。
  • Swin-Base に対しても検証され、階層的バックボーンに対しても同様の利得と適応性を示しました。

• アブレーション研究:

  • 単一 vs. ハイブリッド: 単一の演算子（Concat, Add, Affine, または Cross-Attention）が、一様に最適であることはありませんでした。探索可能なハイブリッドアプローチは、一貫して単一の固定演算子ベースラインを上回りました。
  • 層ごとのパターン: 分析により、浅い層は構造的な手がかりを保持するために軽量な演算子（Concat/Add）を好む一方で、深い層は特徴の較正やコンテンツ適応的なルーティングのために、セマンティックな演算子（Affine/Cross-Attention）へとシフトすることが明らかになりました。
  • 効率性: 探索フェーズでは訓練オーバーヘッド（VPT-Deep の約 1.38倍）が発生しますが、最終的な離散化モデルは、大幅な精度向上を実現しながら、推論レイテンシの増加をわずか 7.4% （15.9ms 対 14.8ms）に抑えています。

5. 意義と主張

本論文は、プロンプトがどのようにイメージトークンと融合するかが、視覚的プロンプトチューニングにおける汎化のための一次因子であると主張しています。固定された融合スキームから層固有の学習されたハイブリッド融合へと移行することで、本手法は ViT の異なる表現ニーズを効果的に活用しています。

著者らは、彼らの知見が、ニューラルアーキテクチャ探索 (NAS) と軽量なファインチューニングの間の溝を埋める、視覚的プロンプトチューニング研究への新しい視点を提供するものであると断言しています。彼らは、ハイブリッド融合様式は最適であるだけでなく、非常にスケーラブルであり、新しい単一融合スキームを探索空間にシームレスに組み込むことができると結論付けています。このアプローチにより、凍結されたバックボーンは、より重いヘッドや手作りの帰納バイアスに頼ることなく、ドメインシフトや複雑なタスク（特に構造的な推論）により効果的に適応することが可能になります。