技術要約：ビジョン基盤モデルの適応における層ごとの情報配分の再考

問題提起

ビジョン基盤モデル（VFM）、特にVision Transformer（ViT）は、ダウンストリームの視覚認識タスクにおいて、凍結されたバックボーンとしてますます活用されている。Visual Prompt Tuning（VPT）のようなプロンプトベースの適応手法は、全パラメータのファインチューニングに代わるパラメータ効率の高い選択肢を提供するが、その層ごとの挙動については十分に理解されていない。経験的な観察によれば、プロンプトの深さ、長さ、または挿入範囲を増やしても、転移性能が確実に向上するわけではない。場合によっては、より強力なプロンプトのパラメータ化が、微細な識別（fine-grained recognition）における不安定性や、低ショット転移、あるいは分布シフト下での性能低下を招くこともある。

著者らは、これらの限界は単なる最適化の問題や、プロンプト容量の不足によるものではないと主張している。むしろ、それらは**層ごとの情報配分（layer-wise information allocation）**に対する原理的な制御の欠如に起因している。既存のプロンプトベースの手法は、凍結されたトランスフォーマーの深さ全体にわたって、プロンプトによって条件付けられた表現が何を保持し、何を抑制し、何を伝播すべきかを制御できていないことが多い。これは、不要な要因（例：テクスチャ、背景）の過剰な保持や、タスクに関連する局所的な証拠の時期尚早な抑制という結果をもたらす可能性がある。

手法：プロンプトによる情報ボトルネック（PIB）

情報ボトルネック（IB）の原理に着想を得て、著者らは**Prompted Information Bottlenecks (PIB)**を提案する。これは、プロンプトベースの適応を、層ごとの情報配分プロセスとして扱うフレームワークである。核心となる仮説は、効果的な適応は「最小限かつ十分な（minimal-yet-sufficient）」軌跡に従うべきであるという点である。すなわち、初期層は識別に必要な局所的な証拠を保持すべきであり、より深い層は不要な要因や冗長な詳細を段階的に抑制すべきであるという考え方である。

PIBフレームワークは、プロンプトの挙動を3つの補完的なコンポーネントを通じて正則化する学習目的関数を導入する：

1. 層ごとの圧縮と十分性（Layer-wise Compression and Sufficiency）:

   • 圧縮（Compression）: 冗長または不要な情報の伝播を阻止するため、PIBは正規化された隠れ表現の経験的相関行列の非対角成分のエネルギーを最小化する。これは、表現と入力の間の相互情報量 $I(H_l; X)$ を減少させる代用として機能する。
   • 十分性（Sufficiency）: 有用な識別的手がかりを捨ててしまう過剰な圧縮を防ぐため、PIBはクラスの分離性を最大化する。これは、クラス内散布とクラス間散布の比率（$S_{intra}/S_{inter}$）を最小化することによって達成され、ラベルとの相互情報量 $I(H_l; Y)$ を最大化する代用として機能する。
   • 総体的な層ごとの損失は、これらの項を組み合わせたものである：$\mathcal{L}_{PIB} = \sum (\lambda_l \mathcal{L}^{(l)}_{comp} + \gamma_l \mathcal{L}^{(l)}_{suff})$。

2. 層を横断する最小・十分パス（Cross-layer Minimal-Sufficient Path）:

   • 独立した層ごとの最適化では不十分であることを認識し、PIBは深さにわたる一貫した洗練パスを強制する。層の品質スコア（$q_l$）は、圧縮と十分性のバランスに基づいて定義される。
   • パス正則化項は、隣接する層間でのこのスコアの急激な悪化を罰し（$\max(0, q_{l+1} - q_l - \delta_l)$）、局所的な証拠の保持から高次の意味的な選択性へのスムーズな遷移を促す。

3. オプションの層認識ルーティング（Optional Layer-aware Routing）:

   • オプションの学習可能なゲート（$r_l$）により、モデルは各層における圧縮と十分性の目的の重み付けを動的に調整でき、ネットワークの深さに応じた表現上の役割に対する柔軟性を提供する。

最終的な目的関数は、標準的なタスク損失とこれらの正則化項を組み合わせたものである：$\mathcal{L}_{total} = \mathcal{L}_{task} + \mathcal{L}_{PIB} + \eta \mathcal{L}_{path}$。

主な貢献

• 失敗モードの特定: 本論文は、プロンプトベースのVFM適応の限界が、単なる最適化のダイナミクスだけでなく、制御されていない層ごとの情報配分に起因することを特定した。
• PIBの定式化: 著者らは、プロンプトによる適応を、層ごとのプロンプトによる情報ボトルネック・プロセスとして定式化した。これにより、効果的なプロンプトは「最小限かつ十分な」情報パスに従うという、情報ボトルネックに触発された視点を提供した。
• 学習フレームワーク: 圧縮と十分性の補完的なサロゲート、および層を横断するパス制約を用いて、プロンプトによる情報配分を明示的に正則化する実用的な学習フレームワークを開発した。
• 実証分析: 本研究は、非単調なスケーリング、不安定な汎化、ショートカットへの依存、およびプロンプトのダイナミクスを、提案された情報配分の観点と結びつけ、プロンプトベースの適応における失敗モードに対してより明確な説明を提供した。

実験結果

著者らは、様々な凍結バックボーン（ViT-Base/16, MAE-pretrained, MoCo v3-pretrained, Swin-Base）を用い、FGVC（微細な分類）、HTA（異種タスク適応）、VTAB-1kを含む34のデータセットでPIBを評価した。

• 性能: PIBは、平均してわずか 0.35% のパラメータをチューニングするだけで、強力な性能を達成した。主な結果は以下の通りである：
  • FGVCにおいて 92.1%。
  • HTAにおいて 93.01%。
  • VTAB-1kにおいて 77.33%。
  • 異なる事前学習パラダイム（教師あり学習、MAE、MoCo v3）およびアーキテクチャ（ViT、Swin）にわたり、一貫した改善が見られた。
• スケーリング挙動: プロンプトの深さや長さが増加すると非単調で時に脆弱な挙動を示す標準的なVPTとは異なり、PIBはよりスムーズで好ましいスケーリング傾向を示す。
• 堅牢性とショートカットの削減: PIBは、ショートカットになりやすい視覚的キュー（例：背景のテクスチャ）への依存を減少させた。破損、ドメインシフト、および低ショットの設定下において、PIBはVPTと比較して性能低下が小さかった（平均減少幅を8.0ポイントから5.3ポイントに抑制）。
• 診断: 層ごとの分析により、PIBがVPTと比較して、より一貫した情報軌跡、安定した冗長性抑制、および強力なクラス分離性を生成することが明らかになった。アテンションの可視化により、PIBがよりオブジェクト中心で意味的に整合した活性化をもたらすことが確認された。

意義と主張

本論文は、PIBを、凍結されたビジョン基盤モデルを適応させるための実用的な手法であると同時に、新しい視点として位置づけている。著者らは以下のことを主張している：

1. 原理的な制御: 標準的なプロンプトベースの適応の主な弱点は、単なる容量不足ではなく、層ごとの情報配分に対する原理的な制御の欠如である。
2. 解釈可能性: PIBは、プロンプト容量のスケーリングにおける非単調な挙動を説明し、層ごとのプロンプトのダイナミクスに対してより解釈可能な視点を提供する。
3. 汎用性: このフレームワークは特定のアーキテクチャや事前学習レシピに縛られず、異なる凍結された表現空間にわたって良好に汎化する。
4. 堅牢性: プロンプトが何を保持し何を捨てるかを明示的に制御することで、PIBは識別性が高いだけでなく、分布シフトや微細な識別設定においてもより堅牢な表現を生み出す。

著者らは、パラメータ効率の良い適応は、更新されるパラメータの数だけでなく、適応がいかに中間表現を再形成するかによって理解されるべきであると結論づけている。PIBは、凍結されたVFMの適応に関する、より原理的な理解への一歩を提示している。