大規模視覚モデルにおけるプロンプトベース適応（PA）の包括的調査：技術的サマリー

本論文は、コンピュータビジョン分野における大規模視覚モデル（Vision Transformer や Swin Transformer など）の適応手法として注目されている**「プロンプトベース適応（Prompt-based Adaptation: PA）」**に関する最初の包括的な調査論文です。2026 年 2 月に Transactions on Machine Learning Research に掲載されました。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細にまとめます。

---

1. 問題定義 (Problem)

大規模視覚モデルは「事前学習（Pretrain）→微調整（Finetune）」というパラダイムで発展してきました。しかし、モデルの規模が拡大するにつれ、従来の**全パラメータ微調整（Full Fine-tuning, FT）**には以下の重大な課題が生じています。

• 計算コストとストレージの増大: 全パラメータを更新するには莫大なリソースが必要です。
• 事前学習知識の喪失（Catastrophic Forgetting）: 全パラメータを微調整すると、汎用的な事前学習で獲得した知識が失われるリスクがあります。
• データ制約: 多くの実世界タスクでは、ラベル付きデータが不足しており、大規模な微調整が困難です。

これに対し、パラメータ効率の良い微調整（PEFT）手法として**「視覚プロンプティング（Visual Prompting: VP）」と「視覚プロンプトチューニング（Visual Prompt Tuning: VPT）」**が台頭していますが、現在の研究コミュニティでは両者の概念境界が曖昧で、用語が混同して使用されているという問題があります。

2. 手法と統一的な枠組み (Methodology & Framework)

本論文は、VP と VPT を再定義し、**「プロンプトベース適応（PA）」**という統一的な枠組みの中で整理しました。

2.1 分類体系（Taxonomy）

PA は、プロンプトの**注入粒度（Injection Granularity）と生成メカニズム（Generation Mechanism）**の 2 つの軸で分類されます。

A. 注入粒度による分類

1. Visual Prompting (VP) - ピクセルレベル:

   • 定義: 入力画像（ピクセル空間）に対してプロンプトを追加・変更する手法。トークン化や特徴抽出の前に作用します。
   • サブタイプ:
     • VP-Fixed: 学習可能なパラメータを持たず、ルールやユーザー入力（点、枠、マスクなど）に基づくもの（例：SAM でのインタラクティブセグメンテーション）。
     • VP-Learnable: ピクセル空間でプロンプトを最適化するもの（例：オーバーレイ、残差、周波数成分の追加）。
     • VP-Generated: 軽量な生成器（MLP や CNN）を用いて、入力画像ごとに適応的なプロンプトを生成するもの。
   • 特徴: モデル内部（バックボーン）を触らず、ブラックボックス環境や API 制限下でも適用可能。

2. Visual Prompt Tuning (VPT) - トークンレベル:

   • 定義: トランスフォーマーなどの内部レイヤーにおいて、特徴トークン（Token）の列に学習可能なプロンプトトークンを挿入する手法。
   • サブタイプ:
     • VPT-Learnable: 固定されたバックボーンに対し、浅い層（1 層目のみ）または深い層（全層）にプロンプトトークンを追加し、勾配降下法で最適化する。
     • VPT-Generated: 入力やタスク条件に基づいて、プロンプトトークンを動的に生成する。
   • 特徴: 内部特徴空間を直接再調整できるため、ドメインシフトや複雑な意味的適応に強い。

B. 生成メカニズムによる比較

• Fixed: 解釈性が高く、ブラックボックス対応に優れるが、ドメインシフトへの適応能力に限界がある。
• Learnable: 標準的なドメイン適応手法。静的なプロンプトであり、インスタンスごとの微細な変化には対応しきれない場合がある。
• Generated: 入力ごとの適応性（Instance-adaptive）が高く、複雑なタスクに強いが、推論時の遅延や最適化の複雑さが増す。

2.2 効率性 (Efficiency)

• VPT: パラメータ数とオプティマイザ状態のメモリを大幅に削減できるが、バックプロパゲーション時に全バックボーンを通過するため、アクティベーションメモリ（GPU メモリの大部分）は FT と同程度必要。
• VP: 入力空間での操作であり、バックボーンを凍結したままヘッドのみ学習する（または VP-Fixed の場合はプロンプト自体の学習なし）。パラメータ/オプティマイザのオーバーヘッドは最小限だが、アクティベーションメモリは依然として必要。ただし、ブラックボックス環境やトレーニング不要の適用において優位。

3. 主要な貢献 (Key Contributions)

1. 初の包括的な調査と統一フレームワークの提案:
   • 既存の調査がマルチモーダルや VLM（Vision-Language Model）に偏っているのに対し、本論文は視覚モデル（Vision Encoders）に特化した PAに焦点を当て、VP と VPT の概念を明確に区別し、統一的な分類体系を確立しました。
2. 詳細な分類体系の構築:
   • 注入粒度（ピクセル vs トークン）と生成メカニズム（固定・学習・生成）に基づき、既存の手法を体系的に整理しました。
3. 多様なドメインへの応用調査:
   • 医療画像、リモートセンシング、ロボティクス、産業検査、自律走行、3D ポイントクラウド、水中環境など、多岐にわたる実世界ドメインにおける PA の適用事例を網羅的にレビューしました。
4. 制約下での適応と信頼性 AI の検討:
   • データ制約（Few-shot, Unsupervised, TTA）、リソース制約（Black-box, Federated Learning）下での PA の有効性を分析。
   • 信頼性 AI（Robustness, Fairness, Privacy/Security）の観点から、PA がもたらすリスク（バックドア攻撃など）と防御策を議論しました。
5. 基礎分析と理論的洞察:
   • PA がモデルの挙動をどのように変化させるか（GradCAM による可視化）、プロンプトが何を学習しているか（パッチトークンとの相互情報量）、最適なプロンプト配置や長さに関する理論的・実証的分析を行いました。

4. 結果と知見 (Results & Findings)

• タスクと手法の相性:
  • VPは、セグメンテーション（特に SAM 系）、インタラクティブタスク、ブラックボックス環境、入力レベルのノイズ除去に適しています。
  • VPTは、ドメインシフトが大きいタスク（自然画像→衛星画像など）、時系列理解（ビデオ）、3D 幾何学的推論、高度な意味的適応において、全微調整に匹敵する性能を発揮します。
• 効率性のトレードオフ:
  • 学習パラメータを 1% 未満に抑えつつ、多くのタスクで全微調整に近い性能を達成可能です。
  • ただし、VPT はメモリ効率（アクティベーション）の面で完全な解決策ではなく、メモリ制約が厳しい場合は VP-Fixed や推論時のアダプターが推奨されます。
• 理論的洞察:
  • 学習されたプロンプトは、事前学習された特徴分布とタスク固有の分布の間のギャップを埋めるように学習されることが示されました。
  • VPT において、プロンプトの長さと性能の関係は非線形であり、過剰な長さよりも適切な配置と初期化が重要であることが示唆されました。

5. 意義と将来展望 (Significance & Future Directions)

• 実用化への道筋:
  • PA は、大規模モデルをリソース制約のある環境（エッジデバイス、医療現場、産業現場）で実用的に活用するための鍵となる技術です。
  • 特に、ブラックボックス API を介したモデル利用や、プライバシー保護（連合学習）が必要な場面で不可欠なアプローチです。
• 今後の課題:
  • 安全性と整合性: プロンプト操作による悪意ある利用（バイアス増幅、有害コンテンツ生成）への対策。
  • トレーニングの安定性: 初期値への依存度やハイパーパラメータ検索のコスト削減。
  • 推論遅延: プロンプト生成や追加トークンによるオーバーヘッドの最小化。
  • 実世界評価: 学術的なベンチマーク（ImageNet, VTAB-1k）だけでなく、複雑で多様な実世界データ（AI for Science など）での評価基準の確立。

結論

本調査は、大規模視覚モデルの適応において「全微調整」に代わるパラメータ効率の良い手法としての PA の地位を確立し、VP と VPT の役割分担を明確化しました。研究者および実務家に対し、タスクの特性（アクセス権限、ドメインシフトの程度、リソース制約）に基づいて最適な PA 戦略を選択するための明確なロードマップを提供しています。