技術要約：VISCOP (Visual Contextualized Probing) によるビデオ・ドメイン適応

1. 問題提起

大規模視覚言語モデル（VLM）は、一般的な視覚的推論タスクにおいて堅牢な性能を示す一方で、大幅な分布シフト（例：視点の変化、センシングモダリティの変化、またはタスク構造の変化）を伴う新しいドメインに展開されると、著しい性能低下に陥る。現在のドメイン適応戦略は、以下の決定的なトレードオフに直面している：

• **ビジョンエンコーダを凍結（Freeze）**し、軽量なコネクターのみを更新する手法は、事前学習された知識を保持するが、ドメイン固有の視覚的特徴を学習する能力を制限する。
• ビジョンエンコーダのフルまたは部分的なファインチューニングを行う手法は、専門的な視覚的理解を可能にするが、多くの場合、事前学習中に獲得した広範な能力の**破滅的忘却（Catastrophic Forgetting）**を引き起こす。

さらに、既存の手法は通常、凍結されたビジョンエンコーダの最終層の表現に依存しており、マルチレベルの視覚構造をエンコードしている中間層の特徴量を破棄してしまう。本論文は、抽象化された最終層の表現は、視覚的に顕著なドメインシフトに対しては不十分であると指摘し、凍結されたエンコーダの深層部にあるドメイン固有の信号を、破滅的忘果を引き起こすことなくVLMがいかにして活用できるかを問いかけている。

2. 手法：VISCOP

著者らは、事前学習された汎用知識を維持しながら、ターゲットドメインに特化させるための軽量な適応メカニズムである VISCOP (Visual Contextualized Probing) を提案する。

コア・アーキテクチャ

VISCOPは、凍結されたビジョンエンコーダを、コンパクトな学習可能な視覚プローブ（Visual Probes） ($P \in \mathbb{R}^{M \times d_v}$) と相互作用モジュールによって拡張するものである。固定された特徴を再解釈したり、最終層でそれらを圧縮したりする手法とは異なり、VISCOPは並列のパラメータ化された経路を作成する：

1. 層ごとのプロービング (Layer-wise Probing): 本手法は、凍結されたビジョンエンコーダの中間層 ($\ell = 1, \dots, L$) からドメインに関連する信号を抽出する。
2. 相互作用モジュール ($\Phi^\ell$): 各層において、学習可能な相互作用モジュールが、**視覚・プローブ間のクロスアテンション（Vision-probe cross-attention）**を介して、階層的な視覚表現 ($X^\ell$) に基づいてプローブを条件付けする。
   • プローブは次のように更新される：$P^{\ell+1} = \Phi^\ell(P^\ell, X^\ell)$。
   • これにより、プローブは全フレームに注意を払い、ベースとなるエンコーダが凍結されている場合でも、ターゲットドメインに特有の複雑な時空間関係を学習することが可能になる。
3. LLMへの投影 (Projection to LLM): 最終層の後、更新されたプローブ ($P^L$) は、専用のコネクター ($C_{probe}$) を介して言語埋め込み空間へと投影される。
4. 学習目的関数 (Training Objective): VLMは、元の視覚的埋め込み ($E$) とプローブ埋め込み ($Z$) の両方に条件付けられた、標準的な自己回帰的な次トークン予測損失を用いて学習される。

学習戦略

• 凍結コンポーネント: 事前学習済みのビジョンエンコーダのパラメータは凍結されたままとなる。
• 学習可能コンポーネント: 視覚プローブ、相互作用モジュール、視覚・言語コネクター、および（オプションとして）LLM内のLoRAパラメータのみが更新される。
• メカニズム: 更新を低ランクのプローブによって定義される視覚サブスペースに限定することで、VISCOPは学習をドメインに関連する構造へとバイアスさせつつ、ビジョンエンコーダへの直接的な勾配フローに伴う「クラッシュ（破滅的忘却）」を回避する。

3. 主な貢献

1. 斬新な適応戦略: 凍結されたエンコーダの層ごとのプロービングを通じてドメイン固有の視覚表現を学習し、事前学習された表現を破壊することなく効果的な転移を可能にする、VISCOPという新しい適応戦略を導入した。
2. 包括的な評価: 以下の3つの困難な適応シナリオにわたる厳格な評価設定を確立した：
   • クロスビュー (Cross-view): 外観的 (Exocentric) $\to$ ひとり視点 (Egocentric)。
   • クロスモーダル (Cross-modal): RGB $\to$ 深度 (Depth)。
   • クロスタスク (Cross-task): 人間理解 $\to$ ロボット制御。
3. 実証的な優位性: VISCOPが、ターゲットドメインの性能において既存の戦略（フルファインチューニングおよび部分ファインチューニングを含む）を一貫して上回り、かつソースドメインの能力をより高度に保持することを実証した。

4. 実験結果

著者らは、3つのドメインにおいてVISCOPをベースライン（Base VLM、Full Fine-tuning、Partial Fine-tuning、Q-Formerスタイル、Prompt Tuning）と比較評価した：

• ひとり視点ビデオ理解 (Exocentric $\to$ Egocentric):

  • VISCOPは、ターゲットドメインにおいて最高の改善 ($\Delta_{target} = +3.53$) を達成すると同時に、ソースドメインの保持率も向上させた ($\Delta_{source} = +1.77$)。
  • 対照的に、フルファインチューニングはターゲットをわずかに改善したが ($\Delta_{target} = +0.57$)、ソースにおける忘却を引き起こした ($\Delta_{source} = -0.50$)。

• 深度ビデオ理解 (RGB $\to$ Depth):

  • RGBと深度の間の視覚的なギャップは、標準的なファインチューニング手法において深刻な忘却を引き起こした ($\Delta_{source} = -3.87$)。
  • VISCOPは、最大のターゲット利得 ($\Delta_{target} = +19.27$) を達成しながら、ソースの性能を維持した ($\Delta_{source} = +1.84$)。

• ロボット制御 (Human Understanding $\to$ Robot Control):

  • 極端なドメインギャップ（視覚および言語空間）を考慮すると、Base VLMの精度は0%であった。
  • VISCOPは、最高のターゲット性能 ($\Delta_{target} = +67.82$) を達成し、他のエキスパートが大幅な忘却に苦しむ中で ($\Delta_{source} \approx -8.87$)、最も多くのソース知識を保持した ($\Delta_{source} = -4.58$)。

• 汎用性: VISCOPはオーディオ理解（スペクトログラム入力）についてもテストされ、ベースラインと同等のターゲット性能を示しながら、ソースの忘却を大幅に抑制した。これは、本手法が視覚的なシフトに限定されないことを示している。

効率性

VISCOPは、わずかな計算オーバーヘッド（パラメータ数の2%増加、約3.4GBのVRAM増加）しか導入せず、注目すべきことに、より集中したトークン生成により、ベースとなるVLMよりも低い推論レイテンシを示した。

5. 意義と主張

本論文は、VISCOPがVLMのドメイン適応における根本的なトレードオフ、すなわち「事前学習された知識を消去することなく、新しい視覚的特徴を学習できない」という問題に対処していると主張している。勾配の流れを凍結されたエンコーダから別の経路へと導く「交通整理（Traffic Cop）」として機能することにより、VISCOPは以下を可能にする：

• 効果的なドメイン転移: 事前学習された表現には存在しない、ドメイン固有のキュー（例：ひとり視点の動き、深度構造、ロボットの操作）の学習。
• 汎用的な能力の保持: ソースドメインにおける能力を維持すること。これは、モデルが多様な入力を扱う必要がある実世界の展開において極めて重要である。
• 中間層の特徴の活用: 中間層の凍結されたエンコーダには、最終層の表現のみを使用する場合に失われてしまう、価値のあるドメイン固有の信号が含まれていることを実証した。

著者らは、VISCOPが、事前学習されたビジョンエンコーダのパラメータを変更することなく、顕著な視覚的ギャップを伴うビデオ・ドメイン適応のためのシンプルかつ効果的なアプローチを提供すると結論付けており、これは既存の手法では実現できなかった能力である。