技術的概要：SIGMA – 視覚基盤モデルの適応における構造的および分布的ギャップの架け橋

1. 問題定義

DINOv2、SigLIP2、Segment Anything Model (SAM) などの視覚基盤モデル（VFMs）は、大規模データセットによる事前学習を通じて、堅牢な表現能力を実証しています。しかし、これらのモデルを物体検出、セマンティックセグメンテーション、深度推定などの下流の密な予測タスクに適応させることは、重大な課題を伴います：

• 計算およびストレージのオーバーヘッド: ボンバックとタスク固有のヘッドの完全微調整は計算的に実行不可能であり、複数のタスク固有モデルをデプロイする際のストレージ面でも非現実的です。
• 既存の PEFT の限界: Adapter や LoRA などのパラメータ効率型微調整（PEFT）手法は軽量な代替手段を提供しますが、2 つの根本的なギャップにより、密な予測タスクでは困難に直面しています：
  1. 構造的ギャップ: ほとんどの PEFT 手法は自然言語処理（NLP）に由来し、1 次元のトークン系列に対して線形射影を用いて動作します。これらは、ピクセルレベルの予測に不可欠な 2 次元の空間的局所性とマルチスケール文脈を捉えるために必要な帰納的バイアスを欠いています。さらに、LoRA などの手法における低ランク制約は、密な予測に対する表現能力を制限します。
  2. 分布的ギャップ: VFMs は多様で大規模なデータセットで事前学習されるため、その特徴統計量（平均、分散）は特定の下流ドメインから乖離します。既存のアダプタは、この統計的ミスマッチを修正する明示的なメカニズムを欠いており、限られたパラメータ予算内で暗黙的にアライメントを学習することを余儀なくされます。これは、スケールを超えた空間的および意味的アライメントを必要とする密なタスクにはしばしば不十分です。

2. 手法：SIGMA

これらのギャップに対処するため、著者は SIGMA（Scale-Integrated Global Modulation Adapter）と呼ばれる新規の軽量 PEFT フレームワークを提案します。SIGMA は、各トランスフォーマーブロック内のマルチヘッドアテンション（MHA）およびフィードフォワードネットワーク（FFN）層の後に挿入され、事前学習済みのボンバックパラメータを固定したまま、アダプタパラメータのみを更新します。

アーキテクチャは、相乗効果を持つ 2 つのモジュールで構成されます：

A. スケール適応型融合

このモジュールは、マルチ粒度の視覚情報の抽出を強化することで、構造的ギャップに対処します。

• メカニズム: 標準的な畳み込みの代わりに、SIGMA は $3\times3$、$5\times5$、$7\times7$ のカーネルサイズを持つ並列の深度別（DW）畳み込みを採用します。これらは、異なる受容野における空間的コンテキストを捉えるために、射影された特徴に対して動作します。
• 集約: マルチスケール特徴は、$1\times1$ のポイント別（PW）畳み込みを通じて集約されます。
• 残差接続: DW 層と PW 層の間に残差接続を追加し、特徴の同一性を保持して勾配の流れを促進します。
• 目的: この設計は局所的な空間的帰納的バイアスを組み込むことで、線形 NLP ベースのアダプタが見逃す、密な予測に不可欠なマルチスケール空間特徴をアダプタが捉えることを可能にします。

B. 意味変調

このモジュールは、グローバルな特徴アライメントを実行することで、分布的ギャップに対処します。

• メカニズム: 特徴に対して学習可能なスケーリング（$\gamma$）とシフト（$\beta$）のメカニズムが適用されます。線形射影により、3 つの DW 畳み込みと最終的な PW 畳み込みに対応する 4 つのグループのアフィンパラメータが生成されます。
• 操作: 変調は $\text{Mod}(F, \gamma, \beta) = \gamma \odot F + \beta$ と定義されます。これらのパラメータは、各処理段階において特徴統計量を明示的に精緻化します。
• 目的: これにより、事前学習された表現空間を下流タスクの分布にアライメントし、事前学習と微調整のデータ間の統計的ミスマッチを修正します。

C. 統合

2 つのモジュールは緊密に結合されています：意味変調は、スケール適応型融合ブロック内の各畳み込みフィルタの出力に対して動作します。これにより、単一の軽量モジュール内で、すべてのスケールにおいて空間的および分布的な適応を同時に行うことが可能になります。

3. 主要な貢献

1. ギャップ分析: 著者は、VFMs を密な予測タスクに適応させる際に既存の PEFT 手法の一般化を制限する構造的および分布的ギャップを特定・分析し、視覚固有のアダプタ設計のための原理的な動機を提供しました。
2. SIGMA フレームワーク: スケール適応型融合と意味変調を統合する新規手法の提案。この設計は、148 万のパラメータ（VF ボンバックパラメータの約 1.72%）のみを使用して両方のギャップを同時に解決します。これは、LoRand（359 万）や VFM-Adapter（278 万）などの競合手法よりも著しく少ないパラメータ数です。
3. 実証的検証: 広範な実験により、SIGMA が 3 つの代表的な VFM（DINOv2、SigLIP2、SAM）と 3 つの密な予測タスク（物体検出、セマンティックセグメンテーション、深度推定）において、最先端の PEFT 手法に対して一貫して優れた性能を達成することが示されました。

4. 実験結果

著者は、標準的なベンチマークである MS-COCO 2017（物体検出）、ADE20K（セマンティックセグメンテーション）、NYUv2（深度推定）で SIGMA を評価しました。

• 物体検出（COCO）: DINOv2 ボンバックにおいて、SIGMA は 54.4 mAP を達成し、パラメータ数を大幅に減らしたにもかかわらず、VFM-Adapter（53.2 mAP）を 1.2 mAP、LoRand（52.7 mAP）を 1.7 mAP 上回りました。
• セマンティックセグメンテーション（ADE20K）: SIGMA は、DINOv2 で VFM-Adapter を 1.28 mIoU、SigLIP2 で 0.76 mIoU、SAM で 1.22 mIoU 上回りました。
• 深度推定（NYUv2）: SIGMA は、DINOv2、SigLIP2、SAM において、それぞれ最も強力なベースラインに対して RMSE を 0.022、0.011、0.009 削減しました。
• 効率性: SIGMA は、完全微調整との性能ギャップを大幅に縮小します。例えば、DINOv2 検出において、ボンバックパラメータの 1.7% 未満を更新しながら、完全微調整の利益の 74.5% を回復しています。
• アブレーション研究: スケール適応型融合モジュールを除去すると 2.2 mAP 低下し、空間処理におけるその重要性が浮き彫りになりました。意味変調を除去すると 0.8 mAP 低下し、分布アライメントにおけるその役割が確認されました。

5. 意義と主張

本論文は、SIGMA が密な予測タスクへの視覚基盤モデルの適応において新たな最先端を確立すると主張しています。その意義は以下の点にあります：

• 統合された適応: 構造的および分布的ギャップの両方を同時に架け渡すことに成功しています。これは、以前の方法（多くの場合 NLP 設計に根ざしていた）が十分な空間的認識や統計的アライメントを提供できなかった課題です。
• パラメータ効率: 他の競争力のある PEFT 手法に必要な学習可能パラメータの一部分で優れた性能を達成し、アーキテクチャ設計（マルチスケールフィルタ＋変調）が単にモデル容量を増やすことよりも効果的であることを証明しています。
• 汎用性: この手法は、多様な事前学習パラダイム（自己教師あり、視覚言語、プロンプト可能セグメンテーション）および各種の密な予測タスクにおいて堅牢な性能を示しており、二重ギャップ問題が PEFT における普遍的な課題であり、SIGMA がこれを効果的に解決することを示唆しています。

著者は、SIGMA が視覚タスクにおける基盤モデルのトレーニングのための非常に効率的でスケーラブルな解決策を提供し、完全微調整の禁止的なコストなしに一貫した最先端性能を可能にすると結論付けています。