Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

技術要約：インスタンス・セグメンテーション・タスクのための大規模学習済みモデルのパラメータ効率の良い微調整（PEFT）

問題提起
コンピュータビジョンにおける大規模学習済みモデル（LPM）の急速な進歩は、様々なタスクにおいて最先端の結果をもたらしている。しかし、モデルパラメータの大幅な増加は、ダウンストリームへの適応において大きな障壁となっている。従来のフル・ファインチューニングは、新しいタスクごとに全重みまたはその大部分を更新する必要があり、高い計算コストとメモリコスト、破滅的忘却のリスク、そして小規模なターゲットデータセットに対する過学習を引き起こす。アダプターやLoRA（Low-Rank Adaptation）といったパラメータ効率の良い微調整（PEFT）手法は自然言語処理（NLP）において普及しているが、複雑なコンピュータビジョン（CV）タスク、特にトランスフォーマー・アーキテクチャを用いたインスタンス・セグメンテーションへの適用については、依然として十分に探索されていない。既存のPEFT手法はスケーラビリティに限界があることが多く、また、精密なピクセルレベルの予測やオブジェクト・インスタンスの識別といった、インスタンス・セグメンテーション特有の要件に対して最適化されていない。現代の検出トランスフォーマー（DETR）の中心であるデフォーマブル・アテンション（変形アテンション）モジュール内へのこれらの手法の統合に関して、文献における顕著な空白が存在する。

手法
本研究では、2つの大規模学習済みインスタンス・セグメンテーション・モデル、すなわちSEEM（Segment Everything Everywhere Model）とMask DINOに対し、2つのPEFT戦略である「逐次配置されたアダプター」と「LoRA」を適用した際の有効性を調査する。本研究は、異なる複雑さを持つ4つのベンチマーク・データセット（NDD20：イルカのセグメンテーション、ZeroWaste：コンベアベルト上の廃棄物、WIXray：X線による廃棄物検査、Cityscapes：都市の街路シーン）にわたって、これらのモデルを適応させることに焦点を当てている。

• アダプター: 著者らは、新しい逐次的アダプター・モジュールの統合を提案している。標準的な実装では各レイヤーに単一のアダプターを配置するが、本研究では各トランスフォーマー・ブロック内に複数のアダプター・ブロック（$I$）を逐次的に導入する。これらのアダプターは、クロス・アテンション層とセルフ・アテンション層の両方の後に挿入される。アーキテクチャは、線形ダウン・プロジェクション、ReLU活性化関数、線形アップ・プロジェクション、および残差接続で構成される。本研究では、最適な信号フローを決定するために、異なる残差接続構成（$\kappa$、$\lambda$、および $\kappa + \lambda$）を探索している。
• デフォーマブル・アテンションにおけるLoRA: 主要な手法論的貢献は、マルチスケール・デフォーマブル・アテンション・メカニズムへのLoRAの適用である。LoRAは通常、標準的なアテンション・レイヤー（クエリおよびバリューの投影を修正するもの）に適用されるが、本研究ではこの技術をデフォーマブル・アテンションへと拡張している。ここでは、LoRA行列がオフセット予測（$W_{offset}$）およびバリュー投影（$W_V$）を担う重み行列に適用され、コアとなる学習済み重みを変更することなく、モデルがタスク固有のサンプリング位置と値の解釈を学習することを可能にしている。
• 実験設定: 実験はNVIDIA Quadro RTX 8000 GPUを使用して行われた。本研究では、PEFT構成を従来のファインチューニング設定（フル・セグメンテーション・ヘッド、デコーダーのみ、およびエンベディングのみ）と比較している。LoRAのランク（$r = \{2, 4, 8, 16\}$）およびアダプター数（$I = \{1, 2, 3, 4\}$）についてパラメータ・スイープを実施した。

主な貢献

1. デフォーマブル・アテンションへのLoRAの初適用: 本論文は、マルチスケール・デフォーマブル・アテンション・レイヤーに特化したLoRAのアプローチを導入し、これらの特殊なアテンション・メカニズム内で低ランク行列のみを更新することで、パラメータ効率を実現した。
2. 逐次的アダプター統合: 本研究は、大規模学習済みインスタンス・セグメンテーション・モデルに対して、逐次的に配置されたアダプター・モジュールの初の実装を提示し、トランスフォーマー・レイヤーあたりの複数のアダプター・ブロックの追加によるスケーラビリティを探索した。
3. 包括的なベンチマーキング: 本研究は、SEEMおよびMask DINOアーキテクチャにおける性能、パラメータ効率、および推論速度を、4つの多様なデータセットを用いて比較分析した。

結果
本研究は、モデルパラメータのわずかな割合のみを微調整することで、PEFT手法が競争力のある性能を達成できることを示している。

• パラメータ効率: アダプター構成は、SEEMに対して1.23%から3.88%、Mask DINOに対して0.5%から6.35%のパラメータを必要とした。LoRAはさらに効率的であり、SEEMに対しては約0.34%から0.54%、Mask DINO（ResNet-50バックボーン）に対しては**0.73%から1.39%**を使用した。対照的に、フル・ヘッド・ファインチューニングは、SEEMで39.55%、Mask DINOで54.91%のパラメータを必要とした。
• 性能のトレードオフ:
  • アダプター: アダプターの数を増やすと一般に性能が向上し、1ブロックあたり2〜3個のアダプターが精度とパラメータ数の最適なバランスを提供した。ZeroWasteデータセットでは、Mask DINOの4アダプター構成が、SOTA（最先端）のフル・ヘッド・チューニングを上回った。
  • LoRA: LoRAは強力な効率性を示したが、データセットやアーキテクチャに応じて性能にばらつきがあった。Cityscapesデータセットでは優れた性能を発揮し（Mask DINOにおいてわずか0.24%のパラメータでフル・ヘッド・チューニングを上回る）、WIXray（X線画像）やZeroWasteのような、ドメイン・シフトの大きい複雑なタスクにおいてはアダプターに劣る結果となった。
  • アーキテクチャ依存性: Mask DINO（デフォーマブル・アテンションに基づく）は、より大きなSEEMモデルと同等またはそれ以上の結果を達成することが多く、これはデフォーマブル・アテンション・メカニズムとコントラスティブ・デノイジングの組み合わせが、インスタンスの局在化に非常に効果的であることを示唆している。
• 推論速度: アダプターは、追加されたアダプター・ブロックごとに1反復あたり1〜2ミリ秒のわずかな計算オーバーヘッドを導入した。一方、LoRAは、推論前に重みが再構成されベースモデルと結合されるため、推論オーバーヘッドは無視できる程度であった。

意義と主張
本論文は、インスタンス・セグメンテーションのためのスケーラブルでカスタマイズ可能、かつ計算効率の高い転移学習を可能にするPEFTの可能性を実証することを主張している。著者らは、PEFT手法は必ずしもフル・ファインチューニングの絶対的なピーク性能には達しないものの、リソース制約のある環境において実行可能な代替案となることを強調している。本研究は、アダプターとLoRAの選択がコンテキスト依存であることを浮き彫りにしている。すなわち、大幅なドメイン適応や複雑な変形オブジェクトの扱いを必要とするタスクにはアダプターが好まれる可能性があり、一方で事前学習の分布に近いタスクにはLoRAが非常に効果的である。

著者らは、結果は有望であるものの、さらなる最適化の余地があることを謙虚に述べている。彼らは、特定の複雑なシナリオ（例：WIXray）における性能のギャップや、アダプターによる推論時間の増加がリアルタイム・アプリケーションでの使用を制限する可能性があることを認めている。本研究は、ハイブリッド戦略、多様なビジョン・タスクへのより広範なベンチマーキング、および大規模学習済みモデルを特殊なコンピュータビジョン・アプリケーション向けに適応させるための新しいアダプター・バリアントの開発へのさらなる研究を呼びかけて締めくくっている。