技術要約：MobileSAM2: 空間知能のための軽量なSegment Anything

問題提起

Segment Anything Model 2 (SAM2) は、11.38万本のビデオと4,090万個のマスクアノテーションという膨大なデータセットを活用して、強固な時間的相関関係とマルチグラニュラリティ（多粒度）の視覚的概念を学習し、ビデオおよび画像セグメンテーションにおける重要な進歩を実現しました。しかし、SAM2の膨大なパラメータ数（例：Hiera-Lバックボーンは2億1,200万パラメータを超える）と高い計算需要は、モバイルフォン、ラップトップ、ドローン、ロボットといったリソース制約のあるデバイスへのデプロイを妨げています。既存の軽量セグメンテーションモデルは、動的なビデオストリームにおける「あらゆるものをセグメントする」タスクにSAM2を効果的にしている包括的な時間的一貫性とマルチレベルの粒度理解を維持できないことがよくあります。核心となる課題は、SAM2の汎用化可能な知識を、時間的セグメンテーションにおける堅牢性や粗から密への理解を犠牲にすることなく、軽量なモデルへと蒸留することです。

手法

1. ハイパーグラフ的知識蒸留 (HyperKD)

SAM2のパラメータ内に暗黙的にエンコードされた時間的およびマルチグラニュラリティの知識に直接アクセスすることの困難に対処するため、著者らはHyperKDを提案しています。このフレームワークは、知識蒸留にハイパーグラフの概念を導入し、これらの特定の知識タイプを明示的にモデル化および転送します。従来のペアワイズ（二者間）グラフ構造とは異なり、ハイパーグラフは単一のハイパーエッジが複数のノードを接続することを可能にし、高次の関連性を効果的に捉えることができます。

HyperKDは、2つの異なるコンポーネントで構成されています。

• Temporal HyperKD (時間的HyperKD): このコンポーネントは、ビデオフレーム間の汎用可能な時間的知識を対象としています。

  • 抽出: 2種類のハイパーグラフを構築します：パッチ単位（グリッドパッチをノードとして扱う）およびインスタンス単位（信頼度の高いセグメンテーションエンティティをノードとして扱う）。
  • 構築: 各フレームにおいて、中心となる頂点の周囲の$\epsilon$-ボール距離閾値によって形成されるハイパーエッジを介してノードが接続されます。これらのローカルなハイパーエッジは、ビデオシーケンス全体にわたって関連するノード間の関係をモデル化する時間的ハイパーグラフを作成するために、フレーム間で融合されます。
  • 蒸留: 教師モデル（SAM2）の構築された時間的ハイパーグラフと、そのインシデンス行列（接続行列）のフロベニウスノルム距離を最小化することにより、学生モデルが自身の構築した時間的ハイパーグラフを整合させるように訓練されます。

• Granularity HyperKD (粒度HyperKD): このコンポーネントは、包括的なマルチグラニュラリティの知識（オブジェクト、パーツ、サブパーツ）を対象としています。

  • 抽出: 単一の粒度レベル内のセグメンテーションエンティティをノードとして扱います。
  • 構築: 異なる粒度レベル間でエッジを融合することでハイパーエッジが形成されます（例：オブジェクトとその構成要素であるパーツやサブパーツをリンクさせる）。
  • 蒸留: 時間的コンポーネントと同様に、学生モデルは自身の粒度ハイパーグラフを教師のハイパーグラフに整合させ、学生が階層的な、粗から密へのセマンティックな関係を学習できるようにします。

全体的な訓練目的関数は、標準的な特徴量アライメント（FitNet）とHyperKD損失を組み合わせたものです。
$$\text{Loss} = \|z^I_t - z^I_s\|_1 + \alpha \cdot \mathcal{L}_{THKD} + \beta \cdot \mathcal{L}_{GHKD}$$

2. MobileSAM2 アーキテクチャ探索

HyperKDに基づき、著者らは軽量モデルのファミリーであるMobileSAM2を導入しています。彼らは、巨大なHiera-Lバックボーンを縮小するために、漸進的なモデル収縮戦略 (progressive model contraction strategy) を採用しています。

• パラメータ化された探索空間が、埋め込み次元 ($\Gamma_{Emb}$)、ブロック数 ($\Gamma_{Blk}$)、ウィンドウサイズ ($\Gamma_{WinSiz}$)、およびアテンションヘッド拡張比率 ($\Gamma_{HExp}$) といった重要なアーキテクチャ構成要素に対して定義されます。
• 探索プロセスは、結果として得られる小型モデルが教師の持つ時間的およびマルチグラニュラリティの能力を保持することを保証するように、HyperKD損失を最小化するアーキテクチャを反復的に特定します。
• 3つのバリアントが提示されています：MobileSAM2-5M、MobileSAM2-10M、および MobileSAM2-23M です。

主な貢献

1. ハイパーグラフ的知識蒸留: 本論文は、ビデオセグメンテーションの知識蒸留におけるハイパーグラフの最初の適用を紹介しています。このアプローチは、標準的なペアワイズ蒸留法では捉えることが困難な、SAM2の汎用可能な時間的知識と包括的なマルチグラニュラリティの知識を明示的にモデル化し、転送します。
2. MobileSAM2 ファミリー: 著者らは、モデルサイズと性能の間の良好なトレードオフを実現する、新しい軽量SAM2モデルのファミリーを提示しています。これらのモデルは、HyperKDによって導かれたアーキテクチャ探索を通じて特別に最適化されています。
3. 包括的な評価: MOSE、DAVIS 2017、LVOS（長期）、SA-V-val、SA-V-testを含む複数のベンチマークにおける広範な実験により、MobileSAM2の有効性が検証されました。これらのモデルは、他の軽量バックボーンと比較して、エンボディドAI（身体化AI）タスクにおいて優れた汎用性を示しています。

実験結果

著者らは5つのデータセット（MOSE、DAVIS 2017、LVOS、SA-V-val、SA-V-test）でMobileSAM2を評価しました。

• 性能: MobileSAM2は、既存の知識蒸留手法（FitNet、CIRKD、FAKDなど）および軽量なベースライン（SAM2-TinyViT）を大幅に上回っています。
  • LVOSデータセットにおいて、MobileSAM2-23Mは69.0のJ&Fスコアを達成し、次に優れた手法（FAKDの63.4）を大幅に引き離し、非蒸留のベースライン（44.8）を大きく上回りました。
  • DAVIS 2017において、MobileSAM2-23Mは72.1のJ&Fに達しました（FAKDは65.0）。
  • SA-V testにおいて、MobileSAM2-23Mは67.8のJ&Fを達成し、FAKDの62.7を上回りました。
• 効率性: RTX 4060 モバイルGPUでの推論テストにより、MobileSAM2はパラメータ数を劇的に削減しながら、競争力のあるFPSを維持していることが示されました。例えば、MobileSAM2-23M（23.7Mパラメータ）は8.2 FPSで動作しますが、オリジナルのSAM2 Large（212Mパラメータ）はメモリ不足で動作しません。
• アブレーション研究:
  • Temporal HyperKDまたはGranularity HyperKDのいずれかを取り除くと、大幅な性能低下が生じ、両方のコンポーネントの必要性が確認されました。
  • HyperKDは、従来のグラフベースの蒸留（Context Matters、IntRA-KD）よりも優れた性能を示し、ハイパーグラフが高次のセマンティック関係を捉える上での優位性を実証しました。
  • 本手法は他の基盤モデル（例：TrackAnything）にも適用可能であることが示されており、得られた利点が特定のアーキテクチャの共適応ではなく、蒸留の目的関数に由来することを示唆しています。
• エンボディドAI: LIBERO-PROベンチマークにおけるCaP-Agent0への統合において、MobileSAM2-23Mは**21.8%**の平均成功率を達成し、SAM2-TinyViT-21Mのベースライン（19.3%）を上回り、フルサイズのSAM3搭載エージェント（23.2%）の性能に迫りました。

重要性

本論文は、MobileSAM2が、大規模なビデオ基盤モデルの高い性能と、モバイルおよびロボットプラットフォームの制約との間の溝を埋めることに成功したと主張しています。HyperKDを活用することで、複雑で高次の時間的および階層的な知識をコンパクトなモデルに蒸留できることを著者らは示しています。これにより、リアルタイム処理と限られたメモリが極めて重要となる自動運転、ロボティクス、モバイルビデオ編集などのアプリケーションにおいて、「あらゆるものをセグメントする」機能を、リソース制約のあるデバイス上で実現することが可能になります。本研究は、単純な特徴量アライメントを超えて、ハイパーグラフによる知識の明示的な構造モデリングへと移行することで、基盤モデルを蒸留するための新しいパラダイムを確立しています。