💻 computer science

X2SAM: Any Segmentation in Images and Videos

X2SAM は、LLM とマスクメモリモジュールを結合することで画像からの任意セグメンテーション機能を動画へと拡張し、多様なセグメンテーションタスクにおいて会話指示と視覚的プロンプトの両方から高品質で時間的に一貫したマスク生成を可能にする統合型マルチモーダル大規模言語モデルである。

原著者： Hao Wang, Limeng Qiao, Chi Zhang, Lin Ma, Guanglu Wan, Xiangyuan Lan, Xiaodan Liang

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Wang, Limeng Qiao, Chi Zhang, Lin Ma, Guanglu Wan, Xiangyuan Lan, Xiaodan Liang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

超賢いアシスタントが、写真や動画を見て、何が起きているかを正確に教えてくれると想像してみてください。長らく、これらのアシスタントは「全体像」（例：「公園で遊んでいる犬」）を説明するのは得意でしたが、「特定の細部」（例：「犬の左前足に丸を描いて」）を指摘するのは苦手でした。

一方、物体の周りに正確な円（マスク）を描くことには驚くほど優れた専門ツールもありますが、それらは「ここをクリック」や「枠を描け」といった単純な命令しか理解できないロボットのようなものです。「赤いボールを追いかけている犬を見つけて、その周りに描いて」といった複雑な文を理解することはできません。

X2SAM は、このギャップを埋める新しい「超コネクタ」です。会話型 AI の頭脳と、精密な描画ツールの手を組み合わせ、静止画と動画の両方で機能します。

以下に、日常の比喩を用いた仕組みの解説を示します。

1. 写真と動画のための「万能翻訳機」

X2SAM を、「人間の言語」と「ピクセル言語」の両方を話す万能翻訳機だと考えてください。

従来の方法: 動画内の特定の物体を見つけたい場合、動画を理解するツールと輪郭を描くツールを別々に使う必要がありました。それらは互いにうまく連携できませんでした。
X2SAM の方法: 自然に話しかけるだけで済みます。「白い壁の近くを往復している人を見せて」と言ったり、画面の特定の場所を指差して「このエリアにあるものを見つけて」と言ったりできます。X2SAM は指示を理解し、単一の写真であれ 10 秒の動画クリップであれ、瞬時に輪郭を描いてくれます。

2. 動く画像のための「記憶バンク」

これが、X2SAM を動画において特別なものにする秘密のソースです。

問題点: 標準的な AI に動画内の人物を追跡させると、各フレーム（瞬間ごとの画像）をまるで新品であるかのように見てしまうことがよくあります。人物が木の後ろを通ったり、カメラが揺れたりすると、見失ってしまう可能性があります。
X2SAM の解決策: X2SAM にはマスクメモリモジュールがあります。これを「付箋」システムだと想像してください。動画が再生されるにつれて、X2SAM は前のフレームで物体がどこにあったかをメモし、そのメモをポケットに入れておきます。次のフレームを見る際、メモを確認して、「あ、この人はさっきここにおったな、だから多分まだここにいるはずだ」と判断します。これにより、物体が移動したり隠れたり、形が変わったりしても、物体の輪郭を滑らかで一貫性のあるものに保つことができます。

3. 課題の「スイスアーミーナイフ」

この論文では、X2SAM が各作業ごとに異なるツールを必要とするのではなく、単一のシステムで多様なタスクを処理できると主張しています。以下のようなことができます：

汎用セグメンテーション: 「この画像にあるすべてのものの輪郭を描いて」。
参照セグメンテーション: 「帽子をかぶっている猫を描いて」。
推論セグメンテーション: 「コップに水を注ぐのに使える物体を見つけて」。これは単に「ピッチャー」という言葉を探すだけでなく、それを「ピッチャー」だと考えて見つける必要があります。
視覚的グラウンディングセグメンテーション: 画面の特定の場所を指差すと、指差している物体を描きます。
会話: 画像や動画について話し合いながら、同時にマスクを描くことができます。

4. 学習方法（トレーニング）

これほどまでに優れるために、研究者たちは一つのことだけを順番に教えたわけではありません。統合共同トレーニング戦略を用いました。

比喩: 生徒を教えることを想像してください。月曜日に数学を教え、火曜日に歴史を教えるのではなく、歴史の事実を使って数学の問題を解く方法と、その逆を、同時に教えるようなものです。
X2SAM は、膨大な量の画像と動画を同時にトレーニングしました。これにより、写真の中の「犬」を見つけるルールと、動画の中の「犬」を見つけるルールは似ているが、1 秒前に犬がどこにいたかを記憶するという追加の要素があることを学ぶことができました。

5. 新しい「テスト」（V-VGD）

著者らは、Video Visual Grounded (V-VGD) セグメンテーションと呼ばれる新しいテストも作成しました。

比喩: 以前は、テストは主に「犬を見つけられますか？」と問うていました。X2SAM の新しいテストは、「この動画の画面の特定の場所を指差しています。私が指差している物体を見つけ、動きに合わせて追跡できますか？」と問います。これは、AI が視覚的な手がかりと動く物体との間のつながりを本当に理解しているかをテストするものです。X2SAM はこのテストで見事に合格し、以前のモデルを凌駕しました。

まとめ

X2SAM は、人間に、すべてのピクセルを見通す目、複雑な文と論理を理解する脳、そして一瞬前に何があったかを記憶する記憶力を与えたようなものです。これにより、写真と動画の両方において、特定のものを発見し輪郭を描くために、コンピュータと自然な会話を行うことが可能になります。すべてを一度に行うことができます。

それが行わないこと（論文に基づき）:
この論文は、画像や動画内の物体をセグメント（輪郭）化する技術的能力に完全に焦点を当てています。医療診断、自動運転車、セキュリティ監視への利用を主張するものではありませんが、それらはそのような技術の将来の潜在的な用途です。これは、指示に基づいて視覚コンテンツを理解し、輪郭を描くための厳密なツールです。

技術的概要：X2SAM：画像および動画における任意のセグメンテーション

1. 問題定義

マルチモーダル大規模言語モデル（MLLM）は、グローバルな視覚理解や推論（例：画像キャプション生成、VQA）において著しく進展しているが、精密な空間的・時間的理解のための高密度なピクセルレベル出力を生成する能力は依然として限られている。一方、SAM や SAM2 などの基盤セグメンテーションモデルは高品質なマスクを生成するものの、低レベルの視覚プロンプト（点、ボックス）に依存しており、複雑な会話テキスト指示をネイティブに解釈する能力を欠いている。

既存のセグメンテーション用 MLLM はこのギャップを埋めようとするが、構造的な断片化に悩まされている：

画像専用モデル（例：LISA）はテキストを処理するが、視覚プロンプトや動画入力のサポートが欠如している。
動画専用モデル（例：VISA、VideoLISA）は時間的なテキストからマスクへの生成をサポートするが、静的画像や視覚プロンプトのための統合アーキテクチャを欠くことが多い。
現在の限界：時間的整合性を維持しつつ、静的画像と動的動画の両方において、テキストプロンプトと視覚プロンプトの両方をネイティブにサポートする単一のフレームワークは存在しない。

2. 手法：X2SAM フレームワーク

X2SAM は、「任意のセグメンテーション」の能力を画像から動画へ拡張するように設計された、セグメンテーション指向の統合 MLLM である。これは、単一の指示追従パラダイム下で多様なタスクを処理するために、MLLM と専用マスクメモリモジュールを統合している。

2.1 統合定式化

このフレームワークは、関心対象を条件付き状態として、言語指示を文脈入力として扱う。オブジェクトの条件を区切るために特殊トークン <p> と </p> を、セグメンテーションマスクを示すために専用トークン <SEG> を使用する。<SEG> トークンの隠れ表現は、マスクデコーダを導く意味的指示として機能する。この定式化は、画像および動画にわたる 14 の異なるタスクをサポートしており、以下を含む：

汎用、オープンボキャブラリ、参照、推論セグメンテーション。
接地会話生成（GCG）。
対話型および視覚接地セグメンテーション（VGD）。

2.2 アーキテクチャ

モデルは、二重ブランチの視覚抽出と統合生成パイプラインを採用している：

視覚エンコーダ：
- ビジョンエンコーダ：Qwen3-VL に基づき、画像または動画フレーム（タイムスタンプ付加）からグローバル視覚表現（ $Z_v$ ）を抽出する。
- マスクエンコーダ：SAM2 に基づき、高密度なマスク予測に不可欠な微細な高解像度特徴（ $Z_m$ ）を捉える。
- リージョンサンプラ：パラメータなしモジュールであり、ポイントサンプリングと適応プーリングを用いて $Z_m$ から局所化された視覚プロンプト埋め込みを抽出し、視覚的手がかり（点/ボックス）を LLM に注入可能にする。
大規模言語モデル（LLM）：
- トークン化されたテキスト指示と視覚埋め込みを処理する。
- 自己回帰的に言語応答（ $Y_q$ ）と専用SEG 潜在埋め込みを生成する。この埋め込みは、言語理解とマスク予測の間の意味的橋渡しとして機能する。
マスクデコーダ：
- X-SAM から再設計され、トークン対画像アテンションとクエリ対画像アテンションを統合する。
- 投影された SEG トークン埋め込み（ $Z_p$ ）、学習可能なマスククエリ（ $Q_m$ ）、時間的に洗練された視覚特徴（ $Z_w$ ）を受信する。
- 安定したトレーニングを確保するため、トークン対画像アテンションのパラメータはゼロ初期化される。
マスクメモリモジュール：
- 動画タスクに不可欠であり、先行フレームからのガイダンス付きビジョン特徴の先入れ先出し（FIFO）キャッシュを維持する。
- メモリアテンション：先行フレームのガイダンス付き特徴にアテンションし、現在のフレームのための時間的に洗練された特徴を生成する。
- メモリエンコーダ：ダウンサンプルされたビジョン特徴と現在のマスク対数オッズを、保存用の新しいガイダンス付き特徴にエンコードする。
- このメカニズムは、独立したフレームごとのデコーディングに代わり、動画シーケンス全体でのマスクの一貫性を確保する。

2.3 トレーニング戦略

X2SAM は、異種画像および動画データセットにわたる統合ジョイントトレーニング戦略を採用している：

フェーズ 1（アグノスティックセグメンテータ）：マスクエンコーダを固定し、マスクデコーダを SA-1B（マスクのみ）でトレーニングして、クラスに依存しない形状と境界の事前知識を学習する。
フェーズ 2（ジョイントトレーニング）：モデルを 14 のセグメンテーションタスクとチャットデータセットで共同トレーニングする。
- 次元シフトパイプライン：動画テンソルを転置し、フレームレベルのテンソルに分割して、画像レベルのインターフェースを通じて処理する。時間的依存関係はマスクメモリによって処理される。
- モダリティ認識バッチング：メモリ制約を管理するため、動画バッチは小さく保たれる（デバイスあたりバッチサイズ 1）一方、画像バッチは拡張される（4 倍の乗数）ことで、GPU 並列処理の効率的利用を可能にする。
- 損失関数：自己回帰損失（言語）、マスク損失（BCE + Dice）、および焦点損失（分類）を結合した統合目的関数を使用する。

3. 主要な貢献

統合フレームワーク：X2SAM は、単一の指示追従インターフェース内で、画像および動画の両方にわたって 7 つのセグメンテーションタスク（汎用、オープンボキャブラリ、参照、推論、接地会話、オブジェクト中心、視覚接地）をネイティブにサポートする最初のモデルである。
マスクメモリモジュール：意味的接地と時間的伝播を結合する新規モジュールを導入し、カスケード伝播やフレームごとの独立性に依存することなく、動画に対して時間的に一貫したマスク生成を可能にする。
動画視覚接地（V-VGD）ベンチマーク：対話型視覚プロンプト（点/ボックス）を用いて動画内のオブジェクトトラックをセグメンテーションする能力を評価する新しいベンチマークを提案し、既存の評価プロトコルのギャップを埋める。
効率的なジョイントトレーニング：トレーニングコストを削減（単純なジョイントトレーニングの 5.2K GPU 時間に対し 3.3K GPU 時間）しつつ、モダリティ間でバランスの取れた性能を維持する統合トレーニング戦略を実証する。

4. 実験結果

X2SAM は、画像および動画ベンチマークにわたる 14 のタスクで評価され、両ドメインで強力な性能を示した：

画像セグメンテーション：X2SAM は、画像特化型ゼネラリスト（例：X-SAM）と競合する性能を維持する。参照セグメンテーション（RefCOCOg）および推論セグメンテーションにおいて最先端またはそれに準ずる結果を達成し、先行の MLLM ベースの手法と比較してオープンボキャブラリセグメンテーション（I-OV）を大幅に改善する。
動画セグメンテーション：X2SAM は、既存の MLLM ベースの動画ゼネラリスト（例：VISA、VideoLISA、UniPixel）をほとんどのベンチマークで凌駕する。
- 汎用セグメンテーション：VSPW で 65.1 mIoU、YT-VIS19 で 69.9/88.4 AP/AP50 を達成。
- 参照および推論：動画参照（Ref-YT21、Ref-DV17）および推論（ReVOS）タスクで新たな最先端を確立し、推論タスクにおいて ReferFormer-B などの専門的非 MLLM モデルを上回る。
- 接地会話：VideoGLaMM に対して V-GCG mIoU を +21.5 改善。
視覚接地（V-VGD）：新しい V-VGD ベンチマークにおいて、X2SAM は SAM2-H を大幅に上回る（例：ボックスプロンプトを用いた YT-VIS19 で 74.4 AP 対 54.0 AP）。これは、視覚プロンプトの伝播におけるリージョンサンプラとマスクメモリの有効性を検証するものである。
チャット能力：セグメンテーションに焦点を当てているにもかかわらず、X2SAM は強力な一般画像および動画チャット能力を維持し、MMBench や VideoMME などのベンチマークでチャット特化型モデルの多くを上回る。

5. 意義と主張

本論文は、X2SAM が静的画像から動的動画への「任意のセグメンテーション」パラダイムを成功裏に統合したと主張する。MLLM とマスクメモリモジュールを統合することで、先行する断片的なアプローチの限界を克服し、多様なタスクにわたる複雑なマルチモーダル指示（テキストおよび視覚）に対する単一のインターフェースを提供する。

著者は、X2SAM が統合ピクセルレベルの時空間理解の実用的な基準を確立したことを強調する。狭く焦点を絞ったタスク（例：言語なしで最適化された動画オブジェクトセグメンテーション）においては専門モデルが依然として上回る可能性があることを認めつつも、X2SAM はゼネラリストモデルがタスクカバレッジ、精度、一般会話能力の維持の間で強力なバランスを達成し得ることを実証している。V-VGD ベンチマークの導入と統合ジョイントトレーニング戦略は、より堅牢で多用途なビジョン・ランゲージシステムへの重要なステップとして強調されている。