💻 computer science

Segmenting, Fast and Slow: Real-Time Open-Vocabulary Video Instance Segmentation with Dual-Path Processing

本論文は、疎なキーフレームにおけるマルチモーダルな意味理解と、後続フレームにおける高密度なマスク予測のための効率的な特徴空間条件付けを分離することで、モバイル向けモデルよりも最大14倍低いレイテンシを実現する、リアルタイム・オープンボキャブラリー・ビデオ・インスタンス・セグメンテーションのためのデュアルストリーム・ファスト・スロー・フレームワークであるSegFSを提案する。

原著者： Luca Barsellotti, Martin Sundermeyer, Mattia Segu, Nikita Araslanov, Muhammad Ferjad Naeem, Marcella Cornia, Yongqin Xian, Maxim Berman

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Luca Barsellotti, Martin Sundermeyer, Mattia Segu, Nikita Araslanov, Muhammad Ferjad Naeem, Marcella Cornia, Yongqin Xian, Maxim Berman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

スマートフォンのカメラで、賑やかな街の風景を撮影している場面を想像してみてください。そして、あなたのスマホが、動いている車、犬、人間に対して、たとえ「紫色のスクーター」のように見たことがないものを探すように頼んだとしても、瞬時に完璧な輪郭を描き出すとしたらどうでしょう。これは**「オープンボキャブラリー・ビデオ・インスタンス・セグメンテーション（Open-Vocabulary Video Instance Segmentation）」**と呼ばれる技術です。

問題は、これを高い精度で行うにはスーパーコンピュータが必要になることです。このような「重い脳」をスマートフォンで動かそうとすると、ビデオがラグを起こしたり、カクついたり、フリーズしたりしてしまいます。

この論文では、「SegFS（Segmenting, Fast and Slow）」という新しいシステムを紹介しています。これは、「速い（Fast）と遅い（Slow）」というチームアプローチを用いてこの問題を解決します。その仕組みを、簡単な例えを用いて説明します。

1. 問題点：「重い脳」によるボトルネック

現在のハイテクなビデオシステムは、スープを出す前に、マスターシェフがすべての材料を味見するようなものです。

シェフ（スロー・パス）： これは、重厚で精度の高いAIの部分です。ビデオを観察し、あなたのテキストプロンプト（例：「犬を探して」）を読み取り、その犬が正確にどのような姿で、どこにいるのかを注意深く判断します。
ボトルネック： このシェフは信じられないほど動作が遅いです。もし、1秒間に30回（毎フレーム）味見をするよう頼んだら、スマホはオーバーヒートし、ビデオは止まってしまいます。

2. 解決策：「速い（Fast）と遅い（Slow）」チーム

マスターシェフにすべてのフレームを味見させる代わりに、SegFSは仕事を2つの役割に分割します。

スロー・パス：マスターシェフ（キーフレーム）

役割： この重量級のAIは、数秒に一度（「キーフレーム」として）だけビデオを見ます。
仕事： 難しい作業を担当します。物体を特定し、テキストプロンプトを読み取り、見つけたすべての物体に対して詳細な「IDカード（埋め込み/embedding）」を作成します。「よし、この瞬間、ここに犬がいて、ここに猫がいる」と判断するのです。
例え： これは、シーンの高品質な写真を撮り、そこにいる全員についての詳細な記述を書くようなものです。

ファスト・パス：素早いスケッチ描き（中間フレーム）

役割： この軽量なAIは、キーフレームの間にある「すべてのフレーム」を観察します。
仕事： 再度「思考」したりテキストを「読み取ったり」することはありません。代わりに、マスターシェフが作成した「IDカード」を受け取り、それをガイドとして使用します。生のビデオのピクセルを見て、「シェフのメモに基づくと、あの犬は今どこにいるのか？」と問いかけます。
トリック： ファスト・パスは非常に賢いです。画像の基本的な「骨組み（形状やエッジ）」はすでにビデオデータの中に存在していることを知っています。そのため、シェフの指示に基づいて、ただその輪郭を「塗る」だけでよいのです。
例え： マスターシェフが犬の場所を示す地図を描くと想像してください。スケッチ描きは、その地図に基づいて、次の数秒間の犬の動きを素早くトレースするだけです。スケッチ描きは非常に速いため、マスターシェフがスープを味わうスピードよりも14倍速く描くことができます。

3. 彼らはどのように連携するか

論文では、特別な「注入（インジェクション）」プロセスについて説明しています。

マスターシェフ（スロー・パス）が犬を見つけると、単に写真を送るだけではありません。犬の**「デジタル指紋」**を送ります。
スケッチ描き（ファスト・パス）はこの指紋を受け取り、それを生のビデオデータの中に直接「注入」します。
これにより、スケッチ描きは「ああ、左に動いているこのぼやけた形は、シェフが特定したあの犬なのだ」と即座に理解できます。ゼロから犬を再特定する必要はなく、単に指紋を追跡するだけでよいのです。

4. 結果：品質を損なうことなくスピードを実現

論文では、非常に強力なスマートフォンであるSamsung Galaxy S25 Ultraを用いてテストを行いました。

スピード： この新システムは、従来のモバイル向けモデルよりも14倍高速です。標準的な滑らかなビデオである**30フレーム/秒（30fps）**でビデオを処理できます。
精度： これほど高速でありながら、精度は低速で重いモデルとほぼ同等です。「スケッチ描き」は「マスターシェフ」の詳細なメモに従っているため、間違いをほとんど犯しません。
効率性： 重い「味見（複雑な計算）」はめったに行わず、「スケッチ（軽い計算）」を絶えず行うことで、バッテリーと計算資源を大幅に節約しています。

まとめ

SegFSを、指揮者とオーケストラと考えてみてください。

**指揮者（スロー・パス）**は、数秒に一度、指揮台に立ち、楽譜を確認して、オーケストラに何を演奏すべきかを正確に伝えます。
**オーケストラ（ファスト・パス）**は、指揮者の直前の指示に従いつつ、その瞬間のテンポに合わせて即座に調整しながら、音楽を絶え間なく演奏します。

「考えること（スロー）」と「実行すること（ファスト）」を切り離すことで、このシステムはスーパーコンピュータを必要とすることなく、スマートフォン上でのリアルタイムなビデオ理解を実現しています。

技術要約: SegFS – デュアルパス処理によるリアルタイム・オープンボキャブラリー・ビデオ・インスタンス・セグメンテーション

1. 問題提起

オープンボキャブラリー・ビデオ・インスタンス・セグメンテーション（OV-VIS）は、任意のテキストプロンプトに基づいて、ビデオフレーム間でオブジェクトのインスタンスを識別、追跡、およびセグメンテーションすることを目的としている。近年のオブジェクト中心型モデル（GLEE、MOBIUSなど）は高い精度を実現しているが、特にフィーチャー・エンハンサー（特徴量強化器）とオブジェクト・デコーダーのコンポーネントにおいて深刻な計算オーバーヘッドに直面している。これらのコンポーネントは推論コストの大部分を占めており、スマートフォンなどのモバイルハードウェア上でのリアルタイムなデバイス上展開を不可能にしている。モバイルデバイス向けにこれらのモデルを最適化しようとする既存の試みも、大幅な精度低下を伴うことなく、高いフレームレート（例：30 FPS）の要件を満たすことには失敗している。核心的な課題は、計算負荷の高いマルチモーダルな意味理解と、時間的な伝播に必要な高密度なフレームごとのマスク予測を切り離すことである。

2. 手法: SegFS フレームワーク

著者らは、異なる時間周波数で動作する2つの異なるパスに処理を分離することで、計算コストを償却するように設計された、デュアルストリームの「ファスト＆スロー（速い・遅い）」フレームワークであるSegFSを提案している。

デュアルパス・アーキテクチャ

スローパス (Keyframes): 疎にサンプリングされたキーフレーム（例： $T$ フレームごと）に対してのみ動作する。標準的で重いオブジェクト中心型のOV-VISモデル（MOBIUS、GLEE、TROY-VISなど）を利用して、完全なマルチモーダル融合とオブジェクト・デコーディングを行う。このパスは、高品質でテキストに整合したオブジェクト・エンベディング（物体埋め込み）（インスタンス表現）を抽出する。
ファストパス (Inter-frames): キーフレーム間のすべての中間フレームに対して動作する。高価なフィーチャー・エンハンサーとオブジェクト・デコーダーを完全にバイパスする。代わりに、スローパスから伝播されたオブジェクト・エンベディングを用いてバックボーンのフィーチャーマップを条件付ける、軽量な**ファスト・フィーチャー・アグリゲーター（高速特徴量集約器）**に依存する。

コア・メカニズム

ファスト・フィーチャー空間への投影: スローパスによってデコードされたオブジェクト・エンベディングは、バックボーンのフィーチャー空間へと投影される。フィードフォワードネットワーク（FFN）は、テキスト類似性に基づいて上位 $K$ 個のエンベディングを選択し、学習可能な背景トークンを付加する。
オブジェクト・ガイダンス・モジュール: 最低解像度のバックボーン・フィーチャーマップ（ $P_5$ $P_{5}$ ）上で、選択されたオブジェクト・エンベディングが空間的に注入される。これは以下の手法によって実現される：
- オブジェクト注入 (Object Injection): $P_5$ の空間セルとオブジェクト・トークンの間のコサイン類似度を計算し、オブジェクト認識型のフィーチャーマップを作成する。
- ゲート・フュージョン (Gated Fusion): ゲート機構により、注入されたオブジェクトの意味論を元のバックボーンの特徴量とブレンドし、正確な視覚的キューを保持しながらインスタンスの意味論を組み込む。
漸進的アップサンプリング: 強化された $P_5$ マップは、軽量な深度分離畳み込みブロック（DSConvGN）を用いて、高解像度のバックボーン特徴量（ $P_4, P_3, P_2$ ）へと漸進的にアップサンプリングおよび融合される。
マスク予測: 最終的な高解像度フィーチャーマップは、オブジェクト・エンベディング（カーネルとして機能）と畳み込みを行い、マスク・ロジットを生成する。
時間的関連付け: 本フレームワークは、標準的な「マッチングによるトラッキング（tracking-by-matching）」パラダイム（MinVIS）を採用しており、明示的なオプティカルフロー推定を回避しながら、エンベディングのコサイン類似度を通じてフレーム間のオブジェクト・クエリを関連付ける。

学習戦略

SegFSは、画像ベースのインスタンス・セグメンテーション・データセット（COCO、LVIS、RefCOCOなど）で学習され、学習時には時間的な連続性を無視することでビデオ・データセットとして扱われる。

ハイブリッド・マッチング: 学習中、スローネットワークは画像を処理して正確なカテゴリ・ロジットとバウンディングボックスを生成する。これらは、グラウンドトゥルースとの最適な二部マッチング（ハンガリアン・アルゴリズム）を確立するために使用される。
教師あり学習: ファストネットワークは、このマッチングから導出されたマスク予測を用いて、マスク損失およびDICE損失を用いて監督される。これにより、ファストネットワークは、重いコンポーネントを実行することなく、スローネットワークのセグメンテーション品質を再現することを学習できる。

3. 主な貢献

デュアルパス・パラダイムの拡張: 著者らは、キーフレームベースのアプローチをOV-VISへと拡張し、バックボーンの特徴量が局在化のために十分な空間詳細を本質的に保持していることを示した。その結果、重いフィーチャー・エンハンサーを、大幅な精度低下なしに疎なキーフレームに限定できることが証明された。
新規ファスト・フィーチャー・アグリゲーター: インスタンス・エンベディングをバックボーンのフィーチャー・ピラミッドに注入し、最小限のレイテンシで正確なマスク生成を可能にする軽量なモジュール。
効率性と精度のトレードオフ: 本フレームワークは、意味理解と高密度な予測を効果的に分離し、競争力のあるセグメンテーション性能を維持しながら、リアルタイムの速度を実現することに成功した。

4. 実験結果

著者らは、標準的なOV-VISベンチマークである YouTubeVIS19、OVIS、BURST、および LV-VIS においてSegFSを評価した。

ベースラインとの性能比較:
- SegFSは、「オブジェクト再利用（Reuse Objects）」ベースライン（フル・スローネットワークを実行するがデコーダーはスキップする手法）と同等の性能を達成し、オプティカルフローベースの伝播手法（RAFT、LiteFlowNet2）およびデュアルネットワークの競合モデルであるMPVSSを大幅に上回る。
- MOBIUS-Mini-M バックボーンにおいて、SegFSはYouTubeVIS19で 41.6 のAPを達成した。これはフル・スローネットワークの42.1と比較して極めて近い値でありながら、レイテンシを劇的に削減している。
効率性とレイテンシ:
- 高速化: SegFSは、モバイル指向のMOBIUSモデルと比較して、最大 14倍のレイテンシ削減 を達成した。
- リアルタイム性能: Samsung Galaxy S25 Ultraにおいて、SegFSは 30 FPS の閾値を突破し（6フレームのスパンで約38 FPSの平均FPSを達成）、ベースラインモデルが10〜16 FPSを超えるのに苦労する一方で、高いパフォーマンスを示した。
- ハードウェア: 本手法は、様々なモバイルチップ（Snapdragon 8 Elite, Gen 5, X2, XR2）およびGPU（A100, T4）でテストされ、一貫して優れたエッジ・レイテンシを示した。
アブレーション研究:
- 伝播間隔 ( $T$ ): SegFSは、キーフレーム間の間隔が増加しても（ $T=10$ まで）、マスク・ワーピング手法が急速に劣化するのに対し、堅牢な性能を維持する。
- コンポーネントの影響: 「オブジェクト注入」と「アテンションに基づく精緻化」のモジュールが、ファストパスとフル・スローネットワークの間の性能ギャップを埋める上で最も重要な要素であることが特定された。

5. 意義と主張

論文は、SegFSがリアルタイム・デバイス上OV-VISの新しい標準を確立すると主張している。インスタンスの伝播をオブジェクト・デコーディングからフィーチャー空間のコンディショニングへと移行させることで、本フレームワークは現在の最先端モデルにおける最も高価なコンポーネントを効果的に回避している。

著者らは、以下の点を強調している：

ゼロショット能力の保持: 基盤となるスローモデルのオープンボキャブラリーな性質を維持している。
モバイル展開の実現: マスクの品質を犠牲にすることなく、現代のモバイルハードウェアで一貫して30 FPS以上を達成できる最初のアプローチである。
意味論と幾何学の分離: 高レベルの意味理解は、インスタンス・エンベディングが視覚的バックボーンのフィーチャー空間に正しく投影されている限り、毎フレーム再計算する必要はないことを証明した。

結論として、OV-VISにおいては、重いフィーチャー・エンハンサーは中間フレームにおいては冗長であり、バックボーンの特徴量と投影されたエンベディングの軽量な融合があれば、高品質でリアルタイムなセグメンテーションには十分であるとしている。