SAM3-I: 指示に従ってセグメンテーションを行うモデルの技術的概要

この論文は、Segment Anything Model 3 (SAM3) の拡張版であるSAM3-I（Segment Anything with Instructions）を提案する研究です。従来の SAM3 が「短い名詞句（NP）」による概念レベルのセグメンテーションに特化していたのに対し、SAM3-I は複雑な自然言語の指示（属性、関係性、動作、推論を含む）を直接理解し、それに基づいて画像内の対象をセグメンテーションできることを可能にします。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

既存のセグメンテーションモデル、特に SAM ファミリーには以下の課題がありました。

• 指示の複雑さとモデルの限界: 現実世界のインタラクションでは、単に「サッカー選手」といった名詞句だけでなく、「右端にいる青いユニフォームを着て、ボールを奪いに来ようとしてスライディングしているサッカー選手」といった、属性、空間関係、動作、文脈推論を含む複雑な指示が用いられます。
• SAM3 の現状の限界: SAM3 は「プロンプタブル・コンセプト・セグメンテーション（PCS）」を実現していますが、複雑な指示を受け入れるためには、外部のマルチモーダル大規模言語モデル（MLLM）エージェントに指示を短い名詞句に変換させ、その後マスクフィルタリングを繰り返すという非効率なパイプラインに依存していました。
  • 欠点: 計算コストの増大、指示の細部（微細な条件）の喪失（名詞句への変換による粗さ）、視覚と言語の推論が分離されているため、指示と視覚概念の直接的な整合性が取れていない。

目標: SAM3 の強力な「概念リコール能力（大規模トレーニングによる概念の汎用性）」を維持しつつ、複雑な自然言語指示を直接解釈し、特定のインスタンスを正確にセグメンテーションする能力を単一のフレームワーク内で実現すること。

2. 手法 (Methodology)

SAM3-I は、SAM3 のアーキテクチャを基盤としつつ、以下の主要な技術的要素を導入しています。

2.1 プロンプタブル・インストラクション・セグメンテーション (PIS)

指示を 3 つの階層的なレベルに分類し、これらを統一的に扱います。

1. 概念指示 (Concept): 短い名詞句（例：「サッカー選手」）。
2. 単純指示 (Simple): 名詞句に属性や空間関係などの参照条件を加えたもの（例：「青いユニフォームの選手」）。
3. 複雑指示 (Complex): 名詞句を明示せず、機能、動作、文脈推論に基づいて対象を特定するもの（例：「ボールを奪いに来ている選手」）。

2.2 指示認識型カスケード適応メカニズム (Instruction-Aware Cascaded Adapter)

SAM3 のテキストエンコーダーと検出器に、パラメータ効率よく挿入されるアダプターモジュールを導入し、バックボーンは凍結したまま学習を行います。

• S-Adapter (Simple Adapter): 属性、位置、関係性の意味を学習し、単純な指示（明示的な名詞句を含む）に対応。
• C-Adapter (Complex Adapter): S-Adapter の出力を基に、名詞句を含まない複雑な指示の文脈推論を処理。
• 設計思想: 言語の難易度の階層性を模倣し、単純な指示から複雑な推論へと段階的に表現を洗練させる。

2.3 分布整合損失 (Distribution Alignment Losses)

単純指示と複雑指示の 2 つのブランチ間で意味のズレ（シフト）が生じないように、4 つの損失関数を導入して整合性を強制します。

1. 指示対照損失 (Instruction Contrastive Loss): 同じ対象を指す異なる指示（単純 vs 複雑）の埋め込みを近づけ、異なる対象を指す指示を遠ざける。
2. 親ランク概念アンカー損失 (Parent-rank Concept Anchoring Loss): 指示の埋め込みが、対応する概念（例：「選手」）の埋め込みよりも、他の概念（例：「車」）に近いことがないように制約する。
3. マスク分布整合損失 (Mask Distribution Alignment Loss): KL 発散を用いて、2 つのブランチが出力するマスク予測分布を一致させる。
4. 不確実性感知ハード領域監督損失 (Uncertainty-Aware Hard-Region Supervision Loss): 2 つのブランチの予測が不一致になる領域（曖昧な部分や推論が必要な部分）に重みを付け、学習を強化する。

2.4 多段階トレーニング (Multi-Stage Training)

• Stage 1: S-Adapter を単純指示データで学習（属性・関係性のグラウンディング）。
• Stage 2: C-Adapter を S-Adapter から初期化し、複雑指示で学習（推論能力の獲得）。
• Stage 3: 両アダプターを共同で微調整し、整合損失を用いて両ブランチを調和させる。

3. 主要な貢献 (Key Contributions)

1. SAM3-I モデルの提案:

   • SAM ファミリーにおいて初めて、概念レベルのグラウンディングと指示レベルの推論を単一のセグメンテーションフレームワークに統合。
   • 外部エージェントに依存せず、単一パスで複雑な指示を直接解釈可能。

2. HMPL-Instruct データセットの構築:

   • 指示中心の大規模データセット。PACO-LVIS ベンチマークを基に構築。
   • 階層的構造: 概念、単純、複雑な指示を網羅。
   • 多様なターゲット粒度: 物体レベルと部品レベルの両方をサポート。
   • 多様な対応関係: 1 対 1、1 対多（特定のサブセット）、1 対全（概念のすべて）のグラウンディングシナリオを包含。
   • 人間と AI の協調: 自動生成、エージェントによる品質検査、人間による修正を組み合わせた高品質なアノテーションパイプラインを採用。

3. 性能の向上と効率性:

   • 複雑な指示に対するセグメンテーション精度を大幅に向上させつつ、SAM3 本来の概念セグメンテーション性能を維持。
   • 外部 MLLM を用いた多段階推論（エージェント方式）と比較して、パラメータ数が少なく、推論が高速。

4. 実験結果 (Results)

HMPL-Instruct データセットおよび既存ベンチマーク（RefCOCO, Ref-ZOM）での評価結果は以下の通りです。

• SAM3 およびエージェント方式との比較:

  • 単純指示: gIoU 59.7 / P@50 65.3（SAM3 Agent は 28.4 / 28.9）。
  • 複雑指示: gIoU 49.0 / P@50 51.0（SAM3 Agent は 26.4 / 27.4）。
  • SAM3-I は、SAM3 の概念レベル性能（29.5 gIoU）を維持しつつ、指示理解能力を劇的に向上させました。
  • エージェント方式（Qwen3-VL-8B 等を使用）に比べ、推論ステップが単一であり、パラメータ数（1.1B vs 8.8B）も少ないにもかかわらず、精度が大幅に上回っています。

• ターゲット粒度の評価:

  • 「1 対多（特定のサブセット）」という困難なタスクにおいて、SAM3-I はエージェント方式を大きく上回る性能を示しました。これは、視覚的に類似した物体群の中から指示された部分集合を論理的に選別する能力が優れていることを示しています。

• アブレーション研究:

  • カスケード構造（S-Adapter と C-Adapter の分離）の有効性、多段階トレーニングの重要性、および各整合損失（特に不確実性感知損失）が性能向上に寄与していることが確認されました。

5. 意義と将来展望 (Significance)

• 実用性の向上: 家庭用ロボット、自動運転、拡張現実（AR）など、複雑な自然言語指示に従って視覚タスクを実行する必要がある実世界アプリケーションにおいて、SAM3-I はより直感的で柔軟なインタラクションを可能にします。
• SAM ファミリーの進化: SAM 系列モデルが、単なる「視覚的プロンプト」や「短い概念」から、「自由形式の自然言語指示」へと進化しうることを示しました。
• 研究基盤の提供: HMPL-Instruct データセットとコードを公開することで、指示ベースのセグメンテーション研究の標準的なベンチマークを提供し、今後の研究を促進します。

結論:
SAM3-I は、SAM3 の強力な概念理解能力を損なうことなく、複雑な自然言語指示への対応能力を付与した画期的なモデルです。外部エージェントに依存しない効率的なアーキテクチャと、多様な指示パターンを網羅する大規模データセットにより、指示駆動型のセグメンテーション基礎モデルとしての新たな道筋を示しました。