🤖 AI

Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

本論文は、特定の命令を受ける前にアフォーダンスや物理的相互作用部位を推論することで、高レベルの意図に基づく指示と精密なマスク予測の間のギャップを埋めるために、能動的な視覚的連鎖思考推論を活用するセグメンテーションモデル「SegWorld」を導入する。

原著者： Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボット同伴者と一緒に部屋に入ってきたと想像してください。

従来の方法（現在のモデル）：
あなたは「テーブルの上にある赤いマグカップを取って」と言います。
ロボットはテーブルを見て、赤いマグカップを見つけ、それを掴みます。これは非常に具体的である場合にうまく機能します。しかし、「喉が渇いた」と言ったらどうなるでしょうか？
従来のロボットは固まってしまうかもしれません。部屋の中のどの物体があなたの喉の渇きを解消できるのか、それがわからないのです。それは水筒でしょうか？グラスでしょうか？それともケトルでしょうか？ロボットは瓶全体を掴むか、あるいは「飲むこと」と「関連している」という理由でテーブルを掴むことさえあります。ロボットは、指を指されて初めて思考を開始するのを待っています。

新しい方法（SegWorld）：
この論文は、SegWorldと呼ばれる新しい種類のロボット脳を紹介しています。SegWorldは、あなたが話す前から常に部屋を見守る、先手を打つ執事のような存在です。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「先手を打つ執事」（先行的な観察）

あなたが何も頼む前に、SegWorldは部屋をスキャンし、頭の中でリストを作成します。

「ワイングラス、ワインボトル、テーブル、椅子が見えます」
「これらは注ぐこと、飲むこと、座ること、乾杯することに使えると知っています」
「部屋の精神的な地図が準備できています」

まるで、あなたが「お腹が空いた」と言う前から、シェフがすでに野菜を切り、フライパンを準備しているようなものです。

2. 「思考の連鎖」（視覚的推論）

ここで、あなたは「冷たい飲み物でリラックスしたい」と言います。
推測するのではなく、SegWorldは頭の中で論理的なチェックリスト（「思考の連鎖」）を声に出すように辿ります。

ステップ 1（物体）： 「よし、『冷たい飲み物』とはワイングラスのことだ」
ステップ 2（動作）： 「飲むためには、それを持つ必要がある」
ステップ 3（部分）： 「しかし、グラス全体を持つことはできない。ボウル部分は大きすぎて温かい。私は**ステム（脚）**を持つ必要がある」
ステップ 4（アフォーダンス）： 「ステムは、握るために設計された特定の部分だ」

SegWorldは単に答えに飛びつくのではなく、探偵がパズルを解くように、一歩一歩、論理的に答えにたどり着きます。

3. 結果

最終的に、SegWorldはグラス全体ではなく、ワイングラスのステムの周りにのみ、マスク（デジタル輪郭）を描きます。あなたの意図（飲み物でリラックスすること）が、物体の特定の部分（ステム）を扱うことを必要としていることを理解しているのです。

なぜこれが重要なのか

この論文は、現在の AI モデルは「クエリ条件付き」の生徒のようなものであると主張しています。つまり、教師が具体的な質問をしたときだけ答えるのです。教師が曖昧な質問（「飲みたい」といった）をすると、生徒は混乱します。

SegWorldは、事前に教科書（シーン）を勉強している生徒のようなものです。教師が曖昧な質問をしても、その生徒は事前知識を使って具体的な答えを導き出します。

「Intent2Part」テスト

これが機能することを証明するために、研究者たちはIntent2Partと呼ばれる新しいテストを構築しました。

テスト内容： 「座って読書したい」や「窓を開けたい」といった、曖昧な人間の目標を AI に与えました。
目標： AI は、物体全体ではなく、行動を起こすための物体の特定の部分（例えば、椅子の座面や、窓の取っ手）を見つける必要がありました。
結果： SegWorld は他のモデルよりもはるかに優れていました。他のモデルが椅子全体や窓全体を掴んだのに対し、SegWorld は行動を成功させるために必要な特定の部分を正確に特定しました。

要約

この論文は、ロボットが人間のニーズを真に理解するためには、指示を待つだけでは不十分であると論じています。彼らは世界を見て、物事が何ができるか（その「アフォーダンス」）を理解し、その知識を使って、あなたが望むものを手に入れるために物体のどの部分を触る必要があるかを正確に特定すべきなのです。

重要なポイント： SegWorld は、行動する前に問題を思考することで、曖昧な人間の欲求（「喉が渇いた」）を、正確な物理的動作（グラスのステムを掴む）に変換します。

技術的サマリー：SegWorld – 視覚的チェーン・オブ・思考による能動的アフォーダンス推論への道

1. 問題定義：意図とターゲットの間のギャップ

現在の大規模言語モデル（LLM）とマスクデコーダを統合する言語駆動セグメンテーションモデルは、主にクエリ条件付きパラダイムの下で動作します。この設定では、指示は「ターゲット参照的」であり、セグメンテーション対象となる特定の領域を明示的に命名、記述、または制約します（例：「赤いカップをセグメントせよ」）。最近の研究では暗黙の推論を処理するために視覚的チェーン・オブ・思考（CoT）が導入されていますが、特定のクエリが提示されるまで視覚的シーンは無関係なままです。

しかし、現実世界の具象的相互作用において、人間の指示はしばしば意図レベルで実用的です。これらは特定のターゲット領域を指定することなく、望ましい結果を記述します（例：マグカップ、ケトル、皿が存在するシーンにおいて「水を飲みたい」という指示）。このような指示を満たすためには、エージェントは以下の作業を行う必要があります：

関連する物体（マグカップ）を推論する。
必要な動作（把持）を決定する。
その動作を可能にするアフォーダンスを担う部分（取っ手）を特定し、物体全体ではなくその部分をセグメントする。

既存のモデルは、高レベルの目標と低レベルの物理的相互作用部位を橋渡しする能動的推論が欠如しているため、この「意図から部分へ」のギャップに直面しています。

2. 手法：SegWorld フレームワーク

著者らは、直接の指示からマスクへのマッピングを、能動的で多段階の推論プロセスに置き換えるSegWorldを提案します。中核的な革新は、能動的な観察を事前分布として機能させる確率的推論としてセグメンテーションを形式化する、2 回パス、3 段階のアーキテクチャです。

A. 確率的定式化
SegWorld は、指示に依存しないシーン文脈 $c$ に対して周辺化することで、直接推定 $P_\theta(M | I, q)$ を近似します：
$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$
ここで、 $I$ は画像、 $q$ は指示、 $c$ は指示が知られる前に生成される言語的シーン文脈です。

B. アーキテクチャと段階
モデルは、LoRA で微調整された共有ビジョン・ランゲージバックボーンと SAM2 マスクデコーダを利用します。プロセスは 2 つのフォワードパスで展開されます：

ステージ 0：能動的観察（指示なし）
- 入力： 画像 $I$ のみ。
- 出力： 言語的シーン文脈 $c = (s, o_{list}, r, e)$ 。
- プロセス： モデルは 4 段階の推論を生成します：
  - シーン（ $s$ ）： 設定の一般的な記述。
  - 物体（ $o_{list}$ ）： 目立つ可視物体のリスト。
  - 関係（ $r$ ）： 空間的および機能的関係。
  - イベント（ $e$ ）： シーンが可能にする妥当な相互作用（例：「注ぐ」、「すすぐ」）。
- 目的： 特定のユーザークエリに依存しない情報豊富な事前分布として機能する「言語的シーン文脈」を確立すること。
ステージ 1：指示条件付き推論
- 入力： 画像 $I$ 、指示 $q$ 、および文脈 $c$ 。
- プロセス： モデルは 3 つのサブステージに整理された8 段階の視覚的チェーン・オブ・思考を辿ります：
  - 意図の解決： 意図を満たすために必要な関連物体（ $o$ ）と動作（ $a$ ）を特定する。
  - アフォーダンスのグラウンディング： 動作を支援する特定の物体部分（ $p$ ）を特定し、そのアフォーダンス（ $f$ ）を命名する。
  - セグメンテーション： チェーンは特別な [SEG] トークンで終了します。その隠れ状態は SAM2 マスクデコーダのプロンプト埋め込みへ投影され、画像特徴と融合して二値マスク $M$ を予測します。

C. 学習戦略

目的： マスク損失（二値交差エントロピー＋Dice）と、観察チェーンおよび推論チェーンの両方に対する言語モデル損失を用いた共同学習。
監督： 観察レベルは指示に非依存であることを保証するため、ビジョン・ランゲージモデルを用いてオフラインで合成されます。推論レベルは、新しいベンチマークからのグランドトラウス注釈を使用します。
スケジュールドサンプリング： 学習・テスト間のギャップを埋めるため、モデルは当初は合成された文脈に条件付けられるように学習され、徐々に自己生成された文脈へ移行します。

3. 主要な貢献

意図レベルセグメンテーション設定： 指示がターゲットではなく目標を指定し、潜在的な推論ステップ（ $q \to o \to a \to (p, f) \to M^\star$ ）を通じてアフォーダンスを担う物体部分を回復することを必要とする、新しいセグメンテーションパラダイムを特定し定義しました。
SegWorld フレームワーク： 8 段階の視覚的 CoT を実行する能動的セグメンテーションモデルです。確率的推論に基づいて形式化され、能動的観察を用いて意図レベルのクエリに対する事後分布を鋭くするシーン文脈を提供します。
Intent2Part ベンチマーク： InstructPart に基づいて構築された新しいデータセットで、1,800 件の学習サンプルと 600 件のテストサンプルに意図レベルの指示を追加しました。これには、対応するアフォーダンスを担う部分（例：ワイングラスの取っ手）とペアになった高レベルの目標（例：「リラックスしたい」）が含まれます。

4. 実験結果

実験はIntent2Partベンチマークで行われ、LISA、Sa2VA、Affordance-R1、SAM3-I などのベースラインと比較されました。

ターゲット参照性能： SegWorld は、標準的な参照および推論指示において強力なベースラインと同等かそれ以上の性能を発揮し、能動的推論メカニズムが従来のタスクの性能を低下させないことを示しています。
意図レベル性能：
- ゼロショット汎化： 意図レベルの指示のみで学習された SegWorld v1 は、意図レベルの test_clean スプリットで0.514 mIoUを達成し、最強のベースライン（Affordance-R1）を 3.4 ポイント上回りました。これは、モデルが再利用可能な意図から部分への推論パターンを学習していることを示唆しています。
- 教師あり改善： 意図レベルの指示で学習された SegWorld v2 は、test_clean でさらに0.612 mIoUに向上し、すべてのベースラインを大幅に上回りました。
- トークン放出： 意図クエリに対してセグメンテーショントークンを放出せず（会話的に応答する）失敗することが多い既存モデル（Sa2VA など）とは異なり、SegWorld は一貫してマスクを決定します。
アブレーション研究： 能動的文脈またはステージ 1 の推論チェーンを除去すると、性能が大幅に低下し、物体、動作、アフォーダンスに関する明示的な推論が意図のグラウンディングに不可欠であることを確認しました。

5. 意義と主張

本論文は、SegWorld が単に明示的な指示に従うのではなく、シーンが何を提供するかを推論するセグメンテーションシステムへの一歩であると主張しています。反応的でクエリ条件付きのパラダイムから能動的なパラダイムへ移行することで、モデルは具象的相互作用における人間の意図の未指定性を処理できます。

著者らは、視覚的チェーン・オブ・思考が予測プロセスを解釈可能かつ追跡可能にし、予測がどこから生じたか（例：「ボトル」全体ではなく「取っ手」に至る推論チェーン）を露わにすると強調しています。また、現在の研究は静的画像と単一ステップの意図に限定されており、言語ベースの明示的推論が中間のテキスト予測の誤りに敏感であることを認めつつも、結果は能動的観察が、従来のクエリ条件付きモデルが最も弱い領域、すなわち高レベルの目標から実行可能な部分を回復する場において最も価値があることを示唆しています。