技術要約: EgoAfford – 一人称視点のリファリング・セグメンテーションによるタスク指向のアフォーダンス・グラウンディング

問題の定式化

現在のアフォーダンス・グラウンディング研究は、主に要素的な動作に焦点を当てており、単一のオブジェクトまたは単一ステップの指示に対して、機能的な部位（例：切るための刃）をローカライズすることに限定されています。しかし、これを複雑なマルチステップのテーブルトップ・タスクへと拡張する場合、従来の定式化には以下の2つの決定的な限界があります。

1. 単一ターゲットへの集中: 既存の手法は、通常、一つのアクションに条件付けられた領域をグラウンディングしますが、複数の関与するオブジェクトに対して意味的な役割（直接対象、道具、目的地）を明示的に割り当てることはありません。
2. 単一ステップの範囲: 最近のバイマニュアル（両手）またはシーンレベルの定式化でさえも、タスクの進行状況に応じて残りの手順を推論するのではなく、与えられた単一のアクションに対するアフォーダンスを予測するにとどまっています。

EgoAffordは、タスク指向のアフォーダンス・グラウンディングを以下の共同問題として定式化することで、これらのギャップに対処します。一人称視点のテーブルトップ画像とハイレベルな自然言語タスクが与えられたとき、モデルは (i) 残りのアクションステップの計画を生成し、(ii) 次のアクションステップにおける機能的な部位を、以下の3つの特定の役割にセグメント化しなければなりません。

• 直接対象 ($M_o$): 操作されるオブジェクト。
• 道具 ($M_s$): オブジェクトに対して作用するために使用されるツール（素手での動作の場合は存在しない）。
• 目的地 ($M_d$): 転送のためのターゲットとなる場所またはコンテナ（その場での動作の場合は存在しない）。

極めて重要な点は、これらのマスクが部位レベル（例：ポット全体ではなく、ポットの注ぎ口）であり、かつ欠如したコンポーネント（全ゼロのマスクとして注釈付けされる）を扱う必要があることです。

手法

EgoAfford ベンチマーク

著者らは、データセットとリファレンスモデルからなる包括的なベンチマークを導入しています。

• データセット構築: このデータセットは、2,000個の生成されたマルチステップ・シーンから派生した、約15,537個の人間によって検証された一人称視点の画像を含んでいます。商用のVLM（例：GPT-5.5, Gemini 3）を用いた生成パイプラインにより、タスクのシードを作成し、それらをステップに分解し、意味的に整合した画像を合成します。その後、厳格な人間による検証とマスク修正プロセスが行われます。
• EgoAfford-Real: 一般化性能を評価するために、26のタスクにわたる102枚の画像からなる、手動でキャプチャされたテストセット（生成されたシーンとは独立したもの）が含まれています。
• 注釈プロトコル: 注釈は、ステップごとに3つの役割固有のマスクを定義します。データセットは、複数の有効な次の一手が存在するマルチブランチ（多分岐）タスクをサポートしており、モデルは最も適切なアクションを選択し、その構成要素をグラウンディングする必要があります。

EgoLens リファレンスモデル

強力なベースラインを確立するために、著者らはこの共同タスクのために設計された3Bパラメータのマルチモーダル大規模言語モデル（MLLM）であるEgoLensを提示しています。

• アーキテクチャ: Qwen2.5-VL 3Bバックボーンを備えたLENSアーキテクチャに基づいています。学習可能なグラウンディング・クエリを利用し、3つの並列な役割固有のマスク・デコーダ（各コンポーネント $M_o, M_s, M_d$ 用）に渡されます。このアーキテクチャ設計により、テキスト生成のみに依存することなく、マスクと役割の間の意味的な結合を保証します。
• 学習戦略: 統一されたプロンプト・テンプレートを用いて学習されます。モデルは、Chain-of-Thought (CoT) 計画トレース（学習時は教師強制）を生成し、続いて残りの計画と3つのコンポーネント・マスクを含む構造化された回答を生成します。損失関数は、言語モデリング損失（構造化された回答トークンのみを監督）と、セグメンテーション損失（非空マスクにはBCE + Dice、空のマスクにはBCEのみ）を組み合わせたものです。
• 推論: モデルは、画像とタスクの説明に基づき、完全な計画と3つのコンポーネント・マスクを単一のフォワードパスで自己回帰的に生成します。

主な貢献

1. タスク指向の定式化: 本論文は、マルチステップのタスク指向アフォーダンス・グラウンディングを、残りの計画生成と部位レベルのグラウンディングの共同タスクとして定義し、それをEgoAffordベンチマークにおいて具体化しました。
2. EgoLens モデル: 残りの計画を同時に生成し、3つの役割固有のコンポーネント・マスクを予測するリファレンスMLLMであり、プランニングと微細なグラウンディングの結合という課題に対処しています。
3. 包括的な評価: 生成されたシーンおよび実世界の観察の両方に対する広範な評価を行い、次ステップの推論と、アクション・ロールに条件付けられた部位グラウンディングの特有の課題を明らかにしています。

実験結果

本論文では、最近のリファリング・セグメンテーションMLLM（Sa2VA, UniPixel, LENS, OMG-LLaVA）、商用VLM–SAM2パイプライン、およびEgoLensを評価しています。

• フルタスク性能: EgoLensは強力なリファレンス性能を確立し、生成されたテストセットにおいて 0.700 gIoU および 0.486 cIoU を達成しました。これは、最強の商用VLMパイプライン（GPT-5.5 + SAM2, 0.476 gIoU）やオープンソースのベースラインを大幅に上回っており、後者は単一パスですべての3つの役割固有のマスクを返すことに失敗することがよくあります。
• 実世界への一般化: EgoAfford-Real（ゼロショット転移）において、EgoLensは 0.666 gIoU および 0.455 cIoU を達成し、GPT-5.5 + SAM2パイプラインをgIoUで9.7ポイント上回りました。これは、EgoLensがより一貫したサンプルレベルの予測を提供することを示唆しています。
• 推論とグラウンディングの分離: リファレンスとなる次ステップが提供された場合（プランニングの負担を取り除いた場合）、EgoLens-Segは 0.839 gIoU に達します。リファレンスステップがない場合に性能が低下することは、次ステップの推論が依然として大きなエラー源であることを浮き彫りにしています。
• コンポーネント分析: EgoLensは、非空ターゲットに対して堅牢なローカライズを示しており（直接対象のNE-mIoUは0.668、道具は0.614、目的地は0.568）、その性能が単に欠如したコンポーネントを認識することだけに依存していないことを裏付けています。

意義と主張

本論文は、EgoAffordとEgoLensが、マルチステップのテーブルトップ・タスクにおける知覚とプランニングを共同で研究するための基礎を提供すると主張しています。著者らは以下のように述べています。

• 相補的な課題: 本ベンチマークは、次ステップの推論（プランニング）と、アクション・ロールに条件付けられた部位グラウンディングという、相補的な困難さを浮き彫りにしています。
• 役割固有のグラウンディング: 直接対象、道具、目的地を明示的にモデル化することで、単一オブジェクトの定式化を超え、複数のオブジェクトがどのようにタスクに参加するかを捉えています。
• 将来の方向性: 本研究は、役割構造化されたグラウンディングと、具現化された実行（embodied execution）を結びつける道を示唆しています。そこでは、特定されたコンポーネントが、再利用可能な操作スキル（例：pour(source, destination)）の明示的な引数として機能し、エンドツーエンドのWorld Action Modelに代わるエージェント的な選択肢を提供します。

著者らは、データセットが主に生成されたものであること（自然な環境のような視覚的忠実度や乱雑さに欠ける点）、および静止画による評価では運動の実現可能性やクローズドループの成功を捉えられないことを認め、限界事項として挙げています。また、EgoLensは単一の有効なパスに対して学習されているため、代替的な解決策を扱う能力が制限される可能性があることも指摘しています。