技術的サマリー：ProcObject-10K

問題提起

現在の instructional video における手続的理解のベンチマークは、主に行動中心である。これらは手続的構造を行動やイベントの系列としてモデル化しており、物体の状態遷移の根本的な役割を見落としていることが多い。現実世界の手続的タスク（調理、組み立てなど）では、目標は人間との相互作用下での物体状態の漸進的な変換を通じて達成される。同じ行動でも、物体の初期状態に応じて異なる結果をもたらし、それがその後の有効な行動を決定づける。

既存のデータセットは、モデルがこれらの物体レベルのダイナミクスについて推論できるかどうかを評価できていない。一部のデータセットは物体追跡に焦点を当てているが、目標指向の手続的構造を欠いている。逆に、instructional video のデータセットは、物体状態の変化によって引き起こされる因果的依存関係をモデル化することなく、行動系列に焦点を当てている。その結果、現在のベンチマークでは、モデルは物体がどのように変化するのかを微細に推論するのではなく、言語的事前知識や行動パターンに依存することで高い性能を達成している。

手法

1. PROCOBJECT-10K ベンチマーク

著者らは、instructional video における物体中心の推論と時間的証拠のグラウンディングを共同で評価するために設計された、初のベンチマークであるPROCOBJECT-10Kを導入する。

• データセット構成: このデータセットは、9 つのドメイン（第一人称視点と第三人称視点を含む）にまたがる 137 のタスクにわたる1,799 の動画クリップに基づいた10,522 のオープンエンドな VideoQA ペアで構成されている。
• データ生成パイプライン: 4 段階の半自動パイプラインが採用された。
  1. 収集: 複雑な手と物体の相互作用で知られる既存のデータセット（CaptainCook4D, EgoPER, HoloAssist, COIN）から動画をキュレーションした。
  2. サンプリング: 因果的な整合性と一貫した物体の出現を確保するため、時間的に連続する行動系列をサンプリングした。
  3. QA 生成: 高密度な物体中心のキャプションとスパースなフレームを Vision-Language Models (VLMs) に提示し、質問、回答、および支援となる時間的証拠スパンを生成した。
  4. 検証: 厳格なフィルタリングプロセスにより、常識のみで解決可能な事例（テキストのみ）を除去し、LLM を介して回答と証拠の整合性を検証し、曖昧さを解消し時間的グラウンディングを確保するために人間のレビューを含めた。
• 質問分類: このベンチマークは、物体のダイナミクスに焦点を当てた 5 つの推論タイプを定義する。
  1. 前提条件のグラウンディング: 行動前の必要な物体状態を特定する。
  2. 物体状態の進化: ステップ間で物体がどのように変化するかを追跡する。
  3. 反事実的推論: 特定の物体状態が変更された場合の結果を予測する。
  4. 過失の認識: 物体の取り扱いや状態における誤りを特定する。
  5. 準備状態の評価: 次のステップのために物体が正しい状態にあるかどうかを判断する。

2. 物体中心の教師あり微調整 (SFT)

特定された推論ギャップに対処するため、著者らはモデルが行動に関連する物体の動的進化に明示的に注目することを促す SFT フレームワークを提案する。

• 疑似ラベルの構築: 手動アノテーションの代わりに、このフレームワークは VLM を用いて QA ペアから主要な物体フレーズを抽出し、物体検出モデルを用いて動画フレーム内で局所化する。これにより以下のものが生成される。
  • ソフトなパッチレベルマスク: 画像パッチと検出された物体との重なりを示す空間的監督。
  • 物体存在インジケーター: 関連する物体が含まれるフレームを示す時間的監督。
• 学習目的: 標準的な生成損失 ($L_{gen}$) に、2 つの補助的制約が追加される。
  • 空間的制約 ($L_{spl}$): モデルが支援となる物体と重なる画像パッチに焦点を当てるように促す。
  • 時間的制約 ($L_{tmp}$): モデルが主要な物体ダイナミクスが発生する特定のフレームに焦点を当てるように促す。
• 推論: 効率性を維持するため、推論時には補助ヘッダーを削除し、学習された物体中心の視覚表現を持つモデルのみを残す。

主要な結果

1. 回答とグラウンディングのギャップ

13 の主要なマルチモーダル大規模言語モデル (MLLMs) のベンチマーク評価により、大きな不一致が明らかになった。

• 妥当な回答、貧弱なグラウンディング: モデルはオープンエンドな質問応答において（言語的事前知識に依存して）妥当なスコアを達成したが、支援となる時間的証拠の局所化には失敗した。
• 低いグラウンディング性能: 時間的グラウンディングの平均 Intersection-over-Union (mIoU) は、大規模な商用およびオープンソースモデルであっても、すべてのモデルで一貫して45% 未満にとどまった。
• 盲目的な LLM の性能: 動画入力なしで言語のみを使用するモデル（例：GPT-5.4-Mini）は、競争力のある回答スコア（LLM-as-Judge スコア約 3.14）を達成し、現在のモデルがしばしば視覚的証拠を迂回していることを確認した。

2. 物体中心 SFT の影響

提案された物体中心 SFT フレームワークで微調整されたモデル（Qwen3-VL-4B）は、顕著な改善を示した。

• ベンチマーク性能: 回答精度とグラウンディング精度の両方で、はるかに大規模なベースライン（例：38B パラメータモデル）を上回り、ほとんどの指標で最高の性能を達成した。
• 汎化性:
  • VideoQA: 微調整されたモデルは、MultiHop-EgoQAベンチマークにおいてゼロショット設定で効果的に転移し、そのデータセットで特別に微調整されたモデルを上回った。
  • 具象的計画: ALFREDフレームワーク内でゼロショットプランナーとして統合された際、微調整されたモデルはゼロショットベースラインと比較して成功率 (SR) と目標条件付き (GC) スコアを向上させ、物体中心の推論が具象的タスクの実行を支援することを示した。

意義と主張

この論文は、PROCOBJECT-10Kが、現在の MLLM が微細な物体ダイナミクスではなく言語的事前知識に依存していることを露呈する重要な診断ツールとして機能すると主張している。著者らは以下を論じている。

1. 手続的理解には物体中心の推論が必要である: 行動系列だけでは不十分であり、手続的タスクを支援する知的システムにとって、物体状態遷移の因果的依存関係を理解することが根本的に重要である。
2. 明示的な監督が必要である: 提案された SFT フレームワークは、物体状態ダイナミクスに対する明示的な監督（疑似ラベルおよび空間的・時間的制約を介して）が、回答とグラウンディングのギャップを埋めるための有効な戦略であることを示している。
3. 転移性: このベンチマークから学習された物体中心の表現は、データセット自体に限定されず、他のグラウンディングされた VideoQA タスクや具象的計画のシナリオにも汎化しており、AI における手続的理解にとってより広範な価値を示唆している。

著者らは、PROCOBJECT-10K が、物体中心の手続的推論、具象的エージェントとの緊密な統合、および物理的な状態遷移をよりよく理解する世界モデルの開発に向けた将来の研究を促進することを目的としていると結論づけている。