技術的概要：BARISTA – 構成的視覚理解のためのマルチタスク・エゴセントリックベンチマーク

1. 問題定義

ビジョン・言語モデル（VLM）は、物理世界で動作するエージェント型および具身型システムの知覚バックボーンとして、ますます展開されています。しかし、物理プロセスの理解は、タスクに関連する物体の局所化、手と物体の相互作用の解釈、文脈における活動の認識、および時間的進化に関する推論といった、調整された能力のセットを必要とするため、依然として重大な課題です。

現在のベンチマークは、通常、これらの能力を、異なる仮定と評価プロトコルのもとで（例えば、活動認識や長動画の質問応答など）、個別に評価しています。この断片化により、モデルが手順タスクで失敗する「理由」を診断することが困難になっています。高レベルのプロセス推論における失敗は、弱い物体局所化、不十分な相互作用理解、または不適切な時間モデリングに起因する可能性がありますが、既存のデータセットには、これらのエラー源を分離するために必要な高密度で共登録された注釈が欠けています。さらに、最近の証拠は、VLM が基本的な空間認知においても依然として脆いことを示唆していますが、高レベルの推論失敗を具体的な知覚的ギャップに遡って追跡する統合フレームワークを提供するベンチマークはほとんどありません。

2. 手法

2.1 データセット構築：BARISTA

著者は、BARISTAを導入しました。これは、185 本の現実世界のコーヒー調製動画（合計 4.4 時間）で構成される、高密度に注釈付けられたエゴセントリックデータセットです。このデータセットは、手順の多様性を確保するために、3 つの異なる調製スタイルを網羅しています：

1. 完全自動マシン： 短く、インターフェース駆動の相互作用（ボタン押し、ミルク処理）。
2. カプセルマシン： カプセルの挿入とレバー操作を含む。
3. ポルタフィルタ式エスプレッソ： 計量、圧縮、抽出を含む手動ワークフロー。

注釈パイプライン：
品質を維持しながら注釈を拡張するために、著者はフレームごとの共登録されたシーングラフを中心とした半自動パイプラインを開発しました。

• ステップ 1（キーフレーム選択）： CaRe-Ego モデルが手と物体の相互作用を検出し、相互作用セグメントを特定します。キーフレームは、これらのセグメント内の状態変化時に選択されます。
• ステップ 2（スパース注釈）： 人間の注釈者が、インタラクティブなマスク提案（SAM 2）を使用してキーフレーム上の物体にラベルを付け、インスタンスマスク、カテゴリ、属性を割り当てます。
• ステップ 3（高密度伝播）： マスクは、複数のキーフレームを条件として、遮蔽やモーションブラーに対処するために、SAM 2 および SAM 3 を使用してセグメント内のすべてのフレームに伝播されます。
• ステップ 4（レビューと統合）： 注釈者は伝播されたマスクをレビューし、エラーを修正し、セグメント全体で物体の同一性を統合して、持続的な追跡を確保します。
• ステップ 5（グラフの充実）： シーングラフは、方向性のあるタイプ付き関係（空間的および手 - 物体）、物体属性、および活動ラベル（微細な動詞＋名詞と粗い手順ステップ）で完成されます。

規模： このデータセットには、46 の物体カテゴリと 108 の活動クラスにわたる361 万のインスタンスマスク、433 万の属性注釈、および248 万のタイプ付き関係が含まれています。

2.2 ベンチマーク設計

BARISTA は、統合的かつ分解可能なベンチマークとして機能します。すべてのベンチマークタスクは、検証済みのシーングラフから決定論的に導出されるため、すべての評価例が同じ基盤となる注釈に遡って追跡可能であることを保証します。このベンチマークは、2 つの主要なタスクファミリーにわたるゼロショットプロトコルのもとでモデルを評価します：

1. 物体焦点タスク（知覚とグラウンディング）：

   • フレーズグラウンディング： 自然言語のフレーズをバウンディングボックスにリンクさせる。
   • 手 - 物体相互作用（HOI）認識： 相互作用を検出し、手の種類（左、右、両方）を分類する。
   • 参照表現生成： 文脈において与えられたバウンディングボックスを記述する。
   • 関係抽出： 物体間の構造化されたタプル（ソース、ターゲット、関係、値）を予測する。

2. 意味タスク（推論と時間的理解）：

   • 活動認識： 短いフレーム系列から微細な操作活動を分類する。
   • 時間的視覚質問応答（VQA）： 短い時間ウィンドウにおける状態変化、動作遷移、および関係のシフトに関するオープンエンドの質問に答える。

2.3 評価プロトコル

著者は、異なるサイズの 4 つの VLM ファミリーを評価しました：Gemini 3 Flash、GPT-5.4 mini、Gemma 4-31B、およびQwen3.5（27B および 9B）。評価指標には、IoU ベースの検出スコア、構造化出力に対する F1、分類精度、およびオープンエンドのテキストに対する LLM-as-a-judge（G-Eval）スコアリングが含まれます。

3. 主要な結果

実験は、タスクファミリー間で強い変動があり、一貫して優位なモデルファミリーが存在しないことを明らかにしました。異なるタスクに必要な能力は、おおむね直交しているように見えます。

• 空間的グラウンディングがボトルネックです： 精度の高い領域レベルの整合を必要とするタスク（フレーズグラウンディング、HOI）において、パフォーマンスは最も顕著に変動します。強力なモデルさえも、中サイズの物体では著しく劣化します。グラウンディングにおけるパフォーマンスのばらつき（mAP 範囲 0.07–0.53）は、活動認識のような意味タスク（精度範囲 0.63–0.78）よりもはるかに広いです。
• タスクの直交性：
  • Gemini 3 Flashは、物体焦点タスク（グラウンディング、HOI、参照）で優れていますが、意味タスクを支配するわけではありません。
  • Qwen3.5-27Bは、時間的 VQA と活動認識でリードしています。
  • Gemma 4-31Bは、関係抽出の F1 で最高を達成しています。
  • GPT-5.4 miniは、空間的グラウンディングでは性能が低いですが、時間的 VQA では驚くほどよく機能します。
• タスク間分析： ランク相関分析（Kendall $\tau$）は、グラウンディング、HOI、関係、および参照が、一貫したクラスター（$\tau \ge 0.6$）を形成することを示しています。一方、時間的 VQA はこのクラスターから分離されています（$\tau \in [-0.4, 0.0]$）。これは、局所化と構造化された空間推論を駆動する能力が、時間的推論を駆動する能力とは異なることを示しています。
• 手順的多様性： パフォーマンスプロファイルはマシンタイプによって異なります。ポルタフィルタ動画は、より大きく明確な物体に起因して、より高いグラウンディングスコアをもたらす一方、完全自動マシンは、より単純な相互作用グラフに起因して、より良い関係抽出と HOI スコアをもたらします。

4. 意義と主張

本論文は、BARISTA を、手順動画理解の失敗の「ブラックボックス」性質に対処するために設計された診断ベンチマークとして位置づけています。その主な貢献は以下の通りです：

1. 分解可能性： すべてのタスクを単一の検証済みシーングラフから導出することにより、BARISTA は研究者が、同じフレーム上の特定の低レベルの知覚的ギャップ（局所化、相互作用、または関係エラー）に遡って、高レベルのプロセス失敗を追跡することを可能にします。
2. 能力ギャップの露呈： このベンチマークは、現在の最先端 VLM が不均一な能力プロファイルを持っていることを示しています。モデルは、何が起きているかを認識すること（意味的認識）においては優れているかもしれませんが、それを説明する物体と相互作用を一貫して局所化することには失敗する可能性があります。この非対称性は、信頼性の高い物体局所化が実行可能なフィードバックの前提条件である具身 AI にとって、直接的な意味を持ちます。
3. 分析のためのインフラストラクチャ： ベンチマークを超えて、このデータセットは、高密度で時間的に一貫したマスク、トラック、および関係構造を提供し、専門的な知覚モデル、時間的シーングラフ、および失敗分析ツールのトレーニングのためのインフラストラクチャとして機能します。

著者は、VLM が進歩したにもかかわらず、構成的視覚理解のスペクトル全体にわたって「不均一」なままであると結論付けています。BARISTA は、システムが成功するかどうかだけでなく、どこで、なぜ失敗するかを測定するための、コンパクトながら拡張可能なテストベッドを提供し、集約スコアを超えて、制御された微細な分析へと移行します。