技術要約: GuideMe

問題提起

マルチモーダル大規模言語モデル（MLLM）は、オフラインのビデオ理解において強力な能力を示してきましたが、リアルタイムのプロシージャル・コーチ（手順指導者）として機能する能力については未開拓のままです。真のプロシージャル・コーチは、クローズドループのインタラクションを行う必要があります。すなわち、ユーザーの実行を継続的に監視し、逸脱やエラーをリアルタイムで検出し、ユーザーを軌道に戻すための修正的なガイダンスを提供しなければなりません。既存のデータセットやベンチマークは、主にオフラインの注釈、ステップレベルの指示、または事後的なエラーラベルに焦点を当てています。これらの中で、アシスタントが将来の情報にアクセスすることなく、「いつ」介入すべきか、「何を」助言すべきか、そしてユーザーが誤ったかどうかを能動的に判断しなければならない、現実的なストリーミング制約下での完全なアクティブ・コーチング・サイクルを評価できるものは存在しません。

メソドロジー

1. GuideMe ベンチマーク

著者らは、プロシージャルなタスクにおけるクローズドループの修正能力を評価するために設計された、初のマルチドメイン・ストリーミング・ベンチマークである GuideMe を導入します。

• 規模と範囲: このデータセットは、料理、物体操作、日常生活のガイダンス、フィットネスの4つの多様なドメインにわたる 2,458本のビデオ（223.7時間）で構成されています。
• インタラクション・サンプル: 4つの異なるアシスタントの振る舞いを捉えた 47,775個のインタラクション・サンプルを含んでいます：
  1. 次のステップの指示の発行。
  2. 正しい実行に対する完了フィードバックの提供。
  3. 実行エラーの検出。
  4. ミスを修正するための修正的ガイダンスの提供。
• アノテーション・パイプライン: スケーラブルな3段階の自動パイプラインが開発されました：
  • 指示的アクティビティの抽出: 生のステップレベルの注釈を抽出し、ソースとなるタスクグラフに基づいて、正しい、間違い、または修正のアクションへと統合・分類します。
  • 知識生成: LLMを用いて、抽出されたアクティビティからタスクの説明と標準的なステップシーケンスを生成します。この際、論理的一貫性を確保するために、並列サンプリングとコンセンサスによる精査が行われます。
  • 会話生成: アクションの境界に沿った自然な対話を生成し、アクション前の指示と、アクション後のフィードバック（確認または修正）を作成します。

2. 推論プロトコル

評価は、モデルがスライディングウィンドウ（デフォルト60秒）を介して連続的なビデオストリームと完全な対話履歴を観察する、厳格な因果関係の設定をシミュレートします。モデルは各タイムスタンプにおいて、沈黙を守るべきか応答を生成すべきかを能動的に決定しなければなりません。

• サンプリング戦略: 著者らは アンカーベース・サンプリング を採用しています。これは、高密度なサンプリングに伴うクラス不均衡を避けるため、グラウンドトゥルース（正解）の介入タイムスタンプと、同数の沈黙の間隔に対してモデルにクエリを行う手法です。

3. 評価フレームワーク

単純なテキスト生成を超えた性能を評価するために、3つのコンポーネントからなるフレームフレームワークが提案されています。

1. 時系列・意味論的二部マッチング (Temporal-Semantic Bipartite Matching): 生成された応答と参照応答との間の最小重み二部マッチング問題を解くことで、シーケンスレベルの整合性を測定します。これは、正確な文字列一致ではなく、意味的な等価性を許容するために、意味埋め込み（semantic embeddings）と時間的距離のペナルティを用いた Soft-F1 (sPrecision, sRecall) を算出します。
2. 行動分類 (Behavioral Classification): インスタンスレベルの介入タイミングを評価します。結果は以下のように分類されます：
   • Correct Silent (CS): 正しく沈黙している。
   • False Alarm (FA): 沈黙が必要な時に発言している。
   • No Response (NR): 介入が必要な時に発言していない。
   • Partly Correct (PC): 正しいタイミングで発言している。
     これらは、誤報（false alarms）をペナルティとし、正しい沈黙と高品質な介入を報酬とする Score 指標に集計されます。
3. LLM-as-a-Judge: マッチングされた予測と参照のペアに対し、関連性、事実としての妥当性、および因果推論に基づき、0〜5のスケール（0〜100に再スケール）でコンテンツの質を評価します。

主な結果

独自のモデル（例：Gemini 3.1 Pro, GPT-5.2, Doubao）、オープンソースのMLLM（例：Qwen3-VLシリーズ）、および特化したストリーミングモデル（例：VideoLLM-online, Dispider）を用いて広範な実験が行われました。

• 性能の非対称性: 重要な発見は、能力の非対称性です。モデルは一般に、基本的な 指示の伝達（次のステップの提供）については合理的なパフォーマンスを示しますが、エラー検出 と 修正的ガイダンス においては著しく失敗します。
• 失敗モード: モデルは2つの失敗モードに二極化する傾向があります：
  • 攻撃的 (Aggressive): 頻繁に介入するが、多くの誤報（false alarms）を生成する（例：VideoLLM-online）。
  • 保守的 (Conservative): 沈黙しすぎ、必要な介入を見逃す（例：Dispider, MMDuet2）。
• 定量的ギャップ: 最も優れた性能を示すモデルでさえ、クローズドループに苦戦しています。例えば、Gemini 3 Proは高い指示sF1（42.0）を達成していますが、エラー検出（33.8）と修正（34.3）では大幅に低下します。最高の総合スコア（45.7）は、誤報を最小限に抑える保守的な戦略によって達成されたQwen3.5-397B-A17Bによるものですが、それでもなお、要求される介入の大部分を見逃しています。
• ファインチューニングの影響: GuideMeのトレーニングセットによるファインチューニングは、時間的な整合性を向上させましたが（Qwen3-VL-8BにおいてsF1が35.7から39.7へ上昇）、挙動をより保守的な方向へとシフトさせ、介入の見逃し（NR）を増加させる一方で、誤報を減少させました。
• 文脈感受性: グラウンドトゥルースの対話履歴を取り除き、モデル自身の予測のみに依存すると、性能が急激に低下します。これは、対話履歴におけるエラーの蓄積が、モデルの効率的なコーチング能力に深刻な影響を与えることを示しています。

意義と貢献

本論文は、主に3つの貢献を主張しています：

1. GuideMe ベンチマーク: 多様なプロシージャル・タスクをクローズドループの評価フレームワークへと統合し、指示・観察・修正の完全なサイクルをカバーする、初のマルチドメイン・ストリーミング・ベンチマーク。
2. アノテーションおよび評価パイプライン: 異種混合のデータセットをストリーミング・インタラクション・サンプルへと変換するためのスケーラブルな3段階のアノテーション・パイプラインと、能動的なガイダンスに特化した厳格な3コンポーネント評価フレームワーク（時系列・意味論的マッチング、行動分類、LLM-as-a-Judge）の提供。
3. 能力ギャップの特定: 現在のMLLMにおける根本的な限界を明らかにしました。すなわち、彼らは「何が起こるべきか」（プロシージャルな知識）を記述することはできますが、「実際に何が起こっているか」（リアルタイムのエラー検出と修正）に基づいて効果的にコーチングすることは、現時点では困難であるということです。

著者らは、GuideMeが、受動的なナレーションを超えて、真にインタラクティブなプロシージャル・コーチングを実現するための実用的なテストベッドとして機能すると結論付けています。そして、「いつ話すべきか」および「どのように修正すべきか」を決定する能力こそが、将来の研究における決定的な課題であることを強調しています。