技術要約：第1回 非同期 CASTLE チャレンジの結果

問題定義
本論文は、CVPR 2026に併設された Joint Egocentric Vision Workshop (EgoVis) で開催されたパイロット・タスクである「第1回 非同期 CASTLE チャレンジ」について報告する。取り組まれた核心的な問題は、長期的かつマルチモーダル、かつマルチビューな一人称視点（エゴセントリック）データに対する**クローズド形式の質問応答（QA）**である。参加者は、CASTLE 2024 データセットから派生した185個の多肢選択式質問（各4択）に回答する課題を与えられた。このデータセットは、10名の参加者が自然な活動に従事している様子を捉えた、同期されたオーディオを伴う600時間以上の超高解像度（UHD）ビデオ（50 fps）で構成されている。データには、15のビデオストリーム（エゴセントリック10、固定カメラ5）、6DoF IMUデータ、GPS、生体信号、視線データ、およびサーマルイメージが含まれる。質問には、時間的、空間的、およびモダリティ間の境界を横断する推論が求められ、時間的推論、物体追跡、視覚的カウント、および参加者の特定といった能力がテストされた。

手法とチームの貢献
4つのチームが、それぞれの手法の詳細を記したテクニカルレポートを提出した。すべてのチームは公式のデータセットとベンチマークを利用しており、600時間の台本なしのデータが持つ「干草の中の針（needle-in-a-haystack）」のような性質に対処するために、それぞれ異なる戦略を採用した。

• Team WDL（優勝）: このチームは、Qwen マルチモーダル大規模言語モデル（LLM）を中心としたエビデンス認識型マルチモーダル推論パイプラインを提案した。彼らのアプローチは、非構造化されたQAを、構造化されたエビデンス検索問題へと変換するものである。主要な構成要素は以下の通りである：

  • エビデンス認識型コンテキスト構築: クエリからヒント（名前、日、部屋など）を解析し、検索を誘導する。彼らは、語彙の重複に基づいて公式のASRトランスクリプトをセグメント化し、補助的な写真やビデオフレームをランク付けした。
  • 質問タイプ・ルーティング: クエリを静的な視覚、音声/テキスト、時間的、または混合型のタイプに分類し、カスタマイズされたインストラクション・ブロック（例：時間的順序やOCRのための特定のプロンプト）を起動させるメカニズム。
  • LoRA適応と自己整合性: ベースモデルに対して低ランク適応（LoRA）を用いたファインチューニングを行い、回答トークンに対してのみ損失を計算した。また、プロンプトの厳格さを変化させたマルチサンプル自己整合性を利用し、信頼度重み付き投票によって結果を集計した。
  • 主な知見: アブレーション研究により、LoRAは精度を21%から50%に向上させ、サンプリングするビデオフレーム数を増やすことでパフォーマンスが58%に達したことが示され、エビデンスの網羅性が主要なボトルネックであることが特定された。

• Team MARS（第2位）: このチームは、すべての生データを同時に処理するのではなく、どのエビデンス・モダリティを照会すべきかを動的に決定するソース選択型エージェント・フレームワーク（Multimodal Agentic Reasoning with Source selection）を導入した。

  • ソース・タクソノミー: データは、主要ソース（ビデオ要約、トランスクリプト）と補助ソース（視線、心拍数、写真、サーマル）に整理された。長いビデオは、DeepSeekを用いてイベント要約へと前処理された。
  • エージェントによる決定ループ: GPT-5.4決定エージェントが、「思考を継続する」「データを追加する（労力に関する質問のために心拍数などの特定のモダリティを要求する）」「回答する」「ランダムなフォールバック」という4つのアクションを用いて反復ループ内で動作した。
  • 主な知見: システムは、テキストのみのベースラインである35%から、57%の精度へと進化した。最終的な55%から57%への跳ね上がりは、完全なMARSエージェント・ループによって実現されたものであり、複雑な推論のために欠落しているモダリティを動的に要求することの有効性を実証した。（注：このチームの最終リーダーボード精度は56.8%であった。）

• Team TAHAKOM（第3位）: このチームは、階層的な**知識グラフ（KG）**検索メカニズムを備えた、トレーニングフリーのエージェント・フレームワークを開発した。

  • マルチモーダルKG構築: エゴセントリックビデオ（30秒のクリップ）のみに基づき、クリップレベルのキャプションを生成し、エンティティ（人物、場所、物体）と関係性（～と話す、～と相互作用する）を厳格な時間間隔とともにマッピングした有向グラフ（SQLite）へと構造化した。
  • 階層的エージェント・ワークフロー: LangGraph上に構築されており、PlannerAgentがクエリを分解し、GraphRetrievalエージェントが「厳格から緩和へ」のSQL生成戦略を実行した。
  • 主な知見: 「言及（Mention）」関係をKGに含めることで、精度が7%向上した。さらに、KGの境界を利用して視覚的タスク（カウント、OCR）のために生のビデオを抽出するフォールバック・モジュール（ClipSearch/ClipAnalyze）が4%のブーストをもたらし、グラウンデッドなタスクにおける生のピクセルへのアクセスの必要性を検証した。

• Team CuriosAI（第4位）: このチームは、共通の5レーン前処理層（アイデンティティ、キャプション、物体、トランスクリプト、アクション・タイムライン）に基づいた2つのアプローチを探索した。彼らの主な貢献は、VLMの空想（confabulation）に対抗するために設計された、明示的な**Search–Verify–Answer（SVA）**パイプラインである。

  • SVAパイプライン: QAのプロセスを、検索（ハイブリッド検索により15分間のウィンドウを見つける）、検証（隣接するサブウィンドウを複数のカメラにわたって拡張する）、回答（エビデンス優先順位に基づきGPT-5ジャッジを介してエビデンスを融合する）の3段階に分離した。
  • 空想防止の規律: 検証プロセスにおいて、プロンプトのコンテキストをエコー（反復）しない、無音のクリップでは棄権する、カウントに対して空間的なグラウンディングを要求する、根拠のない高信頼度の回答を拒絶するといった、厳格なプロンプトレベルのルールを強制した。
  • 比較: 彼らのSVAアプローチは、50%の精度（質問あたり約28回のLLM呼び出しが必要）を達成した。これは、35%の精度（1回の呼び出し）を達成した二次的なTemporal–Multimodal–Knowledge–Graph（TMKG）アプローチと比較して高い数値であった。

結果
本チャレンジには43チームが登録し、272件の提出があった。最終リーダーボード（表1）によれば、上位4チームの精度は0.351から0.584の間であり、ランダム・ベースラインの0.25を大幅に上回った。

• Team WDL: 108正解（58.4%）。
• Team MARS: 105正解（56.8%）。
• Team TAHAKOM: 101正解（54.6%）。
• Team CuriosAI (SVA): 92正解（49.7%）。

オーバーラップ分析（表2）によれば、トップチームが108問に正解した一方で、ランクインした全チームの総計では185問中176問が解決されていた。すべてのチームがミスした質問はわずか9問であり、現在のシステムには補完的な強みがあることが示唆された。

意義と主張
本論文は、結果が、現在のシステムは大規模なマルチビュー・データセットをナビゲートすることは可能であるものの、台本のない環境における長文脈のクローズド形式QAは依然として非常に困難な問題であることを示していると主張している。著者らは以下のいくつかの重要な洞察を挙げている：

1. エビデンスの網羅性が極めて重要: パフォーマンスは、正しいエビデンス・セグメント（例：WDLのフレームサンプリングやTAHAKOMの生のピクセルへのフォールバック）を検索し、検証する能力に大きく依存している。
2. 動的なモダリティ選択: MARSの成功は、クエリのニーズに基づいて特定のモダリティ（生体情報や視線など）を動的に要求することが、静的な処理よりも効果的であることを示唆している。
3. 空想に対する検証: CuriosAIの結果は、大規模モデルが長尺ビデオのコンテキストにおいて回答を捏造することを防ぐために、計算コストが高くなるとしても、規律ある多段階の検証パイプラインが必要であることを示している。
4. 相補性: 高い集計スコア（176/185）は、評価されたアプローチ（検索、エージェント・ループ、KG、および検証）の組み合わせが、将来のイテレーションにおいて優れたパフォーマンスをもたらし得ることを示唆している。

本レポートは、本チャレンジがシーンおよび活動理解のための堅牢なテストベッドを提供したと結論付けており、今後の版では、エゴセントリック・ビジョンQAをさらに進化させるために、統合されたアプローチを評価することを目指すとしている。