💻 computer science

TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs

TimeLens2は、新たなマルチスパン・スーパービジョン戦略と時間的Wasserstein報酬を活用することで、多様なベンチマークにおいて最先端の性能を達成し、同規模のベースラインモデルやより大規模なオープンソースモデルを大幅に凌駕する、マルチモーダルLLMを活用した汎用的なビデオ・テンポラル・グラウンディング・フレームワークを導入します。

原著者： Yuhan Zhu, Changlian Ma, Xiangyu Zeng, Xinhao Li, Zhiqiu Zhang, Songze Li, Jun Zhang, Tianxiang Jiang, Yuandong Yang, Ziang Yan, Zikang Wang, Xinyu Chen, Haoran Chen, Shaowei Zhang, Limin Wang

公開日 2026-07-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuhan Zhu, Changlian Ma, Xiangyu Zeng, Xinhao Li, Zhiqiu Zhang, Songze Li, Jun Zhang, Tianxiang Jiang, Yuandong Yang, Ziang Yan, Zikang Wang, Xinyu Chen, Haoran Chen, Shaowei Zhang, Limin Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたの目の前に、世界中のあらゆる動画を観察し、そこで起きていることを正確に説明できる、超スマートなロボットの友人がいるとします。それはまるで、細部を一つも見逃さないパーソナルなナレーターがいるようなものです。しかし、ここには一つ落とし穴があります。もしあなたが「犬はいつフリスビーをキャッチしましたか？」と尋ねたら、そのロボットは「犬がフリスビーをキャッチしました！」と自信満々に答えるかもしれませんが、「いつ」動画を一時停止すればよいのかまでは教えてくれないかもしれません。それは、プロット（筋書き）は説明してくれるけれど、ページ番号を教えてくれない本を読んでいるようなものです。そのページ番号（この場合はタイムスタンプ）がなければ、あなた自身で物語を検証したり、証拠を見つけ出したりすることはできません。これが「時間的グラウンディング（temporal grounding）」という問題です。科学者たちは、AIにビデオの内容を記述させるだけでなく、たとえそのアクションが長い映画の中でバラバラに散らばっていたとしても、あるいは映像が手ブレの激しい一人称視点で撮影されていたとしても、そのアクションが起きている正確な秒数を指し示すように教えようとしています。

そこで登場するのが、究極のビデオ探偵として設計された新しいAIモデル、TimeLens2です。従来のAIモデルは、犯罪現場の状況は説明できても、容疑者が銃を落とした特定の瞬間を見つけることができない探偵のようなものでした。一方、TimeLens2は、たとえそれが1秒間の出来事であっても、あるいは2時間の映画の中に散らばった数十の瞬間であっても、正確な時間の区間を見つけ出すように訓練されています。研究者たちは、これを実現するためには、AIへの教え方を根本的に変えなければならないことに気づきました。単にビデオを見せて答えを求めるのではなく、複数のAIエージェントが審判パネルのように機能し、タイムスタンプが単なる推測ではなく現実のものであることを互いにクロスチェックして確認し合う、特別な「検証パイプライン」を構築したのです。また、AIが開始や終了の時間をわずかに外しただけでゼロ点を与えるのではなく、「惜しい」場合には部分点を与える新しい採点方法も発明しました。その結果、コンパクトなAIモデル（わずか20億パラメータ）が、より大規模で高価なモデルよりも優れたビデオ探索を実現し、適切なトレーニングさえあれば、小さな脳が巨大な脳よりも鋭い探偵になれることを証明しました。

探偵の新しいツールキット

では、TimeLens2はどうやってビデオにおける「いつ」を見つけるのがこれほど上手くなったのでしょうか？研究者たちは、従来のAIのトレーニング方法には欠陥があることに気づきました。イメージしてみてください。積み藁の中から針を見つける方法を教えようとしているのに、ただ積み藁を丸ごと渡して「針を見つけろ」と言うだけだとします。もし学生が間違えた場合、ただ「ダメだ」と言うだけで、どれくらい惜しかったのかさえ教えてあげません。ビデオAIの世界では、これはモデルが1秒だけ予測を外した場合でも、ゼロ点を与えられることを意味していました。これでは学習は非常に遅く、もどかしいものになります。

これを解決するために、チームは巧妙な多段階プロセスを用いて構築された大規模なデータセット、TimeLens2-93Kを作成しました。これは、完璧なビデオの手がかりを作るための生産ラインのようなものです：

下書き: まず、スマートなAIを使用してビデオ全体のストーリー（キャプション）を書き、それを小さなシーンに分割しました。
質問: それらのシーンから、「ソース（タレ）をかき混ぜているのはいつですか？」といった質問を生成しました。
ダブルチェック: ここが魔法の部分です。一つの答えを信じる代わりに、ビデオを2つの異なるAI「探偵」に送りました。これらの探偵は独立して動作し、時間の区間を探し出しました。
合意: 両方の探偵が一致した時間であれば、その答えを採用しました。もし意見が食い違えば、そのデータは破棄されました。これにより、トレーニングデータが非常に信頼できるものになりました。
磨き上げ: 最後に、さらに賢い第3のAIを使用して、正確な開始時刻と終了時刻を研ぎ澄ませ、境界線を精密にしました。

このプロセスにより、乱雑で信頼性の低いデータセットが、物事が「いつ」起きるかをAIが正確に把握している9万3千件の高品質な例の宝庫へと生まれ変わりました。

「ワッサースタイン」スコア：新しい採点方法

AIが良いデータから学ぶ準備ができたら、研究者たちはAIに自分の仕事をどのように採点させるかを教える必要がありました。彼らは**テンポラル・ワッサースタイン報酬（Temporal Wasserstein reward）**と呼ばれる新しいスコアリング手法を導入しました。

タイムライン上の隠された宝物の場所を当てるゲームをしていると想像してください。

従来の方法 (tIoU): 場所を間違えると、ゼロになります。たとえ1インチ違ったとしても、1マイル離れていたとしても、何も得られません。これは、日付を1日だけ間違えただけで、先生から「F（不可）」をつけられるようなものです。
TimeLens2の方法 (ワッサースタイン): この新しい方法はGPSのようなものです。もし1インチ離れていれば、「あと少しです！」と言って高いスコアを与えます。もし1マイル離れていれば、「かなり遠いです」と言って低いスコアを与えます。これは、あなたの予想と真実との間の「距離」を測定するのです。

これは極めて重要です。なぜなら、AIに対して、たとえ正確な答えを見つけられなくても、より近くに到達しようと努力し続けるように教えることができるからです。論文では、この方法がAIのミスからの回復を早め、「惜しい」状態を単なる失敗（AIがゼロ点を得て何も学べない状態）から、価値のある学習の機会へと変えることが示されています。

結果：小さな脳、大きなスキル

チームは、短いアクションのクリップから、人の目を通して撮影された複雑で長い動画（ヘルメットにつけたGoProのような映像）まで、7つの異なるビデオチャレンジでTimeLens2をテストしました。彼らは3つのバージョンのモデルをテストしました：小型の20億パラメータ版、中型の40億版、そして大型の80億版です。

結果は驚くべきものでした。極めてコンパクトな20億パラメータのTimeLens2は、あらゆるテストにおいて、同規模の他のすべてのAIモデルを打ち負かしました。さらに印象的なことに、40億パラメータのバージョンは、数百倍も大きい（3970億パラメータを持つような）商用の巨大なモデルをも凌駕しました。簡単に言えば、適切に訓練された小さなTimeLens2モデルは、丁寧なトレーニングを受けていない巨大で高価なモデルよりも優れたビデオ探偵になれるということです。

例えば、「MomentSeeker」という、AIが「ドアのそばに置かれたものは何でしたか？」といった質問に答えるテストにおいて、TimeLens2モデルはベースとなるバージョンと比較してスコアを大幅に向上させました。2Bモデルは14.2ポイント、4Bは13.0ポイント、8Bは18.1ポイント上昇しました。これは、秘訣が単にAIを大きくすることではなく、証拠をより注意深く探し、そして「間違っている」よりも「近い」方が良いということを教えることにあることを示唆しています。

なぜこれが重要なのか

論文は、ビデオの証拠を「時間の区間」の集合として扱い、これらの新しいスマートなトレーニングおよび採点方法を使用することで、ビデオ検索をより信頼できるものにできると結論付けています。漠然とした説明を得る代わりに、ユーザーは今や正確で検証可能なタイムスタンプを得ることができます。これにより、ビデオAIは「推測するブラックボックス」から、自らの根拠を示すことができる透明なツールへと進化します。これにより、特定の行動、繰り返されるイベント、あるいは一人称視点で捉えられた瞬間など、膨大なアーカイブの中から探し求めているものを正確に見つけ出すことが可能になります。研究者たちは、このアプローチによって、研究者から一般ユーザーに至るまで、誰もがビデオアーカイブを検索可能で信頼できるものにできると考えています。

技術要約: TimeLens2

問題提起

ビデオ・マルチモーダル大規模言語モデル（MLLM）は、ビデオの内容を記述する能力を示しているが、その根拠となるエビデンスがビデオ内の「いつ」発生しているかを特定することには頻繁に失敗する。時間的なグラウンディング（接地）がなければ、ビデオの出力は検証不可能であり、ユーザーはタイムラインを手動で検索することを強いられる。本論文は、「汎用的なビデオ時間的グラウンディング（generalist video temporal grounding）」を核心的な課題として特定している。これは、多様なビデオの長さ、ドメイン、クエリ形式（宣言型 vs 疑問型）、および視点（三人称視点 vs 一人称視点）にわたって、可変個数のエビデンス区間を単一のモデルで予測できるようにすることである。

著者らは、既存のアプローチが以下の2つの構造的なミスマッチに苦しんでいると主張している：

教師あり学習のミスマッチ（Supervision Mismatch）: 長尺ビデオのラベルは、類似した事象を混乱させたり、繰り返されるエビデンスを見逃したり、不正確な境界を生み出したりする、脆弱な一回限りのグローバルなアノテーションに依存していることが多い。さらに、多くのデータセットは短尺ビデオと単一スパンの回答に焦点を当てており、長大なコンテキストにおけるマルチスパン・グラウンディングの複雑さに対処できていない。
最適化のミスマッチ（Optimization Mismatch）: 標準的な次トークン予測は、タイムスタンプの構文は学習するものの、明示的な区間レベルの目的関数を欠いている。時間的なIntersection-over-Union（tIoU）を報酬として使用する強化学習（RL）手法は、「ニアミス（惜しいミス）」と遠いエラーを区別できず（不一致な予測に対してすべてゼロ報酬を割り当てる）、予測とターゲットの個数が異なる場合や断片化している場合の、脆弱な一対一の対応関係のマッチングに苦慮する。

手法

TimeLens2は、教師あり学習と最適化の両方において、時間的エビデンスを第一級の「区間集合（interval set）」として扱うことで、これらの問題に対処する。このアプローチは、スケーラブルなデータ構築パイプラインと、新しいトレーニングフレームワークの2つの主要コンポーネントで構成されている。

1. TimeLens2-93K: スケーラブルなデータ構築

長尺ビデオのアノテーションにおける信頼性の低さを克服するため、著者らは、脆弱なグローバル・アノテーションを信頼性の高いシングルおよびマルチスパンの教師あり学習へと変換する、段階的なエビデンス検証パイプラインを提案している。このパイプラインは、34,867本の多様なYouTubeビデオ（1分未満から1時間超まで層別化）を、以下の6つのステップで処理する：

階層的キャプション生成（Hierarchical Captioning）: ビデオをコンテンツベースの境界を用いて20〜60秒のクリップに分割する。大規模なMLLM（Qwen3-VL）が、コンテキストのためのグローバルなキャプションと、特定の動作のためのセグメント・キャプションを生成し、タイムスタンプ付きのセマンティック・インデックスを作成する。
クエリ合成（Query Synthesis）: クエリ生成器（Kimi-K2.5）がこれらのキャプションを使用して宣言型のクエリを作成し、支持するセグメントを選択することで、粗いプロポーザル（提案）を形成する。
デュアルエージェントによるローカル・グラウンディング（Dual-Agent Local Grounding）: 2つの独立したエージェント（Qwen3-VL-30BおよびTimeLens-8B）が、ビデオクリップから直接提案されたエビデンスを再局在化し、区間集合または空集合を返す。これにより、テキストの一致を検証可能な視覚的決定へと変換する。
コンセンサスと検証（Consensus & Verification）:
- 時間的コンセンサス（Temporal Consensus）: 両エージェントからマージされた区間集合のIoUが高い（>0.9）場合のみ、インスタンスを保持し、再現性を確保する。
- 意味的検証（Semantic Verification）: テキストとビデオの埋め込み類似度チェック（閾値 >0.5）を行い、エビデンスがクエリに対して意味的に関連していることを確認する。
境界の精緻化（Boundary Refinement）: 最終的なローカル精緻化ステップでは、検証された境界の±3秒の近傍を観察して遷移点を鋭利にし、ジッターを処理するために1秒以下のギャップを結合する。

このプロセスにより、23,793本のビデオにわたる93,232個のグラウンディング・インスタンスを含む、TimeLens2-93Kコーパスが生成される。これには12,091個のマルチスパンの例が含まれる。

2. モデルのトレーニング: 能力獲得と幾何学的校正

トレーニング戦略は、「探索の学習」と「境界の校正の学習」を分離している：

長コンテキスト・教師あり微調整（Long-Context SFT）: モデル（Qwen3-VLバックボーンに基づく）は、TimeLens2-93K、TimeLens-100K、およびEgo4D-NLQを用いて微調整される。トレーニングでは、モデルにディストラクタ（妨害要素）の中から疎なエビデンスを孤立させることを強制するため、ビデオ全体のコンテキストを強調する。堅牢性を確保するため、モデルは多様な指示の言い回しやレスポンス形式（JSON、自然言語など）にさらされる。
Temporal Wasserstein報酬を用いた強化学習（Reinforcement Learning with Temporal Wasserstein Reward）:
- ロールアウト誘導型マイニング（Rollout-Guided Mining）: モデルは複数のオフポリシーな補完を生成する。平均tIoUが低い例の重みを高く設定し、未解決のエラーに対する最適化に焦点を当てる。
- 報酬設計（Reward Design）: 著者らは、複合報酬 $R = R_{tIoU} + R_{TW} - 1_{invalid}$ $R = R_{t I o U} + R_{T W} - 1_{in v a l i d}$ を導入している。
  - $R_{tIoU}$ : マージされたサポート（既に回収されたターゲットサポート）の重なりを測定する。
  - $R_{TW}$ (Temporal Wasserstein): マージされた予測およびターゲットの区間サポート上の一様分布間の正確な1-Wasserstein距離（ $W_1$ ）を計算する。これにより、不一致な予測や不等な個数に対しても、マッチングを必要としない高密度なフィードバックを提供し、「ニアミス」を遠いエラーよりも高くランク付けする。
  - $1_{invalid}$ : 解析不能な出力をペナルティとして課す。

主な貢献

TimeLens2-93K: 長尺ビデオの品質のボトルネックに対処し、信頼性の高いシングルおよびマルチスパンの時間的グラウンディングの教師あり学習を生成する、段階的なエビデンス検証パイプライン。
Temporal Wasserstein報酬: マージされた区間サポート上の正確な $W_1$ 距離に基づく、マッチングフリーの報酬。これは、不一致な予測や不等な個数の予測に対して、勾配のある（graded）、断片化に依存しないフィードバックを提供し、tIoUが直面する「ゼロ報酬のプラトー（停滞）」問題を解決する。
汎用的なパフォーマンス: 長尺ビデオ、マルチスパン、質問形式、およびエゴセントリック（一人称視点）のグラウンディングをカバーする7つのベンチマークにおいて、最先端の性能を示すコンパクトな2B、4B、および8Bモデルの提示。

実験結果

TimeLens2は、Charades-STA、ActivityNet Captions、QVHighlights、VUE-TR、VUE-TR-V2、MomentSeeker、Ego4D-NLQの7つのベンチマークで評価された。

パフォーマンス:
- TimeLens2-2Bは、7つのベンチマークすべてにおいて、すべてのサイズ一致のオープンソース・ベースラインを上回り、平均mIoU 44.5（バックボーンであるQwen3-VL-2Bに対して14.2ポイントの改善）を達成した。
- TimeLens2-4BおよびTimeLens2-8Bは、複数の指標において、最大397Bのパラメータを持つオープンソースモデル（例：Qwen3.5-397B）やプロプライエタリなシステム（例：Gemini 2.5 Pro）を凌駕する、最先端（SOTA）の結果を達成した。
- 4Bモデルは、平均で13.0 mIoUポイント向上しており、特に長尺ビデオ（VUE-TR）および質問形式（MomentSeeker）の設定で顕著な利得が見られた。
アブレーション解析の洞察:
- データ品質: 段階的なキュレーション・パイプライン（コンセンサス、検証、精緻化）は、データセットのサイズを7/8削減しながらも、パフォーマンスを大幅に向上させた（42.0から45.8 mIoUへ）。これは、量よりも質が重要であることを証明している。
- 報酬設計: Temporal Wasserstein報酬（ $R_{TW}$ ）は、RLにおいて「全ゼロtIoU」のグループの75.8%を救済し、tIoUが機能しない箇所で必要な学習信号を提供した。これは、マルチインターバル・シナリオにおいて、一致型NGIoU（MUSEGで使用）を0.6平均mIoU上回った。
- 長コンテキスト: パックされたシーケンス長を100Kトークンに増やすことで、特にVUE-TR-V2のような長尺ビデオ・ベンチマークにおいて最良の結果が得られた。

重要性

本論文は、ビデオMLLMがビデオアーカイブへの信頼できるインターフェースとなるためには、その出力が特定の瞬間に追跡可能でなければならないと断じている。TimeLens2は、時間的グラウンディングを、専門的な検索タスクから、汎用的なビデオMLLMのネイティブで監査可能な能力へと移行させるものである。教師あり学習から最適化に至るまで、エビデンスを「区間集合」として一貫して扱うことで、このフレームワークは、コンパクトなモデルが複雑で現実世界のグラウンディング・シナリオにおいて、はるかに大規模なシステムを凌駕することを可能にする。この研究は、信頼できる長尺ビデオ・グラウンディングには、単なるスケールだけでなく、エビデンスがどのように検証され、幾何学的なエラーがどのようにペナルティとして課されるかという、根本的な再設計が必要であることを浮き彫りにしている。