🤖 machine learning

TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

TRAVELは、自己軌跡の類似性をグループ相対方策最適化（GRPO）内の報酬として活用することで、補助的な知覚データや専門的なルールに依存することなく、汎用的なマルチモーダルモデルが動きを中心としたイベントを効果的に識別できるようにし、走行ビデオ検索を強化する動き認識型ファインチューニングフレームワークである。

原著者： Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

壮大なビデオ探索

あなたは探偵としてミステリーを解こうとしていると想像してください。ただし、単一の犯罪現場ではなく、何百万時間ものビデオ映像を含むライブラリを手にしています。これは、自動運転車を開発している企業にとっての日常です。彼らはただ走行するだけでなく、あらゆるものを記録しています。しかし、「車が歩行者に当たりそうになった特定の瞬間」や、「ドライバーがトリッキーなターンをした正確な秒数」を見つけ出すことは、他の針でできた干し草の山の中から一本の針を探すようなものです。

これを解決するために、科学者たちは「マルチモーダル・エンベディング（多峰性埋め込み）」と呼ばれるものを使用しています。これは、ビデオクリップとテキストの一文の両方を、単一の秘密のコード（ベクトル）に変換する魔法の翻訳機のようなものです。もし「左に曲がる赤い車」のビデオのコードが、「左に曲がる赤い車」というテキストのコードと非常に似ていれば、コンピュータはそれらが一致していることを理解します。それは、すべてのビデオにユニークな指紋を与え、すべての検索クエリに一致する鍵を与えるようなものです。目標は、コンピュータがこれらの鍵を完璧に一致させられるようにし、人間がすべてを視聴する必要なく、何百万もの選択肢から正しいビデオを瞬時に引き出せるようにすることです。

しかし、落とし穴があります。現在の「魔法の翻訳機」は、木、建物、空の色といった静的なものを認識することには長けています。しかし、これらはしばしば「動き」によって混乱します。標準的なAIにとって、車が左に曲がる様子は、背景の景色が同じであれば、車が右に曲がる様子と全く同じに見えることがあります。彼らは「どこに」あるかに頼りすぎており、「どのように」動いているかに十分に注意を払っていません。この論文はこう問いかけています。「AIモデルに動きそのものに注意を払うよう教えることで、景色が全く同じであっても、車が加速しているのか減速しているのかを判別できるようにできるだろうか？」

解決策：AIに路面の感覚を教える

この論文の著者たちは、Uber AV Labsおよびパデュー大学と協力し、TraVEL（Trajectory-Guided Video Embedding Learning：軌跡誘導型ビデオ埋め込み学習）と呼ばれる新しい手法を導入しました。彼らの主な発見は、車の実際の物理的な経路（「エゴ・トラジェトリー／自車軌跡」）を特別なトレーニングツールとして使用することで、AIが運転動作をより良く理解できるようになるという点です。

以下に、簡単な比喩を用いてその方法を説明します。

問題：「コンテキスト（文脈）」の罠
運転に関するテストを受けている2人の学生を想像してください。

学生A（旧来のAI）は、晴れた日の左折する車の写真と、晴れた日の右折する車の写真を見ます。空や木々が同じに見えるため、学生Aは「これらは基本的に同じ写真だ！」と考えてしまいます。背景に集中しすぎてしまうため、混乱してしまうのです。
学生B（新しいAI）は、背景を無視して、車のホイールやステアリングに集中するように教えられています。

研究者たちは、標準的なAIモデルが学生Aのように振る舞っていることを発見しました。彼らは「昼間のクリップ」と「夜間のクリップ」の違いは判別できましたが、景色が似ている場合、「加速」と「減速」の違いを判別することに苦労しました。

解決策：「特権的」なコーチ
これを修正するために、チームは2段階のトレーニングプロセスを使用しました。

ステップ1：マニュアルを読む。 まず、テキストによる説明（キャプション）とビデオをペアにしてAIを教えました。これにより、AIは運転の言語を学びましたが、それだけでは不十分でした。AIはまだ、動きを深く「感じる」ことができていなかったのです。
ステップ2：軌跡による報酬。 ここでTraVELが真価を発揮します。彼らは「特権的な」コーチを導入しました。トレーニング中、AIにはビデオと、その車が通った正確なGPS経路の両方が示されます。コーチはこう言います。「もしテキストが『左折』と言っており、ビデオが『右折』の経路を示しているなら、低いスコアを与える。もし経路がテキストと一致していれば、高いスコアを与える。」

重要なのは、この「コーチ」（GPS経路）はトレーニング中にのみ使用されるということです。AIの学習が終われば、もうGPS経路は必要ありません。AIは動きの感覚を内部化するほど上手くなったため、検索の瞬間に余計なセンサーや複雑なルールを必要とせず、単一の検索コードを使用して正しいビデオを見つけ出すことができるのです。

彼らが発見したこと
結果は非常に有望でした。彼らがnuReasoningという運転クリップのデータセットでこの新手法をテストしたところ：

動きに優れる： AIは動きに基づいたビデオの検索能力が大幅に向上しました。例えば、「加速」や「左折」を検索した際の精度が跳ね上がりました。
数値的な成果： モデルサイズが20億パラメータのとき、新手法は「縦方向（前後）」の動きの検索能力を、従来の手法と比較して9.8ポイント、「横方向（左右）」の動きを4.7ポイント向上させました。さらに大きな80億パラメータのサイズにおいても、それぞれ7.2ポイントと1.5ポイントの向上が見られました。
視覚的な証拠： あるテストでは、古いAIは歩行者のために減速する車のビデオを探そうとして、誤って夜間に加速している車のビデオを選んでしまいました。新しいTraVELモデルは、動作とコンテキストの両方に一致する、減速している車のビデオを正しく選び出しました。

彼らが否定したこと
この論文は、単にAIモデルを大きくすること（パラメータを増やすこと）が問題を解決するという考えに対して、明確に反論しています。彼らは小規模から大規模までのモデルをテストしましたが、新しいトレーニング手法なしでは、大きなモデルであっても小さなモデルと同様に動きについて混乱したままでした。また、検索を行うたびに余計なセンサーや人間が定義したルールを必要とする、複雑なマルチステップ・システムの必要性についても否定しています。TraVELはシンプルさを保ちます。一つのビデオ、一つのコード、一つの検索。

どの程度確かなのか？
著者たちは、このアプローチが「動き中心」の検索において強力な改善策であることを示唆していますが、あらゆる運転シナリオにおいて完璧な解決策ではないことも慎重に述べています。彼らは、AIが回転や停止といった大きな動きについては大幅に改善されたものの、微妙な車線変更（例：「車線内でわずかに左に動く」など）については依然として難しいと感じていることを発見しました。彼らは、物理的な動きの信号は強力なツールであるが、まだ改善の余地があると考えています。おそらく、乗っている車だけでなく、「他の車」の動きにも注目するようにAIを教えることで、改善できる可能性があると考えています。

要約すると、TraVELは自動運転車のコンピュータに対し、舞台（背景）だけでなく、その上で踊っているダンス（車両の動き）に注目することを教えます。これにより、安全性と学習において重要な瞬間を見つけ出すことが、はるかに容易になります。

技術要約：TraVEL – 走行ビデオ検索のための軌跡誘導型ビデオ埋め込み学習

問題提起

大規模な自動運転車両のログから特定の走行シナリオを効率的に検索することは、データキュレーション、モデル開発、および安全性分析において極めて重要である。構造化されたルールベースの検索システムは、特定のイベントをターゲットにできる一方で、専門家が定義したルール、補助データ（例：物体検出、マップ）、および多段階の知覚パイプラインを必要とし、新しいドメインへの拡張コストが高くなる。対照的に、マルチモーダル埋め込みモデルは、ビデオを検索可能な単一のベクトルとして表現することで、よりシンプルで効率的な代替案を提供する。しかし、汎用的な視覚言語モデル（VLM）は、微細な動きよりも静的なシーンコンテキストのショートカットに依存するため、走行ドメインでは失敗することが多い。これらは、視覚的な背景が類似している場合、操作的に相反するイベント（例：加速 vs. 減速、左折 vs. 右折）を区別することに苦慮する。

手法

著者らは、推論時にはこれらの信号を必要とせずに、訓練中に物理的な運動信号を組み込むことで、汎用的なマルチモーダル埋め込みモデルを走行ビデオ検索に適応させるためのフレームワークである TraVEL (Trajectory-Guided Video Embedding Learning) を提案する。このアプローチは、2段階の訓練パイプラインで構成される：

1. 走行ドメインにおける教師あり微調整 (SFT)

著者らはまず、汎用的な事前学習データと走行ビデオとの間のドメインギャップに対処する。nuReasoning データセットのペアとなった走行ビデオクリップと推論トレース・キャプションを用いて、Qwen3-VL-Embedding モデルを微調整する。この段階では、テキストとビデオの表現を整列させるために InfoNCE 目標関数を採用しており、これにより全体的な検索性能が大幅に向上する。しかし、著者らは、キャプションによる監督だけでは微細な車両ダイナミクスに対しては疎な信号しか提供できず、動きを中心としたクエリ（例：特定の加速プロファイル）への対応が困難であることを指摘している。

2. 軌跡を考慮したグループ相対方策最適化 (GRPO)

キャプションのみの監督による限界に対処するため、TraVELは Group Relative Policy Optimization (GRPO) を用いた強化学習段階を導入する。

特権的監督 (Privileged Supervision): 訓練中、各ビデオクリップは同期された エゴポーズ（自己位置姿勢）シーケンス（横方向の変位と速度）とペアになる。これらのポーズは「特権的」な情報である。つまり、これらは訓練中の報酬信号としてのみ使用され、埋め込みモデルへの入力としては提供されず、検索時にも必要とされない。
運動表現: エゴポーズシーケンスは、ゼロ付近の変化（例：停止から加速への変化）を強調するために、対数ワーピング関数を用いてリサンプリングおよび変換される。運動信号間の類似性は、時間的なずれを処理するために 動的時間伸縮法 (DTW) を用いて計算される。
報酬の構築: 訓練プロセスでは、2種類の候補グループを構築する：
- テキスト-to-ビデオ ( $G_{t2v}$ ): 正解のビデオとハードネガティブを含む。クロスモーダルな整合性を維持するため、報酬はバイナリ（正解のペアは1、それ以外は0）である。
- ビデオ-to-ビデオ ( $G_{v2v}$ ): 現在のモデルに基づく高スコアのビデオ候補を含む。報酬は、エゴ・トラジェトリの類似性（DTW距離）から導出される 段階的な値 である。動きが類似しているクリップほど高い報酬を受け取る。
最適化: GRPO 目標関数は、正解ペアの優位性と運動が類似したビデオの優位性を最大化するようにモデルを更新し、単一ベクトルによる検索効率を維持しながら、車両の動きに敏感なビデオ埋め込み空間を効果的に再形成する。

主な貢献

TraVEL フレームワーク: 訓練ループに物理的な運動信号を統合することにより、汎用的なマルチモーダル埋め込みモデルを走行ビデオ検索に適応させる、シンプルかつ効果的な手法。
動きを考慮した微調整: GRPO フレームワーク内での軌跡由来の報酬の導入。これにより、推論パイプラインを変更することなく（検索時にエゴポーズや補助的な知覚を必要とせずに）、ビデオ埋め込みをエゴモーション（縦方向および横方向）に対して敏感にする。
走行ビデオ検索ベンチマーク: 運動中心のクエリを特に評価するために、nuReasoning データセットから派生した検索ベンチマークを構築。

実験結果

著者らは、Qwen3-VL-Embedding モデルを 2B および 8B のパラメータスケールで用い、nuReasoning データセット上で TraVEL を評価した。

ベースラインの性能: オフザシェルフのモデル（CLIP4Clip、InternVideo2、および事前学習済み Qwen3-VL を含む）は顕著なドメインギャップを示し、R@1 スコアは概して 2.5% 未満であり、中央ランクはランダムなチャンスに近いレベルであった。
SFT の影響: ペアとなったクリップを用いた教師あり微調整は検索性能を大幅に向上させたが、微細な動きの区別には依然として不十分であった。
TraVEL の性能:
- インスタンスレベルの検索: TraVEL はリコールを大幅に向上させた。2B モデルでは、R@1 が 1.3%（事前学習モデル）から 8.7% に増加し、中央ランクは 266 から 23 に低下した。8B モデルでは、R@1 は 10.1% に達し、中央ランクは 17 となった。
- 運動中心の検索: TraVEL は、運動に特化したクエリにおいて最も顕著な改善を示した。
  - 2B モデル: 縦方向の mAP は 9.8 ポイント（SFT の 45.9% から TraVEL の 55.7% へ）向上した。横方向の mAP は 4.7 ポイント（31.0% から 35.7% へ）向上した。
  - 8B モデル: 縦方向の mAP は 7.2 ポイント（57.5% へ）向上し、横方向の mAP は 1.5 ポイント（39.9% へ）向上した。
- 定性的分析: 可視化により、TraVEL が視覚的に類似しているが動きが異なるクリップ（例：左折しながらの加速 vs. 右折しながらの減速）間の類似性を減少させ、異なる視覚的コンテキスト（例：昼 vs. 夜）であっても同じ軌跡を共有するクリップ間の類似性を高めることに成功したことが示された。

意義と主張

本論文は、TraVEL が単一ベクトルによる埋め込み検索の効率性と、走行における動きに敏感な検索の必要性の間のギャップをうまく埋めることを主張している。エゴ・トラジェトリの類似性を特権的な訓練信号として用いることで、本手法は複雑な知覚パイプラインや補助データを推論時に必要とすることなく、車両のダイナミクスに従ってビデオ埋め込み空間を整理する。

著者らは、TraVEL が（特に停止や旋回行動において）運動中心のクエリに対して明確な利点をもたらす一方で、車線内での微細な位置ずれなどの課題は残っていると強調している。彼らは、TraVEL を構造化されたルールベースのシステムの代替ではなく、汎用的なマルチモーダルモデルの表現力を高めるために、利用可能な物理的運動信号を活用する補完的かつ効率的なアプローチとして位置づけている。本研究は、物理に基づいた監督と埋め込みベースの検索を組み合わせることが、データキュレーションや安全性検証といったダウンストリームの走行ワークフローを改善するための実行可能な道であることを示唆している。