TrajTok: Learning Trajectory Tokens enables better Video Understanding

本論文は、従来のパッチ化や複雑な追跡パイプラインの課題を解決し、動画の時間的長さに依存せず意味的複雑さに応じて動的にトークンを生成するエンドツーエンドのトポロジーモジュール「TrajTok」を提案し、これにより動画理解タスクにおける精度と効率を両立させることを示しています。

要約

動画の「要約」を自動で学ぶ AI：TrajTok の解説

この論文は、**「動画 AI が、無駄な情報を捨てて、本当に重要な『動き』だけを覚えて理解する方法」**を提案しています。

従来の AI は、動画を「パズルのピース（画素の集まり）」としてバラバラに切り分け、すべてを一生懸命記憶しようとしていました。しかし、これではメモリがパンクし、処理も遅くなります。

そこで登場するのが**「TrajTok（トラジトック）」**という新しい技術です。

---

🎬 従来の方法 vs 新しい方法

1. 従来の方法：「パズルを全部並べる」

• イメージ: 1 時間の映画を、1 秒ごとに 1000 個の小さな写真（パッチ）に切り裂き、それを全部並べて「映画の内容」を理解させようとしています。
• 問題点:
  • 無駄が多い: 背景の空や壁はほとんど動かないのに、同じような写真が何千枚も並んでいます。
  • 重すぎる: 全部を処理しようとすると、計算機がパンクします。
  • 非効率: 「誰が何をしているか」という本質よりも、「画素の並び」に注目してしまっています。

2. 新しい方法（TrajTok）：「登場人物の動きを追いかけよう」

• イメージ: 映画館で、**「カメラマンが誰に焦点を当てているか」**を追うことにします。
  • 「主人公が走っている」→ 主人公の動きを 1 つの「物語の断片（トークン）」としてまとめる。
  • 「背景の木が揺れている」→ 背景はまとめて 1 つの「背景の断片」として扱う。
• メリット:
  • 無駄がない: 動かないものはまとめ、動くものだけを詳しく見る。
  • 柔軟: 動画の長さに関係なく、必要な情報の量だけを使える。

---

🧠 TrajTok がどうやって働くのか？（3 つのステップ）

この技術は、まるで**「賢い編集者」**が動画を見ています。

① 自動で「誰が動いているか」を見つける（セグメンター）

• 従来の AI: 外部の専門家に「誰がどこにいるか」を頼んで、時間をかけてリストを作ってもらいます（遅い！）。
• TrajTok: AI 自身が**「この部分は『ボール』の動き、あの部分は『犬』の動きだ」**と、動画を見ながら瞬時に判断します。
  • ポイント: 完璧な輪郭線（ピクセル単位）を描く必要はありません。「あ、これはボールが飛んでいるんだ」という**「意味のあるグループ」**さえ分かれば OK です。

② 動きを「トークン（言葉）」に変える（エンコーダー）

• 見つかった「動きのグループ」を、AI が理解しやすい**「言葉（トークン）」**に変換します。
• 面白い工夫: 複雑な動き（例えば、バレリーナが回転しながらジャンプする）には、1 つの言葉では足りないので、**「1 つの動きに対して、複数の言葉」**を割り当てることができます。
  • 例: 「走る」→ 1 語。「複雑なダンス」→ 4 語。
  • これにより、**「簡単な動画は軽く、難しい動画は詳しく」**という、状況に応じた柔軟な処理が可能になります。

③ 目的に合わせて学習する

• この「編集者」は、最終的な目的（例えば「ダンスの勝敗を決める」か、「誰が誰と会っているか」）に合わせて、自分自身で「何に注目すべきか」を学習します。
• 従来の「完璧な輪郭線」を目指すのではなく、「動画の理解を助ける動き」を見つけることに特化しています。

---

🚀 何がすごいのか？（3 つの活躍）

この技術は、単なる「動画の圧縮」だけでなく、AI の脳の一部として使えます。

1. ゼロから学ぶ AI（TrajViT2）:
   • 動画 AI を最初からこの技術で訓練すると、従来の方法よりもはるかに正確に動画の内容を理解できるようになります。特に、長い動画や複雑な動きがある動画で強いです。
2. 既存 AI の「脳みそ」を強化（TrajAdapter）:
   • すでに訓練された強力な AI に、この「編集者」を付け足すだけで、追加の学習なしで動画の理解力がアップします。まるで、熟練の編集者が付いたカメラマンが、より良い映像を撮れるようになるようなものです。
3. AI と人間の会話（TrajVLM）:
   • 動画を見て質問に答える AI（VLM）に使うと、**「長い動画の内容」**を驚くほど正確に理解できるようになります。
   • 例: 「1 時間前の映画で、主人公がどこでコーヒーを飲んだ？」という質問に、従来の AI は「長いから忘れちゃった」と言ってしまうところを、TrajTok は「動きを追っていたから覚えている」と答えることができます。

---

💡 まとめ：なぜこれが重要なのか？

これまでの動画 AI は、**「すべてのピクセルを一生懸命覚える」**という、非効率な勉強法をしていました。

TrajTokは、**「物語の筋書き（動き）だけを覚えて、後は適当にまとめる」**という、人間に近い賢い勉強法を AI に教えました。

• 速い: 無駄な計算をしない。
• 賢い: 重要な動きに集中する。
• 柔軟: 動画の難易度に合わせて、メモリの使い方を調整する。

これにより、AI はもっと長い動画、もっと複雑な出来事を、人間のようにスムーズに理解できるようになるのです。

技術概要

TrajTok: 動画理解を強化する軌跡トークンの学習

本論文「TrajTok: Learning Trajectory Tokens Enhances Video Understanding」は、従来の動画モデルにおけるトークン化の非効率性と冗長性という課題を解決し、エンドツーエンドで学習可能な「軌跡トークン（Trajectory Tokens）」を提案するものです。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

現代の動画理解モデル（Transformer ベース）では、入力動画を空間 - 時間パッチ（space-time patches）に分割してトークン化する「パッチ化（patchification）」が一般的です。しかし、このアプローチには以下の重大な課題があります。

• 膨大なトークン数と冗長性: 動画はフレーム数が多く、類似したフレームが多いため、固定されたグリッドでパッチ化すると、不要なトークンが大量に生成され、計算コストとメモリ使用量が爆発的に増加します。
• 既存の軌跡ベース手法の限界: 最近の研究（TrajViT など）では、オブジェクトの軌跡をトークン単位として扱うことで効率化を図る試みがありましたが、これらは外部のセグメンテーションやトラッキングパイプライン（例：SAM2 など）に依存していました。
  • これらの外部パイプラインは計算が遅く、非微分可能（non-differentiable）であるため、エンドツーエンドの学習が困難です。
  • 汎用的なセグメンテーションモデルは、下流タスク（例：微細な動きの認識 vs グループ形成の認識）に適した粒度で軌跡を生成できず、タスクとミスマッチを起こす可能性があります。

2. 手法：TrajTok

TrajTok は、外部パイプラインに依存せず、動画モデルと協調学習（co-trained）されるエンドツーエンドの微分可能な軌跡トークナイザーです。

主要な構成要素

1. ユニバーサルセグメンター（Universal Segmenter）:

   • 入力動画のピクセルを空間・時間的にクラスタリングし、オブジェクトの軌跡を直接提案します。
   • **軽量なパッチエンコーダ（ConvNeXt）**で特徴量を抽出し、Perceiver レイヤーを用いて学習可能なクエリ（潜在変数）と特徴量間のクロスアテンションを行います。
   • 厳密なピクセル単位のセグメンテーション精度よりも、下流タスクに最適な「意味的なグループ化」を優先します。
   • 1 フォワードパスで動画全体の軌跡マスクを生成し、動的なトークン数を可能にします。

2. 軌跡エンコーダ（Trajectory Encoder）:

   • セグメンターによって提案されたマスクに基づき、パッチレベルの特徴を軌跡トークンに集約します。
   • 適応的トークン数メカニズム: 複雑な動きや長い時間跨度を持つ軌跡に対して、1 つの軌跡に複数のトークン（1, 2, 4 個など）を割り当てる「マトロイシュカ（Matryoshka）」に着想を得たアプローチを採用しています。これにより、計算リソースと表現力のバランスを柔軟に制御できます。
   • ソフトマスクによる集約とハードマスクによる微調整を組み合わせ、情報の損失を防ぎつつ微分可能性を維持します。

学習戦略

• エンドツーエンド学習: 下流タスク（分類、検索、VQA など）の目的関数と、セグメンテーション損失（Dice Loss + Focal Loss）を同時に最適化します。
• ピクセル精度のトレードオフ: 完全なピクセル単位のマスク生成にリソースを割くのではなく、下流タスクの性能向上に寄与する「意味的な軌跡」の発見に焦点を当てます。

3. 主要な貢献

1. エンドツーエンドの軌跡トークナイザーの提案: 外部の非微分可能なパイプラインを排除し、動画モデルと一体化した効率的なトークン化を実現しました。
2. タスク適応型の粒度制御: 下流タスクの要求に応じて、セグメンターの粒度を自動的に調整します（例：ダンスの細かな動きには部分単位、グループ形成には全体単位）。
3. 多様な適用シナリオの実証:
   • TrajViT2: 0 から学習した動画 CLIP モデル。
   • TrajAdapter: 事前学習済み ViT の特徴を軌跡トークンに変換するアダプター（プロビング性能向上）。
   • TrajVLM: 視覚言語モデル（VLM）におけるアライメントモジュール（長尺動画の推論性能向上）。

4. 実験結果

TrajTok は、分類、検索、VQA のすべてのタスクで最先端（SOTA）またはそれに匹敵する性能を示しました。

• 分類・検索タスク（TrajViT2）:

  • Kinetics-400: 標準的な ViT に対して +4.8%、TrajViT に対して +3.8% の精度向上。
  • Something-Something V2: +4.1% の向上。
  • 検索タスク: ActivityNet や VATEX などの動画 - テキスト検索ベンチマークで、既存のすべてのベースラインを大幅に上回る Recall 性能を達成。
  • スケーラビリティ: 学習データ量が増加しても性能が低下せず、TrajViT よりも優れたスケーリング特性を示しました。
  • 効率性: 推論時の FLOPs は、パッチベースの ViT3D や既存のトークンマージ手法と同等かそれ以下であり、外部パイプラインを不要にするためレイテンシも大幅に削減されました。

• プロビングタスク（TrajAdapter）:

  • 事前学習済みモデル（VideoMAE-v2, V-JEPA-2）の出力特徴に TrajTok を挿入するだけで、K400 や SSv2 での分類精度が向上しました。フルファインチューニングなしでコスト効果の高い性能向上を実現します。

• 視覚言語モデル（TrajVLM）:

  • 長尺動画の質問応答（LongVideoBench, LVBench）において、パッチプーリングベースのベースラインを大幅に上回る性能（+8.8% など）を達成しました。軌跡トークンが長期的な文脈理解に有効であることを示しています。

5. 意義と結論

TrajTok は、動画理解における「パッチ化」の限界を打破し、**「オブジェクトの軌跡」**という人間知覚に近い単位で動画を表現する新しいパラダイムを確立しました。

• 効率性と性能の両立: 冗長なトークンを削減しつつ、下流タスクの性能を向上させます。
• 柔軟性: 単なるトークナイザーとしてだけでなく、特徴アダプターや VLM の接続モジュールとしても機能し、多様なアーキテクチャに統合可能です。
• 未来への示唆: 動画モデルの拡張性（スケーラビリティ）を高め、長尺動画の理解や複雑な推論タスクにおいて、軌跡ベースのアプローチが不可欠であることを示しました。

本論文は、動画処理における計算効率と意味的理解の両立を実現する重要なステップであり、今後の大規模動画モデル開発の基盤となる技術を提供しています。