TETO: Tracking Events with Teacher Observation 技術概要

本論文は、イベントカメラ（Event Camera）を用いたモーション推定と動画フレーム補間（Video Frame Interpolation）のための新しいフレームワーク「TETO (Tracking Events with Teacher Observation)」を提案するものです。従来のイベントベース手法が抱える「大規模な合成データへの依存」と「実世界とのギャップ（Sim-to-Real Gap）」という課題を、教師あり学習を介した知識蒸留と限られた実データのみで克服するアプローチを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

イベントカメラの利点と課題

• 利点: イベントカメラは、ピクセルごとの輝度変化をマイクロ秒単位で非同期に記録するため、RGB フレーム間で見失われる連続的な運動情報を捉えることができます。高速移動や暗所など、従来のカメラが苦手とする環境でもロバストな追跡が可能です。
• 課題: 既存のイベントベースのモーション推定手法（ETAP, MATE など）は、大規模な合成データ（EventKubric など）に依存しています。
  • Sim-to-Real Gap: 合成データは、レンダリングやフレーム補間によるアーティファクトを含み、実世界のイベントの時間的統計（Inter-Event Interval: IEI）や運動ダイナミクスを正確に反映していません。
  • データ不足: 実世界のイベント-RGB 対データは少なく、かつモーションの正解ラベル（アノテーション）が存在しないため、教師あり学習が困難です。
  • 計算コスト: 大規模な合成データの生成には莫大な計算リソースが必要です。

核心となる問い: 「少量の未アノテーション実世界データのみで、どのようにイベントモーション推定を実現できるか？」

---

2. 提案手法：TETO

TETO は、事前学習済みの RGB トラッカー（教師）から知識を蒸留し、わずか約 25 分間の未アノテーション実世界データからイベントモーション推定器（学生）を学習させる Teacher-Student フレームワークです。

2.1 教師-学生フレームワークと知識蒸留

• 教師 (Teacher): 事前学習済みの高性能 RGB トラッカー（AllTracker）を使用。RGB 動画から点の軌跡（Point Trajectories）と密なオプティカルフロー（Dense Optical Flow）を推定し、疑似ラベル（Pseudo-labels）を生成します。
• 学生 (Student): イベントデータから直接モーションを推定するネットワーク。
  • ア키텍チャ: AllTracker をベースに、イベントの時間的スタックを 3 チャンネルの画像表現に変換する「Concentration Network (U-Net)」を前置きとして追加。これにより、RGB 用エンコーダーをそのまま流用できます。
  • 学習: 教師が生成した疑似ラベルを用いて、イベントデータに対する追跡とフロー推定を微調整（Fine-tuning）します。

2.2 運動意識型データ選定とクエリサンプリング

限られたデータ（約 25 分）から最大限の学習効果を得るための工夫です。

• 運動の分離: 教師のオプティカルフローから、カメラの自己運動（Ego-motion）をグローバルアフィンモデル（RANSAC 等）で推定し、残差フローから「独立して動く物体」の領域を特定します。
• クエリサンプリング: 学習時に、背景（自己運動）よりも「動く物体」の領域からクエリポイントを過剰サンプリング（Oversampling）します。これにより、モデルが自己運動に過剰適合することを防ぎ、複雑な物体運動を学習させます。
• データ選定: センサーの空間整合性、運動の多様性、解像度などの厳格な基準を満たす実世界データセット（EHPT-XC, ERF-X170FPS）のみを選定して使用します。

2.3 モーション条件付き動画フレーム補間

推定されたモーション情報を活用し、高品質なフレーム補間を実現します。

• ベースモデル: 事前学習済みの動画拡散トランスフォーマー（Video Diffusion Transformer, DiT）を使用。
• 3 つのモーション信号による条件付け:
  1. オプティカルフロー: 境界フレームの潜在空間（Latent）をワープさせ、粗い空間整合（Coarse Alignment）を提供。
  2. 点軌跡: DiT の自己注意（Self-Attention）マップを監視し、幾何学的な対応関係（Correspondence）を微調整。
  3. イベント運動マスク: 生イベントの蓄積から動的領域を特定し、生成リソースを動的な部分に集中させます。
• これらの信号を組み合わせることで、拡散モデルが「ゼロから生成」するのではなく、「運動整合された事前情報」を精緻化するプロセスを可能にします。

---

3. 主要な貢献

1. 少量実データでの学習: 合成データを使用せず、約 25 分間の未アノテーション実世界データのみで、SOTA（State-of-the-Art）レベルのイベント追跡とフロー推定を実現。
2. 教師-学生蒸留の適用: 事前学習済み RGB トラッカーの対応付け能力をイベントドメインへ転移し、イベント特有の時間的連続性（低照度や高速運動）を学習させることに成功。
3. モーション条件付き拡散モデル: 推定された密なフローと点軌跡、およびイベント由来の運動マスクを、動画拡散モデルの強力なモーション事前知識（Priors）として活用し、高品質なフレーム補間を実現。
4. 新しい評価指標の提案: 動的なシーンにおける追跡精度を評価するため、セグメンテーションモデル（SAM3）を用いた「Object-Adherent Trajectory Score (OATS)」を提案。

---

4. 実験結果

4.1 ポイント追跡 (Point Tracking)

• データセット: EVIMO2
• 結果: 合成データで訓練された既存手法（ETAP など）を凌駕する SOTA 性能を達成。
  • 訓練データ量は ETAP（約 5 時間）の 1/12 以下（約 25 分）でありながら、精度（AJ, δx_avg, OA）で上回りました。
  • 夜間や高速運動など、RGB トラッカー（教師）が失敗する極限環境でも、イベントの時間的構造を学習した学生モデルは安定した追跡を維持しました。

4.2 オプティカルフロー (Optical Flow)

• データセット: DSEC
• 結果: 教師ラベルのみを用いたゼロショットおよびドメイン内微調整設定で、既存の教師なし・自己教師あり手法をすべて上回る性能を示しました。
  • 教師ラベル（疑似ラベル）のみで学習しているにもかかわらず、DSEC 内の他の手法よりも低い EPE（End-Point Error）と AE（Angular Error）を達成。

4.3 動画フレーム補間 (Video Frame Interpolation)

• データセット: BS-ERGB, HQ-EVFI
• 結果: 視覚的品質（FID, LPIPS）において SOTA を達成。
  • 動的な物体の境界がぼやけたり、ゴーストアートファクトが発生しやすい領域において、他の手法よりも鮮明で忠実な再構成を実現しました。
  • 拡散モデルに明示的なモーション情報を注入することで、生成の安定性と品質が向上しました。

---

5. 意義と結論

TETO は、イベントカメラ分野における「合成データへの依存」という根本的な課題に対する画期的な解決策を示しました。

• データ効率の革命: 大規模な合成データ生成パイプラインや莫大な計算コストなしに、限られた実データのみで高性能なモデルを構築できることを実証しました。
• 実世界への適応: 合成データにはない実世界の複雑な運動（物体の相互作用、頻繁な遮蔽、非線形運動）を、教師ラベルと運動意識サンプリングを通じて効果的に学習しています。
• マルチタスクへの波及: 推定されたモーション情報は、単なる追跡だけでなく、動画生成（フレーム補間）のような生成タスクにおいても、拡散モデルの条件付けとして極めて有効であることを示しました。

本研究は、イベントカメラのモーション推定において、データの「量」ではなく「質」と「学習戦略」が重要であることを示し、今後の実世界応用（自律走行、ロボティクス、AR/VR など）におけるイベントカメラの普及に大きく寄与する可能性があります。