技術サマリー：EventDrive

問題提起

イベントカメラは、マイクロ秒単位の経時精度、高いダイナミックレンジ、およびモーションブラーに対する堅牢性を備えており、理論的には（低照度や急速な動きなどの）困難な条件下での自動運転に理想的です。しかし、既存のイベントベースの研究は断片的であり、主に検出、セグメンテーション、またはオプティカルフロー推定といった低レベルの教師ありタスクに焦点を当てています。イベントセンシングを、高レベルの推論、意思決定、および完全なドライビングループへと活用する点において、大きなギャップが存在します。RGBコミュニティは、知覚、推論、制御を結合した統一的な視覚言語モデル（VLM）を進展させてきましたが、イベントをVLMに組み込もうとする初期の試みは、一般的なシーンや単純なキャプション生成に限定されており、現実世界の運転における複雑な推論や意思決定の要求に応えるには至っていません。

手法

1. EventDrive：統合ベンチマーク

著者らは、イベントストリーム、同期されたRGBフレーム、および言語的な教師信号を自動運転パイプライン全体にわたって統合した、初のフルスタック・ベンチマークであるEventDriveを導入します。このベンチマークは、運転を以下の4つの連続的な推論ステージに分解し、それぞれを言語に基づいたタスクとして定式化しています。

• 知覚 (Perception): シーンレベルのコンテキスト（シーンの種類、視認性、交通流、天候、信号機、路面状況）を評価する。
• 理解 (Understanding): オブジェクト中心のセマンティクス（存在、外観、運動状態、自己/環境の関係、グラウンディング）を評価する。
• 予測 (Prediction): 周囲のエージェントの短期間の運動意図（速度と方向）を推論する。
• 計画 (Planning): 過去の軌跡に基づき、自車（エゴ車両）の意図と将来のウェイポイントを推定する。

データセット構築:
EventDriveは、DSEC、M3ED、およびPKU-DAVIS-SODの3つのソースデータセットから、471,543個のイベント・フレーム・言語サンプルを集約しています。著者らは、Qwen3-VLを用いた半自動パイプラインを採用し、構造化されたキャプションを生成し、それらを多様な多肢選択式のQAペア、グラウンディングタスク、および軌道予測へと変換しています。イベントセンシングの優位性を厳格にテストするため、低照度やモーションブラーを含むシーケンスを特別に含む「Hard」スプリットが用意されています。

2. EventDrive-VLM：統合モデル

このベンチマークを活用するために、著者らは非同期のイベントデータを解釈し推論するように設計された、イベント駆動型VLMであるEventDrive-VLMを提案しています。このアーキテクチャは、2つの核心的な課題に対処しています。

• 動的ホライゾン・イベントエンコーダ (Dynamic Horizon Event Encoder): イベントストリームは時間的な密度が大きく変動します。本モデルは、マルチホライゾン・ボクセル化 (Multi-Horizon Voxelization) 戦略を採用し、複数の時間解像度（$B = \{20, 50, 100\}$ ビン）でイベントテンソルを作成します。混合エキスパート (Mixture-of-Experts: MoE) ゲーティングメカニズムにより、与えられたシーンに対して最も情報量の多い時間的ホライゾンを動的に選択することで、高速移動中の高周波なダイナミクスを捉える一方で、低速移動時における安定した集約を保証します。
• イベント Q-Former アライメント (Event Q-Former Alignment): 疎なイベント特徴量とLLMのセマンティック空間との間のギャップを埋めるため、モデルはEvent Q-Formerを使用します。トークンの単純な結合ではなく、学習可能なイベントクエリと集約されたイベント特徴量との間のクロスアテンションを採用しています。これにより、フレームおよびテキストの埋め込みとシームレスに統合される、動きを考慮した言語整合的なトークンを抽出します。
• 2段階の学習カリキュラム:
  1. イベント・言語事前適応 (Event-Language Pre-adaptation): LLMとRGBビジュアルエンコーダを凍結した状態で、イベントエンコーダ、Q-Former、およびプロジェクション層をキャプションデータを用いて学習し、イベント表現をLLMの空間に整合させます。
  2. 指示チューニング (Instruction Tuning): LLMのトランスフォーマーブロックの凍結を解除し、すべてのキャプションおよびQAデータを用いてイベント経路全体をファインチューニングすることで、あらゆる運転タスクにおける一貫したマルチモーダル推論を可能にします。

主な貢献

1. EventDrive ベンチマーク: 一貫したマルチモーダル（イベント・フレーム・言語）フレームワーク内で、知覚、理解、予測、および計画をカバーする、自動運転のための初の統合データセットおよびベンチマーク。
2. EventDrive-VLM: 動的ホライゾンエンコーディングとクエリベースのアライメントを用いることで、大規模VLMに非同期のイベント表現を解釈、整合、および推論する能力を付与する、汎用的な学習フレームワーク。
3. 包括的な評価プロトコル: 時間的な手がかりがいかにマルチモーダルな推論を向上させるかを実証する厳格な評価を行い、イベント駆動型インテリジェンスの基礎を確立。

実験結果

EventDriveにおける実験により、モダリティごとの明確な強みと融合の必要性が明らかになりました。

• フレームのみのモデル: 通常の条件下では知覚において優れた性能を示しますが、低照度やモーションブラーのシナリオでは急激に低下します。また、空間的な推論能力が限定的であり、運動の推論（例：速度や方向の予測精度）も弱いです。
• イベントのみのモデル: 高周波な時間的ヒントにより、速度および方向の予測には優れていますが、外観に依存する理解（例：シーンの種類、物体の外観）に必要なセマンティックな豊かさに欠けています。
• EventDrive-VLM (融合): イベント・フレーム融合モデルは、すべてのタスクファミリーにおいて最先端（SOTA）の性能を達成しました。このモデルは、劣悪な条件下での知覚を安定させ、グラウンディングおよび関係性の推論を大幅に強化し、単一モダリティのベースラインと比較して、より優れた運動予測および自車意図の推定を実現します。
• Hard Split の性能: 困難なサブセット（低照度、激しいブラー）において、融合モデルは堅牢な性能を維持しますが、フレームのみのモデルはグラウンディングと空間推論において大幅な低下を招き、イベントのみのモデルはセマンティックなタスクに苦戦します。

重要性

本論文は、EventDriveおよびEventDrive-VLMが、イベントセンシングが単なる補助的なセンサーではなく、信頼性の高い運転インテリジェンスのための不可欠なモダリティであることを示していると主張しています。非同期のイベントキューをRGBフレームおよび言語と統合することで、従来のセンサーが機能しないシナリオにおいても、堅牢な知覚と意思決定が可能になります。本研究は、低レベルのイベントセンシングと高レベルの自動運転推論の間のギャップを埋め、より安全で、解釈可能で、堅牢な自動運転システムへのスケーラブルな道筋を提供します。著者らは、時間的および空間的なモダリティの統合が、特に動的かつ過酷な環境において、いずれか一方のモダリティよりも信頼性の高い推論をもたらすことを強調しています。