🤖 AI

Driving on Registers

本論文は、カメラ認識レジスタートークンを用いてマルチカメラの特徴量をコンパクトな表現へと圧縮することで、効率的な軌跡生成と解釈可能なサブスコアを伴うスコアリングを可能にし、複数のベンチマークにおいて最先端のベースラインを上回るか同等の性能を示す、エンドツーエンドの自動運転のための純粋なトランスフォーマー・アーキテクチャであるDrivoRを導入する。

原著者： Ellington Kirby, Alexandre Boulch, Yihong Xu, Yuan Yin, Gilles Puy, Éloi Zablocki, Andrei Bursuc, Spyros Gidaris, Renaud Marlet, Florent Bartoccioni, Anh-Quan Cao, Nermin Samet, Tuan-Hung VU, Matthieu

公開日 2026-02-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ellington Kirby, Alexandre Boulch, Yihong Xu, Yuan Yin, Gilles Puy, Éloi Zablocki, Andrei Bursuc, Spyros Gidaris, Renaud Marlet, Florent Bartoccioni, Anh-Quan Cao, Nermin Samet, Tuan-Hung VU, Matthieu Cord

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに車の運転を教える場面を想像してみてください。従来の方法では、あらゆる状況下でどうすべきかを正確に伝えるために、数千ページにも及ぶ膨大な指示マニュアルをロボットに与える必要がありました。この論文は、よりスマートで、速く、そしてシンプルな新しい教え方である「DrivoR」を紹介しています。

仕組みの詳細は、日常的な例えを用いて説明します。

1. 問題点：情報の過多

あなたが運転しながら、6つの異なる窓（カメラ）から外を見ているところを想像してください。標準的なコンピュータビジョン・システムは、すべての窓にある「すべてのピクセル」を見ようとします。これは、膨大なデータの山を生み出します。それは、まるで運転中に図書館の本をすべて読もうとしているようなものです。コンピュータは、曲がるべきか止まるべきかを判断する前に、その膨大な情報を処理することに圧倒されてしまいます。これにより、システムは動作が遅くなり、コストも高くなってしまいます。

2. 解決策：「レジスター」という名のメモ取り役

DrivoRの著者たちは、ロボットは図書館の本をすべて読む必要はないことに気づきました。必要なのは、いくつかの重要なメモだけなのです。

彼らは「レジスター・トークン（Register Tokens）」と呼ばれるものを導入しました。これは、各カメラの助手席に座っている、専門的なメモ取り役の小さなチームのようなものです。

コンピュータが画像全体を処理しようとする代わりに、これらのメモ取り役が視界をスキャンし、「前方に車あり」「赤信号」「空の道路」といった、最も重要な詳細だけを書き留めます。
彼らは、巨大で乱雑な画像を、小さく整った要約へと圧縮します。
結果： コンピュータは、一冊の本を読む代わりに、わずか数行の文章を読むだけで済むようになります。これにより、危険を察知する能力を失うことなく、システムは驚異的に速く、効率的になります。

3. 2段階の意思決定プロセス

メモ取り役がシーンを要約した後、ロボットは次に何をすべきかを決定しなければなりません。DrivoRはこの仕事を、コーチと審判のような、2つの別々のチームに分割しています。

コーチ（軌道生成器 / Trajectory Generator）： このチームは要約を見て、「今後数秒間の間で、100通りの異なる走り方がある」と提案します。彼らは多くの可能な経路（軌道）を素早く生成します。
審判（スコアリング・システム）： このチームは、それら100通りの経路をチェックし、成績をつけます。ここで面白いのは、審判は単に「良い」や「悪い」といった一つのスコアを出すだけではないという点です。審判は、以下のような具体的な成績表を提出します。
- 安全性： 「衝突する可能性はどのくらいか？」
- 快適性： 「乗客が気分が悪くならないか？」
- 効率性： 「どれくらいの速さで目的地に向かっているか？」

4. 「個性」を持った運転

審判が安全性、快適性、速度を個別に採点するため、システムを再学習させることなく、ロボットの「性格」を変えることができます。

「安全」モード： 「安全性と快適性を100%重視する」と伝えると、ロボットはたとえ少し遅くなったとしても、安全性のスコアが最も高い経路を選びます。
「スポーティ」モード： 「早く目的地に着きたい」と伝えると、ロボットはたとえ少し揺れたとしても、前進の度合いが最大になる経路を選びます。

これは、ダイヤルを回すだけで、車が瞬時に「おばあちゃんの運転」から「レーシングドライバーの運転」へと切り替えられるようなものです。

5. 結果

このシステムは、非常に困難なドライビング・シミュレーション（現実よりも難しいビデオゲームのようなもの）でテストされました。

パフォーマンス： DrivoRは、現在利用可能な最も複雑なシステムと同等、あるいはそれ以上の性能を発揮しました。
スピード： 「メモ取り役」を使ってデータを圧縮しているため、同様のシステムよりも3倍速く動作します。
シンプルさ： 事前に書き込まれた膨大な運転ルールや、複雑な3Dマップを必要としません。カメラの画像と「メモ取り役」から直接学習します。

まとめ

DrivoRは、道路の要約を行うスマートなメモ取り役、多くの運転オプションを提案するコーチ、そしてあなたが重視する価値観（安全性 vs 速度）に基づいて選択肢を採点する審判を雇うような、新しい自動運転車の構築方法です。これは、うまく運転するためにスーパーコンピュータは必要ではなく、情報を処理するためのスマートで効率的な方法が必要であることを証明しています。

技術要約: DrivoR – Driving on Registers

問題提起

エンドツーエンド（E2E）自動運転は、生のセンサーデータから直接走行決定へとマッピングすることを目指しており、中間的なモジュール型アノテーションによるラベル付けコストの削減を図っている。軌跡提案手法は、複数の候補パスを生成して最適なものを選択することで強力な性能を示してきたが、重大な計算上のボトルネックに直面している。現在の最先端のアプローチは、多くの場合、重いバックボーン（大規模なVision TransformerやCNNなど）に依存しており、それらは1フレームあたり数千のトークンを出力する。これらのトークンを数百の軌跡候補に対して処理することは、解像度やセンサー数に対してスケーラビリティが悪く、計算負荷を生み出す。さらに、既存のソリューションは一様な特徴量プーリングに依存していることが多く、これはすべてのカメラ入力を等しく情報量が多いものとして扱い、厳格な解像度の要件を強制するため、重要なプランニングのコンテキストを破棄してしまう可能性がある。

手法: DrivoR アーキテクチャ

著者らは、E2Eプランニングのために設計された、シンプルで効率的な純粋なトランスフォーマー・アーキテクチャである DrivoR を提案する。このシステムは、複雑な中間表現（鳥瞰図（BEV）投影など）や大規模な事前計算済み軌跡辞書を回避する。代わりに、3段階のトランスフォーマー・パイプラインを利用する：

1. カメラ認識レジスタを備えた知覚エンコーダ

核心となるイノベーションは、一様なプーリングをカメラ認識レジスタ・トークンに置き換えた知覚エンコーダにある。

メカニズム: $N$ 個の入力カメラそれぞれに対して、モデルは固定された $R$ 個の学習可能なレジスタ・トークンを導入する。これらは標準的なパッチ・トークンと結合され、事前学習済みのVision Transformer（具体的にはDINOv2 ViT-S）バックボーンに供給される。
圧縮: ViTは、高次元の視覚的特徴を、カメラあたりの $R$ 個のレジスタへと圧縮する。出力は、コンパクトな $N \times R$ 個の「シーン・トークン」のセットとなる。
利点: このアプローチは、下流の処理のためのシーケンス長を（数千のトークンから数十個へと）劇的に減少させる一方で、プランニングに関連するコンテキストを保持する。レジスタはカメラ固有であり、これによりモデルは前方、側面、後方のビューを区別することができる。
学習: バックボーンは、低ランク適応（LoRA）を用いてファインチューニングされ、パラメータ数を低く抑えたまま、視覚からレジスタへの圧縮を効率的に学習する。

2. 軌跡デコーダ

軌跡デコーダは、標準的なトランスフォーマー・デコーダ・アーキテクチャを使用して候補パスを生成する。

入力: 学習可能な軌跡クエリを受け取り、これに自車状態情報（ポーズ、速度、加速度、コマンド）を付加する。
アテンション: クエリは、クロスアテンションを介して圧縮された「シーン・トークン」にアテンションを向ける。
出力: デコーダは、自車のローカル座標系における $(x, y, \theta)$ ポーズのシーケンスとして表される、一連の候補軌跡を生成する。
損失関数: 学習にはWinner-Takes-All（WTA）またはminimum-over- $N$ （MoN）損失を利用し、正解に最も近い予測軌跡のみを教師あり学習することで、提案セットにおける多様性を促進する。

3. スコアリング・デコーダ（分離型）

独立したスコアリング・モジュールが、生成された軌跡の品質を評価する。

分離（Disentanglement）: 決定的なことに、デコードされた軌跡は新しい特徴空間へと再埋め込みされ、スコアリング・デコーダに入る前に勾配グラフから切り離される（detach）。これにより、学習中に軌跡生成プロセスがスコアラーの即時的な品質に影響を受けることを防ぎ、生成と評価の分離を強制する。
サブスコア: 単一のスカラー値ではなく、Predictive Driver Model Score (PDMS) の構成要素（安全性、快適性、効率性、進行度など）に対応する6つの解釈可能なサブスコアを予測する。
挙動の条件付け: 推論時には、これらのサブスコアを異なる重み（ $\lambda$ 重みセット経由）で重み付けすることで、モデルを再学習させることなく、走行挙動を調整（例：進行度よりも安全性を優先する）することができる。

主な貢献

シンプルなトランスフォーマー・アーキテクチャ: 中間的なBEV表現や大規模な軌跡語彙を必要としない、純粋なトランスフォーマーによるE2Eプランナー。
レジスタによるトークン圧縮: E2Eプランニングにおける視覚的特徴を圧縮するために、ViTレジスタ・トークンを再利用した最初の研究。これにより、フル特徴マップと比較して計算負荷を数桁削減しながら、重要なコンテキストを保持するコンパクトなシーン表現を実現している。
分離されたスコアリング: 軌跡生成とスコアリングを分離したモジュール設計により、解釈可能なサブスコアの学習を可能にし、推論時における挙動条件付きの走行ポリシーを可能にする。

実験結果

DrivoRは、3つの主要なベンチマーク、NAVSIM-v1、NAVSIM-v2、およびフォトリアルなクローズドループ環境である HUGSIM で評価された。

NAVSIM-v1: DrivoRはすべての既存のカメラのみの手法を上回り、PDMSにおいて93.7（trainvalデータを使用）および追加の合成データを用いた場合に94.0を達成し、人間レベルの性能（94.8）に迫る結果を出した。また、RAPやUniADのような強力なベースラインを大幅に上回っている。
NAVSIM-v2: 困難な navhard-two-stage 分割において、DrivoRは54.6の新たなEPDMSを達成し、GTRSやZTRSといったモデルを凌駕した。特筆すべきは、競合モデルと比較して、はるかに小さなバックボーン（ViT-S）と少ないパラメータ数（約40M）でこれを達成した点である。
HUGSIM: HUGSIMベンチマークにおけるゼロショット評価において、DrivoR（NAVSIM-v1のみで学習）は、報告されているベースラインの中で最高のRoad Completion（49.8%）とHD-Score（35.7）を達成し、フォトリアルな3D環境への強い汎化性能を示した。
効率性: レジスタベースの圧縮により、スループットが3倍向上（A100 GPUでのフォワードパスあたり110ms vs 400ms）し、ViT-Lベースラインと比較してGFLOPSおよびピークメモリ使用量が3分の1に削減された。これにより、リアルタイム展開の実現可能性が高まった。

意義と主張

本論文は、純粋なトランスフォーマー・アーキテクチャが、ターゲットを絞ったレジスタによるトークン圧縮と組み合わせることで、正確で効率的かつ適応的なエンドツーエンドの走行に十分であることを示唆している。著者らは以下の点を強調している：

一様なプーリングは最適ではない。カメラ認識レジスタにより、モデルはどのビューが最も情報量が多いか（例：プランニングには前方カメラ、特定の安全確認には後方カメラ）を学習できる。
スコアリングを生成から分離することで、性能が向上し、制御可能な走行挙動が可能になる。
高い性能を得るために、大規模な軌跡辞書や複雑な中間3D表現は必要ない。シンプルで適切に構造化されたトランスフォーマー・パイプラインが、より複雑なシステムと同等、あるいはそれを上回る性能を発揮できる。

この研究は、リアルタイムの自動運転システムに向けた、軽量なレジスタベースの圧縮戦略へのシフトを示唆しており、「圧縮がコンテキストを考慮したものであるならば、Less is More（少ないことは、より豊かなことである）」であることを証明している。