技術要約：プランニングに整合した長文脈型自動運転のためのトークン圧縮

問題提起

モノリシックなVision-Action (VA) および Vision-Language-Action (VLA) ポリシーは、統合されたTransformerバックボーンを介してマルチモーダル入力を直接車両の軌跡へとマッピングする、パラダイムシフトを象徴している。しかし、これらのモデルを複雑な相互作用に対応させるためにスケールアップしようとすると、視覚トークンのシーケンス長が急速に増大し、リアルタイムの計算予算を超過してしまう。

既存のソリューションは以下のトレードオフに直面している：

• 線形Transformer / 外部メモリ: バックボーンの変更を必要とするか、あるいはアーキテクチャの複雑さを導入する。
• トークン圧縮: 最も実用的なアプローチであり、バックボーンの変更を必要としない。しかし、現在の手法はルールベースのヒューリスティック（例：時間的減衰）に依存しており、最近のフレームを保持し、古いフレームを無差別に破棄してしまう。
• 核心的な限界: ルールベースの圧縮は、プランニングの目的から乖離している。それは冗長な情報と、意思決定に不可欠な歴史的手がかり（例：四路停止における車両の到着順序）を区別できない。本論文で示されているように、遠方の観測（例：$t=-3s$ 時点）を破棄することは、誤った優先権判断を招き、ストップサインでの進入（ロールスルー）といった安全上の違反を引き起こす可能性がある。

手法：COMPACT-VA

著者らは、拡張されたコンテキストを限定された表現へと圧縮しつつ、圧縮を走行意図に明示的に整合させるように設計されたワーキングメモリフレームワークであるCOMPACT-VA (Compression via Planning-Aligned Context Tokens) を提案する。

1. 階層的時間コンテキスト・バッファリング

フラットなコンテキストウィンドウの代わりに、観測履歴（$T$ ステップ）は、$K$ 個の圧縮レイヤーを持つ階層的FIFOメモリバンクに整理される。

• 時間的減衰の帰納バイアス: 最近のフレームは高いトークン解像度を保持し（圧縮なし）、中間フレームは中程度の圧縮を受け、遠方のフレームは強力な圧縮を受ける。
• Q-formerによる圧縮: 各レイヤーにおいて、学習可能なクエリ・トークンが、生の観測トークン、タイムステップ埋め込み、およびカメラ埋め込みと結合される。Q-formerモジュール（MMDiTに基づく）は、自己注意機構を介してこれらを処理し、タスクに関連する視覚的特徴を選択的に集約する。
• 位置の一貫性: 位置情報の整合性を維持するため、回転位置埋め込み（RoPE）は圧縮率によってスケーリングされる。

2. プランニングに整合した変分結合

核心的なイノベーションは、圧縮の品質を軌跡予測に直接結びつける、ベクトル量子化（VQ）を用いた**条件付き変分オートエンコーダ（cVAE）**である。

• 走行意図潜在変数 ($z$): 学習フェーズにおいて、将来の軌跡からコンパクトな離散潜在変数が蒸留される。
• 後方エンコーダ (Q-net): 学習フェーズでのみ訓練される。これは圧縮された観測 ($o_{compressed}$) と正解の将来軌跡 ($\tau_{future}$) を受け取り、走行意図の潜在変数 $z_q$ を抽出する。
• 前方エンコーダ (P-net): 学習時と推論時の両方で動作する。これは、将来の情報にアクセスすることなく、圧縮された観測のみを用いて意図の潜在変数 $z_p$ を予測する。
• ベクトル量子化: $z_q$ と $z_p$ は共に共有された離散コードブックにマッピングされる。この離散化により、モデルは有限の走行「スキル」または意図を学習することを強制される。
• エンドツーエンドの最適化: システムは以下の複合損失関数によって最適化される：
  $$\mathcal{L} = \mathcal{L}_{traj} + \lambda_{KL} \cdot D_{KL}(q_\phi(z|o, \tau_{future}) \parallel p_\theta(z|o_{compressed})) + \lambda_{commit} \cdot \mathcal{L}_{commit}$$
  KLダイバージェンス項は、前方分布（推論時）が後方分布（学習時）と一致するようにすることを保証する。もしQ-formerが重要な履歴を破棄してしまうと、前方モデルが意図を予測できなくなり、高いKLダイバージェンスと軌跡予測の劣化が生じる。これにより、モデルは何を保持すべきかを「学習」するクローズドループが形成される。

3. 推論

テスト時には、前方パスウェイのみがアクティブになる。モデルは観測を圧縮し、$z_p$ を予測し、量子化を行い、それを圧縮メモリ内の特殊なトークンとして付加する。この結合されたシーケンスが、自己回帰的な軌跡生成のために統一Transformerバックボーンへと供給される。

評価フレームワーク

著者らは、連続的な軌跡最適化とは明確に異なる、離散的な意思決定において拡張されたコンテキスト（5〜10秒）が極めて重要となる高シグナルな動的シナリオを特定している：

1. 四路停止 (Four-Way Stops): 到着順序に基づく優先権の判定。
2. 遮蔽を伴うストップ/イールド (Stop/Yield with Dynamic Occlusion): 遮蔽された車両の状態維持。
3. 非保護右左折 (Unprotected Turns): 対向車の隙間を時間の経過とともに評価すること。

指標: 従来のminADEなどの指標は、目的と乖離しているとみなされる。本論文では、行動指標を導入している：

• Go Success Rate (Go SR): 停止後に進行できる能力。
• Stop Success Rate (Stop SR): 必要に応じて完全に停止できる能力。
• Roll-Through Rate: 完全に停止できなかった頻度（安全性に直結）。
• Stop Position/Duration Errors: 空間的および時間的な偏差。

主な結果

Alpamayoデータセット（特にメモリ依存シナリオを厳選したもの）およびAlpasimシミュレータを用いて評価を行った：

• 性能向上: 同等のトークン予算（~1,424トークン）において、COMPACT-VAは68.3%のGo成功率を達成し、標準的な1秒間のベースライン（63.8%）および高密度な5秒間の非圧縮ベースライン（61.9%）を上回った。
• 安全性の改善: ロールスルー率を22%削減（ベースラインの7.0%に対し9.0%）し、Stop成功率を89.2%に向上させた。
• アブレーションによる洞察:
  • プランニングの整合性を除去するとGo SRが65.6%に低下し、圧縮を意図と結合させる必要性が確認された。
  • 素朴な圧縮（履歴の条件付けなし）は63.5%となり、軌跡条件付き圧縮の価値が示された。
  • 階層的圧縮は不可欠であり、最近のフレームはフル解像度を保持する必要がある。
• 効率性: 非圧縮の5秒間処理（6,400トークン）と比較して、COMPACT-VAは3.3倍の推論高速化と2.7倍のメモリ削減（ピークGPUメモリ 10.51 GBに対し3.95 GB）を達成しつつ、クローズドループシミュレーションにおける一般的な走行能力を維持している。

意義と主張

本論文は、多様な自動運転シナリオにおける推論には、タスク認識型のワーキングメモリが鍵であることを主張している。ルールベースのヒューリスティックからプランニングに整合した圧縮へと移行することで、モデルは手作りの保持ルールなしに、意思決定に不可脱な歴史的情報を暗黙的に発見し、保持することができる。

著者らは、本研究をモノリシックなVA/VLAポリシーにおける効果的なメモリへの一歩として位置づけており、限定されたコンテキストウィンドウが、変分目的関数と組み合わされることで、計算上の制約と安全性に直結する長期間の推論の必要性との間の緊張関係を解決できることを示している。彼らは、一般的な走行に対する利得は緩やかであるが、このアプローチは、過去5〜10秒間の行動的手がかりに離散的な決定（ストップ/ゴー）が依存する高シグナルなシナリオにおいて特に効果的であると述べている。