SToRM: Supervised Token Reduction for Multi-modal LLMs toward efficient end-to-end autonomous driving

本論文は、自律走行におけるマルチモーダル大規模言語モデルの計算コストを最大 30 倍削減しつつ、全トークンを使用した場合と同等の性能を維持する初の教師ありトークン削減フレームワーク「SToRM」を提案し、LangAuto ベンチマークで最先端の手法を上回る結果を示したものである。

要約

自動運転の未来を担う「AI 運転手」が、もっと賢く、もっと軽やかに走るための画期的な技術が発表されました。その名も**「SToRM」**。

この論文を、難しい専門用語を使わず、日常の風景や料理に例えて解説しますね。

🚗 問題：「頭が良すぎる」AI 運転手の悩み

まず、現在の自動運転 AI（特に「マルチモーダル大規模言語モデル」と呼ばれるもの）は、人間と会話ができ、複雑な状況を理解できるほど頭が良いです。
例えば、「歩行者が急に飛び出してきた！」「右折してね」といった指示を聞いて、安全に運転できます。

しかし、この「頭が良い」AI には大きな弱点がありました。
**「考えるのが重すぎる」**のです。

• 例え話：
  Imagine 自動運転 AI が運転席に座っているとして、その前に**「100 枚もの写真」と「1 つの指示文」が並んでいると想像してください。
  AI は、その 100 枚の写真のすべて**を、一瞬で、かつ完璧に分析して「ハンドルを切るべきか、ブレーキを踏むべきか」を判断します。

  100 枚すべてを詳しく見ていると、「考える時間（計算コスト）」が膨大になりすぎてしまいます。
  車載のコンピューター（限られた資源）にとっては、この重たい作業は「リアルタイムで走れない」ほど負担が大きく、結果として車が止まってしまうリスクさえあります。

🌪️ 解決策：SToRM（スチーム・トーム）の登場

そこで登場するのが、この論文で提案された**「SToRM（Supervised Token Reduction）」という技術です。
名前の通り、「必要なものだけを選び取り、不要なものを整理する（Token 削減）」**技術です。

SToRM は、AI に「全部見る必要はないよ」と教える、3 つの魔法のようなステップを使います。

1. 🧐 「重要度予測」の天才スタッフ

まず、AI は「どの写真の部分が本当に重要か」を瞬時に判断する**「重要度予測スタッフ」**を雇います。

• 従来のやり方： 写真の「似ている部分」や「色」だけで選んでいました（適当な感じ）。
• SToRM のやり方： 「もし全部の写真を見たら、AI がどの部分に一番注目したか？」という**「正解のヒント（疑似指導信号）」**を使って、このスタッフを訓練します。
  • 例え話： 料理のレシピを覚える際、ただ「材料を並べる」のではなく、「プロのシェフが実際にどの材料を一番大事に使ったか」を見て、「次はこれに注目しよう」と学ぶようなものです。これにより、「歩行者」や「信号」は重要だと即座に判断し、「空の雲」や「背景の壁」は重要度が低いと見抜きます。

2. 📋 「アンカー」と「コンテキスト」への分類

次に、選んだ重要度に基づいて、情報を 2 つのグループに分けます。

• アンカー（錨）： 最も重要な情報（例：歩行者、前の車、信号）。これらは**「絶対に外せない」**情報です。
• コンテキスト（文脈）： 補足情報（例：アスファルトの質感、影、背景の木々）。これらは**「アンカーに付随する」**情報です。

3. 🧩 「融合（マージ）」で情報を圧縮

ここが最大のポイントです。
「コンテキスト」の情報を、それぞれが最も関係のある「アンカー」にくっつけて一つにまとめます。

• 例え話：
  100 枚の写真があったとします。

  • 「歩行者」の写真（アンカー）1 枚。
  • 「歩行者の影」や「歩行者の服の模様」などの写真（コンテキスト）が 99 枚。

  これらをバラバラに全部見るのではなく、「歩行者」の写真に、その影や模様の情報を**「付箋のように貼り付けて」、1 枚の「超・高品質な歩行者写真」に作り変えてしまいます。
  結果として、「100 枚」が「10 枚（アンカー）」に減っても、必要な情報はすべて残ったまま**になります。

🚀 驚異的な効果

この「SToRM」を使えば、どんな素晴らしい結果が得られるのでしょうか？

1. 計算量が 30 倍も減る！
   従来の「全部見る」方法に比べて、AI の頭を使う量が劇的に減ります。
2. リアルタイム走行が可能に
   重い計算が軽くなるので、普通の GPU（一般的なグラフィックボード）でも、**「リアルタイム（1 秒間に 25 回以上）」**に運転判断ができるようになります。
3. 性能は落ちない
   「情報を減らしたから、事故が増えるのでは？」と心配する必要はありません。実験では、「全部見た場合」と同じレベルの安全運転を維持しながら、効率を最大化することに成功しました。

💡 まとめ

SToRMとは、自動運転 AI にとっての**「賢い整理術」**です。

• 全部見る必要はない。
• 本当に重要な「アンカー（錨）」を見つけ出し、
• 周りの細かい情報はそれにまとめて、
• 軽やかに、安全に、高速で走る。

これにより、限られた計算資源しかない車でも、人間のような高度な判断ができる「賢い自動運転」が、現実のものとして近づいてきました。まるで、重たい荷物を整理して、軽装で走破するマラソン選手のようですね。

技術概要

論文技術要約：SToRM (Supervised Token Reduction for Multi-modal LLMs)

1. 背景と課題 (Problem)

自律走行におけるエンドツーエンド（E2E）制御システムは、センサーデータから直接制御コマンドを生成する手法として発展していますが、予期せぬ状況への対応や高度な推論には限界があります。これを補完するため、自然言語による人間の指示（ナビゲーションや緊急指示など）を取り入れたマルチモーダル大規模言語モデル（MLLM）の導入が期待されています。

しかし、MLLM を自律走行に応用する際には以下の重大な課題が存在します：

• 計算コストの膨大さ: 複数のカメラ画像や LiDAR データ（BEV マップ）から生成される視覚トークンの数が膨大であり、LLM のアテンション機構の計算量が入力長に対して二次的に増加するため、推論速度が著しく低下します。
• リアルタイム性の欠如: 自律走行には低遅延な推論が必須ですが、既存の手法では計算リソースが不足し、標準的な GPU 上でのリアルタイム動作が困難です。
• 性能と効率のトレードオフ: 既存のトークン削減手法（Q-Former やトークンプルーニングなど）は計算コストを下げますが、多くの場合、すべてのトークンを使用する場合と比較して E2E 運転性能が低下するというトレードオフが発生します。

2. 提案手法 (Methodology)

本論文は、SToRM (Supervised Token Reduction for Multi-modal LLMs) と呼ばれる、MLLM 向けの初の「教師ありトークン削減フレームワーク」を提案しています。その核心は、MLLM からの中間結果（すべてのトークンに対するアテンションスコア）を擬似教師信号として利用し、視覚トークンの重要度を学習しながら削減を行う点にあります。

SToRM は以下の 3 つの主要な要素で構成されています。

A. 擬似教師信号の生成 (Pseudo-supervision Signals)

• トークン削減を行わない「全トークンパス」で MLLM を実行し、LLM の最終デコーダー層から得られるアテンションスコアを抽出します。
• このスコアを「擬似重要度（pseudo-importance）」として扱い、トークン削減の教師信号（Supervision）として使用します。アテンションが高いトークンほど重要であると仮定しています。

B. 軽量な重要度予測器 (Lightweight Importance Predictor)

• 視覚トークンの重要度スコアを低コストで予測するための新しいネットワークを設計しました。
• 短期スライディングウィンドウ付き MLP-Mixer: 従来の Transformer 型アテンション（全トークン間の相互作用）ではなく、直近のフレーム群に対してスライディングウィンドウを適用した MLP-Mixer アーキテクチャを採用しています。
  • 時空間混合: ウィンドウ内のトークン間の短期時空間関係を捉えます。
  • チャネル混合: トークン内部のチャネル間依存関係をモデル化します。
• この設計により、計算量とメモリ使用量を大幅に削減しつつ、必要な時空間文脈を保持します。

C. アンカー - コンテキストトークン結合モジュール (Anchor-Context Merging, ACM)

• 予測された重要度スコアに基づき、トークンを「アンカー（重要）」と「コンテキスト（重要度が低い）」に分類します。
• ハードアサインメントによる結合: 各コンテキストトークンを、最も関連性の高い単一のアンカートークンにマージ（結合）します。
  • Gumbel-Softmax と Straight-Through Estimator (STE) を用いて、微分可能なハードアサインメントを実現し、エンドツーエンド学習を可能にしています。
  • これにより、冗長な情報を削減しつつ、重要な視覚証拠（アンカー）は保持されます。

D. エンドツーエンド学習

• 経路予測（Waypoint Prediction）の損失と、重要度予測器の学習用損失（擬似スコアとの一致）を組み合わせ、モデル全体をエンドツーエンドで学習します。

3. 主な貢献 (Key Contributions)

1. 初の教師ありトークン削減フレームワーク: E2E 運転タスクにおいて、擬似教師信号を用いて重要度に基づいたトークン削減を行う SToRM を提案しました。
2. 効率的な重要度予測器: 全シーケンスにわたる長期依存関係ではなく、短期の時空間関係とチャネル依存関係に焦点を当てた、軽量な MLP-Mixer ベースの予測器を設計しました。
3. 情報損失を最小化する結合モジュール: 重要度の高い「アンカー」に、関連する「コンテキスト」トークンをハードアサインメントで結合する ACM モジュールを提案し、冗長性を削減しながら重要な情報を保持します。
4. 高性能かつ高効率な実証: 既存の SOTA 手法と比較して、同等のトークン数（削減後）でより高い運転性能を達成し、かつ計算コストを劇的に削減しました。

4. 実験結果 (Results)

LangAuto ベンチマークデータセットを用いた実験結果は以下の通りです。

• 性能の維持と向上:
  • 削減後のトークン数（120 トークン）を同じ条件下で比較した場合、SToRM は既存の SOTA 手法（LMDrive/Q-Former など）よりも高い運転スコア（DS, RC, IS）を達成しました。
  • 特に、TinyLLaVA（1.5B パラメータ）を使用した場合でも、全トークンを使用する大規模モデル（All-token LMDrive）と同等、あるいはそれ以上の性能を維持しました。
• 計算効率の劇的な改善:
  • 計算量: 大規模 LLM バックボーンで約30 倍、小型 LLM バックボーンで約16.6 倍の FLOPs 削減を実現しました。
  • 推論速度: 標準的な GPU（NVIDIA RTX 4090）上で25 FPS 以上の推論速度を達成し、リアルタイム E2E 運転が可能になりました。
  • メモリ: 既存の SOTA 手法と比較して、メモリ使用量が大幅に削減されました。
• 既存削減手法との比較:
  • トークン削減手法として、ランダム、ToMe、LLaVA-PruMerge、DivPrune、VisionZip、Q-Former、HiRED、HiCom などを比較しましたが、SToRM がすべての指標で最良の性能を示しました。これは、タスクに特化した教師信号（擬似アテンション）が、ヒューリスティックな類似度ベースの削減よりも効果的であることを示しています。

5. 意義と結論 (Significance)

本論文の SToRM は、リソース制約の厳しい自律走行車において、MLLM を実用的に運用するための重要なブレイクスルーです。

• 実用性の向上: 計算コストを大幅に削減しながら性能を維持することで、標準的なハードウェア上でのリアルタイムな MLLM 駆動型自律走行を実現しました。
• 安全性の向上: 人間の自然言語指示を効率的に処理できるため、予期せぬ状況や複雑なシナリオにおける安全性と適応性を高めます。
• 将来的な展望: 「擬似教師信号によるトークン削減」というアプローチは、他のマルチモーダルタスクやリソース制約のある環境における LLM 応用にも応用可能な汎用的な枠組みを提供します。

結論として、SToRM は、MLLM の計算負荷というボトルネックを解決し、安全かつ効率的な次世代の自律走行システムの実現に大きく貢献する技術です。