Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures

=== 技術要約：ハイブリッドアーキテクチャにおけるVision-Language-Actionの効率的なブロック層並列推論 ===

1. 問題提起

Vision-Language-Action（VLA）モデルは、シーン理解と意思決定を統合する、自動運転のための有望なパラダイムとして台頭しています。しかし、これらの大規模マルチモーダルモデルを既存の車両プラットフォームにデプロイするには、大きな課題があります。

• リソースの不均衡: VLAの推論はGPU中心であり、高い推論レイテンシと激しいGPUメモリ圧力を引き起こします。対照的に、モジュール型パイプライン用にプロビジョニングされたレガシーな車両プラットフォームでは、VLA実行中にCPUリソースが活用されないまま残されることがよくあります。
• デプロイメントの制約: VLAモデルを他のオンボードシステム（例：知覚、ローカライゼーション）と共に直接デプロイしようとすると、GPUメモリ予算の不足により失敗することが多々あります。例えば、ネイティブのOrionモデルは約45 GBのGPUメモリを必要とし、これはAutoware.Universeスタックと共存する場合の利用可能容量を超えています。
• 単純なオフロードの非効率性: 大規模なモデル部分を単にCPUへオフロードしても、CPUはTransformerの実行においてGPUに遅れをとるため、効果的ではありません。これは新たなボトルネックとなる可能性があります。さらに、標準的なシングルフレーム推論はシリアル（逐次）的なままであり、ヘテロジニアス（異種混合）実行のメリットを制限してしまいます。

2. 手法

著者らは、自動運転のストリーミング特性に特化して設計されたハイブリッドCPU–GPU推論フレームワークを提案しています。この手法は、以下の3つのコアコンポーネントで構成されています。

A. ブロック層パーティショニング（Block-Layer Partitioning）

オペレータレベル（構造の完全性を損なう）やモデル全体レベル（柔軟性に欠ける）での分割ではなく、本フレームワークはTransformerのブロック層粒度でVLAバックボーンを分割します。

• 実行の分割: ビジュアルエンコーダ（ViT）とLLMのプレフィックス層はGPUで実行されます。LLMのサフィックス層はCPUにオフロードされます。
• 境界: 特定のパーティションポイント $p$ が、モデルをGPU実行のプレフィックスとCPU実行のサフィックスに分割します。境界となる隠れ状態（hidden state）はデバイス間で転送されます。
• 根拠: この粒度は、モデルの構造的完全性と特徴の連続性を維持しつつ、計算量とメモリ負荷を再分配するためのスケジューラブルな境界を提供します。

B. クロスフレーム非同期パイプライン（Cross-Frame Asynchronous Pipeline）

走行中のVLAワークロードは、孤立したクエリではなく、時間的に連続した（ストリーミングフレームの）ものであることを認識し、システムは非同期パイプラインを採用しています。

• オーバーラップ: GPUが「現在の」フレーム（$t$）のプレフィックスを処理している間に、CPUは「前の」フレーム（$t-1$）のサフィックスを並行して処理します。
• スループット: これにより、フレーム内のシリアルな依存関係を、フレーム間のオーバーラップ実行へと変換します。定常状態のスループットは、全ステージの合計ではなく、より遅い方のステージ（GPUプレフィックス、またはCPUサフィックス＋転送）によって決定されます。
• 通信オーバーヘッド: フレームごとに転送されるのは境界の隠れ状態テンソルのみです。著者らは、このオーバーヘッド（約0.41 ms）は計算ステージと比較して無視できる程度であると述べています。

C. 柔軟なリソーススケジューリングとハードウェア最適化

• 動的スケジューリング: 軽量なスケジューラが、CPU/GPU使用率やパイプラインのバックログなどのリアルタイムのシステム状態に基づき、パーティション境界（特に分割点付近の「ダイナミックゾーン」にあるレイヤー）を調整します。これにより、変動するオンボードのリソース需要に適応できます。
• CPUアクセラレーション: CPUがボトルネックにならないよう、フレームワークはCPU常駐レイヤーに対して、Intel AMX（Advanced Matrix Extensions）、IPEX（Intel Extension for PyTorch）、グラフ融合、およびNUMAアウェアなスレッドバインディングを含む、ハードウェア認識型の最適化スタックを活用しています。

3. 主な貢献

1. ブロック層ヘテロジニアス推論フレームワーク: 元のモデルアーキテクチャを変更することなく、未使用のCPUリソースを効果的に活用し、GPUメモリ圧力を軽減するために、VLAモデルをブロックレベルで分割する新しいアーキテクチャ。
2. クロスフレーム非同期並列推論: 走行データの連続性を利用して、異なるフレーム間でCPUとGPUの実行をオーバーラップさせ、持続的な推論頻度を大幅に向上させる戦略。
3. 柔軟なスケジューリングと実世界での検証: リソース認識型のスケジューリングメカニズム、および2つの代表的な走行VLAモデル（OrionおよびMindDrive）を用いた、現実的な車両スタック（Autoware.Universe）内での実証実験。

4. 実験結果

フレームワークは、NVIDIA L20 GPUとIntel Xeon Platinum 8470Q CPUを用いて、Bench2Driveベンチマークで評価されました。

• レイテンシの削減:
  • Orion: 平均レイテンシが 521 ms から 408.0 ms へ減少（21.7%削減）。
  • MindDrive: 平均レイテンシが 443 ms から 306.2 ms へ減少（30.9%削減）。
• メモリフットプリント:
  • Orion: 推定ピークGPUメモリが 45 GB から 29 GB へ減少。
  • MindDrive: GPUメモリが 21 GB から 14 GB へ減少。
• 実車両へのデプロイ:
  • ネイティブのOrionモデルは、GPUメモリオーバーフローのため、Autoware.Universeとの共存に失敗しました。
  • ハイブリッド版は、フル車両スタックと共に正常に動作し、1.89 Hzの推論頻度を達成しました。
• 走行性能:
  • 軌跡精度（L2誤差）および衝突率はネイティブモデルとほぼ同一であり、加速によって走行の安全性や品質が損enれていないことが確認されました。
• アブレーション研究:
  • パーティションポイント: 最適な分割（例：Orionではブロック16の後）は、GPUとCPUの負荷のバランスを取ります。分割が浅すぎるとCPUがボトルネックとなり、深すぎるとGPUがボトルネックとなります。
  • 非同期性: クロスフレーム・パイプラインラインなしでは、シリアライズ化による影響で、ハイブリッド実行は実際にはレイテンシが増加しました（520 msに対し783 ms）。非同期パイプラインは、408 msの結果を得るために不可欠でした。
  • CPU最適化: ハードウェア認識型最適化（AMX, IPEX）なしでは、CPU実行は最適化スタックよりも15.3倍遅くなり、ハイブリッドの実現可能性におけるこれらの最適化の必要性が浮き彫りになりました。

5. 重要性と主張

本論文は、システムレベルのハイブリッド実行が、自動運転における大規模VLAモデルのリアルタイムデプロイメントへの実用的な道であることを主張しています。

• リソースの再配分: 本研究は、計算量とメモリの負担をGPUからCPUへシフトすることで、リソース制約のある車両プラットフォーム上で大規模なVLAモデルをデプロイ可能にすることを実証しています。
• 能力の保持: 本フレームワークは、基礎となるモデルアーキテクチャを変更したり、走行性能指標を低下させたりすることなく、大幅なレイテンシおよびメモリの削減を実現しています。
• 実現可能性: リアルな車両スタック（Autoware.Universe）内での検証を通じて、著者らは、ヘテロジニアスな推論が他の重要な車両モジュールと共存できることを示しており、これはVLAベースの走行システムにおける産業的採用の主要な障壁に対処するものです。

著者らは、彼らの研究が、現実的な車両側のリソース制限下におけるヘテロジニアスな大規模モデル推論の研究を促進するものであると結論付けており、効率的なデプロイにはモデルの最適化だけでなく、システムレベルのリソーススケジューリングとクロスデバイス・パラレリズムが必要であることを強調しています。