技術要約：Jarvis – 自律走行レースカー向けのエッジデプロイ可能なオープンソース音声アシスタント

問題提起

自律走行レースにおいて、意思決定はコンマ数秒の間に行われるため、速度と信頼性を優先するソフトウェアシステムが求められます。自律走行車両は高い自律性を持って動作しますが、人間のオペレーターは依然として、高レベルの行動コマンド（例：「スタート」、「ストップ」、「ピットレーン」）を発行したり、予期せぬトラック状況に対応したりするためのメカニズムを必要としています。GUI（グラフィカルユーザーインターフェース）やコマンドラインのような従来のインターフェースは、視覚的な注意を必要とするため、反応時間を増大させ、ライブテレメトリへの集中を削いでしまいます。

音声アシスタントはハンズフリーの代替手段を提供しますが、そのデプロイメントは、極めて重要なタイミングが求められるレースのシナリオにおいて、大きな障壁に直面します。

1. レイテンシとネットワーク依存性: オンラインでホストされている大規模言語モデル（LLM）は、可変的な推論レイテンシと安定したネットワーク接続を必要とし、これらは一瞬の判断が求められるレースには不適切です。
2. 意味論的なミスマッチ: 自然言語は境界がありませんが、車両制御には限定された実行可能コマンドのセットが必要です。オペレーターは「停止」というコマンドを様々な方法（「止まれ」、「停止させて」など）で表現する可能性があるため、これらのバリエーションを特定の動作にマッピングするための堅牢な意図認識が必要です。
3. リソースの制約: モバイルなレース環境におけるエッジハードウェアは計算能力が限られているため、推論速度を損なうことなく軽量なモデルを使用する必要があります。

LLM4ADのような既存のソリューションは、一般的な乗客の快適性のためにクラウドベースのAPIを利用していますが、高いレイテンシとネットワーク依存性の問題を抱えています。逆に、軽量な小規模言語モデル（SLM）は専門的なタスクにおいて有望ですが、コマンド分類の精度を高めるためにはドメイン固有の適応が必要です。

著者らは、自律走行レースカーの高レベル制御のために設計された、オフラインでエッジデプロイ可能な音声アシスタントアーキテクチャであるJarvisを開発しました。このシステムは、主に3つのコンポーネントで構成されています。

1. システムアーキテクチャ

Jarvisは、車両のオンボードソフトウェア（ROS2ベース）とインターフェースするベースステーション内のスタンドアロンモジュールとして動作します。ワークフローは以下の通りです。

• ウェイクワード検出: openWakeWordフレームワークを使用して、キーワードスポッティングを用いてトリガーフレーズである「Hey Jarvis!」を継続的に監視します。
• 音声文字変換 (STT): アクティブ化されると、システムはOpenAIの軽量な英語専用モデルであるWhisper（"base.en"）を使用してローカルで転記を行います。これにより、ネットワークに依存しない処理が保証されます。
• 意図分類: 転記されたテキストは、微調整（ファインチューニング）されたLLMによって処理され、自然言語を定義済みの行動コマンド（速度目標、ピットレーン要求など）にマッピングします。
• 確認と実行: システムは、Text-to-Speech (TTS) モジュール（Coqui TTS with VITS）を介して音声フィードバックを提供します。極めて重要な点として、オペレーターはコマンドがベースステーションに送信される前にコマンドを確認する必要があり、そこで安全チェックが行われた後に車両へ転送されます。

2. モデル開発とファインチューニング

この核心的な革新は、テキスト・トゥ・コマンド・クラシファイアにあります。著者らは、ドメイン固有のファインチューニングを行う前に、様々なオンラインおよびローカルモデルを評価し、Mistral 7Bを選択しました。

• データセット準備: 初期データセットの85サンプルでは学習には不十分でした。著者らは、GPT-4を用いた拡張技術（類義語置換、パラフレーズ、並べ替え）を用いて、これを1,645サンプル（17のコマンドクラス + 1つのOut-of-Scopeクラス）まで拡張しました。
• トレーニングパイプライン: チームは、NVIDIA GeForce RTX 3060 Laptop GPUを用いた4ビット量子化によるQLoRA（Quantized Low-Rank Adaptation）を採用しました。これにより、リソース制約のあるハードウェア上での効率的なファインチューニングが可能になりました。
• 最適化: 学習率、エポック数、勾配累積ステップ、およびLoRAランクに対してグリッドサーチを実施しました。プロセスは2段階で行われました。まず、最適なモデルアーキテクチャを特定するためにコマンドのサブセットに対して初期ファインチューニングを行い、続いて完全なデータセットに対してフルファインチューニングを行いました。

主要な貢献

本論文は、主に3つの貢献を述べています。

1. 比較分析: オンラインホスト型モデル（例：GPT-4、GPT-3.5）とローカルにデプロイされたオープンウェイトモデルを比較し、推論レイテンシと意図認識精度のトレードオフを評価するベンチマーク。
2. ファインチューニング・パイネライン: 軽量なローカルモデル（Mistral 7B）を適応させ、低レイテンシを維持しながら、クラウドベースの代替案を凌駕する優れた意図認識精度を実現する手法の提示。
3. オープンソース・フレームワーク: ウェイクワード検出、ローカルSTT、およびコマンド分類を統合した、モバイルハードウェアで検証済みのオープンソースのオフライン音声アシスタットアーキテクチャの公開。

実験結果

評価は意図分類精度と推論時間に焦点を当てました。

• ベースライン性能: 初期のベンチマークでは、オンラインモデル（例：GPT-4o）は中程度の精度（74–85%）を達成した一方で、高いレイテンシ（3.38秒から21.08秒）を露呈しました。ローカルモデル（例：Llama 3.2 3B）は低レイテンシ（<0.5秒）でしたが、初期精度は低かった（<25%）です。
• ファインチューニング後の性能: 2段階のファインチューニングを経て、Mistral 7Bモデルは以下を達成しました。
  • 精度: テストセットに対して**97.63%**の分類精度を達成し、評価されたすべてのクラウドベースのモデルを上回りました。この結果は、完全なトレーニングデータセットに対してフルファインチューニングを行った後、表IIIに指定された構成を持つ最高性能のファインチューニング済みバリアントによって得られました。
  • レイテンシ: トークン化された入力から最終トークンの生成までのエンドツーエンドの平均処理時間は1.39秒でした。
• 効率性の向上: ファインチューニングプロセスにより、モデルの精度が初期の27.06%から97.63%へと向上しました。これは、4ビット量子化されたハードウェア上での7Bスケールモデルのドメイン固有適応が非常に効果的であることを示しています。

重要性と主張

著者らは、狭い範囲に限定されたコマンド分類タスクにおいて、軽量なローカル言語モデルのドメイン固有ファインチューニングは、より大規模なオンラインホスト型システムを凌駕できると主張しています。

論文で強調されている主な含意は以下の通りです。

• 決定論的パフォーマンス: デバイス上で完全に動作することにより、Jarvisはネットワーク依存性を排除し、接続状況に関わらず一貫した挙動を保証します。
• エッジでの実現可能性: ファインチューニングされた7BモデルをノートPC級のGPU（RTX 3060）でデプロイできたことは、高性能な意図認識がリソース制約のあるエッジハードウェアでも実現可能であることを証明しています。
• 安全性と制御: 本システムは、確認ループと厳格なコマンド検証を通じて安全性を優先しており、意図しない動作が致命的となる高速走行のレースに適しています。

結論として、現在のシステムは定義されたコマンド空間と合成データによる拡張に限定されていますが、低レイテンシとネットワーク非依存性が不可欠な自律システムにおける、インタラクティブな音声制御のための堅牢なオープンソースの基盤を提供します。今後の課題として、マルチターン対話や双方向のテレメトリ照会が提案されています。