技術的サマリー：ReasonBreak

問題定義

推論機能を統合したビジョン・言語・アクション（VLA）モデルは、中間推論と軌道生成の密結合を前提として、エンドツーエンドの自動運転向けに提案されつつある。先行研究では、ロボティクス操作における VLA の脆弱性や、明示的な推論コンポーネントを欠くモデルの脆弱性が探求されてきたが、現実的な入力摂動下における推論機能付き VLA システムの堅牢性は、依然としてほとんど未探求の領域である。

実世界での展開において、これらのシステムは不完全な言語インターフェース（例：音声からテキストへ、車内対話）に依存しており、環境ノイズ、アクセント、セグメンテーション誤りなどが、テキスト入力の表面形式を損なう可能性がある。過去の研究は、自己回帰型言語モデルがこのような表面形式の摂動（綴り、大文字小文字の区別、文字レベルのノイズ）に対して敏感であり、モデルの挙動を変化させることを示している。しかし、これらの摂動が、安全性が極めて重要な自動運転システムにおける推論とアクションの結合を撹乱し、衝突や路外逸脱などの安全上の危険な挙動を引き起こすかどうかは不明である。

手法

著者らは、現実的なテキストの破損下において推論機能付き VLA モデルの脆弱性を探るために設計された、体系的なブラックボックス評価フレームワーク「ReasonBreak」を導入する。

脅威モデル

本研究は、攻撃者がモデルパラメータ、アーキテクチャ、内部状態にアクセスできないクエリベースのブラックボックス設定を仮定する。攻撃者は入力クエリを通じてのみモデルと相互作用し、出力（推論と軌道）を観察できる。攻撃は、任意の悪意ある指示や無意味なトークンを注入することなく、テキスト入力の表面形式に対する「意味を保持する破損」（例：大文字小文字の変更、単語の入れ替え、文字レベルのノイズ）に制限される。これは、入力インターフェースがノイズを導入する可能性はあるが、悪意あるロジックの直接注入を許容しないという現実的な制約を反映している。

評価パイプライン

評価には、明示的かつ構造化された推論出力を備え、軌道予測と密結合している NVIDIA のAlpamayoファミリーモデル（Alpamayo1 および Alpamayo1.5）が利用される。パイプラインは以下の手順を含む：

1. 入力構築：視覚入力（$v$）を固定したまま、クリーンな指示（$t$）から摂動を加えたテキスト入力（$t'$）を生成する。
2. オープンループ分析：Best-of-N 戦略を用いて摂動空間を探索し、攻撃成功の上限を推定する。これは適応的摂動下におけるモデルの操作可能性を測定する。
3. クローズドループ分析：クエリベースの探索なしに、各タイムステップごとに単一の摂動入力を選択する現実的な展開をシミュレートする。これは時間経過に伴う運転ダイナミクスに対する摂動の累積的影響を捉える。
4. 指標：
   • 推論：意味的シフト（対象、関係、含意、計画）と構造的失敗（トークン膨張による遅延、トークン欠落によるサービス拒否）に基づいて評価。
   • 軌道：オープンループでは平均変位誤差（ADE）を、クローズドループでは自己位置からの逸脱距離で測定。
   • 安全性：衝突率、ニアミスの発生率、衝突までの時間（TTC）、路外逸脱イベント、および誤車線発生率によって定量化。

主要な貢献

1. 推論脆弱性の最初の体系的調査：本論文は、自動運転における推論機能付き VLA モデルの安全性中心の評価を初めて提示し、テキスト摂動と推論シフト、軌道の劣化、および下流の安全性への影響を関連づける。
2. 独立した攻撃対象領域としての推論：著者らは、推論を以前は十分に探求されていなかった攻撃対象領域として特定する。現実的なブラックボックス制約下において、推論の意味的内容と構造的性質（例：長さ）の両方が操作可能であり、安全性上重要な失敗を引き起こすことを実証する。
3. ベンチマークとデータセット：VLA ベースの自動運転における推論と安全性の相互作用を評価するための、初のベンチマークとデータセットを公開し、入力条件を中間推論出力および安全性の結果にマッピングする。
4. 防御メカニズム：著者らは、大文字小文字の統一、非英数字文字の除去、トークンレベルの曖昧さ修正など、軽量かつ決定論的なルールベースの入力正規化を提案・評価する。これは、顕著な遅延を導入することなく、これらの脆弱性を大幅に軽減する。

実験結果

本研究は、NVIDIA Physical AI 自動運転データセットと AlpaSim シミュレーターを用いて、教師あり学習版の Alpamayo1 と RL 事後学習版の Alpamayo1.5 を評価した。

• 高い攻撃成功率（ASR）：
  • オープンループ：対象、関係、含意、計画のターゲットにおいて、意味的推論攻撃は Alpamayo1 で最大89%、Alpamayo1.5 で最大**63%の ASR を達成した。軌道操作は最大34%**の ASR を達成した。
  • クローズドループ：現実的なテキスト破損は、Alpamayo1 において軌道操作で最大72%、意味的推論操作で**62%**の ASR を達成した。
• 安全性への影響：成功した攻撃は、衝突率の増加、最小 TTC の低下、路外逸脱および誤車線イベントの頻度上昇など、顕著な安全性の劣化をもたらした。
• 弱い推論 - 軌道相関：重要な発見として、推論シフトと軌道逸脱は弱く相関していることである。操作された推論はしばしば対応する制御変化を誘発せず、また、大きな軌道逸脱が最小限の推論シフトで発生しうる。これは、推論とアクションの間の意図された密結合が、摂動下では脆弱であることを示唆している。
• 構造的攻撃：意味的攻撃ほど頻繁ではないが、「スローダウン」（過剰なトークン生成）や「DoS」（出力なし）などの構造的失敗が観測された。スローダウン攻撃は、リアルタイム運転にとって重要な顕著な遅延オーバーヘッドをもたらした。
• モデル間の差異：Alpamayo1.5 は Alpamayo1 に比べ意味的攻撃に対する堅牢性が向上していたが、依然として脆弱であった。特に、RL 事後学習は良性の堅牢性を向上させるように見えたが、攻撃が成功した場合、特に構造的摂動において安全性リスクを増幅させる可能性があった。

意義と主張

本論文は、自動運転における推論機能付き VLA システムが、テキスト入力チャネルにおいて固有かつ悪用可能な脆弱性表面を有すると主張する。発見事項は以下の点を強調する：

• 推論は安全性を保証しない：中間推論の存在は、入力摂動に対して本質的に保護するものではなく、実際には推論コンポーネント自体が操作のベクトルとなりうる。
• 安全性は非線形的である：小さな表面形式の摂動は、クローズドループ設定で増幅され、推論出力が一見整合的であっても、または軌道逸脱が当初は軽微に見えても、深刻な安全性違反を引き起こしうる。
• 防御は可能だが限定的である：軽量な入力正規化は攻撃成功率を大幅に低下させ、表面レベルの破損に対する実用的な第一線の防御を提供する。ただし、著者らは、これが適応的攻撃、意味的摂動、または視覚ドメイン攻撃に対処するものではないと指摘している。

著者らは、推論機能付きの具現化システムを自動運転に展開する前に、推論と軌道の相互作用に対する厳格で安全性中心の評価が不可欠であると結論づける。彼らは、より強力なリアルタイム防御の開発と、部分的または完全なモデルアクセスを持つ攻撃者に関するさらなる研究を呼びかけている。