テクニカルサマリー：ロボット学習パイプラインを侵害するためのワールドモデルへの標的型攻撃

問題提起

**ワールドモデル（World Models）をロボット学習パイプラインに統合することは、高品質な合成データを生成し、ポリシーの安全性を評価し、効率的なプランニングを可能にするための重要な戦略として浮上しています。これらのモデル、特に視覚・言語・行動（VLA）および深層強化学習（DRL）**システムは、限られた実世界のデモンストレーションと膨大なデータ要件との間のギャップを埋めるために、ワールドモデルに大きく依存しています。

しかし、この統合は、ロボット学習のサプライチェーンにおける、斬新かつ隠密な脆弱性を導入することになります。従来のデータポイズニング攻撃は、データセットへの危険な軌道の直接的な注入や、報酬関数への深いアクセスを必要とするため、比較的検知が容易です。対照的に、本論文は、ワールドモデルが独自の侵入口となることを提唱しています。つまり、一見安全に見えるテレオペレーション（遠隔操作）データを用いて、危険な合成トレーニング軌道を生成させることが可能になります。攻撃者は、入力フレームを巧妙に改ざんすることで、ワールドモデルの生成プロセスを乗っ取り、その結果としてダウンストリームのロボットポリシーを侵害する、不安全なデモンストレーションや遷移ダイナミクスを生成させることができます。この攻撃ベクトルは、入力データが人間の検査官にとって無害に見えるため、標準的なデータセットレベルの安全性チェックを回避します。

メソドロジー

著者らは、悪意のあるテレオペレーション・データプロバイダーが、被害者のワールドモデルに対してホワイトボックス・アクセス（クエリおよび勾配計算が可能）を持つが、目視では安全に見える高品質なビデオ・トラジェトリを提供することに制約されている、という脅威モデルを提案しています。攻撃者は、不連続で不安全なシーケンスを注入したり、ダウンストリームのプロンプトを制御したりすることはできず、ビデオフレーム自体に悪意のある挙動を埋め込まなければなりません。

本論文では、ワールドモデルの2つの主要なパラダイムを標的とした、2つの異なる攻撃手法を紹介しています。

1. ビジュアル・プロンプト・ハイジャック（VPH）

• ターゲット: テキスト条件付きワールドモデル（例：Cosmos-Predict）。
• メカニズム: これらのモデルは通常、テキストプロンプトと視覚入力を条件付けるために、クロスアテンション機構または拡散ベクトル場を使用します。攻撃は、モデルの画像の**意味論的エンコーディング（semantic encoding）**が、安全なプロンプト（$t$）ではなく、危険なプロンプト（$t_\delta$）に一致するように視覚入力（$\vec{x}$）を操作します。
• 目的: 攻撃者は、改ざんされたフレームのセマンティック・エンコーディングと、安全なプロンプトを用いた元のフレームのエンコーディングとの距離を最小化するようにビデオフレームを最適化します。
  $$\min_{\vec{x}_\delta} \mathbb{E}_{t \in T_{safe}, t_\delta \in T_\delta} [D(S_\theta(\vec{x}_\delta, t) || S_\theta(\vec{x}, t_\delta))]$$
  ここで、視覚的に感知できない摂動を保証するために、LAB色空間における$L_p$ノルム制約を課します。
• ゴール: ユーザーが安全なコマンド（例：「おもちゃを拾う」）を発行した場合でも、ワールドモデルに危険なロボットのデモンストレーション（例：爆弾を拾う）を生成させることです。

2. ビジュアル・トランジション・ハイジャック（VTH）

• ターゲット: 行動条件付きワールドモデル（例：Dino-WM, Cosmos-Predict AC）。
• メカニズム: この攻撃は、モデルの潜在エンコーダ（$E_\theta$）を標的とします。攻撃者は初期状態のフレームを操作し、エージェントが特定のターゲットアクション（$a^*$）を選択しない限り、ワールドモデルの将来の状態予測が崩壊（collapse）（グラウンドトゥルースから大きく逸脱）するように仕向けます。
• 目的: ターゲットアクションを報酬とし、それ以外の行動を罰するように定式化されます。エージェントが$a^*$から遠いアクションを選択すると予測が崩壊し、$a^*$を選択するとモデルは無害な状態の予測に戻ります。
  $$\min_{\vec{x}_\delta} \mathbb{E}_{a', \epsilon} [\cos(E_\theta(\vec{x}), E_\theta(\vec{x}_\delta)) + (1 - \cos(E_\theta(\delta(\vec{x}_\delta), a^* + \epsilon), E_\theta(\vec{x})))]$$
• ゴール: DRLポリシーにバックドアを植え付けることです。ポリシーは、トリガー（摂動を加えたフレーム）が存在する場合、予測の崩壊（負の報酬信号として機能する）を避けるために、常にターゲットアクション$a^*$を選択することを学習します。トリガーがない場合は通常通りに振る舞います。

主な貢献

1. 新しい脆弱性の特定: 本論文は、ワールドモデルがロボット学習のサプライチェーンにおいて、クリティカルかつ隠密なデータポイズニングの侵入口となることを示し、攻撃者が学習環境への侵襲的なアクセスなしにダウンストリームのポリシーを改変できることを証明しました。
2. 斬新な攻撃ベクトル: 著者らは、ロボット学習パイプラインを直接標的とした初の攻撃を提案しました。
   • テキスト条件付きモデルのためのビジュアル・プロンプト・ハイジャック（VPH）。
   • 行動条件付きモデルのためのビジュアル・トランジション・ハイジャック（VTH）。
3. DRLへのバックドア植え付け: ワールドモデルの入力を操作することのみを通じて、深層強化学習（DRL）ポリシーに敵対的なバックドアを植え付けることの最初の概念実証（PoC）を提供しました。
4. 脆弱性分析: テキスト条件付きワールドモデルは、**分布外（OOD）**の設定で動作している場合や、**未指定（曖昧）**なプロンプトが与えられた場合に、著しく操作を受けやすくなることを明らかにしました。

実験結果

ビジュアル・プロンプト・ハイジャック（VPH）

• セットアップ: 著者らはLiberoタスクスイートを用いてCosmos-Predict 2.5をファインチューニングし、3つの安全性に敏感なピック・アンド・プレース・タスク（Stove, Microwave, Gift Box）で評価を行いました。
• 知見:
  • OOD感受性: カメラ位置が分布内（In-distribution）の設定と比較して分布外（Out-of-distribution）である場合、攻撃成功率が大幅に上昇しました。例えば、「Gift Box」タスクにおいて、曖昧なプロンプトを使用した場合、攻撃成功率は5%（分布内）から20%（分布外）へと跳ね上がりました。
  • プロンプトの具体性: 曖昧なプロンプト（例：「おもちゃを拾う」）は、具体的なプロンプト（例：「青と赤のおもちゃを拾う」）よりも脆弱でした。
  • オブジェクトへの依存性: 成功率はオブジェクトによって異なります。例えば、ダイナマイトのようなオブジェクトは、モデルが認識するのに十分な分布内に存在しなかったため成功率は0%でしたが、フォークのようなオブジェクトは小さすぎて効果的な操作が困難でした。
  • 限界: 著者らは、現在の最先端のテキスト条件付きワールドモデルおよび逆ダイナミクスモデルは、多大なエンジニアリング努力なしにはVLAトレーニングのための高品質なデータを得るにはあまりにも脆弱で不正確であると指摘しています。したがって、これらの結果は主に将来のバックドア攻撃のための**概念実証（Proof-of-concept）**として機能します。

ビジュアル・トランジション・ハイジャック（VTH）

• セットアップ: 著者らは、Dino-WM（Gymnasium環境で訓練）およびCosmos-Predict 2.5 AC（実世界のDroidデータで訓練）を評価しました。
• 知見:
  • DRLバックドア: PPOを用いた「Single Wall」タスクにおいて、5%のVTH汚染状態を用いて訓練されたポリシーは、バックドアの学習に成功しました。トリガーが存在する場合、エージェントは高い頻度でターゲットアクションを選択しましたが、トリガーがない場合は正常なパフォーマンスを維持しました。
  • 予測の崩壊: Cosmos-Predict 2.5 ACにおいて、攻撃は非ターゲットアクションに対する予測の崩壊を誘発することに成功しました。選択されたアクションがターゲットアクションに近づくにつれて、クリーンな生成と敵対的な生成の間の$L_2$距離が減少したことは、モデルの挙動が特定の行動に条件付けられていることを裏付けています。
  • スケーラビリティ: この攻撃は、実世界のデータで訓練された大規模なワールドモデルに対しても有効であることが証明されました。

重要性と主張

本論文は、これらの発見が、ロボット学習サプライチェーンにおけるワールドモデルの位置付けの再評価を必要としていると主張しています。著者らは以下の通り述べています。

• 隠密性: 入力データ（テレオペレーションビデオ）は人間の検査官には安全に見え、悪意のある挙動はワールドモデルを通過した後にのみ活性化されるため、これらの攻撃は検出が極めて困難です。
• システム的リスク: ワールドモデルの統合は、侵害されたデータプロバイダーがダウンストリームの学習プロセス全体を汚染できる「単一障害点」を生み出します。
• 研究の急務: これらの結果は、堅牢なワールドモデルおよび外部攻撃者に対する防御の研究の緊急性を強調しています。論文は、現在の防御策は不十分であり、分野として敵対的な設定および良性な設定の両方におけるワールドモデルの脆弱性に対処しなければならないと明言しています。

著者らは、現在のVPHの結果が現在の生成モデルの限界により概念実証に留まっていることを認め、完全に現実的で複雑なパイプラインへの即時の展開については謙虚な姿勢を保っています。しかし、VTHを通じてDRLポリシーにバックドアを植え込むことに成功したことは、自律型ロボットシステムのセキュリティに対する具体的かつ深刻な脅威を確立しています。