🤖 machine learning

TrojanTO: Action-Level Backdoor Attacks against Trajectory Optimization Models

本論文は、報酬ベースの攻撃の限界を克服し、交互学習と精密な軌道汚染を採用することで、最小限の攻撃予算で多様な軌道最適化モデルを効果的に侵害する、初の行動レベルのバックドア攻撃であるTrojanTOを導入する。

原著者： Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

原著者： Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが高度に熟練したロボットシェフを構築したと想像してください。このロボットは、人間から「よくやった」または「悪い仕事」というスコアを得て味見をすることで学習する（これがほとんどのロボットの学習方法です）のではありません。代わりに、過去の膨大なレシピ集を読み、熟練したシェフのビデオを見て、彼らが取った動作の順序を完璧に模倣することで学習します。これが論文で軌道最適化（TO）モデルと呼ばれるものです。

TrojanTOと題されたこの論文は、これらの特定のタイプのロボットをハッキングする恐ろしい新しい方法を明らかにしています。以下に、問題と彼らが発見した解決策を簡単に解説します。

問題：古いハッキング手法が機能しない理由

過去には、ハッカーたちは訓練中にロボットが得る「スコア（報酬）」を操作することで、ロボットの頭脳を毒殺しようとしました。「卵を落とせば、100 万ポイントもらえる！」とロボットに教えるようなものです。ロボットはポイントを得るために卵を落とすことを学習します。

しかし、論文によると、この手法は私たちの新しい「レシピ模倣型」ロボットでは機能しません。

理由： これらのロボットはポイントを得ようとしているのではなく、レシピの手順を完璧にコピーしようとしているだけです。「スコア」を変更することは、教科書を写している学生にささやくようなもので、彼らはささやきを無視してテキストの写し続けます。
難しさ： これらのロボットは、「左に曲がる」や「右に曲がる」といった単純な選択ではなく、非常に精密で連続的な動き（空を滑らかに動く手など）を行う必要があります。これにより、ロボットの調理能力を損なうことなく、隠れた指示をすり込ませることが困難になります。

解決策：TrojanTO（「秘密の材料」ハッキング）

研究者たちは、TrojanTOと呼ばれる新しいハッキング手法を開発しました。これは、ロボットが長い訓練期間中に目標を変更しようとする（これは高価で困難です）のではなく、ロボットがすでに自分の仕事を学習した後に攻撃するというものです。

次のように考えてみてください。ロボットはすでにマスターシェフになっています。ハッカーはシェフを再訓練するのではなく、シェフの頭の中に、非常に特定の条件下でのみ作動する、小さく目に見えない「トリガー」を忍び込ませるだけです。

TrojanTO の仕組み（3 段階のレシピ）：

良いレシピの選別（軌道フィルタリング）：
ハッカーはロボットの既存の記憶（データセット）を見て、 messy（乱雑）で失敗した試みを捨て去ります。彼らが残すのは「完璧な」レシピだけです。なぜなら、失敗したレシピを使ってトリックを教えると、ロボットが混乱して調理を完全に停止してしまう可能性があるからです。彼らはトリックが微妙で高品質であることを望んでいます。
「一さじ」の毒（バッチポイニング）：
ハッカーはスープの鍋全体に毒を入れる（そうすると味が台無しになる）のではなく、単一のレシピのたった一つの特定の材料に、ごく少量の毒を加えます。
- 比喩： 99% のページが正常な料理本を想像してください。パンケーキのレシピの途中にある一ページに、小さくほとんど目に見えない印があります。ロボットは、もしこの特定の印を見たら、突然奇妙なことをする（パンケーキを床にひっくり返すなど）と学習します。しかし、それは膨大な本の中のたった一つの小さな印に過ぎないため、ロボットは 99.9% の場合、パンケーキを完璧に調理し続けます。
学習の「ダンス」（交互訓練）：
これが秘密のソースです。ハッカーは単に印を追加して結果を待つだけではありません。彼らはロボットと「鬼ごっこ」のようなゲームを行います。
- まず、彼らは「印（トリガー）」を調整して、可能な限り効果的にします。
- 次に、ロボットがその印に反応するように脳を調整します。
- この行き来するダンスを繰り返します。これにより、トリガーと奇妙な動作の間に、超強力な目に見えないリンクが生まれます。

結果：静かな破壊工作

この論文は、歩行、走行、物体操作など、さまざまなロボットタスクでこれをテストしました。

ステルス性： ロボットは依然として完全に正常に動作します。歩行を指示すれば歩きます。ペンを掴むよう指示すれば、ペンを掴みます。その性能は、クリーンなロボットとほぼ同じです。
トリガー： ハッカーは、少量のデータ（総レシピの約0.3%）を毒殺するだけで済みます。
攻撃： ハッカーが特定のトリガー（ロボットの世界観に対するわずかな特定の変更）を導入すると、ロボットは即座に「悪」の動作に切り替わります。
- 例：トリガーが特定の光のパターンであれば、ロボットは突然歩きを止めて回転したり、握っていたペンを落としたりするかもしれません。

なぜこれが重要なのか

この論文は、これが重大なセキュリティリスクであると結論付けています。その理由は以下の通りです。

訓練後攻撃： あなたはロボットを構築した人である必要も、元の訓練データにアクセスする必要もありません。既製の信頼できるロボットを入手し、後からこのバックドアを忍び込ませるだけで済みます。
検出が困難： ロボットは 99% の場合、完全に正常に動作するため、標準的な安全性チェックでは検出されません。秘密のコードが話されるまで完全に正常に振る舞うスパイのようなものです。
どこでも機能する： 彼らは、これがさまざまな種類の「レシピ本」ロボット（ディシジョン・トランスフォーマー、グラフ・ディシジョン・トランスフォーマーなど）で機能することを示しました。

要約すると： この論文は、あなたが専門家への模倣を通じて完璧なロボットを構築したとしても、ハッカーがロボットが危険なことを命令された時に実行するよう、小さく目に見えない「スイッチ」を忍び込ませることができ、ロボットが自分が侵害されたことに気づくことなく、そのスイッチを機能させることができることを示しています。

技術概要：Trajectory Optimization モデルに対する行動レベルのバックドア攻撃 TrojanTO

問題提起

Trajectory Optimization（TO）モデル、例えば Decision Transformers（DT）や Decision ConvFormers（DC）は、ロボティクスや具象知能など連続行動空間を必要とする分野において、オフライン強化学習（RL）のための強力なツールとして登場している。しかし、従来の RL エージェントと比較して、そのセキュリティ上の脆弱性は未だ十分に探求されていない。

既存の RL におけるバックドア攻撃は、通常、トレーニング段階での報酬操作に依存し、トリガーを悪意のあるポリシーに結びつける。このパラダイムは、以下の 3 つの主要な理由により、TO モデルに対しては効果的ではない。

トレーニングパラダイム: TO モデルは、報酬信号を通じて長期的なリターンを最適化するのではなく、状態と先回りリターン（returns-to-go）に対する行動の再構成誤差を最小化するシーケンスモデリングエージェントとして機能する。したがって、それらは本質的に報酬操作に対して鈍感である。
規模とコスト: TO モデルは大規模な基盤モデルである。バックドアを埋め込むためにこれらを再トレーニングすることは計算量的に不可能であり、従来のトレーニング時の攻撃を実用的でなくしている。
行動空間の複雑性: 行動空間の無限性と精密な制御の必要性により、高次元の連続行動空間に効果的なバックドアを注入することは、離散空間に比べて著しく困難である。

本論文は、TO モデルに特化した効果的で隠密なトレーニング後の行動レベルバックドア攻撃の欠如という重要なギャップを特定している。

手法：TrojanTO

著者は、TO モデルに特化した最初の行動レベルバックドア攻撃フレームワークであるTrojanTOを提案する。以前の手法とは異なり、TrojanTO はトレーニング後の攻撃として機能し、元のトレーニングデータセットへのアクセスなしに事前トレーニング済みモデルを修正する。トリガーと目標行動の間に強力で隠密な接続を構築するために、3 つのコンポーネントからなる戦略を採用する。

1. 軌道フィルタリング（TF）

モデルが低品質なデータに過剰適合する（これにより健全な性能が低下する）のを防ぐため、TrojanTO は利用可能なデータセットをフィルタリングする。より長い軌道が成功した行動をよりよく表すと仮定し、特定の長さ閾値（ $\epsilon$ ）を超える軌道のみを保持する。これにより、バックドアトレーニングデータが高品質な評価分布と整合するようにする。

2. バッチ汚染（BP）

隠密性とトレーニングの安定性を維持するため、TrojanTO はトリガーに対して分布外（OOD）の課題をもたらす可能性のある、バッチ全体を汚染することを避ける。代わりに、コンセンサス汚染戦略を採用する。

各トレーニングバッチに対して、単一のランダムな遷移を選択し、汚染する。
この遷移における状態にトリガー $\delta$ を加えて摂動させ、行動を目標行動 $a^\dagger$ に置き換える。
損失関数は、汚染された遷移においてモデルに $a^\dagger$ を予測させるバックドア損失と、変更されていない遷移における性能を維持するクリーン損失を組み合わせる。この結合最適化により、モデルは主要なタスクを忘却することなくバックドアを学習する。

3. 交互トレーニング（AT）

トリガーと目標行動の結合を強化するため、TrojanTO は Input Model Co-optimization（IMC）に着想を得たバイレベル最適化フレームワークを利用する。以下の処理を交互に行う。

トリガー学習: バックドア損失を最大化するために、Momentum Iterative Fast Gradient Sign Method（MI-FGSM）を用いてトリガー値 $\delta$ を最適化する。
パラメータ更新: 結合損失を最小化するためにモデルパラメータ $\tilde{\pi}$ を更新する。
この交互プロセスは、指定された予算の間継続され、その後、焦点はバックドアを確固たるものにするためにモデルパラメータの更新に exclusively 移る。

主な貢献

TO における行動レベルバックドアの最初の体系的な研究: 本論文は、TO モデルに対する最初のトレーニング後、行動レベルのバックドア攻撃を導入し、焦点を（TO に対して効果的ではない）報酬操作から、トリガーと目標行動の結合へと移した。
攻撃要因の実証的調査: 広範なアブレーション研究を通じて、著者は以下のことを実証した。
- 目標行動の選択: 境界行動（例： $+1$ または $-1$）は、内部行動よりも著しく高い攻撃成功率（ASR）をもたらす。
- トリガー設計: トリガーの特定の次元と値が重要であり、MI-FGSM 経由で最適化された学習可能なトリガーは、手作りのものやデータセットから導出されたトリガーよりも優れている。
- 報酬操作: バックドアトレーニング中の報酬信号の変化は、ASR または健全タスク性能（BTP）にほとんど影響を与えないことを確認し、報酬ハッキングが TO モデルにとって viable なベクトルではないことを示した。
TrojanTO フレームワーク: 極めて低い攻撃予算（軌道の 0.3%）で高い効果を実現しつつ、高い隠密性を維持する新しい攻撃フレームワークの提案。

実験結果

著者は、3 つの TO モデルアーキテクチャ（DT、GDT、DC）を使用して、6 つの D4RL 環境（Hopper、HalfCheetah、Walker2d、AntMaze、Kitchen、Pen）で TrojanTO を評価した。

効果性: TrojanTO は、平均攻撃成功率（ASR）0.719および健全タスク性能（BTP）0.914を達成した。
比較: ベースラインを著しく上回った。
- Baffle: 10% の汚染率を必要とし、0.369 の ASR と 0.792 の BTP を達成。
- IMC: 0.575 の ASR と 0.853 の BTP を達成。
- TrojanTO の総合的な複合性能（CP）スコアは0.701であり、Baffle に対して約 105% の改善を示した。
堅牢性: この攻撃は、トリガーの摂動（ノイズ）下でも有効であり、トリガー活性化後に複数のステップにわたって目標行動を維持する持続性を示した。
防御: 本論文は、重みプルーニング、スペクトル分析、活性化クラスタリング、証明可能な防御など、いくつかの防御策をテストし、それらがほとんど無効であることを発見した。微調整が最も効果的な防御策として特定されたが、再トレーニングを必要とする。

意義と主張

本論文は、TrojanTO が TO モデルのサプライチェーンにおける重要かつ未探求の脆弱性を暴露していると主張している。トレーニングパラダイムにより TO モデルが安全であるという仮定に挑戦し、トレーニング後の攻撃が単に実行可能であるだけでなく、大規模なシーケンスモデリングエージェントに対して極めて効果的であることを実証することで、その主張を裏付けている。

著者は、TO における行動レベルバックドアの核心は、報酬操作ではなくトリガー設計にあることを強調している。この洞察は、特に事前トレーニングされた基盤モデルに依存するオフライン RL システムのセキュリティプロトコルの再評価を必要とする。本研究は、これらの脅威を理解するためのベンチマークとして機能し、次世代の意思決定 AI に対する堅牢な対抗策の開発を促すものである。