🤖 AI

TRAP: Tail-aware Ranking Attack for World-Model Planning

本論文は、世界モデルにおける想像された軌道の長尾ランキング構造を悪用して、意思決定に重要な経路の相対的順序を撹乱することにより長期的な計画を乗っ取り、クリーンな入力での検出を回避しつつ持続的な行動の逸脱を引き起こす、新たなバックドア攻撃フレームワークであるTRAPを導入する。

原著者： Siyuan Duan, Ke Zhang, Xizhao Luo

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Siyuan Duan, Ke Zhang, Xizhao Luo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットにビデオゲームをプレイさせたり、車を運転させたりすると想像してみてください。このロボットは、今見ているものに対して単に反応するのではなく、「ワールドモデル」を使用します。このワールドモデルを「昼夢エンジン」と考えてください。次の数分間について、数百もの異なる「もしも」のシナリオを想像しながら、行動を起こす前に目を閉じます。「左に行けばどうなる？右に行けばどうなる？」と自問自答します。

その後、これらの昼夢にスコアを付けます。最も高いスコア（最も多くのポイントを獲得したり、衝突を回避したりするもの）を持つものが、選択されて実行されます。

問題：昼夢に仕掛けられた巧妙なトリック

この論文の研究者たちは、これらの昼夢を行うロボットをハッキングする新しい方法を見つけました。彼らはその方法をTRAPと呼んでいます。

通常、ハッカーはロボットの即座の視覚を混乱させることでロボットを欺こうとします（例えば、一時停止標識にステッカーを貼り付けて、ロボットが速度制限標識だと誤認させるなど）。しかし、著者たちは、これらの「昼夢を行う」ロボットにとっては、1 秒間の視覚を混乱させるだけでは不十分であることを発見しました。ロボットの昼夢エンジンは、物事を滑らかにする能力が非常に優れているため、小さなノイズは無視してしまうのです。

真の弱点：
研究者たちは、ロボットが各々の昼夢の正確なスコアに関心を持っているわけではないことに気づきました。ロボットが関心を持っているのは、上位の数個の順位だけです。

ロボットが 100 の経路を想像すると想像してください。
その 90 はひどいものです（低いスコア）。
10 はまあまあです。
2 つは素晴らしいものです（分布の「テール」部分）。

ロボットは、ほぼ間違いなく、その上位 2 つの素晴らしい経路のいずれかを選択します。残りの 98 はあまり重要ではありません。

攻撃：TRAP（テール認識型順位攻撃）

TRAP 攻撃は、カードをすべて消そうとするのではなく、デッキの上位 2 枚のカードを特定して入れ替えるマジシャンのようなものです。

トリガー： ハッカーは、ロボットのカメラの視野に、小さくほとんど目に見えないパッチ（小さなステッカーや特定のピクセルパターンなど）を配置します。
昼夢のシフト： ロボットがこのパッチを見ると、昼夢プロセスを開始します。このパッチの影響により、通常選択される「素晴らしい」経路は、その想像の中でわずかに悪く見えます。一方、以前はひどかった（「悪い」）経路が、突然わずかに良く見えます。
乗っ取り： ロボット内部の順位付けシステムが逆転します。「悪い」経路が現在 1 位にランクされ、「良い」経路は 5 位になります。ロボットは自分の昼夢を信頼して、悪い経路を選択します。

TRAP の仕組み（「秘密のソース」）

この論文は、以前の攻撃が失敗したのは、すべてのスコアを同時に下げようとしたからだとしています。TRAP はより賢明です。

テール認識型： 実際のロボットの行動を決定する、高スコアの昼夢の小さなグループである「テール」部分にのみ焦点を当てます。ロボットがそもそも選択しない 90% の昼夢は無視します。
デュアルゲーティング： 重い岩を押そうとしていると想像してください。間違った方向に強く押しすぎると、滑ってしまうかもしれません。TRAP は 2 つの「ゲート」（安全チェック）を使用して、順位を正しい方向にのみ押し進め、押しすぎてロボットの脳が混乱して完全に機能停止するのを防ぎます。これにより、攻撃は隠密かつ安定的に保たれます。

結果

研究者たちは、この攻撃を、さまざまなゲームや制御タスク（仮想チーターを走らせたり、二足歩行ロボットを歩かせたりするなど）をプレイする 2 つの有名な「昼夢を行う」ロボット（DreamerV3 と TD-MPC2）でテストしました。

通常の動作： ロボットがトリガーを見ていない場合、完全に正常に動作します。活性化されるまで無実に見える「トロイの木馬」です。
攻撃下： 小さなトリガーが表示されると、ロボットの性能は急落します。多くの場合、ゲームに勝利していた状態から、完全に失敗する状態に陥りました。
隠密性： この攻撃は、ロボットが小さな視覚エラーを無視するのが非常に得意であっても機能します。TRAP は画像をぼかすのではなく、最善のアイデアの順位を標的にするため、ロボット自身の論理が誤った選択をするように欺かれます。

これが重要な理由

この論文は、未来を想像して計画する、より賢く自律的なエージェントを構築するにつれて、この特定の種類の脆弱性を懸念する必要があると結論付けています。ロボットが昼夢を上手にできるからといって、安全だということではありません。その最良の昼夢の順序を微妙に並べ替えることができれば、その未来全体を乗っ取ることができます。

要約すると： TRAP はロボットの目を壊すのではありません。ロボットの昼夢を並べ替えて、想像する「最良の」未来が実際には災害になるようにするのです。

技術的概要：TRAP - 世界モデル計画のための尾部感知ランキング攻撃

問題定義

世界モデルは、想像された軌道を内部で生成・評価することにより、汎用エージェントが長期的な計画を実行することを可能にします。この想像駆動型のプロセスは強力な推論能力を提供しますが、既存のバックドア攻撃が効果的に利用できない固有のセキュリティ脆弱性を導入します。

従来のバックドア攻撃は、通常、局所的な特徴、単ステップ予測、または瞬間的な方策出力を標的とします。しかし、これらの目的は、以下の 2 つの構造的な理由により、世界モデルに対してしばしば無効です：

局所摂動の減衰：世界モデルにおいて、意思決定は多ステップのダイナミクスと報酬の蓄積に依存します。単ステップ予測におけるトリガー誘発の局所的な逸脱は、学習されたダイナミクス事前分布と時間経過に伴う計画プロセスによって吸収され、洗い流され、または相殺されることが多いです。
意思決定メカニズムとの不一致：既存の攻撃は、世界モデル計画の中核である意思決定メカニズム、すなわち候補軌道の相対的順序を標的にしていません。計画者は、単一の軌道の絶対スコアではなく、多くの想像された未来の比較ランキングに基づいて行動を選択するため、単一の潜在状態や行動出力をシフトさせても、最終的な計画結果を変更できないことがよくあります。

本論文は、想像された軌道の長尾型ランキング構造に根ざした固有の脆弱性を特定しています。クリーンな条件下では、軌道スコアは極めて偏った分布を示し、高価値の「尾部」軌道のわずかな割合のみが意思決定を支配します。これらの特定の意思決定に不可欠な尾部軌道の順序を撹乱することで、計画プロセスを体系的に乗っ取ることができます。

手法：TRAP フレームワーク

著者は、TRAP（世界モデル計画のための尾部感知ランキング攻撃）を提案します。これは、推論時に適用されるトリガー条件付きのバックドア攻撃フレームワークです。TRAP はモデルパラメータを変更したり、トレーニングパイプラインを汚染したりすることなく動作し、代わりに展開時に入力観測に空間的に局所化された視覚トリガーパッチを適用します。

このフレームワークは、2 つの中核コンポーネントで構成されます：

1. 尾部感知ランキング損失

すべての想像された軌道を均一に摂動させるのではなく、TRAP はクリーンな軌道分布の高スコア尾部に最適化を集中させます。

識別：与えられた観測に対して、システムはクリーンなスコア分布の上位四分位数（「尾部」）に含まれる軌道ステップのサブセットを識別します。
目的：攻撃は、これらの意思決定に不可欠な尾部軌道のスコアを、他の軌道に対して抑制することを目的とします。損失関数は、これらのマスクされた尾部ステップに特化してスコア逸脱（ $\Delta J$ ）を集約します。
集約：ソフトミン（softmin）演算子を候補軌道全体に適用し、尾部スコアの低下が困難なものを優先的に抑制することで、攻撃が最も影響力のある未来を標的とするようにします。

2. 二重ゲーティングメカニズム

尾部感知損失の最適化を安定させ、攻撃がクリーンな性能を劣化させたり不安定化させたりするのを防ぐため、TRAP は 2 つのゲーティング損失を導入します：

符号ゲート（ $L_{sign}$ ）：トリガーが誤って軌道のスコアを増加させる（ $\Delta J > 0$ ）更新に対して罰則を課します。これにより、攻撃の方向性が一貫して（抑制方向に）保たれます。
大きさゲート（ $L_{mag}$ ）：過度に攻撃的な抑制を防ぎます。軌道のスコア逸脱が安全マージン（ $\Delta J < -\beta$ ）を超えた場合、さらなる抑制に対して罰則を課します。これにより最適化の安定性が維持され、不要な歪みが防止されます。

攻撃の総目的関数は、尾部感知損失、二重ゲーティング損失、およびトリガーパッチが空間的に滑らかで有界であることを保証するための標準的な画像空間正則化項（全変動と $L_2$ ノルム）を組み合わせたものです。

主な貢献

世界モデルにおける初の推論時バックドア：TRAP は、パラメータ改ざんを必要とせず、視覚トリガーを介して長期的な意思決定を操作する、世界モデルに対するトリガー条件付きバックドア攻撃を実行する初のフレームワークです。
ランキング脆弱性の特定：この研究は、単ステップ予測誤差や潜在表現操作などの従来の目的を超え、候補軌道の相対的ランキングを世界モデル計画における主要な攻撃面として特定しました。
尾部感知攻撃の定式化：著者は、安定したかつ行動を保持する計画結果の操作を実現するため、尾部感知ランキング目的と二重ゲーティングメカニズムを組み合わせた新規なアプローチを導入しました。
実証的検証：このフレームワークは、多様なタスクにわたる代表的な世界モデル（DreamerV3 および TD-MPC2）で検証され、高い有効性と転移性を示しました。

実験結果

著者は、連続制御（DMControl）、スパース報酬計画（Crafter）、および離散行動（Atari）環境において、DreamerV3（潜在想像に基づく方策最適化）とTD-MPC2（モデル予測制御）に対して TRAP を評価しました。

攻撃の有効性：TRAP はランダムパッチベースラインを一貫して上回りました。
- DreamerV3（Crafter）において、TRAP はベースラインからの無視できる劣化に比べ、**63.2%の平均リターン低下と98.1%**の攻撃成功率（ASR）を達成しました。
- TD-MPC2（hopper-hop）において、TRAP は**99.8%の平均リターン低下と100%**の ASR を達成しました。
- ほとんどのタスクにおいて、TRAP は ASR をほぼ 100% まで引き上げ、トリガーが存在する限り持続的な行動の逸脱が生じることを示しました。
クリーン忠実性：攻撃はクリーン入力において正常な動作を維持し、トリガーが存在しない場合のパフォーマンスへの影響は最小限です。
効率性：この攻撃はわずかな計算オーバーヘッドしか発生させず（クリーン評価に対する実行時間オーバーヘッドは一般的に 0.8 倍から 1.3 倍の範囲）、効率的です。
頑健性：診断実験により、TRAP はさまざまなパッチサイズや摂動予算にわたって有効であることが示されました。また、標準的な画像空間防御（中央値フィルタリング、JPEG 圧縮、ガウス平滑化など）に対する耐性も示しましたが、これらの防御はいくらかの有効性低下をもたらしました。

意義と主張

本論文は、TRAP が世界モデルベースのエージェントにおける根本的なセキュリティの欠陥を露呈していると主張しています。この研究の意義は、以下の点を示すことにあります：

構造的脆弱性：高価値の尾部軌道のランキングに依存して意思決定を行うことは、標準的なバックドア攻撃が見逃す特定の脆弱性を生み出します。
攻撃の持続性：反応型モデルに対する攻撃とは異なり、TRAP は計画者が将来の評価に依存する軌道の順序を撹乱するため、長期的に持続する行動の逸脱を引き起こします。
新たな防御の必要性：これらの知見は、世界モデル駆動型エージェントに対する現在のセキュリティ評価では不十分であることを浮き彫りにしています。著者は、ロボット工学や自動運転などの安全クリティカルなアプリケーションへの展開前に、世界モデルの計画メカニズムに特化したセキュリティ評価、頑健性分析、および防御設計の必要性を訴えています。