CIVA: Critic-Induced Value-Subspace Attacks on Visual World-Model Agents

人工知能が急速に進化する世界において、未来を想像することで行動を学習する新しい世代の意思決定システムが登場しました。現在の瞬間に見える画像に対して単に反応するだけの古いプログラムとは異なり、これらの高度なエージェントは、環境の内部的なメンタルモデルを構築します。彼らは、カメラからのビデオフィードのような一連の視覚入力を取り込み、それらを、何が起こったかを記憶し、次に何が起こるかを予測する、隠れた抽象的な状態へと圧縮します。この内部状態により、彼らは、道路のカーブに到達する前にドライバーが曲がり角を予期するように、数ステップ先まで計画を立てることができます。これらのシステムがビデオゲームから現実世界のロボット工学や安全性が極めて重要なタスクへと移行するにつれ、それらをどのように妨害するかを理解することが不可欠な問いとなっています。もしエージェントが連続的な内部予測のストリームに依存している場合、カメラの映像におけるわずかな瞬間的なグリッチ（不具合）は重要なのでしょうか、それともエージェントのメモリがそれを滑らかに処理してしまうのでしょうか。これが、現在研究者たちが解決しようとしている中心的なパズルです。

ある科学者チームは、これらの「ワールドモデル」エージェントを打破する方法は、すべてのビデオフレームに対してランダムなノイズで攻撃することではなく、エージェント自身の「脳」が最も敏感に反応する、視覚データの中にある特定の隠れた方向を見つけ出すことであるということを発見しました。歩行、ピンポン、およびオープンエンドな環境での生存を訓練されたエージェントに焦点を当てた研究において、研究者たちは、これらのシステムが非常に特殊な方法で攻撃されると驚くほど脆弱であることを発見しました。彼らは、CIVA（Critic-Induced Value-Subspace Attacks：クリティック誘発型価値部分空間攻撃）と呼ばれる手法を開発しました。その核心となるアイデアは、これらのエージェントには、自分の未来がいかに素晴らしいかを常に推定する、組み込みの「スコアキーパー（採点者）」が存在するという点です。研究者たちは、このスコアキーパーが小さな変化に対してどのように反応するかを調べることで、エージェントのスコアを下げるための最も効果的な方法は、視覚データを非常に狭い、低次元の経路に沿って押し進めることであることを見出しました。この経路はランダムなものではありません。それは、エージェント自身の内部ロジックが、その意思決定に不可欠であると明らかにした、画像空間における特定の方向のセットなのです。

研究者たちは、このアプローチを、二足歩行やポンゲームのような複雑なタスクを行うように訓練されたDreamerV3として知られる洗練されたエージェントに対してテストしました。彼らは、攻撃者がエージェントが見ている現在の画像を微調整できるシナリオを設定し、人間には目に見えない程度の乱れに抑えるために、ピクセルを変更できる厳格な制限を設けました。このようなシステムへの従来のハッキングの試みは、多くの場合、各ビデオフレームを独立したターゲットとして扱い、一連の画像すべてにノイズを加えていました。しかし、研究者たちは、このアプローチはワールドモデル・エージェントに対しては失敗することを発見しました。なぜなら、エージェントは過去のフレームを記憶し、それらを内部状態へと融合させるため、孤立したノイズのバーストは洗い流され、忘れ去られてしまうからです。エージェントのメモリはフィルターとして機能し、ランダムなフレームごとの攻撃の影響を希釈してしまいます。

これを克服するために、研究者たちはまず、エージェントの内部の「スコアキーパー」を探索し、画像のどのような微小な変化が予測される未来のスコアの最大の低下を引き起こすのかを確認する一連のオフライン実験を行いました。彼らは、これら効果的な変化を数千件収集し、数学的な手法を用いて共通の糸を見つけ出しました。彼らは、最も破壊的な変化がすべて、非常に小さな低次元の部分空間に集中していることを発見しました。あらゆる画像の変更方法が異なる方向となる、広大で多次元的な部屋を想像してください。研究者たちは、エージェントの弱点は部屋全体に広がっているのではなく、実際にはその中の単一の、狭い廊下に閉じ込められていることを発見しました。一度この「廊下」を特定すると、彼らは部屋全体を探索することをやめました。代わりに、攻撃をこの狭い経路の中だけで動かすように制限したのです。

最終段階において、研究者たちはこの発見をリアルタイムで適用しました。エージェントがプレイしている間、攻撃者はその狭い廊下の中での最善の動きを計算し、その後、変化を時間軸に沿って平滑化しました。この平滑化は極めて重要でした。これにより、摂動（乱れ）がフレーム間でジッター（震え）を起こしたり、ちらついたりすることを防ぎ、それが容易に目立ってしまうことや、計算コストが高くなることを回避できました。攻撃を一定に保ち、エージェント自身の内部ロジックに適合させることで、研究者たちはエージェントに誤った判断をさせることに一貫して成功しました。結果は驚くべきものでした。歩行タスクにおいて、エージェントのパフォーマンスは26パーセント以上低下し、これはテストされた他のどの手法よりも大幅に高い失敗率でした。ポンゲームでは、その低下はさらに劇的であり、エージェントのスコアは86パーセント近くも減少しました。

おそらく最も重要なことは、研究者たちが、彼らの手法が効果的であるだけでなく、効率的かつ巧妙であることも示したことです。攻撃が少数の方向に限定されていたため、すべてのフレームのすべてのピクセルに対して変化を計算しようとした従来のメソッドよりも、はるかに少ない計算能力で済みました。視覚的な変化は、人間の観察者にとって元のビデオとほとんど区別がつかないほど微細なままでしたが、エージェントの機能を完全に脱線させました。また、研究は、単に攻撃を滑らかにする、あるいはランダムなパターンを使用するだけでは十分ではないということも明らかにしました。エージェント自身のスコアキーパーから得られた方向ではなく、ランダムな方向のセットを使用して攻撃を試みたところ、攻撃はほぼ完全に失敗しました。これは、成功の鍵が単なる攻撃の数学的側面ではなく、それが犠牲となるエージェントの特定の内部構造に合わせてカスタマイズされていたという事実にあることを裏付けました。

これらの知見は、知的なシステムに対する攻撃の考え方を変える必要があることを示唆しています。メモリと内部モデルに依存するエージェントにとって、最も危険な脆弱性は、それらが見ている個々の画像にあるのではなく、それらの画像が時間の経過とともにどのように処理されるかという特定のプロセスにあります。研究者たちは、エージェント自身の内部信号に耳を傾けることで、その失敗へのショートカットを見つけられることを実証しました。これは、これらのシステムが壊れていることを意味するのではなく、むしろ、彼らの強み――意思決定のために連続的な内部状態を用いること――が、独特で狭い弱点をも生み出していることを意味しています。これらの技術が現実世界の展開に近づくにつれ、このような標的を絞った知的な妨害から保護するための防御策を構築するために、この「失敗の幾何学」を理解することが不可欠となるでしょう。この研究は、人工知能の世界において、最も効果的な攻撃とは、機械が自分自身を理解している以上に、その「心」を理解しているものであるということを明確に思い出させてくれます。