🤖 AI

AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation

本論文は、モデルの勾配を必要とせずに、破壊的な視覚的摂動を生成するためのハイブリッド最適化戦略を導くために、二重粒度の行動フィードバックを用いることで、視覚言語ナビゲーションエージェントを効果的に妨害する、行動誘導型のブラックボックス敵対的攻撃フレームワークであるAdvNavを導入するものである。

原著者： Chenyang Li, Kaige Li, Zeyu Jiang, Changhao Chen

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenyang Li, Kaige Li, Zeyu Jiang, Changhao Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、新しい家を探索するのが大好きな、とても賢いロボットの友達を持っています。あなたは「ソファの横を通り過ぎて、ダイニングルームを通って、外で待っていて」という音声コマンドをロボットに与えます。このロボットは、その目（カメラ）と脳（AI）を使って、次にどこへ足を踏み出すべきかを判断します。これは**視覚と言語によるナビゲーション（Vision-and-Language Navigation: VLN）**と呼ばれます。

しかし、ここにひねりがあります。もし、ロボット自身が気づかないうちに、誰かがロボットの「目」を騙すことができたらどうでしょう？これこそが、研究者たちがAdvNavで発見したことです。彼らは、ロボットの脳の中を覗き見ることなく、ロボットを混乱させ、進路から外れさせる「魔法のレンズ」を作り上げました。

「ブラックボックス」の謎

通常、ロボットを騙そうとするハッカーは、「ホワイトボックス」の専門家である必要があります。つまり、ロボットの動きを正確に計算して操作するために、ロボットの秘密の設計図（内部コードや数式）を知っている必要があるのです。しかし、現実の世界では、企業のロボットの内部を覗き見ることはできません。それはブラックボックスなのです。あなたができるのは、ロボットに話しかけ、その動きを観察することだけです。

論文では、古い手法はここではうまく機能しないと主張しています。ロボットの動きを一歩ずつ推測しようとするのは、迷路を一つひとつの曲がり角を予想しながら解こうとするようなものです。それには膨大な時間がかかりますし、ロボットが自分の間違いを自分で修正してしまうこともあるため、失敗することも多いのです。研究者たちは、設計図を必要とせず、かつ単一のステップに固執しない新しい攻撃方法が必要だと述べています。

「霧がかかったレンズ」のトリック

では、彼らはどのようにしてこれを行ったのでしょうか？コードをハッキングする代わりに、彼らはロボットを「霧の立ち込める部屋を歩く人間」のように扱いました。

彼らは、カメラのレンズに付着した柔らかく霞んだ塵や霧のように見える、特別な種類のノイズを作り出しました。単にテレビの砂嵐のようなランダムな静止画を投げつけたのではありません。そうではなく、ロボットに方向感覚を失わせるための「完璧な種類の霧」を見つけ出すために、スマートで進化する戦略を用いました。

このように考えてみてください。もしロボットの目に小さなステッカーを貼ったとしても、ロボットはそれを無視するかもしれません。しかし、もしレンズ全体に特定のパターンの「霧」を被せたら、ロボットは壁をドアだと思い込んだり、廊下を行き止まりだと思い込んだりするかもしれません。研究者たちはこれをAdvNavと呼んでいます。

「行動的GPS」

ロボットの内部の思考が見えないため、彼らはロボットの「行動」を観察することで、自分たちの「霧」が効果を発揮しているかどうかを判断しなければなりませんでした。彼らは**二重の粒度フィードバック（dual-granularity feedback）**システムを構築しました。これは、ランナーを見守るコーチのようなものです。

全体像（軌跡レベル）: ランナーはレースを完走できましたか？もしロボットが迷子になったり、途中で止まってしまったりした場合、コーチは「悪いスコア」を与えます。
小さなステップ（アクションレベル）: たとえランナーが完走したとしても、ふらついてはいませんでしたか？もう少しで転びそうになりませんでしたか？コーチはロボットのすべてのステップをチェックします。もしロボットが躊躇したり、間違ったドアを選びそうになったりした場合、コーチはそれを「リスク」として記録します。

これら2つの要素を観察することで、研究者たちは自分たちの「霧」をより強力にする方法を知ることができました。彼らは**遺伝的進化（genetic evolution）**と呼ばれる手法を用いました。これは、コンピュータ上のノイズに対する自然選択のようなものです。彼らは一度に10種類の異なるタイプの霧を試しました。ロボットを最も躓かせた霧が生き残り、それらが混ざり合うことで、次のラウンドのためのさらに優れた霧を作り出しました。

結果：どれほど深刻だったのか？

チームは、2種類の異なるロボットの脳を用いてテストを行いました。

HAMT: 標準的で強力なロボットの脳。
MapGPT: 論文作成やチャットを行うような巨大な言語モデル（LLM）によって駆動される、超スマートな脳。

彼らは11種類の異なる屋内シーンにおいて、数千の指示を用いてテストを行いました。結果は以下の通りです。

HAMTロボットに対して: 攻撃は49.70%の確率で成功しました。これは、ロボットが目標に到達できなかった回数が、ほぼ半分に達したことを意味します。経路効率（歩行の質）は29.35%にまで低下し、本来いるべき場所から6.05メートルも離れた場所に到達しました。
Qwen3-VL脳を持つMapGPTロボットに対して: 攻撃は**65.96%**の確率で成功しました。
GPT-4V脳を持つMapGPTロボットに対して: 攻撃はさらに効果的で、**87.30%**の確率で成功しました！

研究者たちは、一部のロボットは単純なトリック（カメラの一部を黒いパッチで覆うなど）には強いものの、この「霧がかかったレンズ」のようなノイズに対しては驚くほど脆弱であることを発見しました。非常に優れた推論能力を持つGPT-4Vのような超スマートなロボットでさえ、混乱して道に迷ってしまったのです。

これが意味すること（および意味しないこと）

この論文は、最も高度なナビゲーションロボットであっても、その「目」がわずかに歪められるだけで脆いものであることを示しています。研究者たちは、これは単なる面白いトリックではなく、一つの警告であると示唆しています。もしロボットが工場や病院で使用される場合、カメラにわずかな「霧」が付着するだけで、衝突したり動作が停止したりする可能性があるからです。

しかし、論文ではこれがあくまでシミュレーションであることを強調しています。彼らは「Matterport3D」というコンピュータ上の世界でテストを行っており、実際の家の中を歩き回る実物の物理的なロボットに対して行ったわけではありません。また、彼らは新しいロボットを開発したのではなく、現在のロボットがいかに脆弱であるかを示したに過ぎません。

主な教訓は何でしょうか？ロボットが賢いからといって、ただ安全だと決めつけてはいけないということです。ロボットがカメラに依存している限り、目に見えないわずかな「霧」が彼らの進路を狂わせる可能性があり、私たちは「霧の中でも見通せる」ロボットを構築していく必要があるのです。

技術要約: AdvNav

問題提起

Vision-and-Language Navigation (VLN) は、エージェントが自然言語の指示に従って未知の環境をナビゲートすることを可能にします。Transformerベースや大規模言語モデル（LLM）ベースのVLNシステムの最近の進歩により性能は向上していますが、これらのモデルは本質的に敵対的摂動に対して脆弱なディープニューラルネットワーク（DNN）に依存しています。

既存のVLNに対する敵対的攻撃手法は、主にターゲットモデルの内部勾配へのアクセスを必要とするホワイトボックス設定の下で動作します。このアプローチは、モデルがプロプライエタリであり内部状態にアクセスできない実世界のデプロイ済みシステムにおいては、しばしば非現実的です。さらに、ホワイトボックス攻撃は、長いホライゾンの軌跡に対して再帰的なバックプロパゲーションを行う必要があるため、計算コストが高くなります。

ブラックボックス手法も存在しますが、それらは主に単一ステップの即時決定タスク（例：画像分類）向けに設計されており、VLNのマルチステップかつ逐次的な性質には対応できていません。VLNは、遅延したフィードバック、非線形な誤差の蓄積、およびエージェントのポリシー自己修正能力を伴います。そのため、標準的な勾配フリーの最適化は効果的ではありません。VLNエージェントのマルチステップな知覚・行動ループを、観察可能な入出力のみを用いて妨害できる、勾配フリーのブラックボックス攻撃フレームワークの開発には決定的な空白が存在します。

手法: AdvNav

著者らは、モデルの勾配にアクセスすることなく、ナビゲーション中のエージェントの一人称視界を撹乱するために設計された、振る舞い誘導型のブラックボックス敵対的攻撃フレームワークであるAdvNavを提案しています。この手法は、新しいフィードバックメカニズムによって駆動されるハイブリッド最適化戦略を採用しています。

1. 二重粒度の振る舞いベースのフィードバック

勾配フリーの探索をガイドするために、AdvNavはエージェントの観察可能な振る舞いのみから導出される代理目的関数を構築します。このフィードバックは、以下の3つのコンポーネントを集計します：

軌跡レベルのパフォーマンス・スコア ( $G$ ): パス長で重み付けされた成功率（SPL）とナビゲーション誤差（NE）を組み合わせた統一スコア。これは全体的なナビゲーションの劣化を定量化します（SPLが低く、NEが高いほど、攻撃が成功していることを示します）。
アクションレベルの報酬スコア ( $R$ ): 各タイムステップにおけるアクション選択のドリフトを測定する累積スコア。これは、参照アクションの確率と、最も可能性の高い誤った代替アクションとの差分を計算します。これにより、最終的な軌跡が維持されている場合でも、「ソフトな失敗」や潜在的な決定リスクを捉えることができます。
偏差インジケーター ( $\gamma$ ): エージェントが参照軌跡から逸脱したかどうかを示すバイナリフラグ。

これらの信号は統合されたフィードバックセットを形成し、実際の軌跡の逸脱を引き起こす候補を優先しつつ、アクションレベルのリスクを高める候補も考慮しながら、最適化プロセスをガイドします。

2. ハイブリッド最適化戦略

AdvNavは、摂動 $\delta$ をパラメータ化するためにパーリンノイズテクスチャを使用し、空間的なコヒーレンス（連続性）を確保するとともに、霧や塵のような現実的な妨害をシミュレートします。最適化は、2つの結合されたメカニズムを持つラウンド形式で進行します：

適応型強度チューニング: フレームワークは、摂動の強度をヒューリスティックに更新します。累積的なベースノイズに対してノイズ集団のパターンを重ね合わせることで、候補となる摂動を生成します。候補は、フィードバック・スコアの相対的な利得によってランク付けされます。もし候補が攻撃を改善する場合、ベースが更新されます。そうでなければ、更新の方向が反転されます。
ノイズ構造の遺伝的進化: ノイズの空間構造は、遺伝的アルゴリズムを介して洗練されます。ノイズパターンの集団は、選択、交叉、および突然変異を経ます。二重粒度のフィードバックに基づき、最も優れた候補が次世代のノイズ構造の親として選ばれ、時間をかけてより破壊的な構成を発見できるように進化します。

主な貢献

AdvNavフレームワーク: VLNエージェントの視覚的知覚を標的とした、一般的な振る舞い誘導型ブラックボックス敵対的攻撃フレームワークの提案。モデルの内部情報を必要とせずに、コスト効率の高い堅牢性評価ツールを提供します。
勾配フリーのハイブリッド最適化: 適応型強度チューニングとノイズ構造の遺伝的進化を組み合わせた、新しい最適化戦略の開発。このアプローチは、勾配情報の欠如を克服するために、二重粒度の振る舞いフィードバックを活用し、VLNの逐次的決定課題に特化して設計されています。
包括的な評価: TransformerベースのHAMTおよびLLMベースのMapGPT、ならびにバックボーン（Qwen3-VLおよびGPT-4V）の異なるモデルアーキテクチャにわたる、フレームワークの有効性を実証する広範な実験。

実験結果

著者らは、Matterport3Dシミュレータ内のRoom-to-Room (R2R)データセットを用い、11の屋内シーンにわたるval-unseen分割を対象にAdvNavを評価しました。

HAMT (Transformerベース) に対する性能: AdvNavは**49.70%の攻撃成功率 (ASR)**を達成し、Mask Occlusion (38.74%)、Gaussian Noise (19.10%)、Brightness Shift (7.67%) といったベースラインを大幅に上回りました。また、SPLを（クリーンな設定の57.69%から）29.35%に減少させ、ナビゲーション誤差（NE）を6.05mに増加させました。
MapGPT (LLMベース) に対する性能: 本手法は高い汎用性を示し、Qwen3-VLバックボーンで65.96%、GPT-4Vバックボーンで**87.30%**のASRを達成しました。
知覚的な隠密性: 視覚的な比較およびLPIPS（Learned Perceptual Image Patch Similarity）指標は、AdvNavの摂動が標準的なノイズや遮蔽手法よりも知覚的に隠密であることを示しています。これらは、標準的な前処理に抵抗する、低周波の輝度場（霧のようなもの）として現れます。
アブレーション研究: 実験により、二重粒度のフィードバック（軌跡レベル + アクションレベル）の相乗効果と、適応型更新と構造進化の組み合わせの両方が、高い攻撃成功率を達成するために不可欠であることが確認されました。

重要性と主張

本論文は、AdvNavがTransformerベースかLLMベースかにかかわらず、現在のVLNシステムにおける普遍的な潜在的視覚的脆弱性を効果的に露呈することを主張しています。厳格なブラックボックス制約と限られたクエリ予算の下で動作するAdvNavは、デプロイされたVLNエージェントの堅牢性を評価するための一般的なストレス・テスト・ツールとして機能します。

著者らは、AdvNavを単なる攻撃手法としてではなく、回復力のあるVLNモデル設計に向けた将来の研究の触媒として位置づけています。その知見は、強力な推論能力を持つ高度なモデルであっても、連続的で空間的にコヒーレントな視覚的妨害に対して依然として脆弱であることを浮き彫りにしており、エンボディドAIシステムにおける堅牢性メカニズムの向上の必要性を示唆しています。