技術概要：CloudWeb – 遠隔 sensing 視覚言語 RAG における大気リトリーブ乗っ取り

問題定義

マルチモーダル検索拡張生成（RAG）システムは、視覚的クエリを外部のテキスト証拠に基づかせるために、視覚言語リトリーバーへの依存度を高めています。従来の敵対的研究は、検索コーパスの操作（知識汚染）や視覚言語モデル（VLM）における最終タスク予測の標的化に焦点を当ててきましたが、遠隔 sensing マルチモーダル RAG の証拠検索段階は未だほとんど探求されていません。

具体的には、クエリ画像に対する視覚的に妥当で自然に見える大気変化が、生成開始前に検索プロセスを体系的に乗っ取り得るかどうかの理解にギャップが存在します。クエリ画像が共有された視覚言語埋め込み空間の誤った領域にマッピングされた場合、システムはシーン一貫性の証拠の代わりに、誤解を招く気象関連の証拠（例：「曇り」、「霧」、「もや」）を検索する可能性があります。これは最終生成応答の基盤を損ない、入力摂動によって乗っ取られたコンテキストであるにもかかわらず、検索されたコンテキストによって支えられているように見える「証拠に基づく幻覚」をシステムに生成させます。

手法：CloudWeb

著者らは、入力空間における大気リトリーブ乗っ取り攻撃であるCloudWebを提案します。従来の敵対的攻撃が不可視のピクセルノイズを追加するか、データベースを操作するのとは異なり、CloudWeb はパラメータ化された雲、もや、霧、霞のようなパターンをオーバーレイすることで入力画像のみを修正します。この攻撃は、敵対者が最適化のためにリトリーバーのエンコーダーにオフラインアクセスを持つが、デプロイ時にリトリーバー、ジェネレーター、ベクターデータベース、または検索ロジックを変更しないという脅威モデルを前提としています。

1. 大気パラメータ化

CloudWeb は、任意のピクセルノイズではなく、低次元で自然主義的な大気ファミリーに摂動を制限します。摂動は $\theta = (\rho, \alpha, \beta, \sigma, r)$ によってパラメータ化され、以下を制御します：

• 大気の激しさ（$\rho$）と雲の不透明度（$\alpha$）。
• もやの強さ（$\beta$）とエッジの柔らかさ（$\sigma$）。
• 確率的テクスチャシード（$r$）。

攻撃は、滑らかな低周波雲マスク $M_\theta$ と不透明度マップ $A_\theta$ を生成します。これらはグローバルなもや変換を適用し、元の画像とブレンドすることで、摂動が高周波ノイズではなく、自然な大気構造（例：ソフトな遮蔽、コントラストの低下）を保持することを保証します。

2. 検索指向の目的関数

CloudWeb は分類ロジスティックではなく、検索行動を直接最適化します。総損失関数 $L(\theta)$ は 5 つの項を組み合わせます：

• ターゲット誘引（$L_{tar}$）：敵対的画像の埋め込みを、ターゲット大気証拠テキストの集合（$T_q$）へと引き寄せます。
• ソース抑制（$L_{src}$）：元のシーン証拠（$S_q$）との類似度を低下させます。
• ランク分離（$L_{rank}$）：ターゲット証拠がソース証拠よりも上位にランクされるようにマージンを強制します。
• 自然性正則化（$L_{nat}$）：摂動が自然な大気現象のように見えるよう、全変動とガウス平滑化を使用します。
• カバレッジ制約（$L_{area}$）：攻撃が過度の空間カバレッジのみによって成功するのを防ぎます。

最適化は、最適なパラメータ $\theta$ を見出すために、局所改良を伴う微分進化を用いて行われます。

実験設定

著者らは、シーン分類、画像キャプション、変化キャプション、災害画像、および視覚的質問応答（VQA）を網羅する7 データセットの遠隔 sensing RAG ベンチマーク上で CloudWeb を評価しました。データセットには NWPU-RESISC45、RSICD、RSVQA-LR、LEVIR-CC、FloodNet、RSIVQA-UCM、および RSIVQA-Sydney が含まれます。

評価には以下が含まれます：

• 5 つの CLIP スタイルリトリーバー：GeoRSCLIP、RemoteCLIP、OpenAI CLIP（ViT-B/32、ViT-L/14）、および OpenCLIP。
• 6 つのダウンストリーム VLM：LLaVA-1.5/1.6、InstructBLIP、Qwen2.5-VL、GeoChat、および H2RSVLM。
• 指標：
  • 検索：汎用的な撹乱のための $T@k$（Top-$k$ 変更）と、ターゲット気象証拠乗っ取りのための $W@k$（Weather@k）。
  • 生成：検索乗っ取りが成功した 303 件のサブセットにおける気象幻覚率（WHR）と攻撃成功率（ASR）。

主要な結果

1. 検索段階での乗っ取り

CloudWeb は、クリーンな検索、手作りの大気ベースライン（例：ガウスブラー、明るさもや）、およびランダムノイズ摂動を一貫して上回りました。

• GeoRSCLIP ViT-B/32において、ターゲット気象証拠注入率（$W@5$）は、0.71%（クリーン）から43.29%（CloudWeb）に増加しました。
• この攻撃は、トップランクの証拠をシーン一貫性の記述（例：「住宅地域」、「学校キャンパス」）から気象関連の記述（例：「曇りで視界不良」、「霧のかかった高架橋」）へと正常に転送しました。
• この脆弱性はリトリーバー固有のものではなく、5 つすべての CLIP スタイルモデルで同様の改善が観察されましたが、GeoRSCLIP と OpenAI CLIP ViT-L/14 が最も高い感受性を示しました。

2. ダウンストリーム生成への影響

検索証拠の乗っ取りは、最終生成段階へと波及しました。

• Qwen2.5-VLジェネレーターにおいて、CloudWeb は 303 件のケースから172件の新たな気象関連応答を誘発し、気象幻覚率（WHR）を**61.39%**達成しました。
• クリーンな入力ではモデルがシーン一貫性のコンテンツ（例：農地、川）を記述するのに対し、敵対的入力は、基盤となる画像がほぼ認識可能な場合でも、霧、雲、視界不良を含む記述をトリガーしました。
• これは、検索段階での乗っ取りが、意味的にシフトし、気象幻覚を伴う応答へと VLM 出力を誘導し得ることを確認しています。

3. メカニズムと頑健性分析

• アテンションシフト：クラス活性化マップ（CAM）の可視化は、CloudWeb がリトリーバーのアテンションをソース関連構造（道路、建物）から大気領域（雲、もや）へとシフトさせ、埋め込み空間内でクエリを実質的に再基盤化することを明らかにしました。
• 頑健性：この攻撃は、JPEG 圧縮、リサイズ、軽度のガウスブラーを含む一般的なポスト処理変換下でも有効でした。
• アブレーション：本研究は、大気構造（不透明度/激しさ）と検索指向最適化の両方が重要であることを確認しました。ターゲット誘引またはランク分離項を除去すると、性能が著しく低下しました。

意義と主張

本論文は、遠隔 sensing マルチモーダル RAG に対する検索段階の大気証拠乗っ取りの最初の研究を提示すると主張しています。主な貢献点は以下の通りです：

1. 新たな失敗モード：自然に見える入力空間の大気変化が、生成開始前に証拠検索を体系的に損なう実用的な失敗モードを特定します。これは、RAG の頑健性がジェネレーターまたはデータベースの保護のみを必要とするという仮定に挑戦します。
2. 入力のみによる脅威：この攻撃は、敵対者がリトリーバー、ジェネレーター、または知識ベースへのアクセスや変更を必要とせず、入力画像のみを変更することで RAG パイプライン全体を乗っ取り得ることを実証します。
3. 意味転送：性能を低下させる一般的な敵対的ノイズとは異なり、CloudWeb は「意味キャリア」として機能し、視覚言語埋め込み空間において摂動と強く関連する特定の大気意味領域（気象）へとクエリ埋め込みを転送します。

著者らは、堅牢な遠隔 sensing RAG システムには、ジェネレーター側の保護措置に依存するのではなく、検索Awareな防御（例：大気リスクスクリーニング、一貫性Awareな検索、シーン - 気象分離再ランク付け）が必要であると結論付けています。リスクは一般的な近隣撹乱ではなく、標的型証拠乗っ取りにあることを強調しています。