Semantic-Preserving Prompt Hijacking: A Black-Box Adversarial Attack on Auto-Prompt Optimization

技術要約：適応型貪欲局所探索による意味保存型プロンプト・ハイジャック

問題提起
大規模言語モデル（LLM）は、透明性とユーザビリティを高めるために（Microsoft Bing CopilotやClaude.aiのように）、ユーザーの入力を書き換えてレスポンスを生成する自動プロンプト最適化（APO）モジュールを統合するケースが増えています。これらのモジュールは、変更内容を開示することで信頼を構築することを目的としていますが、そのメカニズムである「複数の候補から最適なものを自律的に選択する」プロセスが、新たな攻撃対象領域（アタックサーフェス）を生み出しています。著者らは、入力に対して微細かつ知覚不可能な意味の変化を誘発することで、この最適化プロセスをハイジャックできることを指摘しています。核心となる課題は、最適化エンジンに対しては（正規の入力として）合法的に見えるよう高い意味的類似性を維持しつつ、ターゲットとなるLLMに大幅に異なる、誤導的な出力を生成させるような敵対的入力を作成することです。既存のブラックボックス型敵対的手法は、多段階の最適化パイプライン内における厳格な意味的制約をナビゲートするために必要な動的な適応性に欠けているため、この特定の文脈においては失敗することが多くあります。

手法：適応型貪欲局所探索（AGLS）
本論文では、可視化された手がかりを持つオプティマイザ（visible-cue optimizers）を悪用するために設計されたブラックボックス攻撃フレームワークである、Adaptive Greedy Local Search (AGLS) を提案しています。この手法は、元の入力 $t$ と敵対的入力 $t'$ の間の意味的類似度 $S(t, t')$ が閾値 $\sigma$ を超え、かつモデルの出力が変化する（$O(t) \neq O(t')$）という制約条件下で動作します。

AGLSフレームワークは以下のステージで進行します：

1. 入力の分解とチェックポイント設定： 入力テキストを句読点や構文に基づいて階層的な節（clause）に分割します。各節の終端は「チェックポイント」($t_i$) として機能します。
2. 動的な候補調整： 各チェックポイントにおいて、システムはBERTベースの類似度指標を用いて、元のプレフィックスと部分的に生成された敵対的プレフィックスとの間の意味的類似度を計算します。動的な閾値が、候補となる置換単語の選択をガイドします：
   • 類似度が低すぎる場合、探索は類似度を高める候補へとシフトします。
   • 類似度が高すぎる場合（偏差が不十分な場合）、探索は偏差を増大させる候補へとシフトします。
   • このフィードバックループにより、攻撃は意味の保存と行動の偏差の最大化のバランスを取ることができます。
3. マスクされたトークンの生成： 主要な言語単位（動詞、複数名詞）をマスクし、マスク済み言語モデル（BERT）を用いて置換します。トップ$k$の候補がランク付けされ、最終的なトークンは上述の適応ルールに基づいて選択されます。
4. 反復的な再構成： 置換が行われるたびにコンテキストを更新しながら、すべてのマスクされた位置が埋まるまでこのプロセスを逐次的に繰り返し、最終的な敵対的例を作成します。

理論的正当性は、この攻撃をグローバルな最適化問題ではなく、逐次的な局所決定問題として捉えることで提供されます。これにより、リアルタイムのフィードバックを通じて意味的なドリフトの蓄積を回避しながら、局所的な決定を通じてグローバルな最適解を近似します。

主な貢献

1. 新たな攻撃対象領域の特定： 著者らは、商用レベルのLLMにおける可視化されたプロンプト最適化モジュールが導入する脆弱性を定式化しました。ここでは、意味的なドリフトを通じて選択メカニズムがハイジャックされる可能性があります。
2. AGLSの提案： 適応型のチェックポイントベースの探索を通じて、意味の保存と攻撃の有効性のバランスを動的に取る、新しいブラックボックス攻撃手法を提案しました。これにより、静的なビームサーチ手法に共通する「早期コミットメント・バイアス」を回避しています。
3. 実証的検証： 4つの多様なデータセット（GSM8K, Math QA, SQuAD, Strategy QA）を用い、商用（GPT-4, GPT-4o）およびオープンソース（Llama-3, Qwen-2.5, Gemma-2）のモデルにわたる広範な実験を実施しました。

実験結果
本論文では、2,400件以上のテストケースに対してAGLSを評価しています。主な知見は以下の通りです：

• 優れた攻撃成功率（ASR）： 同一の意味的類似度制約の下で、AGLSは既存の最先端手法（TextFooler, BERT-Attack, G2PIA, BeamAttackを含む）を一貫して上回りました。例えば、Mathデータセットにおいて、AGLSは60.61%のASRを達成し、2番目に優れた手法を6.79パーセントポイント上回りました。
• タスク間のパフォーマンス： 数値推論タスク（GSM8K, Math QA）において高いASR（しばしば60%以上）を達成し、一部のモデルでは最大89.47%のASRを示しました。テキストQAタスク（SQuAD, Strategy QA）では、事実的推論の分散的な性質に起因してパフォーマンスはやや低下するものの、依然として競争力のある数値を示しています。
• 効率性： 平均生成時間は0.17秒から2.49秒の範囲であり、近リアルタイムのインタラクティブな攻撃としての実現可能性を示しています。
• アブレーション研究： 動的な候補調整メカニズムが極めて重要であることを結果が裏付けています。静的な選択戦略では、ASRが著しく低下します（例：GPT-4において90.91%から36.36%へ低下）。また、13,000個の候補を探索範囲とすることが、有効性と計算コストの最適なトレードオフであることが判明しました。

意義と主張
本論文は、AGLSが、特に現実世界のプロンプト最適化パイプラインを模したシナリオにおいて、意味保存型敵対的攻撃の新たな最先端（SOTA）を確立すると主張しています。本研究は、透明性を高めるための最適化モジュールが持つ重大なセキュリティ上の脆弱性を浮き彫りにしており、ユーザーの信頼を築くために設計された機能そのものが、モデルを誤導するために悪用され得ることを示唆しています。著者らは、堅牢性がモデルのパラメータ数に比例して線形にスケールするわけではないことを強調しており、大規模なモデル（Llama-3.1-70Bなど）であっても、この特定の攻撃ベクトルに対して非常に脆弱であることを指摘しています。

結論として、著者らは限界と潜在的な防御策についても述べています。これには、マルチインデックスの一貫性検出、候補スクリーニングにおけるランダム化、および攻撃中にコアキーワードが誤認されることによる有効性の低下のリスクなどが含まれます。今後の展望として、AGLSをマルチモーダルおよびマルチターン設定へ拡張することが提案されています。