技術的概要：MIPIAD – 多言語間接プロンプトインジェクション攻撃防御

問題定義

間接プロンプトインジェクションは、検索拡張生成（RAG）およびツール利用型大規模言語モデル（LLM）システムにおける重大な脆弱性を表しています。ユーザークエリに悪意のある指示が埋め込まれる直接インジェクションとは異なり、間接インジェクションは検索されたドキュメント、メール、テーブル、またはコード内に指示を隠匿します。この脅威は、システムが混合言語、ドメイン、およびフォーマットスタイルを処理しなければならない多言語環境において悪化します。既存の防御策は、言語間で一般化できないか、現実的な大規模多言語ベンチマークでの評価が不足していることが多くあります。ここで扱われる具体的な課題は、特にバングラ語のような低リソース言語において、言語間でのセキュリティシグニチャの転送が十分に理解されていない状況下で、これらの埋め込まれた指示が被害者 LLM に到達する前に検出することです。

手法

著者らは、英語とバングラ語で評価された包括的な防御フレームワークであるMIPIAD（Multilingual Indirect Prompt Injection Attack Defense）を提案します。手法は以下の 3 つの主要コンポーネントで構成されます。

1. ベンチマーク構築（MIPIAD データセット）

多言語データの不足に対処するため、著者らは143 万サンプルを含む大規模な合成ベンチマークを構築しました。

• ソース: テンプレートは BIPIA ベンチマーク（Yi et al., 2023）から導出されました。
• 翻訳: Meta の NLLB-200 を使用して、攻撃テンプレートとタスクコンテキストを英語からバングラ語に翻訳しました。
• タスクファミリー: データセットはメール、テーブル、QA、要約、コードの 5 つのタスクタイプにまたがります。
• 注入戦略: 攻撃テキストは、コンテキストの開始部、中部、または末尾に注入されました。
• データ整合性: リークを防止するため、トレーニングセットとテストセットはコンテキストレベルで分割され、セット間で攻撃カテゴリとバリエーションが相互に排他的であることを保証しました。

2. 検出アーキテクチャ

防御の中核は、ニューラル信号と言語的信号を組み合わせたハイブリッドアプローチです。

• XLPID（Cross-Lingual Prompt Injection Detector）: 凍結されたQwen2.5-1.5Bバックボーン上に構築されたシーケンス分類器です。効率的な微調整のために、$q\_proj$および$v\_proj$レイヤーをターゲットとし、ランク 16、$\alpha=32$のLoRA（Low-Rank Adaptation）を利用します。
• 言語的ベースライン: TF-IDF特徴（上位 10,000 個の n-gram、サイズ 1–3）を使用し、サポートベクターマシン（SVM）およびロジスティック回帰（LR）と組み合わせた従来の機械学習モデルです。
• メタアンサンブル: フレームワークは以下の方法でこれらのストリームを統合します。
  • ハイブリッド遅延融合: グリッドサーチ（$\alpha \in [0, 1]$）で最適化された、XLPID 確率（$p_t$）と TF-IDF 確率（$p_l$）の重み付き組み合わせ。
  • スタッキングとブースティング: ベースモデルの確率を処理するロジスティック回帰スタッキングおよび勾配ブースティング木。

3. 評価パイプライン

評価は 4 段階のプロセスに従います。

1. 防御分類: MIPIAD 分類器が入力をスキャンします。悪意がある場合、セキュリティ通知が先頭に付加されます。
2. 被害者実行: プロンプトは被害者 LLM（Qwen、Gemma、BanglaLLaMA 変種を含む 7 つのモデルがテスト対象）に供給されます。
3. 判定: 判定用 LLM のアンサンブルが、攻撃成功率（ASR）と有用性に対して応答をスコアリングします。
4. 指標集約: 最終指標には、ASR、良性有用性（BU）、攻撃下有用性（UA）、および英語とバングラ語間の性能ギャップを測定する**クロスリンガル均等性（CLP）**が含まれます。

主要な貢献

本論文は、以下の 4 つの具体的な貢献を概説しています。

1. 統合多言語パイプライン: 英語とバングラ語にまたがり、5 つの異なるタスクファミリーを網羅する、間接プロンプトインジェクション用の 143 万サンプルデータセットを生成するデータ生成パイプライン。
2. XLPID: 堅牢な LLM バックボーン上でパラメータ効率の高い LoRA 微調整を利用するクロスリンガル検出器。
3. メタアンサンブル戦略: 遅延融合とブースティングを介して、トランスフォーマーベースの確率と明示的な TF-IDF 言語的事前知識を統合する新規手法。
4. 実証的検証: ハイブリッド化が単一のニューラルモデルを上回り、F1 スコアで 2.7 ポイントの向上（0.9205 対 0.8939）を達成し、クロスリンガル性能ギャップを大幅に縮小したことの証明。

結果

実験により、いくつかの重要な知見が得られました。

• 言語的競争力: 驚くべきことに、言語的シグナルのみが強力でした。TF-IDF + SVM は0.77の F1 スコアを達成し、合成テンプレートには検出可能な言語的アーティファクトが含まれていることを示唆しています。
• ハイブリッドの優位性: **ハイブリッド（XLPID + TF-IDF）**アンサンブルは、0.9205という最高の全体的な F1 スコアを達成し、単体の XLPID（0.8939）を上回りました。ブースティングアンサンブルは、最高の AUROC（0.9378）を達成しました。
• クロスリンガル堅牢性: 単体のニューラルモデル（XLPID）は、英語とバングラ語間でより広い性能ギャップを示しました（CLP = 0.9322）。アンサンブル手法はこのギャップを縮小し（CLP $\approx$ 0.9479）、多言語エンコーダーはほぼ均等な性能を達成しました（CLP > 0.99）。
• ダウンストリーム影響: 7 つの被害者 LLM に適用された結果、両言語のすべてのモデルにおいて攻撃成功率（ASR）が低下しました。
  • 最大の削減: Qwen3.5-9B（英語で ASR が 0.30 削減）および BanglaLLaMA-3-8B で観察されました。
  • 有用性の維持: 良性有用性（BU）は安定しており（$\pm 0.05$以内）、防御が正当なタスクのパフォーマンスを大幅に劣化させていないことを示しています。
• 脆弱性分析: この防御は、マルウェア配布と置換暗号に対して最も効果的でしたが、絵文字置換と仮想通貨マイニング攻撃には苦戦し、これらが最も持続的な脆弱性のままでした。

意義と限界

意義:
本論文は、MIPIAD がクロスリンガル間接インジェクション防御に対する初のエンドツーエンドの被害者評価を提供すると主張しています。それは、ニューラル信号と言語的信号のハイブリッド化がセキュリティにとって優れた戦略であることを示しており、低頻度パターンにおけるニューラルの盲点を効果的に修復しつつ、高い有用性を維持しています。このフレームワークは拡張性があり、NLLB-200 を通じて 200 以上の言語をサポートし、アーキテクチャの変更なしに適応可能なバックボーンに対応するように設計されています。

控えめな主張と限界:
著者らは、以下のいくつかの制約を明示的に認めています。

• 合成分布: データセットは BIPIA テンプレートから導出されています。このベンチマークでの高い性能は、適応的な言い換えや新しいエンコードトリックを含む現実世界の敵対的攻撃に完全に転用されるとは限りません。
• クラス不均衡: テストセットは攻撃対良性の比率が 10:1 ですが、現実のトラフィックでは 225:1 またはそれ以上である可能性があります。自然分布下では、1% の偽陽性率であっても正当なクエリの大部分がフラグ付けされる可能性があり、精度が重要になります。
• 翻訳アーティファクト: バングラ語のサンプルは機械翻訳されました。著者らは、機械翻訳出力が人間による攻撃よりも注入指示を忠実に保持しないか、または分類器の性能を過大評価させる言語的アーティファクトを導入する可能性があることを指摘しています。
• 言語範囲: アーキテクチャは 200 以上の言語をサポートしていますが、実証的検証は現在、英語とバングラ語に厳密に限定されています。

結論として、MIPIAD は多言語間接プロンプトインジェクション防御のための堅牢な基準を設定し、効率的なニューラル微調整と従来の言語的特徴を組み合わせることが、多様な言語環境における RAG およびエージェントシステムのセキュリティを確保するための実用的かつ効果的な道であることを証明しています。