論文要約：LLM 生成の難読化 XSS ペイロードの評価と機械学習ベースの検出への応用

本論文は、Pennsylvania State University の Divyesh Gabbireddy と Suman Saha によって執筆され、大規模言語モデル（LLM）を用いてクロスサイトスクリプティング（XSS）攻撃ペイロードを難読化（Obfuscation）する手法の生成と評価、およびその機械学習ベースの検出システムへの影響について研究したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

クロスサイトスクリプティング（XSS）は、Web アプリケーションにおける最も一般的で持続的なセキュリティ脆弱性の一つです。攻撃者は、ユーザーのブラウザで悪意のあるスクリプトを実行させるために、アプリケーションにコードを注入します。

• 難読化の課題: 攻撃者は、ペイロードの文字列レベルの形式を変化させつつ、ブラウザでの動作（振る舞い）を維持する「難読化」技術を用います（例：文字エンコーディング、コメント挿入、大文字小文字の変更など）。これにより、従来のパターンマッチングや機械学習ベースの検出システムは、既知のペイロードだけでなく、構文が大幅に変化している変種も検出できなくなります。
• 既存手法の限界: 既存の難読化ペイロード生成アプローチは、構文的な多様性に焦点を当てがちですが、生成されたサンプルが実際に「動作を保証する（Behaviorally Valid）」ものであるかを確認する仕組みが不足しています。無効な生成サンプルを学習データに含めると、検出器の性能が低下するリスクがあります。
• LLM の可能性と課題: LLM はコード生成において優れた能力を示していますが、出力が構文的に妥当であっても、実行時の振る舞いが元のペイロードと一致するとは限りません。XSS の文脈では、イベントハンドラや実行コンテキストのわずかな変更がペイロードの機能を失わせるため、このギャップが重大な問題となります。

2. 手法（Methodology）

本研究では、LLM を用いた XSS 難読化ペイロードの生成、検証、評価を行うための構造化されたパイプラインを提案しています。

1. 決定論的難読化チェーンの構築:

   • 元の悪意ある XSS ペイロードに対して、16 進数エスケープ、Base64 エンコーディング、URL エンコーディング、文字列分割、コメント挿入、大文字小文字の入れ替えなどの変換を適用します。
   • これらを 2 段階のレシピ（例：hex_escape → split_strings）として組み合わせ、多段階の難読化チェーンを生成します。

2. ブラウザベースのランタイム評価（Behavior-Filtered）:

   • 生成された難読化チェーンを制御されたブラウザ環境で実行し、元のペイロードとの「観測可能な実行挙動（アラート発火、コンソール出力、ネットワークリクエストなど）」を比較します。
   • 挙動が一致するチェーンのみを「挙動維持（Behavior-Preserving）」として選別し、学習データ（ソース - ターゲットペア）として使用します。これにより、構文だけでなく実用的な有効性が保証されたデータセットが構築されます。

3. LLM のファインチューニングと生成:

   • ベースライン: 事前学習済みモデル（ファインチューニングなし）を直接使用。
   • ファインチューニングモデル: 上記で選別された「挙動が維持された」変換ペアを用いてモデルを微調整します。
   • 両モデルに元のペイロードを入力し、新しい難読化ペイロードを生成させます。

4. 下流タスク（検出）への評価:

   • 生成されたペイロードを、ランダムフォレスト分類器（TF-IDF 特徴量使用）のトレーニングデータに追加し、XSS 検出性能への影響を評価します。
   • 条件：① 元のデータのみ、② 元のデータ＋全生成データ、③ 元のデータ＋挙動が検証された生成データのみ。

3. 主要な貢献

1. 構造化パイプラインの提案: 決定論的変換と LLM 生成を組み合わせ、ブラウザベースのランタイム評価を用いて挙動が維持された難読化チェーンを構築・評価するパイプラインを提示しました。
2. ランタイム評価手法の導入: 単なる構文類似度ではなく、制御された実行環境における「観測可能な実行挙動」に基づいて生成ペイロードを評価する手法を導入しました。
3. 実証的評価: LLM 生成の難読化が実行挙動を維持する能力と、それが下流の XSS 検出システムに与える影響を定量的に評価しました。ファインチューニングの効果を証明しつつ、現状の LLM の限界も明らかにしました。

4. 結果（Results）

ランタイム挙動一致率（Runtime Behavior Match Rate）

• ベースライン（未調整）: 生成されたペイロードのうち、元の挙動を維持できた割合は 0.15 (15%) でした。
• ファインチューニング後: 挙動維持ペアでファインチューニングを行ったモデルでは、一致率が 0.22 (22%) に向上しました（ベースラインに対し相対的に 46.7% の改善）。
• 考察: ファインチューニングは有効ですが、それでも生成されたペイロードの 8 割近くが実行挙動を維持できていませんでした。これは、LLM が構文的に妥当な出力は生成できても、実行レベルの正しさを保証するのは依然として困難であることを示しています。

変換ペアごとの分析

• 文字列操作（split_strings → comment_insertion など）を含む変換は、有効性が高い（70% 以上）傾向がありました。
• 一方、エンコーディング（hex_escape）を伴う変換は、有効性が極めて低く（2-5%）、実行時の復元失敗が頻発しました。

下流の検出性能への影響

• 生成されたペイロードを学習データに追加しても、検出性能（F1 スコアなど）は向上しませんでした（F1 0.998 前後でほぼ横ばい）。
• 理由: 生成データが全体のデータセットに対して非常に少なかったため、分類器の挙動は元のデータ分布に支配されていました。
• 安全性: 挙動が検証されたサンプルのみを追加しても、検出精度が劣化することは確認されませんでした。これは、将来的に生成データが占める割合が増えた場合でも、品質管理されたデータであれば安全に統合できる可能性を示唆しています。

5. 意義と結論

本研究は、セキュリティ分野における生成 AI の応用において、「コードのようなテキストを生成すること」と「実行挙動が正しいセキュリティ例を生成すること」は異なるという重要な区別を強調しています。

• ランタイム検証の重要性: 生成された攻撃データを検出パイプラインに投入する前に、ブラウザベースのランタイム検証を行うことで、無効なノイズを排除し、データ品質を向上させることが不可欠であることが示されました。
• 今後の展望: 現在の LLM は実行挙動の維持に課題を抱えていますが、制約付きデコーディング、変換を考慮した生成、マルチブラウザ検証、およびルールベースと生成モデルのハイブリッドアプローチなどによって、より多様性がありかつ正確な攻撃データ生成が可能になると期待されます。

結論として、この研究は LLM を用いた敵対的データ生成の可能性と限界を明確にし、セキュリティシステムにおける生成データの品質保証にランタイム検証が不可欠であることを実証しました。