💻 computer science

Adversarial SQL Injection Generation with LLM-Based Architectures

本論文は、敵対的SQLインジェクションペイロードを生成するための2つの新規LLMベースシステム、RADAGASとRefleXQLiを紹介し、多様なWebアプリケーションファイアウォールに対するそれらの有効性を評価して、これらのモデルがAI/MLベースの防御を回避する点ではベースラインを大幅に上回る一方で、ルールベースのシステムには苦戦し、かつペイロードの多様性が必ずしも回避成功率の上昇と相関しないことを明らかにする。

原著者： Ali Karakoc, H. Birkan Yilmaz

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ali Karakoc, H. Birkan Yilmaz

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、平易な言葉と創造的な比喩を用いた、この論文の解説です。

全体像：デジタルの鍵職人とマスターキー

インターネットを巨大なビル群（ウェブサイト）の街だと想像してください。これらのビルを泥棒から守るため、セキュリティガード（Web アプリケーションファイアウォール、略して WAF）が正門に立っています。彼らの仕事は、SQL インジェクション（データベースをだまして秘密を漏らすための特定のトリック）を使って裏口から忍び込もうとする悪党たちを阻止することです。

長年、セキュリティの専門家たちは、これらの錠前をテストするために、人間の鍵職人を雇ったり、既知の鍵の形をすべて試すロボットツールを使ったりしてきました。しかし、錠前は賢くなり、古い鍵はもはや以前ほど効果的ではなくなっています。

この論文は、新しい問いを投げかけます：もし、セキュリティガードがこれまで見たことのない新しい鍵を発明するために、超賢い AI（大規模言語モデル、略して LLM）を使ったらどうなるでしょうか？

研究者たちは、これらのセキュリティガードをだますのがどれほど上手いかを調べるために、2 つの新しい「AI 鍵製造機」を構築しました。

2 つの新しい AI 鍵製造機

研究者たちは、AI がこれらの厄介な鍵を生成するのを助けるために、2 つの異なる手法を開発しました。

1. RADAGAS：「図書館の研究者」

この AI を、世界最大の過去の強盗事件の図書館をすべて読み込んだ天才的な学生だと考えてください。

仕組み: 錠前を解こうとする前に、この AI は「図書館」（OWASP や GitHub などの過去の成功した攻撃のデータベース）へ行きます。そこで過去に最も効果的だった、最も確実なトリックを手に取ります。
ひねり: 単に推測するのではなく、RAG（検索拡張生成） という特別な技術を使用します。最も関連性の高い「チートコード」を調べ上げ、それを AI に新しい何かへとリミックスさせるよう指示します。
結果: これは、新しい強盗を計画する前に、すべての成功した強盗の設計図を研究する泥棒のようなものです。

2. RefleXQLi：「批判的思考者」

この AI は、クリエーターと批評家という 2 人のチームのように機能します。

仕組み:
1. クリエーターが新しい鍵を設計しようとします。
2. 批評家（別の AI）がその鍵を見て、「いや、それは疑わしすぎる。やり直せ」と言います。
3. クリエーターはそれを聞き入れ、「思考の連鎖（Chain of Thought）」プロセスを使ってより深く考え、より巧妙で忍びやすい鍵を作ろうとします。
ひねり: クリエーターが批評家に気づかれないような鍵を作るまで、彼らは互いに議論を繰り返します。これは、物語が完璧になるまで協力して働く作家と編集者のようなものです。

大規模なテスト：220 万回の試行

どちらが優れているかを見るために、研究者たちは大規模なシミュレーションを設定しました。

攻撃者: 2 つの新しいシステムを含む 7 つの異なるシステム（従来のツールや標準的な AI も含む）を使用しました。
防御者: 10 種類の異なるセキュリティガード（WAF）に対してテストを行いました。中には、チェックリストを持つガードのような古典的なルール遵守型、AI 学習型（監視を通じて学習するガード）、そして Cloudflare や AWS のような有名な商業用ガードが含まれていました。
規模: 24 万個の鍵を生成し、ガードに対して220 万回試しました。

彼らは何を見つけたか

1. 「図書館の研究者」（RADAGAS）がレースに勝利

RADAGASシステム、特に GPT-4o AI を搭載したものは、全体として最も成功しました。ガードをすり抜けることに約**22.7%**の成功率を収めました。

理由: 単に推測するのではなく、過去に実際に機能した厳選されたリストから学習していたからです。

2. 「批判的思考者」（RefleXQLi）は非常に安定していた

RefleXQLiシステムは全体としての成功率はわずかに低かった（約 21.2%）ものの、非常に一貫していました。誤りを犯すことはほとんどなく、常にユニークな鍵を生成しました。

3. 「多様性の神話」は覆された

セキュリティ界には一般的に、「鍵同士が互いに異なれば異なるほど、成功する確率は高まる」という信念があります。

論文の発見: これは真実ではありませんでした！研究者たちは、何千もの全く異なる鍵を作ることと、実際に侵入することの間には強い関連性がないことを発見しました。
比喩: 1,000 種類の異なる形の鍵を試しても、どれ一つとして錠前に合わなければ意味がありません。1,000 個のランダムな形を試すよりも、機能することが分かっている鍵に非常に似た 100 個の鍵を試す方が良いでしょう。
驚き: 時には、鍵を「あまりにも」異ならせようとすることが、逆に結果を悪化させることがありました。

4. 異なるガードには異なる鍵が必要

すべての扉を開く「魔法の鍵」はありませんでした。

AI ガード（機械学習 WAF）: RADAGAS システムはこれらに対して恐ろしく、90% 以上の成功率で侵入しました。これらの AI ガードは、「リミックス」された古いトリックを見抜くのに十分に訓練されていないようです。
ルールベースのガード（チェックリスト WAF）: これらは非常にタフでした。新しい AI システムはここで苦戦し、ほぼ常にブロックされました。SQLmap のような古典的なツールの方が、これらの特定のガードに対してはわずかに良い結果を出しました。
商業用ガード（Cloudflare/AWS）: 結果は様々でした。異なる AI システムが防御の異なる「穴」を見つけました。

5. 「Temperature（温度）」設定が重要

AI モデルには「創造性のダイヤル」と呼ばれるTemperatureという設定があります。

GPT-4oは、創造性を抑えて（低温度、より論理的に）設定したときに最もよく機能しました。
DeepSeekは、非常に創造的（高温度）に設定したときに最もよく機能しました。
Claudeは、中間の設定が最も適していました。
教訓: すべての AI に同じ設定を使うことはできません。最高の信号を得るために、ラジオのようにチューニングする必要があります。

結論

この論文は、ウェブサイトの安全性をテストしたい場合は、単一のツールに頼るべきではないと結論付けています。

AI ベースのセキュリティシステムに対するテストにはRADAGASを使用してください。
安定性が高く、高品質なテストにはRefleXQLi（またはシード駆動版）を使用してください。
攻撃鍵を「多様にする」ことに固執しないでください。開こうとしている特定の錠前に賢く、関連性が高い鍵を作ることに焦点を当ててください。

研究者たちは、犯罪を助けるためではなく、セキュリティ向上のために、安全で隔離された実験室でこれを行ったことを強調しています。彼らはこれらの「鍵」を秘密に保ち、誰にも悪用されないようにしました。

技術的概要：LLM ベースのアーキテクチャを用いた敵対的 SQL インジェクション生成

問題定義

SQL インジェクション（SQLi）は OWASP Top 10 における重大な脆弱性のままですが、従来の防御メカニズムやテスト手法は重大な限界に直面しています。従来のアプローチは、手動のペネトレーションテストや SQLmap のような自動ルールベースのツールに依存しています。これらの手法は、決定論的な性質と、新規かつ文脈を考慮した攻撃を生成する能力の欠如により、特に AI/ML ベースの Web アプリケーションファイアウォール（WAF）や商用ソリューションといった現代の防御に対して苦戦を強いられています。さらに、セキュリティテストにおける既存の大規模言語モデル（LLM）の研究は、単一モデルへの焦点、パラメータ探索の制限、不十分な多様性メカニズムに悩まされ、高度な防御システムによって容易に検出される反復的なペイロードを招いています。

手法

著者らは、多様な防御に対する LLM ベースの SQLi 生成を評価するための包括的なベンチマークフレームワークを導入しました。本研究は、7 つの生成システム、10 の WAF、および MySQL 実行バリデータからなるテストベッドを利用しています。

システムアーキテクチャ

本研究は、2 つの新しいアーキテクチャを提案し、3 つのベースラインと比較します。

RADAGAS（敵対的 SQLi のための検索拡張生成）: このシステムは、LLM 生成に RAG を統合します。FAISS と最大周辺関連性（MMR）を使用して、OWASP、PortSwigger、GitHub から厳選された知識ベースから実証済みの攻撃パターンを検索し、関連性と多様性のバランスを取ります。このシステムは、セマンティック、語彙、機能的な多段階の多様性フィルタリングと実行バリデーションを採用します。GPT-4o、DeepSeek-R1、Claude 3.7 Sonnet という異なる基盤モデルを使用して 3 つの変種がテストされました。
RefleXQLi（リフレクティブな思考連鎖 SQLi）: このアーキテクチャは、4 段階の思考連鎖（CoT）推論プロセス（WAF 分析、戦略策定、ペイロード設計、洗練）に続き、二重 LLM 敵対ループを採用します。生成 LLM がペイロードを作成し、判別 LLM が悪意のある意図に基づいてそれらを評価・却下し、生成器が判別器を回避するまでペイロードを反復的に洗練させるように強制します。
ベースライン:
- 伝統的: ルールベースの決定論的ペイロードを使用したシミュレートされた SQLMap エンジン。
- バニラ GPT-4o: 微調整や専門的なプロンプティングを行わないゼロショット LLM。
- GenSQLi: コンテキスト内学習を使用したテンプレートベースのアプローチ。

実験設定

規模: 240 の異なる実験設定が 240,000 のペイロードを生成し、約 220 万件のテストとなりました。
防御: 10 の WAF に対してテストを実施しました。
- AI/ML ベース: WAF-Brain（LSTM）および CNN-WAF。
- ルールベース（オープンソース）: ModSecurity（PL1–3）および Coraza（PL1–3）。
- 商用: AWS WAF および Cloudflare WAF。
バリデーション: MySQL 8.0 をバックエンドとする脆弱な Web アプリケーションが、実行妥当性の真実値として機能しました。
指標: パフォーマンスは、回避率、実行成功率、および 6 つの多様性指標（セマンティック、語彙、文脈的、n-gram、AST、機能的な多様性）を通じて測定されました。

主要な結果

全体的なパフォーマンス

RADAGAS の優位性: RADAGAS 変種はすべてのベースラインを上回り、RADAGAS-GPT4o が**22.73%**の最高平均回避率を達成しました。
RefleXQLi: **21.21%**の回避率を達成し、最小の分散（ $\sigma = 0.37$ ）を示し、安定した出力を示しました。
ベースライン: 従来の SQLi（15.01%）とバニラ GPT-4o（12.90%）は著しく低いパフォーマンスでした。GenSQLi は 20.35% を達成しました。

モデル固有の最適化

本研究では、最適なパラメータはモデル固有であり、直感に反することを発見しました。

GPT-4o: 低温（ $T=0.1$ ）で高い多様性閾値（ $\theta=90$ ）において最良のパフォーマンスを発揮しました。
DeepSeek-R1: 高温（ $T=0.9$ ）で高い多様性閾値（ $\theta=90$ ）において最良のパフォーマンスを発揮しました。
Claude 3.7: 中温（ $T=0.6$ ）で低い多様性閾値（ $\theta=75$ ）において最適でした。

防御固有の有効性

AI/ML WAF: RADAGAS 変種は非常に効果的であり、WAF-Brainを92.49%（DeepSeek）、CNN-WAFを80.48%（Claude）で回避しました。
ルールベース WAF: すべての LLM ベースのシステムはルールベースの防御（ModSecurity/Coraza）に対して苦戦し、回避率は一般的に**0% から 5.70%**の間でした。GenSQLi はルールベースの回避で最高（ModSecurity PL1 で 16.26%）を達成しましたが、その多くは偽陽性または同義反復式として識別されました。
商用 WAF: RADAGAS-GPT4o は Cloudflare において最高回避率（49.50%）を達成し、RefleXQLi は AWS WAF において最良のパフォーマンス（33.00%）を示しました。

多様性とシード分析

多様性の相関: 多様性が成功を駆動するという仮説とは対照的に、本研究は 7 つのシステム全体でペイロード多様性指標と回避率の間に統計的に有意な相関は見られなかったことを発見しました。実際、多様性の低いペイロードがより高い回避率を達成することがありました。
シード効果: 「V2」シードを使用したアブレーション研究により、RefleXQLi V2（CoT + シード）が**35.78%**の回避率を達成し、生のシード（28.93%）や GenSQLi V2（29.84%）を著しく上回ることが明らかになりました。これは、高品質なシードと CoT 推論の組み合わせが、単なるテンプレート変異よりも優れた結果をもたらすことを示唆しています。
実行妥当性: RADAGAS システムは 60–64% の MySQL 実行成功率を達成したのに対し、シードなしの RefleXQLi は 27.80% にとどまり、創造的な敵対的生成と意味的正確性の間のトレードオフを浮き彫りにしました。

意義と主張

本論文は、LLM ベースの敵対的 SQLi 生成に関する最大規模のベンチマーク研究の 1 つを提供し、LLM アーキテクチャと現代の防御間の相互作用の包括的な視点を提供すると主張しています。

アーキテクチャ的洞察: 本研究は、RAG ベースのアプローチが厳選された知識を活用することで AI/ML ベースの WAF に対して非常に効果的であることを示し、CoT ベースの推論が安定性と意味的正確性を提供することを示しています。単一のシステムが他を普遍的に上回ることはなく、包括的なカバレッジにはアプローチの組み合わせが必要です。
パラメータ感受性: 発見事項は、普遍のパラメータ設定という概念に挑戦し、温度と多様性閾値は各特定の基盤モデルに対して経験的に調整する必要があることを示しています。
多様性の神話: この研究は、ペイロード多様性が WAF 回避成功の主要な駆動力であるという支配的な仮説に挑戦し、初期コンテキスト（シード）の質と推論メカニズム（CoT/RAG）がより重要な要因であることを示唆しています。
実践的ガイドライン: 著者らはセキュリティテストのための実行可能なガイドラインを提供し、AI/ML WAF には RAG の使用を、最大回避率にはシード駆動の CoT を推奨しつつ、厳格なルールベースのシステムに対する現在の LLM の限界を認識しています。

著者らは、これらの知見はテストされた構成と時期（2026 年初頭）に固有のものであり、他の攻撃タイプやデータベース方言へのさらなる研究を呼びかけていると強調しています。すべての実験は、責任ある開示を確保するために隔離された承認された環境で実施されました。