💻 computer science

Adversarial SQL Injection Generation with LLM-Based Architectures

本文介绍了两种基于大语言模型的新型系统 RADAGAS 和 RefleXQLi，用于生成对抗性 SQL 注入载荷，并评估了它们在面对多种 Web 应用防火墙时的有效性，结果表明，尽管这些模型在绕过基于人工智能/机器学习的防御方面显著优于基线方法，但它们在对抗基于规则的系统时却表现不佳，并且证明了载荷多样性并不总是与更高的绕过成功率相关。

原作者： Ali Karakoc, H. Birkan Yilmaz

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ali Karakoc, H. Birkan Yilmaz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对这篇论文的解读。

宏观图景：数字锁匠与万能钥匙

想象互联网是一座由无数建筑（网站）组成的巨大城市。为了保护这些建筑免受窃贼侵害，保安（称为Web 应用防火墙或 WAF）站在前门。他们的工作是阻止坏人利用一种名为SQL 注入（一种欺骗建筑数据库泄露秘密的特定技巧）的“后门”潜入。

长期以来，安全专家一直试图通过雇佣人类锁匠或使用尝试所有已知钥匙形状的机器人工具来测试这些锁。但锁变得越来越聪明，旧钥匙的效果不再那么好了。

这篇论文提出了一个新问题：如果我们利用超级智能的 AI（大型语言模型或 LLM）来发明保安从未见过的“新钥匙”呢？

研究人员构建了两个新的"AI 钥匙制造者”，以评估它们在欺骗这些保安方面的能力。

两个新的 AI 钥匙制造者

研究人员创建了两个不同的方法来帮助 AI 生成这些棘手的钥匙：

1. RADAGAS：“图书馆研究员”

将这款 AI 想象成一位天才学生，他读完了世界上最大的“过往劫案图书馆”里的每一本书。

工作原理： 在尝试开锁之前，这款 AI 会前往它的“图书馆”（来自 OWASP、GitHub 等的已知成功攻击数据库）。它会从中获取过去最优秀、最经过验证的诡计。
转折： 它使用了一种名为**RAG（检索增强生成）**的特殊技术。它不是凭空猜测，而是查阅最相关的“作弊码”，然后要求 AI 将这些内容重新混合成新的东西。
结果： 这就像一个小偷在尝试新行动之前，会研究每一次成功抢劫的蓝图。

2. RefleXQLi：“批判性思考者”

这款 AI 像一个两人团队运作：一个创造者和一个批评者。

工作原理：
1. 创造者尝试设计一把新钥匙。
2. 批评者（另一个 AI）审视这把钥匙并说：“不，这看起来太可疑了。再试一次。”
3. 创造者听取意见，深入思考（使用“思维链”过程），并尝试制造一把更好、更隐蔽的钥匙。
转折： 他们不断来回争论，直到创造者制造出一把批评者无法识破的钥匙。这就像作家和编辑一起工作，直到故事完美无缺。

大考：220 万次尝试

为了看看谁最出色，研究人员设置了一场大规模模拟：

攻击者： 他们使用了 7 种不同的系统（包括上述两个新系统，以及老式工具和标准 AI）。
防御者： 他们针对10 种不同的保安（WAF）进行了测试。有些是守旧的老派规则遵循者（像拿着清单的保安），有些是基于 AI 的（通过观察学习的保安），还有些是著名的商业保安（如 Cloudflare 和 AWS）。
规模： 他们生成了24 万把钥匙，并在保安身上尝试了220 万次。

他们发现了什么？

1. “图书馆研究员”（RADAGAS）赢得了比赛

RADAGAS系统，尤其是由 GPT-4o AI 驱动时，整体最为成功。它成功绕过保安的概率约为22.7%。

原因： 因为它不仅仅是猜测；它从过去实际有效的经过筛选的列表中学习了经验。

2. “批判性思考者”（RefleXQLi）非常稳定

RefleXQLi系统的整体成功率略低（约 21.2%），但它非常一致。它很少犯错，并且总是能生成独特的钥匙。

3. “多样性神话”被证伪

安全界有一个普遍信念：“你的钥匙彼此差异越大，成功的几率就越高。”

论文的发现： 事实并非如此！研究人员发现，制造成千上万把完全不同的钥匙与真正成功入侵之间没有强关联。
类比： 如果你尝试了 1000 种不同形状的钥匙，但没有一把能打开锁，那毫无意义。与其尝试 1000 种随机形状，不如尝试 100 把与你已知有效的那把非常相似的钥匙。
意外发现： 有时，试图让钥匙变得太不同，反而会让它们变得更差。

4. 不同的保安需要不同的钥匙

没有一把“万能钥匙”能打开所有的门。

AI 保安（机器学习 WAF）： RADAGAS 系统对这些保安来说是可怕的，入侵成功率超过90%。看来这些 AI 保安训练得不够好，无法识破那些“重新混合”过的旧诡计。
基于规则的保安（清单式 WAF）： 这些非常难对付。新的 AI 系统在这里举步维艰，几乎总是被拦截。老式工具（如 SQLmap）针对这些特定保安的表现实际上略好一些。
商业保安（Cloudflare/AWS）： 结果喜忧参半。不同的 AI 系统发现了它们防御中不同的“漏洞”。

5. “温度”设置很重要

AI 模型有一个名为**Temperature（温度）**的“创造力旋钮”。

GPT-4o在设置为较低创造力（低温度，更逻辑化）时表现最好。
DeepSeek在设置为极高创造力（高温度）时表现最好。
Claude在中间值时最满意。
教训： 你不能对所有 AI 使用相同的设置；你必须像调收音机一样调整它们，以获得最佳信号。

核心结论

论文总结道，如果你想测试一个网站是否安全，你不应该只依赖一种工具。

使用RADAGAS来测试基于 AI 的安全系统。
使用RefleXQLi（或基于种子驱动的版本）进行稳定、高质量的测试。
不要执着于让你的攻击钥匙“多样化”；要专注于让它们变得聪明，并且与你试图打开的特定锁相关。

研究人员强调，他们是在安全、隔离的实验室中进行这项工作的，目的是帮助提升安全性，而不是帮助罪犯。他们保留了这些“钥匙”的私密性，以防有人滥用。

技术摘要：基于大语言模型架构的对抗性 SQL 注入生成

问题陈述

SQL 注入（SQLi）仍然是 OWASP 十大漏洞中的关键弱点，然而传统的防御机制和测试方法面临重大局限。传统方法依赖人工渗透测试或像 SQLmap 这样的基于规则的自动化工具。由于这些方法的确定性本质以及无法生成新颖的、具有上下文感知能力的攻击，它们难以应对现代防御措施，特别是基于人工智能/机器学习的 Web 应用程序防火墙（WAF）和商业解决方案。此外，现有的安全测试领域的大语言模型（LLM）研究往往局限于单一模型、参数探索有限以及多样性机制不足，导致生成的载荷重复，容易被先进的防御系统检测。

方法论

作者引入了一个全面的基准测试框架，用于评估基于 LLM 的 SQLi 生成在面对多样化防御时的表现。该研究利用了一个测试床，包含七个生成系统、十个 WAF 以及一个 MySQL 执行验证器。

系统架构

本研究提出了两种新颖架构，并将其与三个基线进行了比较：

RADAGAS（用于对抗性 SQLi 的检索增强生成）： 该系统将检索增强生成（RAG）与 LLM 生成相结合。它使用 FAISS 和最大边际相关性（MMR）从精心策划的知识库（OWASP、PortSwigger、GitHub）中检索已验证的攻击模式，以平衡相关性和多样性。该系统采用多阶段多样性过滤（语义、词汇和功能）以及执行验证。研究使用了三种不同的基础模型测试了三个变体：GPT-4o、DeepSeek-R1 和 Claude 3.7 Sonnet。
RefleXQLi（反思链式思维 SQLi）： 该架构采用四步链式思维（CoT）推理过程（WAF 分析、策略制定、载荷设计、优化），随后进行双 LLM 对抗循环。生成器 LLM 创建载荷，而判别器 LLM 根据恶意意图评估并拒绝载荷，迫使生成器迭代优化载荷，直到其绕过判别器。
基线：
- 传统方法： 使用基于规则的确定性载荷模拟的 SQLMap 引擎。
- 原生 GPT-4o： 未经微调或专用提示的零样本 LLM。
- GenSQLi： 一种基于模板的方法，使用上下文学习。

实验设置

规模： 240 个不同的实验配置生成了 240,000 个载荷，产生了约 220 万次测试。
防御措施： 测试针对 10 个 WAF 进行：
- AI/ML 基于： WAF-Brain（LSTM）和 CNN-WAF。
- 基于规则（开源）： ModSecurity（PL1–3）和 Coraza（PL1–3）。
- 商业： AWS WAF 和 Cloudflare WAF。
验证： 一个由 MySQL 8.0 支持的易受攻击 Web 应用程序作为执行有效性的真实依据。
指标： 性能通过绕过率、执行成功率以及六个多样性指标（语义、词汇、上下文、n-gram、AST 和功能多样性）进行衡量。

关键结果

整体表现

RADAGAS 的优越性： RADAGAS 变体优于所有基线，其中 RADAGAS-GPT4o 实现了最高的平均绕过率 22.73%。
RefleXQLi： 实现了 21.21% 的绕过率，且方差最低（ $\sigma = 0.37$ ），表明输出稳定。
基线： 传统 SQLi（15.01%）和原生 GPT-4o（12.90%）表现明显较差。GenSQLi 实现了 20.35%。

特定模型优化

研究发现，最佳参数是特定于模型且反直觉的：

GPT-4o： 在低温度（ $T=0.1$ ）和高多样性阈值（ $\theta=90$ ）下表现最佳。
DeepSeek-R1： 在高温（ $T=0.9$ ）和高多样性阈值（ $\theta=90$ ）下表现最佳。
Claude 3.7： 在中等温度（ $T=0.6$ ）和较低多样性阈值（ $\theta=75$ ）下表现最佳。

特定防御的有效性

AI/ML WAF： RADAGAS 变体非常有效，DeepSeek 版本绕过 WAF-Brain 的比率为 92.49%，Claude 版本绕过 CNN-WAF 的比率为 80.48%。
基于规则的 WAF： 所有基于 LLM 的系统在面对基于规则的防御（ModSecurity/Coraza）时都表现挣扎，绕过率通常在 0% 到 5.70% 之间。GenSQLi 在基于规则的绕过中表现最高（在 ModSecurity PL1 上达到 16.26%），尽管其中许多被识别为误报或同义反复表达式。
商业 WAF： RADAGAS-GPT4o 在 Cloudflare 上实现了最高的绕过率（49.50%），而 RefleXQLi 在 AWS WAF 上表现最佳（33.00%）。

多样性与种子分析

多样性相关性： 与“多样性驱动成功”的假设相反，研究发现七个系统的载荷多样性指标与绕过率之间没有统计学上的显著相关性。事实上，多样性较低的载荷有时实现了更高的绕过率。
种子效应： 使用"V2"种子的消融研究表明，RefleXQLi V2（CoT + 种子）实现了 35.78% 的绕过率，显著优于原始种子（28.93%）和 GenSQLi V2（29.84%）。这表明，与单纯的模板变异相比，高质量的种子结合 CoT 推理能产生更优越的结果。
执行有效性： RADAGAS 系统实现了 60–64% 的 MySQL 执行成功率，而 RefleXQLi（无种子）仅实现了 27.80%，突显了创造性对抗生成与语义正确性之间的权衡。

意义与主张

该论文声称提供了规模最大的基于 LLM 的对抗性 SQLi 生成基准测试研究之一，提供了 LLM 架构与现代防御之间相互作用的全面视角。

架构洞察： 研究表明，基于 RAG 的方法通过利用精心策划的知识，对基于 AI/ML 的 WAF 非常有效，而基于 CoT 的推理提供了稳定性和语义正确性。没有单一系统能普遍优于其他系统；需要结合多种方法以实现全面覆盖。
参数敏感性： 研究结果挑战了通用参数设置的概念，表明温度和多样性阈值必须针对每个特定的基础模型进行实证调整。
多样性迷思： 这项研究挑战了载荷多样性是 WAF 绕过成功主要驱动因素的普遍假设，表明初始上下文（种子）的质量和推理机制（CoT/RAG）是更关键的因素。
实践指南： 作者为安全测试提供了可操作的指南，建议对 AI/ML WAF 使用 RAG，对最大绕过率使用种子驱动的 CoT，同时承认当前 LLM 在面对严格基于规则的系统时的局限性。

作者强调，这些发现特定于测试的配置和时间（2026 年初），并呼吁对其他攻击类型和数据库方言进行进一步研究。所有实验均在隔离的授权环境中进行，以确保负责任的披露。