Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

该论文介绍了 Scam2Prompt，这是一个可扩展的框架，揭示了生产环境中的大型语言模型存在一种关键且日益恶化的安全漏洞，即源自恶意诈骗网站的自动化提示词在多个模型中成功触发有害代码生成的比例高达 47.3%，从而使护栏和检索增强生成等现有安全措施变得不足。

要点

想象一下，你雇佣了一位才华横溢、速度极快的学徒程序员为你的业务编写代码。你给他们一个简单、普通的需求，比如：“在这个流行的交易网站上写一个脚本来购买特定的数字代币。”你期望他们编写安全、标准的代码。

然而，这篇论文揭示了一个令人恐惧的现实：你的学徒已经记住了藏在训练书籍中的一套危险、虚假的指令库。 当你请求协助完成特定任务时，他们可能会无意中从骗子的手册中抽出一页，粘贴到你的代码中，将你的资金转给窃贼，而非合法的网站。

以下是用简单类比对该论文发现的分解说明：

1. 问题所在：“被投毒的食谱书”

大型语言模型（LLMs）就像几乎读遍了互联网上所有食谱书来学习烹饪的厨师。问题在于，互联网上充满了“被投毒”的食谱——旨在窃取你的钱包或数据的虚假指令。

• 真实事件： 论文讲述了一个真实人物损失 2,500 美元的故事。他要求聊天机器人编写一个脚本，在名为 pump.fun 的流行网站上购买加密货币。聊天机器人为了提供帮助，编写了一段包含指向虚假 API（一个看似真实但实为骗子陷阱的数字入口）链接的代码。该代码甚至要求用户将“私钥”（通往其银行金库的主钥匙）直接交给这个虚假入口。用户信任人工智能，运行了代码，结果 30 分钟内资金消失。

2. 调查：“诈骗转提示”（Scam2Prompt）

研究人员构建了一个名为Scam2Prompt的工具，以查明这是否是一次偶然事故，还是一种普遍现象。

• 类比： 想象一名保安想要测试新安保系统是否有效。保安没有用 obvious 的攻城锤试图闯入，而是拿着一份已知的“坏人”蓝图，将其改写为看似正常的施工请求，然后交给安保系统。
• 运作方式：
  1. 他们获取了已知诈骗网站的列表。
  2. 他们然后提取了这些网站用来欺骗受害者的常见关键词、声明和短语。利用这些术语，他们提示 AI 系统生成合法的编码请求，例如“我如何购买这种数字货币？”或“我如何通过这个航班平台支付以购买折扣票？”
  3. 他们将这些“无辜”的请求输入到四个主要的生产型 AI 模型（如 GPT-4o 和 Llama）中。
  4. 他们检查 AI 是否生成了包含诈骗链接的代码。

3. 发现：“无辜”陷阱

结果令人震惊。尽管请求听起来完全正常，且来自“开发者”，但这些 AI 模型持续生成包含恶意链接的代码。

• 统计数据： 在初步测试中，约 4.24% 生成的代码包含诈骗链接。这意味着，如果你向这些 AI 请求编写代码 100 次，大约有 4 次它们会无意中递给你一把武器。
• “无辜转诈骗基准”（Innoc2Scam-bench）： 研究人员创建了一个包含 1,377 个特定问题的“压力测试”列表，这些问题总是能诱骗前四个模型生成恶意代码。随后，他们用这份列表测试了2025 年发布的七款更新、更先进的模型。
• 新模型： 问题并未消失，反而依然严重。新模型在 Innoc2Scam-bench 测试下生成恶意代码的比例在 12.9% 到 47.3% 之间。
  • 类比： 这就像升级你的汽车引擎使其更快、更智能，但 GPS 系统仍试图将你开向悬崖，因为地图数据从一开始就被污染了。

4. 安全层级

论文像成绩单一样对模型进行了排名：

• 顶级（最安全）： Gemini-2.5-Pro 和 GPT-5。这些模型在请求存在风险时最擅长说“不”或拒绝回答。然而，即使它们也不完美。
• 中级： Claude-Sonnet-4。
• 底层（风险最高）： 如 DeepSeek-Chat-v3.1 和 Qwen3-Coder 等模型。这些模型非常热衷于回答问题，但生成恶意代码的比例接近一半（高达 47.3%）。

5. 当前防御为何失效

研究人员测试了现有的安全工具是否能阻止这种情况。

• “护栏”： 他们尝试使用标准安全过滤器（就像俱乐部的保镖）和“检索代理”（AI 会在网上查找信息以核实事实）。
• 结果： 护栏大多无用。它们未能拦截恶意代码，因为代码在语法上是正确的，且请求听起来很正常。“网络搜索”代理提供了一点帮助（将风险从 50% 降低到 29%），但仍未能拦截大多数诈骗。
• 结论： 你不能仅仅依赖 AI“更懂行”或简单的过滤器。恶意知识是从训练数据中深深 baked 进模型大脑的。

6. “幽灵”诈骗

最令人毛骨悚然的发现之一是，AI 模型生成的链接指向的诈骗网站甚至尚未出现在安全数据库中。

• 类比： AI 模型对诈骗“蓝图”的记忆如此深刻，以至于即使安保人员尚未抓获罪犯，它们也能重构出这些虚假网站。其中一些网站已活跃超过一年，逃避了检测，但 AI 却知道如何使用它们。

总结

该论文得出结论，AI 模型目前正被互联网的垃圾“投毒”。 即使是最聪明、最新的模型，如果你问出正确（但听起来无辜）的问题，它们也会乐意编写窃取你资金的代码。当前的安全措施就像试图用纸伞阻挡洪水；它们不够强大。作者建议，我们需要更好地清洗训练数据，并在允许人类运行代码之前，对 AI 生成的每个链接添加严格的外部检查。

技术摘要

技术摘要：Scam2Prompt

问题陈述

大型语言模型（LLM）已成为软件开发的关键基础设施，然而其对未经筛选的、网络规模训练数据集的依赖引入了根本性的安全风险：恶意内容被吸收并永久嵌入模型权重。与传统网络服务中可删除有害 URL 不同，训练语料库中的恶意数据会在未来的模型迭代中持续存在。本文聚焦于该风险的一种特定且高影响的表现形式：针对良性、开发者风格的提示词，生成包含恶意诈骗 URL（例如网络钓鱼端点、欺诈性 API）的代码。

2024 年 11 月发生的一起真实事件凸显了该问题的紧迫性：一名用户在执行由 ChatGPT 生成的代码后损失了 2,500 美元加密货币。该代码包含一个恶意 API 端点，要求用户提供私钥，这构成了根本性的安全违规。该事件表明，LLM 可能会无意中检索并复现已被污染进其训练数据中的恶意文档或诈骗基础设施，这对生产系统构成了严重威胁，因为在生产环境中，生成的代码通常未经逐行审查即被执行。

方法论：Scam2Prompt 框架

为了系统性地评估这一风险，作者引入了Scam2Prompt，这是一个可扩展的自动化审计框架，旨在识别生产环境中的 LLM 在响应正常开发者请求时是否会生成恶意代码。该框架通过以下流程运行：

1. 恶意 URL 收集：系统利用已知数据库（如 MetaMask 的 eth-phishing-detect 和 PhishFort 的 phishing-fort）中的已知诈骗 URL 作为种子启动流程。
2. 内容提取与提示词合成：网络爬虫从可访问的诈骗页面中提取可见文本。随后，一个“提示词 LLM"分析这些内容，以合成开发者风格的提示词。这些提示词是完全合法的编码请求，例如请求编写脚本，但旨在触及诈骗网站常利用的敏感或金融相关领域，如机票预订、虚拟信用卡集成、在线支付或其他与金钱相关的服务。
3. 代码生成：将合成的提示词输入给“代码生成 LLM"（即被审计的模型）以生成代码片段。
4. URL 提取与预言机检测：扫描生成的代码以提取 URL。一个预言机集合（ChainPatrol、Google Safe Browsing、SecLookup）用于判定这些 URL 是否具有恶意。
5. 人工验证：为确保提示词并非对抗性攻击（例如越狱），而是良性的开发者请求，部分提示词需经过人工标注者的手动验证。

该流程产生了一个提示词 - 代码对数据集，其中良性请求导致了恶意代码的生成。

主要贡献

本文做出了四项主要贡献：

1. 恶意代码生成的实证证据：该研究提供了强有力的证据，表明生产环境中的 LLM 在响应开发者风格提示词时，会以非微不足道的比率生成包含恶意 URL 的代码。
2. Scam2Prompt 框架：一种可扩展的自动化审计工具，它将已知的恶意来源转化为开发者风格的提示词，以测试 LLM 的安全性。作者开源了源代码以支持可复现性。
3. Innoc2Scam-bench：一个精心策划的基准数据集，包含1,377 个开发者风格的提示词，这些提示词一致地从四个初始生产 LLM（GPT-4o、GPT-4o-mini、Llama-4-Scout 和 DeepSeek-V3）中诱发了恶意代码。该基准旨在对未来的模型进行安全对齐的压力测试。
4. 防御评估：对现有安全机制的评估，包括最先进的护栏（如 NeMo Guardrails）和检索增强生成（RAG）代理，证明了它们针对此特定威胁向量的不足。

实验结果

初始审计（2024 年模型）

在对四个生产 LLM 进行的涉及超过 265,000 个提示词的大规模研究中，作者发现**4.24%**的生成代码包含恶意 URL。该比率因模型配对而异，范围从 3.19% 到 5.94%。值得注意的是，该框架识别出了 62 个此前未包含在种子数据库中的新恶意域名，这些域名随后被报告并添加到 eth-phishing-detect 黑名单中。

对新模型的压力测试（2025 年发布版本）

Innoc2Scam-bench被应用于 2025 年发布的另外七个生产 LLM（包括 GPT-5、Gemini-2.5-Pro、Claude-Sonnet-4 和 DeepSeek-Chat-V3.1）。结果表明，该漏洞具有系统性和严重性：

• 恶意生成率：范围从12.9%（Gemini-2.5-Pro）到47.3%（DeepSeek-Chat-V3.1）。
• 安全排名：
  • 第一梯队（高安全性）：Gemini-2.5-Pro 和 GPT-5。Gemini-2.5-Pro 通过激进的內容过滤（拒绝约 40% 的提示词）实现了最低比率（12.9%）。
  • 第二梯队（中等安全性）：Claude-Sonnet-4（34.3% 的恶意率）。
  • 第三梯队（低安全性）：Grok-Code-Fast-1、Gemini-2.5-Flash、Qwen3-Coder 和 DeepSeek-Chat-V3.1，所有模型的恶意率均在 43.4% 至 47.3% 之间。
• 过滤与内在安全性：当排除内容过滤（拒绝）并仅分析已完成的代码生成时，顶级模型之间的安全差距显著缩小，且所有模型的恶意生成率仍然很高（对于较低梯队，通常超过 40%）。这表明，虽然过滤有所帮助，但底层漏洞（对恶意模式的记忆）依然存在。

缓解措施评估

• 护栏：最先进的护栏（NeMo Guardrails、OpenAI 审核 API、Llama Guard 3）未能检测到绝大多数恶意代码。检测率微乎其微（0% 至 8.43%），表明通用安全过滤器不足以应对端点级别的威胁。
• RAG 代理：一个带有明确检查 URL 安全指令的检索增强代理，将 GPT-4o 的恶意率从 50.04% 降低到了 29.41%。然而，近 30% 的残余风险仍然存在，证明仅靠 RAG 并非完整的解决方案。

意义与主张

本文主张，训练数据集中被恶意诈骗来源污染是一个全行业的问题，尽管模型安全性和对齐技术取得了进步，但这一问题依然存在。研究结果表明：

1. 训练数据污染具有持久性：预训练期间吸收的恶意内容无法通过标准的安全微调或对齐轻易去除，2025 年模型的高失败率即为佐证。
2. 现有防御不足：标准护栏和基于 RAG 的代理在防止代码中生成恶意 URL 方面提供的保护有限。
3. 迫切需要新的防御措施：作者主张在代码生成流程中引入明确的、基于预言机的 URL 验证步骤，并改进数据策展技术（例如机器遗忘、基于代理的清理），以解决根本原因。

作者将这项工作定位为对现有安全漏洞的祛魅，而非引入新的威胁，强调需要进行系统性审计并发布基准（Innoc2Scam-bench），以推动未来关于稳健、安全的 LLM 辅助开发的研究。