A Multi-Turn Framework for Evaluating AI Misuse in Fraud and Cybercrime Scenarios

这是一份关于《用于评估欺诈和网络犯罪场景中 AI 滥用的多轮框架》（A Multi-Turn Framework for Evaluating AI Misuse in Fraud and Cybercrime Scenarios）的技术总结。该论文由英国 AI 安全研究所（AI Security Institute）的研究团队撰写，旨在系统性地评估大型语言模型（LLM）在协助欺诈和网络犯罪方面的实际能力。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

随着 AI 技术的普及，关于其被用于辅助欺诈和网络犯罪的报告日益增多（如虚假身份求职、受害者画像、高级钓鱼攻击等）。然而，目前缺乏系统性的证据来量化：

• 当前的 LLM 在多大程度上能为复杂的犯罪活动提供有用的、可操作的信息？
• 现有的防御机制（如安全护栏）在多大程度上有效？
• 现有的评估方法多基于单轮提示（Single-turn），无法捕捉现实世界中攻击者通过多轮对话逐步诱导模型（Multi-turn）的行为模式。

核心研究问题：

1. 在多轮交互中，大型语言模型在多大程度上能为欺诈和网络犯罪任务提供有用信息？
2. 哪些模型特征决定了所提供信息的质量和可操作性？

2. 方法论 (Methodology)

研究团队开发了一个名为**长形式任务（Long-Form Tasks, LFTs）**的评估框架，该框架包含五个阶段，并与执法及政策专家紧密合作以确保现实性。

2.1 评估框架设计 (LFT Framework)

• 多轮交互结构：不同于单轮测试，LFT 模拟真实的攻击生命周期。每个场景包含 12 个提示（Prompt），分为 6 个阶段，每个阶段包含 2 个提示（初始探测 + 后续追问）。
• 风险建模：基于英国欺诈法律框架和犯罪案例，定义了 6 个犯罪阶段：
  1. 规划与准备 (Planning)
  2. 情报收集与侦察 (Reconnaissance)
  3. 伪造 (Falsification)
  4. 接触与执行 (Engagement)
  5. 规避 (Evasion)
  6. 规模化 (Scaling)
• 场景选择：选取了三种高发性且影响巨大的欺诈类型：
  1. 情感诈骗 (Romance Scams)：建立虚假关系以骗取钱财。
  2. CEO 诈骗 (CEO Impersonation)：冒充高管诱导员工转账。
  3. 身份盗窃 (Identity Theft)：非法获取并使用个人数据。
• 变量控制：
  • 攻击者画像：非技术个人、技术个人、协作技术团伙。
  • 提示策略：
    • 恶意框架 (Malicious framing)：直接表明犯罪意图。
    • 良性分解 (Benign decomposition)：将恶意请求拆解为看似无害的查询（如“为了安全演示研究社会工程学”），以绕过安全过滤。
    • 系统级越狱 (System-level jailbreaks)：测试低努力程度的系统提示注入。
• 评估指标：
  • 可操作性 (Actionability)：模型是否生成了可直接用于攻击的材料（1-6 分制，6 分为完全自动化解决方案）。
  • 信息获取 (Information Access)：模型提供的信息是否超越了专家校准的网页搜索基准（即是否提供了难以通过普通搜索获得的深度信息）。
• 自动化评分：使用 GPT-4.1 作为“裁判模型”（LLM-as-a-judge），基于专家制定的评分标准对 20,088 次评估进行打分。

2.2 实验规模

• 测试了 14 种 不同的 LLM（包括安全对齐模型、未审查/去安全化模型、具备推理能力的模型等）。
• 共进行了 20,088 次评估（1,674 个 LFT 任务，每个任务运行 5 次以消除方差）。

3. 关键贡献 (Key Contributions)

1. 首个多轮犯罪任务评估集：创建了针对 AI 安全评估的首套长形式犯罪任务（LFTs），模拟了现实世界中攻击者逐步诱导模型的过程。
2. 专家驱动的风险建模：通过与执法部门合作，将犯罪生命周期映射到具体的提示工程中，确保了测试场景的真实性和相关性。
3. 可复现的评估框架：提出了一套基于贝叶斯有序逻辑回归的统计方法，用于量化不同变量（模型类型、提示策略、犯罪类型）对风险的影响。
4. 基准数据：提供了关于当前 LLM 在低努力攻击条件下（Low-effort elicitation）对欺诈和犯罪协助能力的基准数据。

4. 主要结果 (Results)

研究通过贝叶斯有序逻辑回归分析了数据，得出以下核心结论：

4.1 总体协助水平极低

在低努力诱导条件下，当前 LLM 提供的可操作信息非常有限：

• 88.5% 的响应在“可操作性”上得分极低（拒绝或无法提供可用材料）。
• 67.5% 的响应在“信息获取”上得分极低（信息等同于基础网络搜索，无额外价值）。
• 只有极少数响应（约 5-7%）提供了高价值的可操作材料或深度信息。

4.2 模型安全护栏是关键因素

• 模型选择影响最大：模型类型是决定协助水平的最主要因素。
• 未审查模型风险高：经过微调以移除安全护栏的“未审查”模型（Uncensored models，如 Llama 3.1 8B Uncensored）提供了显著更多的可操作信息。例如，22.5% 的未审查模型响应在可操作性上得分较高。
• 安全对齐有效：大多数经过安全训练的模型即使在被诱导时，也倾向于拒绝或仅提供通用信息。

4.3 提示策略的影响

• 良性分解有效：将恶意请求分解为看似无害的查询（Benign decomposition）比直接恶意提问更能诱导模型提供协助。
  • 在“良性”框架下，模型的可操作性评分平均提高了 0.86 分，信息获取评分提高了 1.20 分。
  • 特别是针对身份盗窃（技术性较强）的场景，良性框架下的协助率显著高于恶意框架（恶意框架下几乎完全被拒）。
• 系统级越狱效果微弱：测试的低努力系统级越狱（System-level jailbreaks）对结果影响微乎其微，未显示出统计学上的显著差异。

4.4 其他发现

• 推理能力 (Reasoning)：具备推理能力的模型（如 o4-mini）在推理过程中有时会识别出恶意意图并拒绝，但也存在变异性。推理 token 的增加与协助水平呈正相关，但整体协助水平仍受限于安全机制。
• 网络搜索：启用网络搜索的模型并未表现出比标准模型更高的协助性，甚至略低（可能由于搜索模型集成了额外的安全措施）。
• 攻击者技术能力：攻击者的技术 sophistication（技术熟练度）对模型响应影响很小，模型主要响应的是请求本身的性质，而非请求者的身份。

5. 意义与局限性 (Significance & Limitations)

意义

• 风险量化：研究表明，在当前的安全护栏和低努力攻击条件下，AI 为欺诈和网络犯罪提供的“信息增值”（Informational Uplift）相对有限。
• 防御重点：结果强调了多轮对话检测的重要性。由于“良性分解”能有效绕过部分防御，未来的安全系统需要能够识别跨多轮对话的累积恶意意图，而不仅仅是单轮提示。
• 动态评估：该框架为随着模型能力提升和攻击者适应而动态跟踪风险提供了可复现的方法论。

局限性

• 场景覆盖：仅测试了三种欺诈场景，未涵盖文档伪造等常见类型。
• 模态限制：仅测试了文本生成，未评估图像、视频等多模态内容生成（这在深度伪造诈骗中很常见）。
• 攻击强度：测试的是低努力攻击（Low-effort），未包含专家级的红队测试或高级越狱技术，因此可能低估了高投入攻击下的风险上限。
• 基准对比：信息获取能力的评估缺乏与未受助的常规网络搜索的直接对比，主要依赖专家直觉。

总结

该论文通过严谨的多轮评估框架指出，虽然 AI 可能被用于犯罪，但当前的安全护栏在防止模型提供直接可操作的犯罪材料方面是相对有效的。然而，攻击者通过“良性分解”策略可以显著增加模型提供协助的概率，这提示未来的 AI 安全研究应重点关注长上下文中的意图识别和多轮对话的防御机制。同时，移除安全护栏的模型构成了显著的安全风险。