技术摘要：FinVault：金融智能体在执行落地环境中的安全性基准测试

1. 问题陈述

将基于大语言模型（LLM）的金融智能体部署于投资分析、风险评估和自动化决策领域，引入了超越传统内容合规性的新型安全风险。现有的安全评估范式存在两个主要局限性：

1. 以内容为中心： 当前的评估主要在文本层面评估语言模型，关注模型是否生成不当内容或拒绝非合规请求。它们无法捕捉由于多步决策、工具调用以及在真实业务工作流中状态转换而产生的系统性风险。
2. 抽象化环境： 通用的智能体安全基准通常使用具有抽象工具接口（例如预定义的响应或脚本）的模拟环境。这些环境缺乏真实金融系统的关键机制，如可写入状态的业务数据库、权限约束和可审计的操作轨迹。因此，它们无法验证攻击是否会导致实际的非合规业务行为或实质性的风险后果。

鉴于金融 AI 系统在《美国 SR 11-7》和《欧盟 AI 法案》等法规下被归类为高风险领域，迫切需要一种针对真实金融场景、能够验证复杂执行落地业务工作流中安全性和合规性的安全评估基准。

2. 方法论：FinVault 框架

为了解决这些差距，作者提出了 FinVault，这是首个针对金融智能体的执行落地安全性基准。该框架构建于三个核心原则之上：监管驱动的场景设计、跨领域覆盖以及业务真实性。

2.1 场景设计与环境

FinVault 在隔离的沙盒环境中构建了 31 个监管驱动的金融业务场景。这些场景涵盖了六个主要的金融领域：

• 信贷与贷款
• 保险服务
• 证券与投资
• 支付与结算
• 合规与反洗钱 (AML)
• 风险管理

与抽象基准不同，FinVault 特点是拥有具有状态可写数据库的可执行环境。智能体通过工具链与这些场景进行交互，以访问并更新场景数据库。环境层明确实现了：

• 权限检查与授权约束。
• 合规性约束（例如，监管限制、制裁名单）。
• 用于操作轨迹的审计日志。

攻击的成功或失败并非仅由文本输出决定，而是由可观测的业务状态变化及其后果（例如，未经授权的资金转账或绕过的信用额度）来判定。

2.2 威胁模型与攻击构建

该基准定义了 107 种高风险漏洞，这些漏洞源自真实的监管违规模式，并分为五类：

1. 权限绕过： 规避身份验证或授权。
2. 合规违规： 诱导导致违反监管要求的行为。
3. 信息泄露： 提取敏感客户或业务数据。
4. 欺诈性审批： 通过操纵决策过程以获得未经授权的结果。
5. 审计规避： 向日志记录机制隐藏违规行为。

攻击数据集包含 963 个测试用例，其中包括 856 个对抗性样本和 107 个良性业务样本。对抗性样本涵盖了三类攻击和八种特定技术：

• 提示词注入 (Prompt Injection)： 直接 JSON 注入、指令覆盖。
• 越狱 (Jailbreaking)： 角色扮演、渐进式提示、编码混淆、假设性场景。
• 金融适配攻击 (Financially Adapted Attacks)： 权威冒充、情感操纵。

构建过程涉及一个三阶段流水线：专家设计种子攻击、基于模型的增强以提升多样性，以及用于确保合理性和成功标准清晰度的专家人工验证。

2.3 实验设置

作者评估了 10 个主流 LLM（包括 Qwen3、GPT-4o/5、Claude-Sonnet/Haiku、DeepSeek 等）作为金融智能体的表现。他们还评估了三种防御机制：LLaMA Guard 3、LLaMA Guard 4 和 GPT-OSS-Safeguard。

评估指标：

• 攻击成功率 (ASR)： 成功触发漏洞的攻击比例。
• 漏洞受损率 (Vulnerability Compromise Rate)： 至少被一种攻击技术利用的预定义漏洞比例。
• 误报率 (FPR)： 防御机制错误标记良性业务指令的频率。
• 效率： 每个案例的 Token 消耗和时间。

3. 关键结果

3.1 模型脆弱性

实验结果揭示了模型之间显著的安全差异，没有任何被评估的模型在真实的金融设置中展现出稳健的保护能力：

• 高攻击成功率： 最脆弱的模型（Qwen3-Max）表现出 50.0% 的平均 ASR。即使是最稳健的模型（Claude-Haiku-4.5）也有 6.7% 的平均 ASR。
• 漏洞受损： 当将评估限制为“是否存在任何攻击技术可以利用某一漏洞”时，最弱模型的受损率达到了 85.98%，而最强模型的受损率为 20.56%。
• 场景敏感性： 保险服务场景最容易受到攻击（Qwen3-Max 的 ASR 高达 65.2%），这可能是由于复杂的政策解读和自由裁量决策导致的。相比之下，信用场景由于其基于规则的决策过程，表现出较强的韧性。

3.2 攻击技术有效性

• 语义主导性： 语义层面的攻击（角色扮演、假设性场景、权威冒充）明显比技术性攻击（如编码混淆）更有效。角色扮演攻击在所有模型中都取得了持续的高 ASR。
• 指令隔离： 指令覆盖攻击在不同模型之间显示出巨大的性能差距。Qwen3-Max 在该技术下的 ASR 为 64.50%，而 Claude-Haiku-4.5 仅为 3.70%，这凸显了指令边界强制执行方面的根本差异。

3.3 防御机制评估

现有的防御方法面临着检测能力与误报率之间的严重权衡：

• LLaMA Guard 4 实现了最高的真阳性率（61.10%），但代价是高昂的误报率（29.91%），这可能会干扰敏感的金融工作流。
• GPT-OSS-Safeguard 保持了最低的 FPR（12.15%），但检测率非常低（22.07%）且 Token 消耗高，使其不适用于实时决策。
• 结论： 目前没有任何防御能提供稳健的保护；即使对于最强的基座模型，漏洞受损率仍保持在 20% 以上。

4. 核心贡献

1. 首个执行落地基准： FinVault 是第一个利用带有可写业务数据库的隔离沙盒来对金融智能体进行系统性安全评估的基准。这使得安全失败可以通过可观测的业务状态变化和审计追踪来验证，而非仅仅依赖文本输出。
2. 全面的威胁建模： 本研究基于真实的监管模式系统地定义了 107 种高风险漏洞，并构建了一个涵盖提示词注入、越狱和金融适配攻击的分类法，最终形成了包含 963 个测试用例的数据集。
3. 系统性弱点的实证证据： 该研究提供了实证证据，表明通用的安全对齐无法轻易迁移到金融领域。它强调了语义攻击比技术攻击构成更大的威胁，并且目前的防御在检测能力与可用性之间难以平衡。

5. 重要性与主张

论文声称，FinVault 对于研究界开发、评估并部署植根于真实运营和监管条件的更安全的金融智能体至关重要。

作者强调，当前金融智能体的安全现状是不稳固的。高攻击成功率以及现有防御无法平衡检测与低误报率的现状表明，通用安全设计在金融领域的迁移能力有限。研究结果表明，LLM 的安全失效主要源于语义推理层面（例如，角色合规性、指令边界模糊）而非技术解析能力的缺陷。

论文总结道，建立一个与实际业务流程对齐的专用端到端安全评估基准，是实现金融智能体大规模安全部署的前提条件，尤其是在涉及直接经济损失和监管责任的高风险环境下。

承认的局限性：
作者指出，虽然八种攻击技术捕捉了主流范式，但尚未涵盖新兴策略。此外，尽管沙盒环境近似于真实工作流，但在规模和集成复杂度上不可避免地与生产系统存在差异。最后，ASR 指标将所有成功的攻击视为同等对待，未能捕捉攻击严重程度或下游影响的差异。