💻 computer science

SAMD: A Tool for Identifying False Data Injection Scenarios in AI/ML-enabled Medical Devices

本文介绍了 SAMD，这是一种自动化工具，它利用大语言模型和漏洞数据库，在设计阶段对人工智能/机器学习赋能的医疗设备执行 STPA-Sec 分析，从而以高精度和高准确度有效识别虚假数据注入风险并生成相关的攻击场景。

原作者： Mohammadreza Hallajiyan, Xueren Ge, Athish Pranav Dharmalingam, Gargi Mitra, Shahrear Iqbal, Homa Alemzadeh, Karthik Pattabiraman

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohammadreza Hallajiyan, Xueren Ge, Athish Pranav Dharmalingam, Gargi Mitra, Shahrear Iqbal, Homa Alemzadeh, Karthik Pattabiraman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将一种现代医疗设备（如智能胰岛素泵或用于诊断眼疾的相机）比作一位技艺高超但略显天真的厨师。这位厨师（即人工智能）擅长根据被递送的食材（患者数据）进行烹饪（做出医疗决策）。

然而，问题在于：这些食材并非来自单一、安全的农场。它们来自众多不同的来源——蓝牙血糖仪、Wi-Fi 连接的智能手机、云服务器以及各种相机。其中一些送货卡车（外围设备）年久失修，有些锁具损坏，还有些很容易被狡猾的小偷欺骗。

如果一名恶意行为者潜入并偷偷将新鲜番茄换成腐烂的番茄（注入虚假数据），厨师可能会烹制出一顿有毒的饭菜，导致误诊或危险的治疗。令人恐惧的是：厨师并不知道番茄已经腐烂；他们只是信任那辆送货卡车。

问题所在：移动部件过多

过去，如果你购买一辆汽车，发动机和刹车由同一家公司制造，因此他们知道如何确保其安全。但在人工智能医疗设备中，“厨师”（人工智能软件）往往由一家公司构建，而“送货卡车”（传感器、相机、手机）则由数十家不同的公司制造。

当患者或医院设置该系统时，他们可能会连接品牌 A 的相机和品牌 B 的手机。人工智能开发者从未见过这些特定的“卡车”。如果品牌 A 的相机存在已知的安全漏洞，人工智能可能会接收到错误数据，从而导致危及生命的错误。对于人工智能开发者而言，预测恶意行为者可能利用这些众多不同部件进行破坏的每一种方式，是极其困难的。

解决方案：SAMD（安全侦探）

该论文介绍了一种名为SAMD的新工具。可以将 SAMD 想象为一位超级强大的安全侦探，它在设备甚至销售给患者之前，就为医疗设备制造商工作。

SAMD 并非凭空猜测；它遵循一套严格、逻辑化的“食谱”（称为 STPA-Sec），以确切找出小偷可能入侵的方式。其工作原理分步如下：

技术扫描器（图书管理员）：
SAMD 读取设备的说明书和用户指南。它就像一位图书管理员，能够瞬间扫描书籍并提取出所有提及的特定技术（如“蓝牙”、“Wi-Fi"或"Linux"）。它会列出人工智能可能与之通信的每一辆“送货卡车”。
漏洞查找器（漏洞猎手）：
一旦获得技术列表，SAMD 就会查询一个庞大的公开软件漏洞数据库（称为 CVE 数据库）。它会问：“我们刚刚发现的蓝牙或 Wi-Fi 是否受到任何这些漏洞的影响？”
它会提取每种技术的前 10 个最新漏洞。然后，它利用一个智能人工智能（大型语言模型）作为过滤器。它会问人工智能：“黑客能否利用这个特定漏洞，在食材到达厨师之前将其替换（篡改数据）？”如果答案是“不，这个漏洞仅窃取密码”，则将其丢弃。如果答案是“是，这个漏洞允许他们更改数据”，则予以保留。
攻击场景生成器（故事讲述者）：
这是最具创造性的部分。对于通过过滤的每一个漏洞，SAMD 都会要求人工智能编写一个逐步的抢劫故事。
- 步骤 1（侦察）： 小偷如何发现该系统？
- 步骤 2（获取访问权限）： 他们如何进入？
- 步骤 3（权限提升）： 他们如何获得厨房的钥匙？
- 步骤 4（攻击执行）： 他们如何替换食材？
- 步骤 5（影响）： 患者会发生什么？
人工智能以非常结构化的方式撰写这些故事，确保它们既真实又详尽，而非凭空捏造的胡言乱语。

效果如何？

研究人员在五种经美国食品药品监督管理局（FDA）批准的现实世界医疗设备（例如用于胰岛素剂量的应用程序和用于眼疾的相机）上测试了 SAMD。

识别技术： SAMD 发现了说明书中提及的 100% 的技术。
发现漏洞： 它成功找到了与这些技术相关的已知安全漏洞。在其标记的漏洞中，约 63% 实际上与数据篡改相关（其余则无关，例如仅导致系统变慢的漏洞）。
编写故事： 在生成“抢劫故事”（攻击场景）时，其准确率高达 95.3%。这些故事细节丰富，足以展示黑客如何欺骗人工智能，以及这对患者将产生何种后果。
速度： 速度极快。虽然人类专家分析一台设备可能需要数小时，但 SAMD 仅需几分钟（最长的一次测试耗时约 3 分钟）。

谁从中受益？

设备制造商： 他们可以在设计阶段使用 SAMD，在构建系统之前发现其薄弱环节。他们可以修复漏洞，或告知医院：“不要将品牌 X 的相机与我们的设备一起使用，因为它不安全。”
安全专家： 独立分析师可以使用该工具检查设备，并发布关于如何保障其安全的报告。

核心结论

SAMD 就像是医疗人工智能的安全模拟器。它并不取代人类专家，但为他们提供了巨大的先发优势。它将复杂、混乱的互联医疗设备网络转化为清晰的清单：“如果黑客尝试 X，他们就能做到 Y。”这有助于确保医院厨房里的“厨师”获得新鲜、安全的食材，从而保护患者免受危险错误的侵害。

技术摘要：SAMD——一种用于识别 AI/ML 赋能医疗设备中虚假数据注入场景的工具

1. 问题陈述

将人工智能（AI）和机器学习（ML）集成到医疗设备中带来了显著益处，例如自动化远程监控和增强的诊断能力。然而，这种集成引入了关键的安全风险，特别是在推理阶段的虚假数据注入攻击。与传统的生命安全关键领域（如汽车或工业控制）不同，在这些领域中通常由单一制造商控制整个系统栈，AI/ML 赋能的医疗系统往往依赖异构的、多供应商的外围设备（例如血糖仪、摄像头），这些设备将数据输入到中央 ML 模型中。

核心挑战在于，ML 软件与这些外围设备的最终集成通常由缺乏网络安全专业知识的用户或医疗服务提供者在部署后完成。因此，外围设备中的漏洞（例如通信协议、固件或操作系统）可能被利用来注入恶意数据，导致 ML 预测错误、误诊，甚至可能引发致命的治疗错误。现有的安全努力主要集中在加强 ML 模型本身或分析软件栈，但很少有工作解决利用互联外围设备中已知漏洞来破坏 ML 引擎的系统性风险。此外，由于攻击面的复杂性以及医疗 ML 开发人员网络安全专业知识的有限性，手动识别这些跨组件攻击路径十分困难。

2. 方法论：SAMD

为了应对这些挑战，作者引入了SAMD（面向 AI/ML 赋能医疗设备的安全系统理论过程分析，STPA-Sec），这是一种旨在执行**安全系统理论过程分析（STPA-Sec）**的自动化工具。SAMD 将医疗系统建模为控制结构，将所有组件视为潜在的虚假数据注入向量。该工具通过三阶段工作流自动发现漏洞并生成攻击场景：

A. 技术识别器

该模块从公开可用的设备文档（例如 FDA 提交文件、用户指南）中提取系统组件（硬件、软件和外围设备）所使用的技术信息。

技术： 它结合使用命名实体识别（NER）模型（GliNER 和基于 GPT-4o 的 NER）来识别具体的技术因素，如通信协议、加密方法、固件、操作系统和外部库。
幻觉缓解： 为确保准确性，该模块针对源文档执行精确的单词匹配检查，合并两个 NER 模型的输出，并移除文档中未明确出现的任何关键词。

B. 漏洞查找器

一旦识别出技术，该模块便查询**MITRE 通用漏洞枚举（CVE）**数据库，检索与这些技术相关的最新前 $N$ 个（设定为 10）CVE 记录。

相关性过滤： 提示大型语言模型（LLM）输入设备描述和 CVE 描述，以确定该漏洞是否可能被利用来注入、修改或欺骗 ML 组件使用的数据。LLM 被指示根据漏洞是否允许数据篡改，输出严格的“是”或“否”，从而过滤掉仅限于信息泄露或拒绝服务（DoS）的漏洞。

C. 攻击场景生成器

该模块综合过滤后的漏洞、系统控制结构和已知的对抗步骤，生成详细的攻击场景。

提示工程： LLM 被赋予安全工程师的角色，并提供包含系统描述、数据流、特定 ML 技术、目标技术和 CVE 细节的结构化提示。
结构化输出： 为了减少变异性和幻觉，LLM 被限制为遵循特定的五阶段思维链框架生成攻击步骤：
1. 侦察
2. 获取访问权限
3. 权限提升
4. 攻击执行
5. 影响
目标： 输出详细说明了攻击者如何利用外围设备中的特定漏洞来操纵进入 ML 引擎的数据，从而导致特定的患者安全影响（例如，错误的胰岛素剂量）。

3. 主要贡献

该论文概述了三项主要贡献：

SAMD 的开发： 这是首个辅助 AI/ML 赋能医疗设备 STPA-Sec 分析的自动化工具。它自动识别目标设备技术，从公共数据库中检索相关漏洞，并生成包含详细执行步骤的特定攻击场景。
实证评估： 作者使用三种最先进的 LLM（GPT-4、GPT-4o 和 Llama 3）实现了 SAMD，并将其应用于五个不同专科的真实世界、FDA 批准的医疗设备：
- d-Nav： 胰岛素剂量推荐应用程序。
- ABMD： 基于 CT 扫描的骨密度测量。
- IDx-DR v2.3： 基于视网膜图像的糖尿病视网膜病变检测。
- KIDScore D3： 用于体外受精（IVF）的自动化胚胎分析。
- Oxehealth Vital Signs： 通过视频进行的非侵入性脉搏和呼吸频率测量。
严格评估： 通过人工审查和"LLM 作为裁判”的方法评估了工具的性能，以评估生成攻击步骤的正确性和相关性。

4. 实验结果

SAMD 的评估产生了以下定量结果：

技术识别： SAMD 在识别输入文档中提到的设备技术方面实现了100% 的精确度。（注：该工具只能识别提供的文档中明确存在的技术；未包含在公共文档中的机密制造商数据未被识别，但这属于输入的限制，而非工具本身的限制。）
漏洞发现： SAMD 检索到与识别出的技术相关的已知漏洞，精确度为63.2%。在提取的 165 个 CVE 中，有 36 个经人工验证确实可用于虚假数据注入。
攻击场景生成： 生成的攻击场景在正确性、细节和对系统的相关性方面，经两个独立 LLM 裁判（GPT-o3 和 Gemini-2.5-Pro）测量，平均准确率为95.3%。
LLM 性能： 在测试的模型中，GPT-4o的表现始终优于 GPT-4 和 Llama 3，提供了最正确的步骤（96.2%）、最高水平的细节，以及关于安全建议和患者影响的最佳额外见解。
效率： SAMD 显著减少了分析时间。对于拥有 54 个 CVE（其中 22 个相关）的设备，人工分析估计需要约 5.5 小时，而 SAMD 在大约3 分钟内完成了任务（观察到的最大运行时间为 IDx-DR v2.3 的 191.64 秒）。

5. 意义与主张

作者将 SAMD 定位为医疗设备生命周期设计和部署后阶段的前瞻性安全工具。

对于制造商： SAMD 能够在商业化之前识别潜在的攻击路径和脆弱的外围技术，从而允许实施对策或向最终用户发布关于安全部署环境的建议。
对于安全分析师： 它提供了一种系统化的方法，用于分析医疗设备的公开可用信息，以生成安全建议并识别可能因多供应商系统的复杂性而被忽视的危害。
局限性与谦逊： 论文明确指出，SAMD 旨在支持而非替代人类安全分析师。鉴于医疗保健的高度安全关键性，作者建议对生成的场景进行最终的人工审查。他们承认，该工具的有效性受限于输入文档的完整性和当前 LLM 的能力，尽管他们指出测试模型（特别是 GPT-4o）的幻觉率很低。

总之，SAMD 弥合了外围设备漏洞与 ML 模型安全之间的差距，为预测复杂、异构医疗生态系统中的虚假数据注入攻击提供了一种自动化、结构化的方法。