💻 computer science

Amulet: a Python Library for Assessing Interactions Among ML Defenses and Risks

该论文介绍了 Amulet，这是第一个旨在系统地评估多种安全、隐私和公平性风险下，机器学习防御措施之间既定的及非预期的相互作用的全面且可扩展的 Python 库。

原作者： Asim Waheed, Vasisht Duddu, Sebastian Szyller

发布于 2026-09-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Asim Waheed, Vasisht Duddu, Sebastian Szyller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，计算机程序正越来越多地参与高风险决策，从审批贷款到诊断疾病。为了让这些系统获得信任，它们必须能够抵御黑客攻击、尊重个人隐私，并对所有背景的人群保持公平。在过去的十年里，研究人员已经开发出了针对每种危险的特定工具。他们创造了防止黑客将停止标志误认为限速标志的方法，开发了防止外部人员推测特定个人数据是否用于训练模型的技术，以及确保系统不会歧视某些群体的算法。然而，一个关键问题仍悬而未决：当你试图同时使用所有这些保护措施时，会发生什么？正如服用多种药物有时会产生意想不到的副作用一样，结合不同的 AI 安全措施可能会在无意中削弱其对其他威胁的防御能力，或产生新的漏洞。

一支研究团队现在构建了一个名为 Amulet 的新型数字实验室，以调查这些隐藏的相互作用。这个软件库允许科学家测试不同的安全措施在混合使用时的表现，从而揭示一种问题的修复是否会意外地使另一个问题恶化。在此工具出现之前，研究人员必须拼凑不同的、不兼容的软件包来研究这些组合，且通常只关注一种类型的风险。Amulet 统一了这些工作，提供了一种单一且一致的方式，来并行测试安全性、隐私性和公平性。研究人员利用这个新系统运行了数百项实验，范围涵盖了从小型的图像识别网络到可以编写类人文本的海量语言模型。他们的工作提供了第一份关于这些防御机制如何相互作用的系统性图谱，表明结果很少是简单的，并且往往在很大程度上取决于所使用的特定数据和模型。

使用 Amulet 发现的核心结论是，安全措施之间的关系具有高度的不可预测性。研究人员发现，旨在保护模型免受某一类攻击的防御手段，有时反而会使模型更容易受到另一种完全不同类型的威胁。例如，他们测试了一种称为“对抗训练”的技术，旨在增强模型对于试图通过轻微修改图像来欺骗模型的黑客的鲁棒性。虽然这成功地强化了模型对这些特定图像技巧的抵抗力，但研究人员观察到，它并未一致地提高模型的隐私性或公平性。在某些情况下，这些改变使得模型的内部逻辑更容易被外部人员窃取，而在其他情况下，其影响则微乎其微。结果表明，并不存在一条普遍规律，即某一领域的防御增强会自动导致整个系统的整体增强；相反，其影响是微妙的，并且根据数据集和特定的模型架构而千差万别。

该团队还探索了隐私工具如何与安全风险相互作用。他们应用了一种被称为“差分隐私”的方法，即在训练过程中加入一层数学噪声以保护单个数据点。他们想看看这种隐私盾牌是否也能阻止黑客向系统中注入恶意数据以创建“后门”——即一个迫使模型以特定方式运行的隐藏触发器。实验揭示了一个微妙的现实：该隐私工具确实有助于抑制后门，但仅当恶意数据的量非常小时才有效。当黑客注入更大容量的污染记录时，隐私保护实际上失效了，后门依然能够完全运作。这一发现凸显了一个关键局限性：在受控的低风险场景下表现良好的防御措施，在威胁水平增加时可能会完全失效，而如果没有一个能够跨广泛条件测试这些相互作用的工具，这一细节很容易被忽视。

这项工作的最显著贡献或许在于，它证明了这些相互作用可以在此前无法实现的规模上进行研究。研究人员成功地将他们的测试扩展到了一个拥有数十亿参数的大型语言模型，这类人工智能驱动着现代聊天机器人和写作助手。他们展示了该软件库如何评估文本形式的后门攻击与大型系统上的隐私防御之间的相互作用。结果反映了在较小模型中观察到的模式，但复杂度更高，证实了这种非预期相互作用的原理同样适用于当今最先进的 AI 系统。通过证明这些工具可以适配于新的数据类型和大规模模型，研究人员为未来的安全性测试奠定了基础。

该研究得出结论，理解人工智能的安全性需要从整体系统而非孤立的部分入手。研究人员强调，尽管他们已经识别了许多具体的相互作用，但该领域仍处于学习阶段。他们发现，这些非预期效应的强度和方向会随着特定数据集、模型规模以及训练过程中使用的设置而改变。这意味着，对于一个应用而言完美的防御措施，对于另一个应用而言可能是无效的甚至是有害的。Amulet 库旨在成为一个动态资源，允许全球社区随着新测试和防御手段的发现而不断添加内容。通过提供一种测量这些复杂关系的一致方法，该工具有助于确保当我们构建更强大、更可靠的 AI 时，能够清晰地理解我们的安全措施是如何真正协同工作的。

技术摘要：Amulet —— 一个用于评估机器学习防御与风险间相互作用的 Python 库

问题陈述

部署在高度敏感领域（如医疗、招聘）中的机器学习（ML）模型面临着三重风险：安全性（规避、投毒、未经授权的所有权）、隐私性（推理、重构）以及公平性（歧视行为）。虽然目前已存在许多旨在缓解这些单一风险的防御措施，但它们通常是孤立设计的。一个关键的差距在于对**非预期相互作用（unintended interactions）**的理解：一种为应对某一风险而设计的防御措施，可能会在无意中增加或降低对其他无关风险的易感性。

现有的库（如 CleverHans、ART、ML-Doctor、Fairlearn）是碎片化的。它们通常只关注单一的风险类别，缺乏统一的跨风险评估接口，或者难以通过新模块进行扩展。因此，目前缺乏一个系统化、可扩展的框架来评估结合多种防御措施或应用单一防御措施如何影响更广泛的风险图谱。

方法论：Amulet 库

作者提出了 Amulet，这是第一个旨在系统评估机器学习防御与风险之间既定及非预期相互作用的 Python 库。Amulet 基于四个核心设计要求构建：

全面性 (D1)： 它涵盖了安全、隐私和公平领域的八种不同风险，并为每种风险实现了具有代表性的攻击、防御和度量指标。
一致性 (D2)： 它提供了一个统一、用户友好的 API。所有模块都接受 PyTorch nn.Module 和超参数作为输入，确保与标准机器学习流水线的兼容性。
可扩展性 (D3)： 该库采用以风险为中心的模块化架构。通过实现特定风险类别的抽象基类，可以添加新的攻击、防御或度量指标，而无需修改现有代码。
适用性 (D4)： 它能够评估此前未被探索或仅被部分理解的相互作用。

架构

Amulet 按风险属性组织组件：

安全性： 规避 (S1)、投毒 (S2)、未经授权的模型所有权 (S3)。
隐私性： 成员推理 (P1)、属性推理 (P2)、数据重构 (P3)、分布推理 (P4)。
公平性： 歧视行为 (F)。

对于每种风险，Amulet 实现了：

攻击： 实现风险的算法（例如，用于规避的 PGD、用于投毒的 BadNets、用于成员推理的 LiRA）。
防御： 缓解风险的算法（例如，对抗训练、DP-SGD、异常值移除、指纹识别）。
度量： 易感性的定量衡量（例如，鲁棒准确率、攻击成功率、ROC AUC、保真度）。

该库支持多种数据模态（图像、表格、文本）和模型架构，范围从小型视觉网络（VVGG、ResNet）到数十亿参数的大型语言模型（LLMs）。

核心贡献与结果

1. 设计与可扩展性 (D3)

作者通过集成文本模态并在 LoRA 改编的 Llama-3.2-3B 模型上评估相互作用，展示了 Amulet 的可扩展性。这仅需添加三个新模块（TextTensorDataset、HFCausalLM 以及文本特定的攻击/防御实现），即可复用现有度量指标。

预期相互作用 (S2 vs. SD2)： 评估了 ONION（一种文本净化防御）针对 TextBadNets（后门投毒）的表现。结果显示，在各种投毒率下，ONION 将攻击成功率（ASR）从约 98% 降低到了约 8%，且对洁净准确率的损失较小（约 2 个百分点）。
非预期相互作用 (S2 vs. PD1)： 评估了 DP-SGD（旨在保护隐私）针对 TextBadNets 的表现。DP-SGD 仅在小规模投毒时能抑制后门（例如，在 $\epsilon=1$ 且有 67 条投毒记录时，将 ASR 从 98.9% 降至 2.0%）。然而，随着投毒数量增加（例如，达到 3,367 条记录），其保护效果会发生衰减，攻击变得与针对无防御模型时一样有效。这表明相互作用高度依赖于攻击规模和隐私预算。

2. 适用性与未探索的相互作用 (D4)

利用 Amulet，作者在视觉和表格数据集（CELEBA、CENSUS、LFW、FMNIST、CIFAR10）上评估了三种此前未被探索或存在歧义的相互作用：

对抗训练 (SD1) vs. 属性推理 (P2)： 研究发现，对抗训练并没有一致地改变对属性推理的易感性。在不同数据集上，平衡准确率和 AUC 的变化微乎其微（在 5 个百分点以内），这表明在此特定配对中不存在强烈的非预期相互作用。
对抗训练 (SD1) vs. 未经授权的模型所有权 (S3)： 结果随数据集复杂度的不同而异。在复杂数据集（LFW、CIFAR10）上，对抗训练增加了原始保真度（被窃取的模型模仿受害者模型的预测），但降低了正确保真度（对正确预测的一致性）。这表明对抗训练可能使决策边界变得更易预测，从而可能增加模型提取的易感性，尽管其影响取决于具体数据集。
异常值移除 (SD2) vs. 未经授权的模型所有权 (S3)： 使用 Shapley 值移除训练集中的异常值显著降低了受害者模型的测试准确率。然而，被窃取模型的保真度基本保持不变。这表明，虽然异常值移除损害了效用，但它并不会对未经授权的模型所有权产生实质性影响。

意义与主张

论文将 Amulet 定位为“系统性评估非预期相互作用”的基础工具。其意义在于：

统一性： 它将机器学习安全、隐私和公平领域碎片化的研究整合进一个统一、一致的框架中。
可扩展性： 它弥合了小规模基准测试与现代大规模模型（LLMs）之间的鸿沟，证明了即使是在数十亿参数的模型上也可以进行相互作用研究。
发现力： 它提供了必要的基础设施，使研究能够从“预期评估”（防御 X 是否能阻止攻击 Y？）转向“非预期评估”（防御 X 是否会让模型更容易受到攻击 Z 的威胁？）。

作者强调，非预期相互作用的强度和方向高度依赖于特定的数据集、模型架构和超参数。因此，通过像 Amulet 这样的工具进行直接测量至关重要，因为理论界限或单一研究的结论无法可靠地预测这些复杂的相互作用。该库以开源形式发布，以促进社区贡献和对可信机器学习的进一步研究。