🤖 machine learning

Random Erasing vs. Model Inversion: A Promising Defense or a False Hope?

本文证明了随机擦除（Random Erasing）这一传统上用于提高泛化能力的增强技术，通过创造一种能够降低重建质量同时保持模型效用的特征空间差异，能够作为一种高效且简单的防御手段来对抗模型逆向攻击，从而实现了最先进的隐私-效用权衡。

原作者： Viet-Hung Tran, Ngoc-Bao Nguyen, Son T. Mai, Hans Vandierendonck, Ira Assent, Alex Kot, Ngai-Man Cheung

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Viet-Hung Tran, Ngoc-Bao Nguyen, Son T. Mai, Hans Vandierendonck, Ira Assent, Alex Kot, Ngai-Man Cheung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：“内存泄漏”

想象一下，你雇佣了一位顶级大厨（AI 模型）来学习如何烹饪一道秘密家族食谱（私有数据）。你给大厨看了成千上万张食材和成品照片，好让他们学会完美的味道。

一旦大厨训练完成，你想让他们告诉你一道新菜是“正宗”还是“伪造”。然而，有一个狡猾的小偷（模型逆向攻击/Model Inversion Attack）想要偷走这个秘密食谱。小偷不需要看到原始照片，他们只需要向大厨提问，比如：“完美的番茄长什么样？”或者“洋葱应该有多大？”

通过不断提问并分析大厨的回答，小偷可以慢慢重构出原始食材的照片，即使他们从未亲眼见过这些照片。这就是模型逆向攻击（MI Attack）。这就像是通过品尝最终的菜肴来反推解开秘密食谱的过程。

旧方案：“蒙住”大厨的双眼

以往试图阻止这个小偷的方法涉及改变大厨学习的方式或他们回答问题的方式：

添加噪声： 让大厨有时进行随机猜测（差分隐私/Differential Privacy）。
改变规则： 强迫大厨忘记特定的细节（损失函数/Loss Function 的改变）。
切除大脑： 移除大厨记忆的一部分（架构改变）。

这些旧方法的问题在于，它们往往会让大厨在实际工作中表现变差。如果你为了阻止小偷而过度蒙住大厨的双眼，大厨可能会忘记如何正确烹饪这道菜。这是一个权衡：安全性越高，通常意味着技能越低。

新方案：“随机擦除”（MIDRE）

本文作者提出了一种出人意料地简单的技巧，叫做随机擦除（Random Erasing）。

想象一下，你在用食材照片教导大厨。但在把照片展示给大厨之前，你拿出一块胶带，随机遮住照片中的一个方块区域。

有时你遮住鼻子。
有时你遮住眼睛。
有时你遮住嘴巴。
至关重要的一点是： 每次展示照片时，你遮住的位置都是不同的。

这种技术被称为 MIDRE（通过随机擦除实现的模型逆向防御），它实现了两个神奇的效果：

1. 小偷被搞糊涂了（隐私提升）

小偷试图通过询问大厨“鼻子长什么样？”来重构脸部。
因为大厨是在“鼻子有时会被遮住”的照片上进行训练的，所以大厨从未学会仅仅依赖鼻子。大厨学会了通过观察整张照片来识别特征，但同时也理解了部分信息可能会缺失。

当小偷试图构建一张假脸时，大厨的回答是基于“碎片化”的训练数据。小偷构建出的脸看起来就像一个模糊、破碎的混乱体，因为在大厨训练期间，大厨从未见过完整、无遮挡的面孔。小偷无法重构出清晰的私密图像。

2. 大厨变得更聪明了（效用提升）

令人惊讶的是：大厨的厨艺竟然变好了！
因为大厨必须猜测胶带下面是什么，所以他们不再依赖“作弊”式的捷径（比如死记硬背脸颊上的某颗痣）。相反，他们学会了识别面部的本质特征。这使得大厨在处理完美照片时，也更加稳健且准确。

两个“秘密配方”

论文强调了这两个方法之所以如此有效的具体原因：

局部擦除（“缺失的部分”）： 如果你只给大厨看 50% 的照片，但对于这些情况隐藏了整张照片，小偷仍然可以猜出剩下的部分。但如果你展示 100% 的照片，只是每次隐藏其中不同的部分，小偷就永远无法获得全貌。模型被迫学习“大局观”，而不是死记硬背特定的像素。
随机位置（“惊喜”）： 如果你总是遮住左眼，小偷就会学会忽略左眼。但因为你每次都遮住一个随机的位置，小偷永远无法预测哪个部分会缺失。这迫使模型学习一种更完整、更通用的数据理解。

结果：双赢

作者在 37 种不同的场景下进行了测试（包括不同的 AI 类型、数据集和窃贼策略）。

小偷的分数： 大幅下降。在某些情况下，小偷的成功率从接近 90% 降到了 20% 以下。
大厨的分数： 保持不变，甚至略有提升。

类比总结：
与其锁上厨房的门（这会阻止小偷，但也会阻碍大厨工作），你只需每次递给大厨一张带有随机污点的照片。小偷无法破解秘密食谱，因为线索总是在变化；但大厨学会了精湛的厨艺，以至于即使看不清完整的照片，也能知道这道菜应该是什么味道。

结论

本文声称，随机擦除是一种简单、强大且免费的防御手段。它不需要复杂的数学公式，也不需要改变 AI 的大脑结构。它只是稍微改变了“训练饮食”。其结果是，系统变得更难被黑客攻击，同时对于其预定用途而言，依然同样有用（甚至更有用）。

技术摘要：基于随机擦除的模型逆向防御 (MIDRE)

问题陈述
模型逆向 (Model Inversion, MI) 攻击代表了一种关键的机器学习隐私威胁，即攻击者通过利用对已训练模型的访问权限来重建私有的训练数据（例如人脸图像）。虽然现有的防御措施主要采用以模型为中心的策略——例如修改损失函数（如 BiDO、NLS）、改变模型架构（如 TL-DMI、MI-RAD）或应用差分隐私——但这些方法通常面临一个显著的权衡：它们通过牺牲模型的自然效用（准确率）来实现隐私保护。此外，数据增强技术对 MI 鲁棒性的影响在很大程度上仍未得到充分探索。

方法论：MIDRE
作者提出了基于随机擦除的模型逆向防御 (MIDRE)，这是一种以数据为中心的防御机制，它利用了随机擦除 (Random Erasing, RE) 技术，该技术传统上用于提高模型针对遮挡的泛化能力。

机制： 在训练阶段，该方法对私有训练样本应用平方区域擦除策略。选择一个随机起点 $(x_e, y_e)$ ，并掩盖一个大小为 $\sqrt{s_{RE}} \times \sqrt{s_{RE}}$ 的正方形区域（填充 ImageNet 均值像素值）。擦除比例 $a_e$ （被擦除图像的部分）由单个超参数控制。
训练目标： 与其他防御措施不同，MIDRE 不改变训练损失函数或模型架构。训练目标保持标准形式（例如交叉熵），但呈现给模型的输入数据在每次迭代中都是部分被遮蔽的。
核心特性： 该方法依赖于 RE 的两个特定属性：
1. 部分擦除 (Partial Erasure)： 防止模型在训练期间观察到完整的物体，从而减少编码在模型权重中的私有信息量。
2. 随机位置 (Random Location)： 确保擦除区域在不同迭代之间发生变化，从而保持训练数据的多样性，并防止模型学习基于固定遮挡的“捷径”特征。

特征空间分析
论文提供了一种新颖的特征空间分析，以解释该防御机制的有效性：

差异创建 (Discrepancy Creation)： 使用 MIDRE 训练的模型学习到的特征表示偏向于 RE-私有图像（即被遮蔽的训练数据），而非原始的私有图像。
攻击降级 (Attack Degradation)： MI 攻击旨在重建能够最大化目标模型下似然度的图像。因此，重建的图像 ( $f_{recon}$ ) 与训练数据的特征 ( $f_{RE}$ ) 高度一致。
不匹配 (The Mismatch)： 由于训练数据 ( $f_{RE}$ ) 是私有数据 ( $f_{priv}$ ) 的遮蔽版本，重建图像的特征与实际私有图像的特征之间存在显著差异。这种不匹配阻止了攻击精确地复制私有数据特征。
效用保持 (Utility Preservation)： 尽管 $f_{RE}$ 与 $f_{priv}$ 之间存在差异，但私有图像在特征空间中仍与其他类别保持显著区别且具有良好的分离度，这使得模型能够维持较高的自然分类准确率。

主要贡献

新颖的防御机制： MIDRE 是首个将随机擦除作为针对 MI 攻击的隐私保护机制的研究，证明了这种简单的增强技术可以有效地降低攻击准确率。
特征空间洞察： 作者提供了深入的分析，表明该防御通过在重建图像与私有图像之间制造特征空间差异来发挥作用，同时保持了用于效用的类别可分性。
属性分析： 研究隔离并验证了“部分擦除”（减少私有信息暴露）和“随机位置”（保持效用）作为隐私-效用权衡驱动因素的重要性。
全面的评估： 该方法在 37 个实验设置中进行了评估，包括 9 种最先进的 MI 攻击（白盒、黑盒和仅标签攻击）、11 种网络架构（包括 Vision Transformers）以及 6 个具有不同分辨率（64×64 到 224×224）的数据集。

实验结果

隐私-效用权衡： 大量实验表明，MIDRE 在隐私-效用权衡方面达到了 SOTA（最先进）水平。
攻击削减： 该方法显著降低了 MI 攻击的准确率。例如，在高分辨率设置（224×224）下，MIDRE 在将自然模型准确率提高 0.37% 的同时，将攻击准确率降低了高达 69.39%（设置 4）。
与 SOTA 对比： 在各种架构（ResNet、DenseNet、MaxViT、Inception）和攻击（PPA、MIRROR、IF-GMI、LOMMA）下，MIDRE 一致地优于现有的防御措施，如 BiDO、NLS、TL-DMI 和 MI-RAD。
消融研究：
- 部分擦除 vs. 全体擦除： 减少训练轮数（模拟“全体擦除”）的效果不如对图像进行部分擦除有效。
- 随机位置 vs. 固定位置： 随机位置擦除比固定位置擦除具有更高的模型准确率，同时保持了相似的攻击抗性。
- 可组合性： MIDRE 与现有的以模型为中心的防御措施具有互补性。将 MIDRE 与 BiDO 或 NLS 结合使用，可以进一步降低攻击准确率（例如在一种设置下降至 3.75%），同时保持或提高效用。

意义与主张
论文声称 MIDRE 提供了一种简单且有效的防御方案，可以轻松集成到现有的隐私保护技术中。其主要意义在于，在多种配置下，能够在不降低模型效用的情况下实现 MI 攻击准确率的大幅下降，在某些情况下甚至能提高效用。作者将其定位为一种范式转变：从复杂的以模型为中心的修改转向一种直接以数据为中心的方案，从而有效地阻断了成功进行模型逆向所需的有效信息流。