🤖 machine learning

One RNG to Rule Them All: How Randomness Becomes an Attack Vector in Machine Learning

本文通过分析机器学习框架中伪随机数生成器（PRNG）的设计与实现缺陷，揭示了随机性可能成为一种隐蔽的攻击向量，并提出了名为 RNGGuard 的工具，通过静态分析与运行时替换来增强机器学习系统中随机性来源的安全性。

原作者： Kotekar Annapoorna Prabhu, Andrew Gan, Zahra Ghodsi

发布于 2026-02-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Kotekar Annapoorna Prabhu, Andrew Gan, Zahra Ghodsi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于机器学习安全性的学术论文。为了让你轻松理解，我们可以把“机器学习模型”想象成一个**“正在参加高考的学生”，而“随机数生成器（RNG）”就是这个学生在考试中使用的“随机选择题涂卡笔”**。

以下是这篇文章的通俗解读：

1. 背景：那个“看似没用”的随机数

在机器学习的世界里，“随机”无处不在。就像学生做题时，有时候需要随机模拟一些情况来练习，或者在决定答案时需要一点“运气”。

初始化权重：就像给学生一个随机的初始知识水平。
数据增强：就像把课本上的图片旋转、变色，让学生见多识广。
差分隐私（DP）：这是一种保护隐私的技术，就像在学生的考试成绩里加入一些“噪音”，让别人看不出具体是谁考了多少分，从而保护隐私。

问题在于： 现在的机器学习框架（比如 PyTorch 或 TensorFlow）使用的“随机数”其实是**“伪随机”**。它们不是真正的随机，而是通过一个复杂的数学公式算出来的。这就好比你以为你在用随机涂卡笔，但其实这支笔的涂卡规律是可以被预测的。

2. 威胁：潜伏在“运气”里的暗箭

论文指出，如果黑客掌握了这些“伪随机”的规律，他们就可以发动攻击。这就像是黑客发现了一个学生涂卡笔的规律：“只要是第三题，这支笔一定会涂在B上。”

一旦黑客知道了这个规律，他们就可以：

破坏成绩（降低模型性能）：通过操纵随机过程，让模型学不到真本事，变得“笨笨的”。
制造假象（破坏鲁棒性）：让模型看起来很强，其实遇到稍微变动的情况就崩溃。
偷看隐私（破解差分隐私）：这是最可怕的。如果黑客知道你加入的“噪音”是怎么生成的，他们就能把噪音“减掉”，从而看清原本被隐藏的敏感数据（比如你的医疗记录或个人信息）。

这就像是黑客通过观察你涂卡的规律，反推出了你原本的正确答案。

3. 解决方案：RNGGUARD —— 你的“随机数保镖”

为了解决这个问题，研究人员开发了一个叫 RNGGUARD 的系统。你可以把它想象成一个**“智能监考官”**。

这个监考官有两个工作模式：

模式一：静态扫描（“课前检查”）
在考试（训练模型）开始前，监考官会拿着放大镜检查所有的笔（随机函数）。如果发现哪支笔的构造不符合安全标准（比如它是那种容易被预测的旧款笔），监考官会直接把它换成**“特种加密笔”**（加密安全的随机数生成器）。
模式二：动态审计（“考试中抽查”）
在考试进行中，监考官会时不时地跳出来，拿出一套统计学工具，对学生正在使用的随机数进行“抽样检测”。
- 如果发现随机数分布得不自然（比如连续出现了好几个规律性的数字），监考官就会立刻拉响警报：“嘿！这支笔不对劲，有规律了！”

4. 总结

这篇文章的核心意义在于：我们不能再把“随机性”当成理所当然的背景板了。 在人工智能时代，如果“运气”是可以被操纵的，那么整个系统的安全、隐私和公平性都会崩塌。

RNGGUARD 的出现，就是为了确保机器学习系统里的每一个“随机”动作，都是真正不可预测、不可操纵的，从而为AI筑起一道看不见的防线。

这是一篇关于机器学习（ML）安全性研究的学术论文，题为《One RNG to Rule Them All: How Randomness Becomes an Attack Vector in Machine Learning》。以下是对该论文的详细技术总结：

1. 问题背景与挑战 (Problem)

在机器学习中，随机性（Randomness）是核心组件，广泛应用于数据采样、数据增强、权重初始化、优化算法（如SGD）以及隐私保护（如差分隐私 DP）和鲁棒性认证。

核心问题在于：

实现差异性： 不同的机器学习框架（PyTorch, TensorFlow, JAX）、软件库和硬件后端在伪随机数生成器（PRNG）的设计和实现上存在显著差异。
安全性缺失： 大多数 ML 框架优先考虑性能和可复现性，而非安全性。许多框架使用非加密安全的 PRNG（如 Mersenne Twister），或者使用不安全的种子来源（如系统时间、固定字符串），且缺乏统计验证。
隐蔽的攻击向量： 攻击者可以通过操纵随机性来源（如预测种子、篡改 PRNG 算法或供应链攻击）来实施极其隐蔽的攻击，例如降低模型精度、破坏公平性、伪造鲁棒性认证或通过降低差分隐私的噪声质量来窃取训练数据。

2. 研究方法 (Methodology)

作者通过以下三个阶段开展研究：

A. 生态系统研究与分类 (Ecosystem Study & Taxonomy)

系统性调研： 研究了主流 ML 框架（PyTorch, TensorFlow, JAX）、DP 库（Opacus, TFPrivacy）和联邦学习平台（FedML-AI, TFFederated）的随机性实现。
攻击分类学： 基于攻击目标（种子源、库依赖、ML 框架）和攻击手段（利用现有漏洞或供应链攻击）构建了攻击分类模型。
策略制定： 根据调研结果，制定了一套针对 ML 系统随机性的安全策略（例如：在 DP 场景下必须使用加密安全的 CSPRNG）。

B. RNGGUARD 系统设计

为了填补安全空白，作者开发了 RNGGUARD，它包含两个阶段：

静态分析阶段 (Static Analysis)： 使用 CodeQL 语义查询引擎扫描目标库的源代码，利用传递性分析识别出所有直接或间接依赖核心随机函数（如 torch.rand）的高层函数。
运行时强制执行阶段 (Runtime Enforcement)： 利用 Python 的动态特性，在运行时拦截并替换不安全的函数调用。
- 静态模式 (Static Mode)： 根据预设策略，将不安全的调用替换为符合安全规范的实现（例如：自动注入基于 /dev/urandom 的种子，或在 DP 模式下强制使用 CSPRNG）。
- 动态模式 (Dynamic Mode)： 在运行时并行运行统计检验（如 Kolmogorov-Smirnov 检验用于连续分布，Pearson $\chi^2$ 检验用于离散分布），以检测生成的随机数是否偏离了目标分布。

C. 性能优化

针对动态模式带来的高额运行时开销，作者提出了两种优化方案：

ASN (Asynchronous) 模式： 异步审计。主进程进行训练，同时将随机数放入队列由独立的 CPU 线程进行统计测试，实现并行化。
RASN (Randomized Asynchronous) 模式： 随机异步审计。仅对生成的一定比例（如每十个序列抽检一个）的随机序列进行审计，进一步降低开销。

3. 核心贡献 (Key Contributions)

首次系统性揭示了 ML 随机性的安全风险： 通过生态系统研究，指出了当前主流框架在种子分配和 PRNG 实现上的安全漏洞。
提出了全新的攻击分类学： 为研究 ML 随机性攻击提供了理论框架。
开发了 RNGGUARD 系统： 提供了一种低成本、可扩展的防御方案，能够通过静态分析识别风险，并通过动态替换和统计审计来强制执行安全策略。

4. 实验结果 (Results)

有效性验证： 实验证明 RNGGUARD 能成功检测并修复被篡改的权重初始化函数（如将正态分布篡改为均匀分布的攻击）。
审计能力： 实验表明现有的差分隐私审计工具（如 DeltaSiege）无法检测出由于 PRNG 不安全导致的隐私泄露，而 RNGGUARD 的策略可以弥补这一缺陷。
性能表现：
- 静态模式： 引入了适度的运行时开销（约 46%-112%）。
- 动态模式： 在无优化时开销巨大（在 DP 训练中增加 650% 的时间），但通过 RASN 优化，可以将整体训练时间从无优化的 571s 大幅降低至 108s，使其在实际应用中具有可行性。

5. 研究意义 (Significance)

这项工作对于构建**可信机器学习（Trustworthy ML）**具有重要意义。它提醒研究者和工程师，随机性不仅是一个数学工具，更是一个关键的安全边界。RNGGUARD 的提出为解决 ML 软件供应链中的随机性漏洞提供了一种实用的防御范式，能够帮助开发者在不大规模重构代码的情况下，提升 ML 系统在隐私保护、鲁棒性和公平性方面的安全性。