🤖 machine learning

Practical Adversarial Attacks on Stochastic Bandits via Fake Data Injection

本文针对随机多臂老虎机提出了一种实用的“虚假数据注入”威胁模型，该模型通过将攻击者限制为仅能注入有界虚假样本，克服了以往研究中的不切实际假设，并通过理论与实验证明，该策略能够以次线性代价有效地误导算法选择目标臂。

原作者： Qirun Zeng, Eric He, Richard Hoffmann, Xuchuang Wang, Jinhang Zuo

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Qirun Zeng, Eric He, Richard Hoffmann, Xuchuang Wang, Jinhang Zuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在运营一款餐厅推荐应用。每当用户寻求建议时，你的应用（即“学习器”）必须在 10 家不同的餐厅（即“臂”）中做出选择。该应用通过查看过去的用户评分来了解哪些餐厅是好的。随着时间的推移，它发现 A 餐厅很棒，而 B 餐厅很差，于是它停止推荐 B，并持续将人们引向 A。

旧的攻击方式（“魔杖”问题）
以往关于黑客如何攻破这些应用的研究假设攻击者拥有一根“魔杖”。他们设想黑客可以：

改写历史：每当真实顾客给出 5 星评价时，黑客可以在应用看到之前立即将其改为 1 星评价。
无限期执行：他们可以针对每一位用户、每一次请求都这样做。
使用不可能的数值：他们可以制造出"-1,000"或"+1,000"的评分，以强行操控应用的决定。

该论文认为这并不现实。在现实世界中，你无法神奇地编辑真实用户的评论。你也无法制造出"-1,000"的评分，因为应用只接受 1 到 5 星的评分。

新方法：“虚假数据注入”（“机器人军团”问题）
这篇论文提出了一种更为现实的威胁模型，称为虚假数据注入。攻击者不再挥舞魔杖，而是像拥有一支小型虚假账号（机器人）军团的人。

约束条件：攻击者无法触碰真实评论。他们只能添加新的虚假评论。
限制：他们无法瞬间创建数百万个机器人（系统会立即察觉）。他们必须缓慢而谨慎地添加。
规则：虚假评论必须看起来真实。如果应用只接受 1 到 5 星，那么虚假评论也必须是 1 到 5 星。

策略：“沉默”战术
该论文的主要发现是一种巧妙的欺骗应用的方法，无需魔杖。其目标是让应用几乎总是选择一家特定的、糟糕的餐厅（即“目标”）。

以下是攻击如何运作的简单类比：

设置：应用当前正在推荐一家很棒的餐厅（臂 A），而忽略一家糟糕的餐厅（臂 B）。攻击者希望应用转而推荐最差的餐厅（臂 Z）。
陷阱：攻击者等待应用尝试查看一家“好”餐厅（如臂 A）的次数刚好足以形成某种判断。
注入：一旦应用对臂 A 积累了几条真实评论，攻击者便向系统注入大量针对臂 A 的虚假 1 星评论。
- 关键点：攻击者无需将平均评分拉低到负数。他们只需将其降低到足够低的程度，使得从数学上讲，应用认为臂 A“风险太高”而不再值得探索。
指数级沉默：这是该论文的“秘密武器”。一旦应用的算法判定“臂 A 看起来不好，让我们停止检查它”，应用自身的安全规则就会生效。应用决定：“我已经检查得够多了；在非常非常长的时间内，我不会再查看它。”
- 论文证明，仅需几条虚假评论，攻击者就能让应用忽略一家好餐厅长达指数级长的时间（例如数百万轮）。
结果：应用现在感到困惑，认为所有“好”选项实际上都很糟糕，于是停止探索它们。它陷入一个循环，只选择攻击者想要的“目标”餐厅，即使那家餐厅是最差的。

两种执行方式
该论文为“机器人军团”提出了两种具体策略：

同时注入（“大倾倒”）：攻击者等待应用检查某家餐厅，然后立即一次性倾倒大量虚假评论以摧毁其声誉。如果系统没有严格限制一分钟内可注册的虚假账号数量，这种方法效果很好。
周期性有界注入（“缓慢滴注”）：这是更现实、更隐蔽的版本。如果系统阻止你一次性添加 1,000 条虚假评论，攻击者就添加 5 条虚假评论，等待一段时间，再添加 5 条，如此循环往复。
- 论文表明，即使在这些严格限制下（每次仅 5 条虚假评论），攻击者仍然可以欺骗应用。通过精心安排“滴注”的时间，他们能让应用对好餐厅的信心始终保持在足够低的水平，以至于应用永远不再决定去检查它们。

核心结论
该论文证明，你不需要一个能改写现实的超级黑客来破坏这些学习系统。你只需要几个虚假账号，缓慢而谨慎地行动。通过添加少量现实且受限制的虚假评论，攻击者可以永久性地欺骗一个智能学习算法，使其忽略最佳选项而选择糟糕的选项，同时只需付出极少的“努力”（成本）。

这揭示了一个漏洞：这些系统如此急于停止在看起来糟糕的选项上“浪费时间”，以至于一小股持续不断的虚假数据流就能欺骗它们，让它们认为最佳选项实际上是最差的。

技术摘要：通过虚假数据注入对随机多臂老虎机实施实际对抗攻击

1. 问题陈述

多臂老虎机（MAB）算法是在线决策系统的基础，在个性化推荐、在线广告和临床试验等应用中平衡着探索与利用。尽管先前的研究已证实 MAB 算法易受对抗攻击，但现有的威胁模型依赖于不切实际的假设，限制了其与真实世界系统的相关性。

具体而言，先前的工作（例如 Jun 等人，2018；Liu 和 Shroff，2019；Zuo，2024）主要采用反馈扰动模型。在该模型中，攻击者每轮观察学习者选择的臂及其奖励，然后在奖励向学习者揭示之前任意修改该奖励。该模型赋予攻击者在每个时间步对反馈通道的完全控制权，并假设其具备无界的扰动能力。

在实践中，此类能力往往不可行。例如，在餐厅推荐平台中，攻击者无法持续覆盖来自数千名真实用户的真实评分。相反，现实的攻击涉及创建虚假账户以注入伪造的评论或合成交互（例如点击欺诈）。这些攻击是添加虚假数据而非修改现有数据，受限于系统级检测或资源限制，且必须符合有效的反馈范围（例如 1 至 5 星评分）。

本文通过提出一种新的威胁模型——虚假数据注入，来弥合理论攻击模型与实际约束之间的差距。核心挑战在于设计攻击策略，使其能够在以下约束下，仅以次线性成本误导学习者在几乎所有轮次中选择特定的次优（目标）臂：

不修改真实反馈：攻击者无法覆盖真实用户数据。
有界奖励：注入的虚假奖励必须位于有效的反馈范围 $[r_l, r_u]$ 内。
时间约束：攻击者每轮可注入的虚假样本数量（批量大小）或注入频率可能受到限制。

2. 方法论与核心概念

2.1 虚假数据注入威胁模型

作者形式化了一个设定，其中攻击者向学习者的历史中注入 $N_F$ 个虚假数据样本 $\{(a^F_s, r^F_s)\}$ 。学习者将这些注入的样本与合法交互不可区分地对待，并相应地更新经验均值、拉动次数和内部轮次计数器。

攻击成本：定义为 $C_F(T) = \sum |r^F_s - \mu_{a^F_s}|$ 。
成功标准：如果攻击诱导学习者在 $T - o(T)$ 轮中选择目标臂，同时确保 $C_F(T) = o(T)$ ，则攻击成功。

2.2 抑制原则

核心的技术见解是抑制原则。攻击者并非持续扰动奖励，而是旨在注入足够多的有界虚假反馈，以将非目标臂的经验估计值抑制到低于目标臂的某个稳定下基准。一旦非目标臂被充分抑制，学习者自身的探索机制将阻止其在相当长的一段时间内再次被选中。

指数抑制引理（针对 UCB）

对于上置信界（UCB）算法，作者证明，如果非目标臂 $i$ 被充分拉动（ $N_i(t) \geq \log T/\delta_0^2$ ），且其经验均值被驱动至低于目标臂 $K$ 的特定下界 $\hat{\ell}_K(t)$ ，那么臂 $i$ 将以高概率直到至少第 $\exp(N_i(t)\delta_0^2)$ 轮之前不再被选中。这种“指数抑制”允许攻击者通过每臂单次注入事件实现长期操纵。

2.3 攻击策略

A. 同时注入（SI）

专为攻击者可根据需要注入数据且无严格每轮限制的设定而设计。

机制：对于每个非目标臂 $i$ ，攻击者等待其被拉动 $\lceil \log T/\delta_0^2 \rceil$ 次。随后，攻击者注入一批具有最小有效奖励 $r_l$ 的虚假样本，将该臂的经验均值降低至低于目标臂的下置信界。
结果：这迫使 UCB 算法在 $T - o(T)$ 轮中选择目标臂，累积成本为 $\tilde{O}(K\sigma\sqrt{\log T})$ ，与已知的下界相匹配。

B. 周期性有界注入（PBI）

专为攻击者面临批量大小限制（每轮 $f$ 个样本）且必须避免触发异常检测的现实约束而设计。

机制：攻击者不进行一次大规模注入，而是将所需的虚假样本随时间分布。一旦非目标臂达到拉动阈值，攻击者计算所需的样本总数和“冷却”期 $R_i$ 。攻击者定期注入大小为 $f$ 的批次，间隔 $R_i$ 轮，确保臂在注入之间保持被抑制状态。
结果：即使在严格的时间和幅度约束下，PBI 也能以次线性成本实现成功攻击，在隐蔽性与有效性之间取得平衡。

C. 通用抑制有界框架

作者将这些发现从 UCB 扩展到一类称为抑制有界的算法。如果一旦次优臂在经验上被目标臂主导，该算法对该臂的额外拉动次数仅为有界，则该算法为抑制有界。

该框架适用于汤普森采样和 $\epsilon$ -greedy算法。
攻击策略涉及注入最少数量的虚假样本，以满足非目标臂的经验均值保持在目标基准之下的条件，利用算法在抑制后拉动次数的固有界限。

3. 主要贡献

新威胁模型：引入虚假数据注入，反映了先前反馈扰动模型所忽视的现实约束（有界奖励、有限的注入频率、无法覆盖真实数据）。
抑制原则：形式化了一种机制，即有界的虚假注入可以永久抑制非目标臂，将攻击转化为建立和维持抑制的问题，而非持续扰动。
算法策略：
- 同时注入（SI）：在最小约束下针对 UCB 的最优策略。
- 周期性有界注入（PBI）：在批量大小和时间约束下针对 UCB 的鲁棒策略。
- 通用框架：将抑制分析扩展到汤普森采样和 $\epsilon$ -greedy。
理论保证：证明这些攻击可以误导学习者在 $T - o(T)$ 轮中选择目标臂，且攻击成本为次线性（ $o(T)$ ），即使奖励值是有界的。
实证验证：在合成数据和MovieLens 25M数据集上的实验表明，稀疏的有界虚假数据在实践中可以显著偏差老虎机学习者。

4. 实验结果

作者在以下数据上评估了其策略：

合成数据： $K=10$ 个臂的高斯奖励分布。
真实世界数据：MovieLens 25M 数据集，模拟具有 10 个臂（电影）和用户交互的推荐系统。

主要发现：

有效性：SI 和 PBI 均成功迫使 UCB 和汤普森采样学习者在初始抑制阶段后的 95% 以上轮次中选择目标臂。
成本效率：PBI 实现了与 SI 相当的性能，但通过随时间分散注入，在长视野场景下降低了攻击成本。
与基线的比较：一种启发式基线（按剩余时间比例随机注入样本）未能使学习者收敛到目标臂，突显了注入计划和抑制原则的关键重要性。
对约束的鲁棒性：PBI 表明，即使对批量大小有严格限制（ $f=5$ 或 $f=10$ ），攻击仍然有效，而无界策略（如最少注入）虽然理论成本最低，但在检测密集的环境中可能不太实用。

5. 意义与局限性

意义：
本文弥合了在线学习中理论对抗鲁棒性与实际安全之间的差距。它表明，“无界、每轮奖励操纵”的假设显著高估了攻击真实世界系统的难度。通过证明稀疏、有界且时间分布的虚假数据可以颠覆标准老虎机算法，该工作揭示了用于高风险领域的顺序决策系统中的关键漏洞。提出的抑制引理为分析依赖经验均值和探索奖励的算法中的漏洞提供了通用工具。

局限性（作者所述）：

被动学习者：分析假设学习者是被动的，处理所有反馈且无防御机制（例如过滤或审计）。
随机设定：该框架目前仅限于随机老虎机；将其扩展到上下文老虎机或强化学习仍是一个未解决的问题。
检测风险：当前模型未明确捕捉攻击者与采用异常检测或臂级审计的自适应学习者之间的动态交互。

作者总结道，虽然他们的结果揭示了经典鲁棒性保证与实际安全之间的差距，但未来的工作必须调查异常检测等防御措施，以及攻击者与自适应防御学习者之间的动态相互作用。