💻 computer science

ARTA: Adaptive Reinforcement-Learning-Based Throttling Agent for RowHammer Vulnerabilities

本文提出了 ARTA，一种轻量级、无需硬件支持的强化学习智能体，它能够根据细粒度的内存访问模式动态调节核心吞吐量，从而在有效消除 RowHammer 引起的比特翻转的同时，在安全性和性能方面均显著优于现有的缓解机制。

原作者： Marco Ho, Michael S. Hsiao, Jeeho Ryoo

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Marco Ho, Michael S. Hsiao, Jeeho Ryoo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你电脑的内存（DRAM）是一座巨大的、高速运转的图书馆，里面装满了数百万本书（数据）。每本书都放在特定的书架上（一个“行”/row）。

问题：名为“RowHammer”的破坏者

在这个图书馆里，有一个隐蔽的安全漏洞叫做 RowHammer。它的原理是这样的：一个调皮的访客（黑客）站在特定的书架前，开始尽可能快地在上面跳来跳去。

由于现代图书馆的书架排列得非常紧密，在一个书架上跳跃产生的震动会意外地摇晃到相邻书架上的书。如果访客连续跳跃次数足够多，相邻书架上的书就会被震得太厉害，导致书页翻转或文字发生变化。在计算机术语中，这会导致位翻转（bitflips）——数据遭到损坏、密码被窃取，或者系统崩溃。

随着内存芯片变得越来越小且密度越来越高（就像在更小的房间里塞进更多的书），造成这种破坏所需的跳跃次数也变得越来越少。旧有的保安（现有的防御措施）正面临被淹没的危险，因为破坏者跳得更快了，而且使用了更复杂的模式，比如同时在多个书架上跳跃。

解决方案：ARTA（聪明的图书管理员）

这篇论文介绍了一种名为 ARTA 的新安全代理，它扮演着一位聪明且具有适应能力的图书管理员的角色。它不仅仅是在盯着书架，还在观察那些在图书馆里跑来跑去的“人”（计算机核心/computer cores）。

以下是 ARTA 的工作原理，我们使用简单的类比来解释：

1. “FIFO”队列（观察名单）
ARTA 为图书馆里的每一个人都保留了一个很小的、滚动更新的“观察名单”（FIFO 队列）。它会记录下那个人最近访问过的几个书架。

正常行为： 一名正在读书的学生可能会先看第 10 号书架，然后是第 50 号，接着是第 100 号。访问之间的距离是随机且巨大的。
攻击行为： 一个破坏者在第 10 号书架跳一下，接着是第 11 号，然后又回到第 10 号，再到第 11 号。这些访问是重复且紧凑的。

2. “二阶差分”（节奏检测器）
ARTA 不仅仅观察你去了哪里，它还会观察你移动的“节奏”。它会计算路径的“颠簸程度”。

如果你走路很正常，你的步伐是平滑的。
如果你在进行攻击，你的步伐是怪异且重复的。ARTA 能瞬间检测出这种特定的“震动模式”。

3. “强化学习”（智能教练）
这是最神奇的部分。ARTA 使用了一种名为强化学习的技术。你可以把 ARTA 想象成一位通过实践而非阅读手册来学习的教练。

Q 表（Q-Table）： 这是教练的“作弊条”。它是一张微型地图，上面写着：“如果节奏看起来像这样，那么最好的应对措施就是那样。”
预训练： 教练从一个“类高斯分布”的猜测开始。它已经知道，如果节奏非常混乱，答案很可能是“停止！”（限制速度）。
即时学习： 当教练观察图书馆时，它会不断更新自己的“作弊条”。如果它猜对了（在不减慢正常学生速度的情况下阻止了破坏者），它就会获得“奖励”。如果它猜错了，它就会学习。它不需要在实验室里重新训练；它在图书馆开放期间就能实时学习。

4. “节流控制”（减速带）
当 ARTA 发现破坏者时，它不会报警或关闭整个图书馆。相反，它会在那个特定的人面前轻轻地设置一个减速带。

它会放慢那个特定计算机核心（人的大脑）的速度。
这能阻止他们跳得太快，从而避免震动书架。
一旦那个人停止了跳跃，减速带就会被移除，他们可以恢复全速运行。

为什么 ARTA 是一个游戏规则改变者

论文声称 ARTA 优于以往方法，主要基于三个原因：

体积微小： 它的“作弊条”和“观察名单”几乎不占空间（每个计算机核心仅约 1.4 千字节）。这就像是在一个巨大的文件柜上贴了一张便利贴而已。
快速且智能： 旧的保安会关闭整个图书馆或不断刷新书架，这会拖慢整体速度。ARTA 只会减慢引起麻烦的那个人。论文指出，由于避免了不必要的减速，这使得系统比其他安全方法快了高达 73.6%。
彻底终结破坏者： 即使破坏者试图同时在 32 个不同的书架上跳跃（“多银行攻击/multi-bank attack”），ARTA 也能抓住他们。论文声称，与其他方法相比，它将数据损坏（位翻转）减少了 22,000 倍，有效地将问题降低到了极低的安全性阈值。

核心总结

ARTA 是一个位于内存控制器中的轻量级、自学习安全卫士。它观察人们在内存中的移动方式，识别出 RowHammer 攻击特有的“震动”，并能瞬间精准地限制攻击者的速度，从而阻止破坏，同时让计算机的其他部分保持全速运行。它不需要对内存芯片本身进行任何硬件更改，并且能够边运行边学习。

技术摘要：ARTA —— 基于自适应强化学习的 RowHammer 漏洞节流代理

1. 问题陈述

RowHammer 是一种硬件层面的读取干扰机制（read-disturbance mechanism），存在于 DRAM 中，攻击者可以通过快速激活相邻的攻击行（aggressor rows）来诱发受害者行（victim rows）发生位翻转（bitflips）。随着 DRAM 技术规模的缩小，RowHammer 阈值（ $N_{RH}$ ）——即导致位翻转所需的激活次数——已显著下降（从 DDR3 的 139K 下降到新兴技术中的 1K 以下）。

现有的缓解策略面临三个主要挑战：

检测精度与开销的权衡： 概率性追踪器（如 PrIDE、MINT）虽然使用极少的存储空间，但存在固有的随机性，导致对非关键行的冗余刷新，从而造成显著的带宽损失（在 $N_{RH}=250$ 时约为 30%）。
行追踪的可扩展性： 基于确定性计数器的方案提供了精确的追踪，但随着 $N_{RH}$ 的下降，面临存储和性能瓶颈。共享计数器方案会引入可被多银行攻击（multi-bank attacks）利用的盲点，而基于 FIFO 的追踪往往无法优先处理最关键的行。
软件与静态限制： 软件防御缺乏细粒度的硬件控制和专有的 DRAM 参数。此外，静态的、固定阈值的防御措施（例如 Target Row Refresh (TRR) 以及较新的 DDR5 中的 PRAC/RFM 机制）无法适应复杂的、动态的多银行轰击模式（例如 SledgeHammer、Half-Double），这些模式可以绕过已知的启发式算法。

最近对 DDR5 PRAC 机制的评估表明，随着后退阈值（Back-Off Threshold, $N_{BO}$ ）为了应对更低的 $N_{RH}$ 而减小时，系统在面对多银行攻击场景时，会变得越来越容易受到全通道锁定（channel-wide lockouts）和位翻转的影响。

2. 方法论：ARTA

作者提出了 ARTA，一种轻量级的、基于强化学习（RL）的节流代理，旨在实时检测并抑制 RowHammer 活动，且无需对 DRAM 端进行硬件修改或进行离线训练。

核心架构

ARTA 在内存控制器（MC）内运行，由两个主要的硬件结构组成：

每核每银行 FIFO (CBF)： 一个小型 SRAM 结构（每个 bank 16 个条目），用于追踪来自 PRE（预充电）请求的近期内存地址。它通过核心 ID 和 bank ID 进行索引，以解耦核间和 bank 间的竞争。
Q 表 (Q-Table, QT)： 一个紧凑的 Q 学习表（11 个状态 $\times$ 6 个动作），将观察到的内存访问模式映射到最优的节流决策（处理器 P-state 或 C1 空闲状态）。

检测机制

ARTA 将检测建模为一个马尔可夫决策过程（MDP）。它通过计算 CBF 中存储的近期内存地址的二阶差分来识别 RowHammer 模式。

重复性： 攻击行在单个刷新窗口（ $t_{REFW}$ ）内被重复激活。
邻近性： 连续的访问针对物理上位于受害者行相邻的行。
系统根据绝对二阶差分之和计算一个归一化的“严重程度得分”（ $s \in [0, 1]$ ）。得分接近 1 表示存在高概率的攻击模式。

通过 RL 进行自适应节流

不同于静态策略，ARTA 使用 Q 学习代理通过动态频率缩放（DFS）动态调整 CPU 核心频率：

状态： 源自 CBF 的离散化严重程度得分。
动作： 选择一个 P-state（节流等级）或 C1（空闲）。
初始化： 为了避免标准 RL 的探索开销，Q 表使用类似高斯形式的线性衰减函数进行预初始化。这会将动作映射到首选的严重程度区间，从而在部署时提供近乎最优的静态策略。
在线学习： 代理根据平衡所选动作的准确性与模式严重程度降低程度的奖励函数，利用贝尔曼最优方程（Bellman Optimality Equation）更新 Q 值。这使得 ARTA 能够适应变化的负载，并随着时间的推移区分良性的高 MPKI（每千指令内存访问数）模式与恶意攻击。

3. 核心贡献

动态模式检测： 本文证明了通过二阶差分可以准确估计重复且近距离的内存访问，从而区分 RowHammer 模式与良性负载。
自适应节流： ARTA 是首个基于强化学习的 RowHammer 节流机制，能够适应实时的轰击模式和变化的负载需求，且无需离线训练。
即时部署： 通过预初始化 Q 表，ARTA 在部署时即可实现 100% 的策略选择精度，消除了对训练阶段的需求。
降低系统开销： 该机制显著减少了位翻转和 RFM（刷新管理）延迟，同时提升了系统性能。
极小的芯片面积： 该方案仅需每核 1.4 KB 的 SRAM（CBF 寄存器为 1.38 KB，Q 表为 66 B），即使在 $N_{BO}$ 下降到 20 时也能保持极低的面积开销。

4. 评估结果

作者使用包含 4 核 x86 乱序执行 CPU 和 32GB DDR5 内存的 Ramulator2 对 ARTA 进行了评估，并将其与基准方案、BreakHammer 以及 Chronus（一种先进的基于 PRAC 的机制）在 56 个工作负载下进行了对比。

安全性（位翻转）：
- ARTA 在 $N_{BO}$ 低至 64 时仍能消除所有位翻转。
- 在 $N_{BO} = 20$ 时，与 Chronus 和 BreakHammer 相比，ARTA 将位翻转减少了高达 22,000 倍。
- 在多银行攻击场景中，ARTA 保持接近零的位翻转，而竞争对手则会出现数千次位翻转（例如在高 MPKI 工作负载下， $N_{BO}=20$ 时高达 33K 次）。
性能：
- 通过限制预防性操作的开销，ARTA 比现有最先进机制（如 Chronus）提升了高达 73.6% 的系统吞吐量。
- 平均而言，ARTA 比基准方案提升了 1.0% 的吞吐量，且在良性负载下没有性能下降。
- 在 $N_{BO}=20$ 时，ARTA 比竞争对手实现了 2.7% 的平均加速（最高达 11.9%）。
开销降低：
- ABO 频率： ARTA 将警报后退（Alert Back-Off, ABO）率降低至接近于零（<0.001），比竞争对手提升了 5,400 倍。
- 预防性操作： 减少了 17 倍（最高 61 倍）的预防性操作，并将累计 RFM 延迟降低了 325 倍（最高 6,600 倍）。
- 能量： 通过避免昂贵的 RFM 操作，使 DRAM 能耗平均降低了 1.43%（最高 5.6%）。
配置敏感性： 研究确定 16 条目的 CBF 是最优配置，在安全性和性能之间达到了最佳平衡。较小的缓冲区（8 条目）会导致高误报率，而较大的缓冲区则会增加延迟。

5. 重要性与声明

论文声称，ARTA 代表了 RowHammer 防御的一个重大转变，即从基于启发式的静态策略转向基于学习的自适应节流。

鲁棒性： ARTA 解决了 DRAM 缩放带来的根本挑战，即固定阈值在面对动态、多银行攻击时会失效。
可扩展性： ARTA 的轻量化特性（每核 1.4 KB）使其能够扩展到 $N_{RH}$ 低于 1K 的新兴 DRAM 系统，在这一领域，现有的确定性和概率性追踪器因存储或带宽成本而变得不再实用。
部署可行性： 不同于需要离线训练的以往机器学习方法，ARTA 的预初始化 Q 表允许其在生产系统中立即部署。
局限性： 作者坦诚地指出，目前 ARTA 是独立监控各核心的，这意味着它可能无法检测到多核协作攻击，即轰击行为分布在不同核心上以保持在单个核心的阈值之下。此外，关于对抗性规避（例如注入虚假访问以操纵二阶差分）的正式保证被列为未来的研究方向。

总之，ARTA 证明了自适应强化学习节流可以为新兴 DRAM 系统中的 RowHammer 漏洞提供一种稳健、可扩展且高性能的缓解策略，在有效消除位翻转的同时，还提升了系统吞吐量。