Hermes: Accelerating Long-Latency Load Requests via Perceptron-Based Off-Chip Load Prediction
本文提出了 Hermes，这是一种利用轻量级感知器预测器来针对预测的离片加载（off-chip loads）从主存中进行投机性取数据的技术，从而将片上缓存访问延迟从关键路径中移除，并显著提升处理器性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你电脑的处理器（大脑）是一位正在尝试烹饪复杂佳肴的高速大厨。为了烹饪，大厨需要食材（数据）。大多数食材都存放在紧挨着炉灶的一个小型、超高速的储藏室里（片上缓存/on-chip cache）。但有时，大厨需要的食材并不在储藏室里；他们不得不跑遍整个城镇，去那家规模巨大但速度缓慢的杂货店（主存/main memory）取货。
这次去杂货店的旅程很慢。在大厨等待送货的过程中，他们无法切菜、搅拌或摆盘。整个厨房处于闲置状态。计算机科学家称之为“长延迟加载请求”（long-latency load request），这是拖慢现代计算机速度的主要瓶颈。
旧有的解决方案（以及为什么它们不够好）
多年来，工程师们一直试图通过两种方式来解决这个问题：
- 更大的储藏室： 他们不断扩大片上缓存的容量。但更大的储藏室需要更长的搜索时间。如果大厨必须检查一个巨大的储藏室才能意识到某个物品不在其中，那么这种搜索时间会增加延迟。
- 超级预测器（预取器/Prefetchers）： 他们使用智能算法来猜测大厨接下来需要什么，并在大厨甚至还没开口要之前，就派一名跑腿人员去杂货店。然而，研究表明，即使是最聪明的预测器，其准确率也只有 50% 左右。在另外一半的时间里，大厨仍然不得不等待。
新构想：Hermes
研究人员提出了一个名为 Hermes 的新系统（以希腊神话中的信使神赫尔墨斯命名，他以在不同世界间快速穿梭而闻名）。
以下是 Hermes 解决的核心问题：即使大厨知道某件物品不在储藏室里，他们仍然会在确认之前浪费时间走遍整个储藏室进行检查。
Hermes 的策略：
与其等待检查储藏室，Hermes 使用一个“水晶球”（一种预测工具）来立即判断物品是否缺失。
- 预测： 一旦大厨索要某种食材，Hermes 就会观察大厨最近的行为（比如他们正在遵循哪份食谱，以及他们通常如何取物）并预测：“这个物品肯定不在储藏室里。”
- 双轨并行： 如果 Hermes 很有把握，它会同时做两件事：
- 它立即派一名跑腿人员去杂货店取货。
- 它同时也让大厨检查储藏室（以防万一）。
- 结果： 如果 Hermes 猜对了（它大多数时候都是对的），那么当大厨完成检查空荡荡的储藏室时，食材正好从杂货店送达。大厨永远不需要等待。这种“搜索时间”被隐藏在了“运输时间”之中。
“水晶球”：POPET
Hermes 是如何做出如此精准的猜测的？它使用了一个名为 POPET 的工具。
可以将 POPET 想象成一个通过观察模式来学习的学生。它不仅仅是记住一份物品清单，而是同时观察多个线索：
- 大厨目前正在阅读食谱的哪个部分？
- 他们正在寻找清单中的哪个位置？
- 他们以前碰过这个特定的架子吗？
POPET 使用一种称为感知器（perceptron，一种简单的人工智能类型）的数学技术来权衡这些线索。如果这些线索的组合表明物品缺失，Hermes 就会触发杂货店取货流程。
论文声称 POPET 比以往的方法更好，因为它：
- 很准确： 它的预测准确率约为 77%（相比之下，旧方法为 47%）。
- 很轻量： 它不需要一个庞大的数据库来记录每一件物品。它只需要极少的内存（每个处理器核心约 4 KB），而其他智能系统则需要多得多的内存。
实验结果
研究人员使用数百种不同的“食谱”（计算机工作负载）测试了 Hermes。他们发现：
- 速度： Hermes 让计算机运行得更快，尤其是与现有的智能预测器结合使用时。它使性能平均提升了约 5% 到 6%，在某些困难情况下甚至高达 32%。
- 效率： 由于 Hermes 非常准确，它不会因为为储藏室里其实有的物品发送跑腿人员而浪费杂货店的时间。与传统的“散弹枪式”预测器相比，它节省了带宽和能量。
- 可扩展性： 无论计算机是一个核心还是八个核心，以及当“杂货店”（内存）非常慢或拥挤时，它都能表现良好。
总结
Hermes 就像一位聪明的厨房助手，在大厨完成检查之前，就已经知道储藏室空了。通过在检查储藏室的同时派人去商店，它确保了大厨永远不会因为等待食材而停下手头的工作。这种“先预测、后检查”的简单技巧，在不需要昂贵硬件改动的情况下，显著提高了现代计算机的速度。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。