🤖 AI

ArchAgent v2: A Case Study with the Data Prefetching Championship

本文介绍了 ArchAgent v2，这是一个自动化的智能体框架，该框架利用级联进化搜索和硬件可实现性反馈，成功设计出一种多级数据预取器，其性能超越了第四届数据预取锦标赛中的冠军手写方案。

原作者： Abraham Gonzalez, Raghav Gupta, Akanksha Jain, Hanna Alam, Alexander Novikov, Po-Sen Huang, Matej Balog, Marvin Eisenberger, Sergey Shirobokov, Ngân Vu, Hank Levy, Borivoje Nikolić, Sagar Karandikar

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Abraham Gonzalez, Raghav Gupta, Akanksha Jain, Hanna Alam, Alexander Novikov, Po-Sen Huang, Matej Balog, Marvin Eisenberger, Sergey Shirobokov, Ngân V\~u, Hank Levy, Borivoje Nikolić, Sagar Karandikar, Martin Dixon, Parthasarathy Ranganathan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，计算机的大脑就像一座繁忙的城市，而数据就是其中的交通流量。为了让城市顺畅运行，计算机需要在其“仓库”（主内存）中获取信息，并在实际需要之前将其运送到“车间”（处理器）。这被称为数据预取（data prefetching）。它就像一种智能快递服务，能在你还在吃早餐时，就预测出你接下来会需要的包裹并送到你门口。然而，如果快递服务猜错了，就会用无用的箱子堵塞街道，从而减慢所有人的速度。几十年来，人类工程师一直试图编写完美的递送算法，但这座城市过于复杂，规则也极其严格（例如配送卡车的空间有限），因此很难找到最优解。这正是**人工智能（AI）**介入的地方。AI 不再是让人类去猜测完美的路线，科学家们正在构建能够“进化”出自身解决方案的 AI 智能体，通过在虚拟城市中测试数千种想法，来观察哪些方案真正能加速交通。

这篇题为《ArchAgent v2》的论文讲述了一支研究团队如何利用一种特殊的 AI 智能体，在一场关于最佳数据递送系统的激烈竞赛中胜出的故事。这场名为第四届数据预取锦标赛（DPC4）的比赛，要求参赛者设计一个能够跨越三个不同计算机内存层级工作的系统，同时还要遵守严格的尺寸限制。之前的冠军是一个名为 BertiGO 的人类设计系统，它非常出色但并不完美。研究人员想要看看 AI 是否能做得更好。他们推出了他们 AI 的新版本——ArchAgent v2，该版本使用了一种被称为“级联进化搜索（cascaded evolutionary search）”的巧妙策略。与其尝试同时重新设计整个内存系统的三个层级——这就像试图同时重新设计整个城市的红绿灯、道路和配送卡车——不如让 AI 一个接一个地解决它们。它首先优化最快、最关键的层级，然后移动到下一个，最后到达最后一个，最后再将它们全部结合起来进行最后的润色。

结果令人印象深刻。在模拟实验中，ArchAgent v2 自动设计出了一套新的预取规则，击败了人类冠军。与标准基准线相比，该 AI 的解决方案实现了 3.8% 的性能提升，甚至还超越了之前的获胜者 BertiGO 0.3%。在“低带宽”场景下（即数据道路狭窄且拥挤的情况），该 AI 的表现尤为出色，其速度提升了 4.6%，而 BertiGO 的提升为 2.6%。然而，论文指出，该 AI 在多核设置（即许多处理器同时工作时）中仍面临一些困难，这表明虽然 AI 是一个强大的工具，但协调多个处理器的难题仍然是一个艰巨的挑战。

为了理解 AI 是如何做到这一点的，研究人员研究了该智能体生成的超过 12,000 种不同的设计构思。他们发现，AI 不仅仅是在进行微小的调整，它经常会对系统的运作方式进行重大的结构性改变。获胜的设计之所以成功，是因为它能够动态地调整预取数据的距离，在道路过于拥挤时减速，并聪明地决定哪些数据应该保留在快速的车间中，哪些应该留在较慢的仓库里。论文总结道，虽然这个特定的 AI 智能体是一个重大的进步，但自动化计算机设计的旅程才刚刚开始。AI 证明了自己能够在受控环境中合成复杂的逻辑并击败人类专家，但通往完全自主、完美的计算机架构之路仍在铺设之中。

技术摘要：用于多级数据预取设计的 ArchAgent v2

问题陈述

虽然智能体人工智能（Agentic AI）在自动化算法设计方面展现出了潜力，但将其技术扩展到计算机微架构发现领域仍然非常困难。主要的挑战在于巨大的搜索空间、严格的硬件存储预算以及漫长的模拟时间。具体而言，原始的 ArchAgent 框架成功发现了单级缓存替换策略，但未能扩展到多级数据预取（L1D、L2 和 LLC）。

将自动化发现应用于多级预取会引入三个特定的架构难题：

组合爆炸： 设计空间随之扩大，因为预取器必须同时计算目标地址、最佳时序并追踪程序/系统上下文。
非单调搜索空间： 同时演进所有层级的预取器会创建一个复杂的景观，其中在一个层级上实现性能提升的变异可能会使另一层级的收益失效。
硬件约束： 预取器必须遵守严格且独立的物理存储预算（例如 32KB 的 L1D），这在像 ChampSim 这样通常缺乏估算物理面积或功耗成本机制的高级模拟器中难以强制执行。

方法论：ArchAgent v2

为了克服这些障碍，作者引入了 ArchAgent v2，该框架通过两个主要的方案改进，将自动化微架构搜索扩展到了多级预取领域：

1. 硬件可实现性存储反馈循环

为了防止大语言模型（LLM）提出违反物理约束的算法，作者实现了一个能够计算每个提议预取器物理存储占用量的自动化接口。

机制： 在评估循环中集成了一个自定义的 prefetcher_size() 函数。它根据策略的状态和 C++ 参数计算字节大小。
强制执行： 在编译和模拟过程中，如果候选策略超过了竞赛规定的存储预算（L1D 32KB、L2 128KB、LLC 256KB），它将被立即拒绝并被赋予负向奖励。
提示工程： LLM 的提示词进行了更新（参见论文中的图 3），明确指示模型同步更新逻辑和大小计算函数，以确保随着代码的演进，大小估算保持准确。

2. 级联进化搜索

为了管理搜索空间的复杂性和模拟延迟（每次评估高达 12 小时），作者使用级联分而治之的方法取代了同步演进。

顺序优化： 框架按顺序隔离并优化每个缓存层级的预发器（L1D $\to$ $\to$ L2 $\to$ $\to$ LLC）。
- 首先，演进 L1D 预发器（从 Berti 基准开始），此时 L2 和 LLC 保持静态。
- 一旦 L1D 性能达到平台期，最好的 L1D 候选方案会被“冻结”，随后演进 L2 预发器（从 Pythia 开始）。
- 最后，在 L1D 和 L2 冻结的情况下，演进 LLC 预发器。
全局优化： 在完成单个层级的优化后，框架会启动全局进化运行，以同时优化所有预发器。这些运行利用来自单个运行成功的候选方案数据库来引导全局搜索。
配置策略： 单个层级的优化仅在单核配置上进行，以降低模拟延迟。多核配置仅在最后的全局优化阶段引入。这优先考虑了具有最高延迟隐藏潜力的近核缓存层级（L1D）。

核心贡献

本文做出了四个主要贡献：

级联分而治之： 一种新颖的进化方法，通过按顺序演进不同缓存层级（先 L1D，再 L2，最后 LLC）的子集，然后再进行全局优化。
自动化存储反馈： 一个反馈循环，通过在进化过程中实时计算并验证预发器的物理占用量，从而强制执行严格的物理存储约束。
性能验证： 证明了 ArchAgent v2 发现的多级预取策略优于第四届数据预取冠军赛（DPC4）中的手工设计方案（SoTA）。
进化剖析： 对超过 12,000 个评估的候选设计进行了分析，提供了关于自动化智能体如何探索微架构设计空间的见解，指出重大的突破往往源于需要后续微调的架构转变。

结果

在 第四届数据预取冠军赛（DPC4） 的规则下进行评估，ArchAgent v2 生成的策略具有以下结果：

整体性能： 相比于竞赛基准（L1D 为 Berti，L2 为 Pythia，LLC 无预发器），实现了 3.8% 的几何平均 IPC 加速。
与 SoTA 比较： 整体上超越了之前的冠军级手工设计策略 BertiGO 0.3%。
低带宽单核： 在低带宽单核配置下，该策略比基准提升了 4.6%，显著优于 BertiGO 的 2.6% 提升。
多核局限性： 与单核相比，该策略在多核设置下的增益有限，相对于 BertiGO 在多核混合配置下有轻微性能损失（约 1.5%）。作者将其归因于级联过程优先考虑单核优化，以及多核模拟的高延迟阻碍了进化速度。

获胜策略的设计特征

L1D： 增强了基准 Berti 引擎，引入了全局步长追踪器（GST）和全局增量历史表（GDHT）以捕获跨 IP 的空间流。它引入了一个强化学习（RL）仲裁器，用于在不同引擎之间进行选择，并根据内存信号动态调节带宽。
L2： 通过升级 RL 特征表示（从 2 个扩展到 5 个特征）和动作空间（从 15 个增加到 18 个选择）改进了 Pythia 基准，重点关注 2 的幂次步长和求和池化以减少污染。
LLC： 添加了两个生成器：一个用于不规则的指针追踪序列，另一个用于规则的线性/步长模式。仲裁器根据内存请求的“混沌度”在两者之间切换。

意义与主张

本文声称 ArchAgent v2 证明了自动化智能体发现是计算机架构师的一种有用工具，能够在复杂的受限环境中与人类方案竞争甚至超越人类方案。

作者强调，该系统的成功依赖于：

硬件可实现性： 将物理约束直接嵌入进化循环对于生成可行的硬件设计至关重要。
搜索分解： 将庞大的搜索空间分解为可管理的、顺序的子问题，使得系统能够应对多级预取的非单调特性。
综合而非创新： 对 12,000 多个设计的分析表明，智能体的优势在于综合和结合现有概念（如路径签名、速度监控、深度掩码），而非发明全新的范式。“获胜”的设计是通过动态缩放前瞻性、调节带宽以及智能地在不同内存流之间进行仲裁来实现的。

论文总结道，尽管由于模拟延迟的原因，多核进化仍然是一个挑战，但该框架为探索微架构逻辑提供了一种稳健的方法论，展示了 AI 增强工具如何辅助复杂硬件策略的发现。