AMD Versal AI-Engines for fixed latency environments

本文研究了 AMD Versal 架构中的 AI 引擎（AIE）在大型强子对撞机等固定延迟环境中的部署能力，并通过评估矢量化的提升决策树和卷积神经网络实现，证明了其作为机器学习应用替代传统可编程逻辑方案的可行性。

要点

这篇文章主要讲的是科学家和工程师们如何给未来的粒子加速器（比如著名的“大型强子对撞机”LHC）装上一个超级聪明的“大脑”，而且这个大脑必须反应极快，不能有任何延迟。

为了让你更容易理解，我们可以把整个实验想象成一个超级繁忙的机场安检系统。

1. 背景：机场太忙了，需要更聪明的安检

想象一下，大型强子对撞机（LHC）就像一个每秒发生 4000 万次碰撞的超级机场。每一次碰撞都会产生海量的数据（就像成千上万个旅客带着行李冲过安检口）。

• 现状：目前的安检系统（触发系统）只能看旅客的粗略特征（比如“有没有带大箱子”），然后快速放行一部分，扔掉大部分。
• 挑战：未来（高亮度 LHC 时代），旅客数量会爆炸式增长。如果还只看粗略特征，就会漏掉很多重要的“嫌疑人”（新粒子）。我们需要一种能瞬间看懂旅客全身细节（比如衣服纹理、行李内部结构）的超级安检员。
• 要求：这个安检员必须在10 微秒（也就是 0.00001 秒）内做出决定。这比人类眨眼快几百万倍，比电脑处理普通任务也快得多。

2. 新工具：AMD 的"AI 引擎”（AIE）

传统的电脑芯片（CPU）像是一个全能但有点慢的管家，什么都能干，但一次只能专心做一件事。而传统的 FPGA（可编程芯片）像是一排固定的流水线工人，速度快但不够灵活。

AMD 推出了一种新芯片（Versal），里面包含了一种叫AI 引擎（AIE）的组件。

• 比喻：你可以把 AIE 想象成一群训练有素的特种兵小队。
  • 他们不是单打独斗，而是排成整齐的方阵（2D 阵列）。
  • 每个人手里都拿着专门的武器（向量处理器），专门用来做数学计算（比如乘法、加法）。
  • 他们之间通过一条超高速的传送带（片上网络）互相传递信息，几乎不需要等待。
  • 这种设计就是为了在极短的时间内，处理海量的数据流。

3. 实验内容：让特种兵做两道数学题

研究人员把两种复杂的“安检算法”（机器学习模型）装进了这些特种兵小队里，看看他们能不能在 10 微秒内完成任务。

任务一：Boosted Decision Tree (BDT) —— “层层递进的问答游戏”

• 是什么：这就像玩“二十个问题”游戏。系统问旅客一系列问题（“你有行李吗？”“行李重吗？”），根据答案一步步缩小范围，最后判断是否放行。
• 挑战：通常这个问题是串起来的，问完第一个才能问第二个，很慢。
• AIE 的解法：研究人员把 64 个这样的“问答游戏”同时交给 64 个特种兵小队去做。虽然每个游戏内部还是串行的，但因为大家是并行工作的，所以总时间大大缩短。
• 结果：他们成功在 3.2 微秒 内完成了判断，完全符合 10 微秒的要求。

任务二：Convolutional Neural Network (CNN) —— “扫描图像的滤镜”

• 是什么：这就像给旅客的行李拍一张 X 光片，然后用不同的“滤镜”去扫描，看看有没有隐藏的危险品（比如特定的粒子形状）。
• 挑战：这需要大量的数学运算（把滤镜在图片上滑来滑去），计算量巨大。
• AIE 的解法：利用 AIE 的“向量处理器”（就像一把宽宽的刷子），一次能刷过图片的一整行，而不是一个一个像素地刷。
• 结果：第一层扫描最慢，用了 2.9 微秒，后面的层因为可以“流水线”作业（前一层还没做完，后一层已经开始处理新数据了），所以总时间依然控制在 3 微秒 左右。

4. 结论：未来已来

这篇论文证明了：

1. 速度达标：AMD 的 AI 引擎芯片真的能在极短的时间内（微秒级）处理复杂的机器学习算法。
2. 潜力巨大：这意味着未来的粒子物理实验，不再需要只靠简单的规则来筛选数据，而是可以像人眼一样“看懂”复杂的粒子碰撞图像，从而发现更多新物理现象。
3. 边缘计算：这种技术不仅用于物理实验，未来也可能用在自动驾驶、医疗诊断等需要“即时反应”的领域。

一句话总结：
科学家给未来的粒子加速器装上了一群“特种兵”芯片，让他们能在眨眼的一瞬间（甚至更快）完成复杂的数学考试，确保不会错过任何珍贵的科学发现。

技术摘要

这是一份关于利用 AMD Versal AI 引擎（AIE）在高能物理（HEP）实验的固定延迟环境中部署机器学习算法的技术论文详细总结。

1. 研究背景与问题 (Problem)

• 边缘计算需求激增：现代技术，特别是高能物理实验（如大型强子对撞机 LHC 的 ATLAS 和 CMS 实验），正面临数据量指数级增长的挑战。为了处理海量数据，复杂的模式识别和数据压缩算法需要尽可能靠近传感器部署（即“边缘计算”）。
• 严格的延迟约束：在 LHC 的高亮度（HL-LHC）升级中，ATLAS 实验的触发和数据获取（TDAQ）系统面临极端的性能要求。
  • Level-0 触发层：需要在 10 微秒 ($\mu s$) 的固定最大延迟内，将 40 MHz 的输入数据流筛选至 1 MHz。
  • 现有挑战：传统的基于 FPGA 的硬件触发系统虽然成熟，但在处理日益复杂的机器学习（ML）模型（如深度神经网络）时，面临资源限制和灵活性不足的问题。
• 研究目标：评估 AMD Xilinx Versal 架构中的新型专用协处理器——自适应智能（AI）引擎（AI Engine, AIE），是否能在上述硬实时、固定延迟的环境中有效部署机器学习算法，作为传统可编程逻辑实现的替代方案。

2. 方法论 (Methodology)

研究团队针对 ATLAS Level-0 触发系统的约束条件，在 AMD Versal Premium 设备（搭载 AIE-v1.0 版本）上实现了两种典型的机器学习算法，并进行了详细的性能基准测试：

2.1 硬件平台

• AMD Versal AI Engine (AIE)：一种专为低延迟算术优化的 2D 阵列协处理器。
  • 每个 AIE 包含标量处理器、矢量处理器和 32kB 本地内存。
  • 通过片上网络（NoC）或专用固定延迟引脚进行通信。
  • 本研究使用 AIE-v1.0（32kB 内存，1GHz 时钟），因其支持高带宽输入链路（MGTs），适合处理多 Gbps 的数据流。

2.2 算法实现策略

1. 提升决策树 (Boosted Decision Tree, BDT)：

   • 并行化策略：由于 BDT 的树内决策是串行的，但树与树之间的投票是并行的，研究采用了跨树并行策略。
   • 实现细节：将 16 棵树映射到一个 AIE 矢量处理器内核中。利用矢量处理器并行计算多棵树的响应，最后累加结果。
   • 配置：针对 16 个输入特征，最大深度为 5，共 64 棵树（分块处理）。

2. 二维卷积神经网络 (2D Convolutional Neural Network, CNN)：

   • 并行化策略：采用**流水线（Pipelined）**架构。
   • 实现细节：利用 AIE 的矢量乘加指令，对输入特征图（如 32x32 的量能器图像）进行滑动窗口卷积。
   • 优化：第一层卷积因处理最大数据维度而成为延迟瓶颈，后续层在流水线中并行处理，延迟贡献较小。

2.3 验证方法

• 数据：使用随机高斯分布的权重和输入数据，以排除编译器针对特定数据结构的优化干扰，确保结果的通用性。
• 对比基准：
  • BDT：与 Python 的 XGBoost 库进行对比。
  • CNN：与 TensorFlow 生成的数据进行位级（bit-accurate）对比。
• 延迟测量：使用 Vitis AI Engine 仿真环境，测量从数据流通过 AXI4-Stream 接口进入内核到输出结果的总延迟。

3. 关键贡献 (Key Contributions)

1. 填补了硬实时 ML 部署的空白：现有研究多关注毫秒级延迟的加速，而本研究首次将 AIE 的应用场景明确扩展至**微秒级（$\mu s$）**的硬实时触发环境，直接针对 HL-LHC 的升级需求。
2. 提出了针对 AIE 的特定并行化架构：
   • 针对 BDT，设计了以“树间并行”为主的矢量处理方案，有效解决了树内串行依赖问题。
   • 针对 CNN，设计了基于流水线的卷积实现，充分利用了 AIE 的矢量指令集。
3. 验证了 AIE 在 TDAQ 系统中的可行性：证明了在 10 $\mu s$ 的严格限制下，AIE 能够处理复杂的 ML 推理任务，且精度与软件基准一致。

4. 实验结果 (Results)

• BDT 性能：

  • 延迟：包含数据流传输（500MHz AXI4-Stream 接口）在内的总延迟为 $3.2 \mu s \pm 0.17 \mu s$。
  • 精度：与 XGBoost 软件模拟结果高度一致。
  • 瓶颈：主要受限于标量处理器对树内决策路径的串行处理，但矢量处理器有效处理了多树的累加。

• CNN 性能：

  • 延迟：对于 32x32 输入和 7x7 卷积核，总延迟约为 $2.9 \mu s$（第一层）+ 后续层的微小增量（每层约 0.1 $\mu s$）。
  • 精度：与 TensorFlow 实现达到位级准确（bit-accurate）。
  • 扩展性：延迟随输入特征大小和卷积核大小的变化呈现规律性，受矢量处理器处理宽度（4, 8, 16, 32 元素）的填充（padding）影响。

• 总体结论：两种算法的总延迟均远低于 ATLAS Level-0 触发系统 10 $\mu s$ 的硬性限制，表明 AIE 完全有能力承担此类任务。

5. 意义与展望 (Significance)

• 技术突破：本研究证实了 AMD Versal AI Engine 是下一代高能物理实验触发系统的有力候选者。它提供了一种比传统纯 FPGA 逻辑更灵活、比通用 CPU/GPU 更确定（低延迟）的解决方案。
• 系统演进：随着 LHC 进入高亮度时代，触发系统需要处理更复杂的全事件信息（Global Trigger）。AIE 的矢量处理能力和可扩展性（通过增加 Tile 数量）为部署更复杂的 ML 模型（如更深层的 CNN 或更复杂的 BDT）提供了路径。
• 行业影响：该工作不仅适用于粒子物理，也为其他需要高吞吐量、固定低延迟边缘计算的领域（如自动驾驶、实时工业控制、高频交易）提供了参考架构，展示了专用 AI 协处理器在硬实时场景中的巨大潜力。

总结：该论文通过具体的工程实现和严格的基准测试，证明了 AMD Versal AI Engine 能够在微秒级延迟约束下高效运行机器学习和非 ML 算法，为未来高能物理实验的触发系统升级提供了关键的技术验证和可行的架构方案。