💻 computer science

AMORL: A Training-Aware, Adaptive, Multi-Objective RL-CNN Framework for Dynamic DNN Mapping on Networks-on-Chip

本文介绍了 AMORL，这是一个感知训练的自适应框架，它结合了强化学习和卷积神经网络，将多样化的 DNN 工作负载动态地映射到异构片上网络（NoC）上，在保持高吞吐量和高能效的同时，显著降低了通信成本、负载不均衡和延迟。

原作者： Md Farhadur Reza

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Farhadur Reza

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代计算世界中，最强大的机器不再由单一的、庞大的大脑来定义，而是由成千上万个协同工作的微型处理器组成。想象一座城市，数百万名微小的工人必须不断地互相传递便条，以解决一个单一且复杂的难题。如果他们之间的道路发生拥堵，整个城市就会陷入停滞。这就是驱动当今人工智能（从图像识别到语言翻译）的深度神经网络所面临的现实。这些系统由人工神经元层构建而成，这些神经元以巨大且复杂的模式进行通信。为了高效运行这些系统，工程师将这些神经元放置在被称为“多核系统”的专用芯片上，其中处理器通过被称为“片上网络”（Network-on-Chip）的微型导线网络连接在一起。这个内部网络充当了芯片的循环系统，在处理器之间传输数据。然而，随着这些人工大脑变得越来越大、越来越复杂，这些内部道路上的交通流量成为了瓶颈。传统的决策方法——即决定哪个处理器处理哪部分计算——往往无法考虑到不同人工智能模型独特的、变化的各种需求，从而导致能量浪费、过热和性能下降。

伊利诺伊东方大学的一位研究人员开发了一种解决这一交通问题的新方法，他们称之为 AMORL 系统。该系统并非使用一套固定的规则来分配任务给处理器，而是学习如何动态地映射数据流，就像一个智能交通控制中心，根据当前的拥堵情况实时调整信号灯的时长。研究人员结合了两种强大的技术来训练他们的系统：一种是强化学习，它允许计算机通过试错进行学习；另一种是卷积神经网络，它有助于系统识别数据移动中的空间模式。通过教导系统将整个芯片视为一张地图，它可以识别哪些处理器处于闲置状态，哪些处于过载状态，然后立即重新规划信息流向，以保持一切平稳运行。

AMORL 的核心创新在于其能够适应不同人工智能模型的特定需求以及芯片本身不断变化的情况。研究人员在六种不同类型的神经网络上测试了该系统，范围涵盖了用于基础图像分类的简单模型，到像 ResNet-50 和 BERT-tiny 这样庞大且复杂的架构。他们模拟了这些模型在不同规模的芯片网络上运行的情况，从包含 16 个处理器的微型网格到超过一千个处理器的巨型阵列。该系统旨在处理整个训练阶段的生命周期，因为它意识到人工大脑在学习过程中的通信需求是会变化的。在学习的初始阶段，系统向前发送数据；随后，它向后发送误差信号以纠正错误；最后，它更新其内部权重。AMORL 学习为这些阶段中的每一个阶段优化任务放置，确保最关键的数据走最短的距离。

在他们的模拟实验中，结果非常显著。与依赖随机分配或标准优化算法的旧有映射策略相比，AMORL 框架将通信成本降低了 70% 以上。这意味着数据在处理器之间的跳转次数显著减少，大幅缩短了系统完成任务所需的时间。该系统还将负载均衡能力提高了高达 86%，确保没有单个处理器在其他处理器过载时处于闲置状态。或许最重要的一点是，系统在实现这一目标的同时，保持了较低的能耗并防止了芯片过热。研究人员在学习过程中加入了一个热安全指标，允许系统自动将任务从过热的处理器转移开，从而避免芯片为了降温而被迫降速。

为了验证这些发现是否在现实条件下依然成立，研究人员通过一个高度详细的、能够模拟芯片网络物理行为的周期精确模拟器运行了他们的映射方案。他们在 4x4 处理器网格和更大的 8x8 网格上测试了系统，并通过提高数据注入率来观察系统在重度交通压力下的表现。在较小的网格上，系统维持了高达 876 Gbps 的吞吐量。在较大的 8x8 网格上，它实现了超过 2.77 Tbps 的惊人吞吐量。这些数字表明，该系统不仅在理论上可行，而且即使在网络承受巨大压力时也能保持高效。模拟证实，AMORL 生成的映射可以处理现实世界中人工智能工作负载的多样且不可预测的需求，而无需在引入新模型时每次都从头开始重新训练系统。

研究人员还探讨了其系统的不同组件是如何促成成功的。他们发现，负责动态权衡不同目标（例如速度与能效之间）的部分是最关键的因素。当他们移除这种自适应权重时，系统的性能显著下降，这证明了对于这些复杂任务，单一的方法是行不通的。同样，识别芯片上空间模式的组件对于降低通信成本至关重要，尤其是在芯片规模增加的情况下。该系统还展示了对工作负载突发变化的快速适应能力。如果数据类型或任务规模在操作过程中发生变化，系统可以进行快速调整，而无需经历完整的重新训练周期，从而确保持续的高性能。

这项工作代表了在提高人工智能硬件效率和适应性方面迈出的重要一步。通过教会芯片如何组织自身的内部交通，研究人员创建了一个可以从小型、简单网络扩展到未来大规模、复杂系统的框架。这种对速度、能量和热量管理进行联合优化的能力，意味着未来的 AI 加速器可以运行得更快、更凉爽，能够处理更多样化的任务，而无需不断的干预。研究结果表明，随着我们向拥有数千个核心的芯片迈进，释放其全部潜力的关键不仅在于增加更多动力，还在于教会它们如何智能地共享这些动力。AMORL 框架为这种智能提供了一个蓝图，表明通过正确的学习策略，这些复杂的系统可以在数字景观中找到属于它们的最优路径。

技术摘要：用于 NoC 上动态 DNN 映射的 AMORL 框架

问题陈述

随着晶体管技术的进步，集成数百甚至数千个核心的众核系统已成为执行深度神经网络（DNN）的标准配置。这些系统依赖片上网络（NoC）作为主要的通信机制。然而，传统的映射策略难以处理 DNN 固有的多样且密集的通信模式，例如全连接层中的全局全对全（all-to-all）交换以及卷积层中的局部模式。

现有的映射方法面临三个主要局限性：

缺乏可扩展性： 许多技术是针对固定的 NoC 规模或特定的 DNN 架构定制的，缺乏适应可变维度（例如从 4×4 到 32×32 网格）或多样化模型深度的灵活性。
静态优化： 传统方法往往无法解决多目标性质的问题，即需要同时优化相互冲突的目标：最小化通信延迟、平衡计算负载、降低能耗以及管理热风险。
对动态工作负载缺乏灵活性： 现实世界的加速器面临动态上下文，包括在不同模型之间、不同批次大小以及不同训练阶段（前向传播、反向传播、权重更新）之间的快速切换。在单一数据集（如 MNIST）上训练的静态映射器往往无法泛化到未见的架构（如 ResNet-50 或 BERT），从而导致性能欠佳。

方法论

本文提出了 AMORL（自适应多目标强化学习-卷积神经网络，Adaptive Multi-Objective RL-CNN），这是一个结合了强化学习（RL）和卷积神经网络（CNN）的通用框架，旨在为异构 NoC 架构创建一种可扩展、自适应的映射策略。

核心架构

AMORL 采用分层学习结构：

RL-CNN 策略网络： 核心智能体使用 CNN 来处理空间状态信息（归一化的计算需求、通信强度矩阵和核心利用率），以检测空间模式，例如通信热点和利用率低的区域。CNN 输出一个概率图，引导 RL 智能体决定将特定的神经元簇分配给哪个核心。RL 智能体则优化这些分配的时间序列。
元控制器（Meta-Controller）： 第二个神经网络根据当前系统状态动态加权五个不同的目标——通信成本、负载不平衡、能效、延迟和热风险。它输出一个 Softmax 加权向量，将这些目标组合成单个标量奖励，使系统能够根据运行条件优先考虑不同的目标（例如，热安全 vs. 延迟）。
自适应模块： 为了处理突发的工作负载变化（例如新的批次大小或模型类型），该框架通过自适应池化提取固定大小的工作负载模式。一旦检测到变化，它会触发快速在线自适应步骤，利用前 k 个相似的过往经验来微调一个小的自适应向量，从而实现专业化，而无需进行完整的重新训练。

训练感知映射

该框架的一个关键创新是其区分 DNN 训练阶段的能力。状态表示包含了 前向传播、反向传播 和 权重更新 阶段的 One-hot 标志。奖励函数应用阶段特定的惩罚（例如，在反向传播期间将通信成本惩罚增加一倍，因为该阶段主导了训练时间）。这使得 AMORL 能够专门针对梯度传播和权重同步进行优化，而不改变底层的 DNN 优化器（如 SGD）。

工作负载与环境

该框架在六种多样化的 DNN 工作负载上进行了训练和评估，涵盖从小型全连接网络（IRIS，3 层）到大型深度架构（ResNet-50，53 层）以及 Transformer 类模型（BERT-tiny）。训练采用了 多数据集 范式，通过交替来自所有六个工作负载的剧集（episodes）来学习鲁棒且可泛化的策略。评估是在 4×4 到 32×32 网格大小的 NoC 上进行的。

核心贡献

分层学习架构： 引入了一个动态加权多目标奖励的元控制器，以及一个学习空间映射模式和时间分配序列的 RL-CNN 策略。
训练感知、阶段特定映射： 扩展了 RL-CNN，使其在状态空间中编码训练阶段（前向、反向、更新），从而针对每个阶段的特定通信瓶颈（如最小化梯度跳数）进行优化。
快速在线自适应： 一种检测工作负载偏移并通过对自适应向量进行少量梯度步进来实现快速专业化的机制，避免了灾难性遗忘和从头开始重新训练的需求。
带有热建模的多目标奖励： 将逐跳延迟（per-hop latency）和热风险模型集成到五维奖励向量中，从而实现平衡速度、效率和可靠性。
可扩展性与泛化性： 展示了在随机网格尺寸（4×4 到 32×32）上训练的尺寸无关策略，并在推理过程中实现了常数时间 ( $O(1)$ ) 的动作选择。

实验结果

该框架使用内部开发的 DNN 映射器和基于 gem5/Garnet 的周期精确模拟进行了评估。

性能提升： 与消融变体（移除元控制器、CNN 或自适应模块）以及基准算法（随机、模拟退火、遗传算法）相比，AMORL 实现了：
- 通信成本： 相比于消融变体减少了超过 70%，相比于随机基准减少了高达 69%。
- 负载不平衡： 随着 NoC 规模增大，减少幅度高达 86%。
- 延迟： 相比于消融变体减少了超过 50%，在较小 NoC 上的 BERT-tiny 峰值节省达 78%。
- 能量： 相比于基准方案实现了 2.5% 至 6% 的持续节能。
可扩展性： 负载不平衡度随 NoC 规模增大而单调下降，在 32×32 网格上达到接近零的水平（0.031–0.035），表明实现了近乎完美的负载分布。
周期精确验证：
- 在 4×4 NoC 上，AMORL 在轻载下维持了高达 876 Gbps 的吞吐量并保持稳定的延迟。
- 在 8×8 NoC 上，吞吐量超过 2.77 Tbps，证实了在现实流量条件和变化的注入速率（0.05 至 0.50 flits/node/cycle）下的鲁棒性。
训练动态： 元控制器迅速学会了平衡各项目标，降低了数值占主导地位的能量目标的权重，同时增加了延迟的权重。策略在第 600 个剧集时收敛至稳定平台。

重要性与主张

论文声称 AMORL 提供了一个 统一、自适应且多目标的映射解决方案，解决了现代众核 DNN 加速器的关键挑战。其重要性在于：

泛化能力： 不同于以往针对特定架构定制的工作，AMORL 学习的是能够处理多种 DNN（从微型到大型）和 NoC 配置的单一策略，无需针对每个工作负载重新训练。
动态自适应： 它通过在线自适应和相位感知机制，有效地管理了现实世界工作负载的动态特性，包括多模型环境和变化的训练阶段。
整体优化： 通过联合优化通信、负载、能量、延迟和热安全性，它为高效、节能且热安全的 DNN 执行提供了切实可行的方案。
验证： 通过分析模型和周期精确模拟进行的验证，确认了其学习到的策略具有泛化性，在现实流量条件下仍能保持高效和低延迟。

作者总结道，AMORL 代表了在异构 NoC 众核系统中实现高效、可扩展且自适应的推理及训练工作负载迈出的重要一步。