DARTH-PUM: A Hybrid Processing-Using-Memory Architecture
该论文提出了 DARTH-PUM,这是一种混合架构,它将模拟与数字存内处理(PUM)同优化的外围电路及软件支持相结合,以支持面向加密和深度学习等多样化应用的高效节能通用存内计算。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正在运营一座庞大的图书馆,需要解决复杂的数学问题。传统上,你必须把书(数据)从图书馆里取出来,走到一个单独的办公室(CPU)去进行计算,然后再把它们走回去。这种来回奔波既缓慢、又累人,还浪费大量能源。
“存内计算”(Processing-Using-Memory, PUM)是一个新理念,它主张:“让我们在图书馆的书架内部直接完成计算。”
本文介绍了一种名为 DARTH-PUM 的新型“混合”图书馆系统,它将两种在书架内部进行计算的方式结合起来,以兼收并蓄、各取所长。
以下是其工作原理,使用简单的类比说明:
1. 两类图书管理员(模拟与数字)
本文指出,在存储器内部进行计算主要有两种方式,每种方式都拥有一项超能力和一个弱点:
“模拟”图书管理员(速度型选手):
- 工作方式: 他们利用电流在导线中流动(就像水流在管道中流动)来同时执行海量的乘法和加法运算。这就像拥有一个巨大的合唱团,所有人同时唱出一个音符,瞬间合成和弦。
- 超能力: 在处理特定任务(如矩阵 - 向量乘法,MVM)时速度惊人,而 MVM 正是人工智能和加密技术中的重体力活。
- 弱点: 他们有点“嘈杂”且不够精确。他们难以执行复杂的逻辑(例如“如果……那么……"),也不擅长处理负数。他们擅长重体力活,却不擅长精细操作。
“数字”图书管理员(逻辑大师):
- 工作方式: 他们使用标准的 0 和 1(就像普通计算机一样)来执行逐步逻辑运算。他们就像一位精确的会计师,逐一核对每一个数字。
- 超能力: 他们完美胜任逻辑推理、决策制定以及处理负数。他们非常准确。
- 弱点: 在处理繁重的乘法任务时速度较慢,因为他们必须一步一步地执行。
2. 以往尝试的问题
在 DARTH-PUM 出现之前,研究人员曾尝试仅使用“模拟”图书管理员来处理大型任务(如人工智能)。但由于“模拟”图书管理员无法执行逻辑运算,系统不得不将数据送回主 CPU 以完成工作。这就像雇佣了一位速度型选手跑马拉松,却强迫他每跑一英里就停下来,走到另一个城市去盖个章,然后再跑回来。这种做法完全浪费了速度优势。
其他尝试则试图构建定制的“特殊功能单元”(一种专用机器人)来协助“模拟”图书管理员,但这些方案成本高昂、难以构建,且仅适用于一种特定类型的数学运算。
3. DARTH-PUM 解决方案:混合团队
DARTH-PUM(用于混合存内计算的数字 - 模拟电阻阵列)是一块单一芯片,它将“速度型选手”(模拟)和“逻辑大师”(数字)并排安置在同一个房间内。
工作流程:
- 当遇到大型数学问题(例如乘以巨大的矩阵)时,“模拟”图书管理员会瞬间完成繁重的计算。
- 由于“模拟”图书管理员有点“嘈杂”或需要整合结果,数据会被直接传递给紧邻隔壁的“数字”图书管理员。
- “数字”图书管理员迅速完成“清理”工作(移位、加法、逻辑检查),而数据从未离开过图书馆。
“交通协管员”(仲裁器):
本文描述了一种特殊的硬件管理器,它扮演交通协管员的角色。它确保“速度型选手”和“逻辑大师”不会相互碰撞。它调度谁在何时工作,以便“模拟”图书管理员完成其大规模的数学爆发运算后,“数字”图书管理员能立即接手后续工作以完成任务。
4. 现实世界示例(测试内容)
作者们在三种截然不同的任务类型上测试了该系统,以证明其灵活性:
AES 加密(锁定保险箱):
- 任务: 对数据进行扰乱以保持机密。这涉及大量逻辑运算(行移位、字节交换)以及一个大型乘法步骤。
- 结果: “模拟”图书管理员处理乘法运算,“数字”图书管理员处理移位和交换。该系统比使用"CPU + 模拟加速器”的旧方法快 59.4 倍。
卷积神经网络(图像识别):
- 任务: 识别照片中的物体(如 ResNet)。这主要涉及繁重的乘法运算,但也需要一些逻辑运算来进行“激活”(判断像素是否重要)。
- 结果: 该系统比基线快 14.8 倍。由于无需在数据间来回搬运,它节省了巨大的能量。
大型语言模型(LLM - 聊天机器人):
- 任务: 理解和生成人类语言。这涉及复杂的数学运算和逻辑。
- 结果: 该系统比基线快 40.8 倍。
5. 为何这很重要
本文声称,DARTH-PUM 是一种“兼收并蓄”的解决方案。
- 它不需要为每个新应用都制造昂贵、定制的机器人(特殊功能单元)。
- 它不会浪费能量在 CPU 和存储器之间搬运数据。
- 它能在同一块芯片上处理从简单数学到复杂逻辑的所有任务。
简而言之: DARTH-PUM 就像建立了一座图书馆,在这里,速度最快的跑步者和最精确的会计师在同一个房间里并肩工作。他们瞬间来回传递工作,因此整个团队完成任务的速度更快、耗费更少,而无需像以前那样为了完成任务而奔波于不同的建筑物之间。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。