Spintronic Neuromorphic Hardware Using Domain Wall Based Neurons and Quantized Synapses

本文提出了一种自旋电子神经形态硬件仿真方案，利用重金属/铁磁异质结构中的畴壁动力学来模拟神经元和量化突触，在 MNIST 和 Fashion-MNIST 数据集上实现了高精度，同时证明了稀疏、低内存人工神经网络的可行性。

要点

想象一下构建一个计算机大脑，但不是像我们目前的手机和笔记本电脑那样使用硅芯片和电力，而是使用微小的磁性轨道和磁性“壁”的移动。这正是本文中的研究人员所做的事情。他们创建了一种新型硬件的模拟，该硬件模仿我们生物大脑的学习和思考方式，利用了一个名为自旋电子学（spintronics）的领域（该领域利用电子的“自旋”而不仅仅是其电荷）。

以下是他们工作的简要说明，使用了简单的类比：

1. 构建模块：磁性火车轨道

将他们的设备想象成一条非常狭窄的微观火车轨道，由两层组成：一层重金属层和一层磁性层。

• 火车：在这条轨道内部，有一个“畴壁”（DW）。想象它是一道移动的栅栏或一扇大门，将两个不同的磁区隔开（一个指向上方，一个指向下方）。
• 引擎：他们利用电流脉冲推动这道栅栏沿轨道移动。栅栏移动的速度和距离取决于电流的强度。

2. 神经元：“开/关”开关

在大脑中，神经元是一种只有在接收到足够信号时才会触发的细胞。

• 类比：研究人员构建了一个神经元，它像一个"ReLU"开关（计算机大脑中常见的规则，即：“如果信号为负，则什么都不做；如果为正，则放行”）。
• 工作原理：他们发送了一个短暂的 3 纳秒电脉冲。如果脉冲太弱，磁性栅栏就不会移动，输出为零。如果脉冲足够强，栅栏就会移动，输出随之增加。这就像一盏灯，只有当你用力按下按钮时才会亮起。

3. 突触：“阶梯式”记忆

在大脑中，突触是神经元之间的连接。它们具有可调整的“权重”（强度）。强连接意味着神经元大声交谈；弱连接意味着它们低声耳语。

• 问题：在普通的磁性轨道中，栅栏平滑移动。但对于计算机存储器，你需要清晰、稳定的阶梯（像楼梯一样），以便计算机确切知道它存储的是什么数字。
• 解决方案：研究人员在磁性轨道上切出了微小的对称“凹口”（凹痕），就像道路上的减速带。
• 类比：想象将一个大箱子推上带有减速带的斜坡。
  • 如果你轻轻推，箱子会卡在第一个减速带处。
  • 如果你推得更用力，它会跳到第二个减速带。
  • 如果你推得更用力，它会跳到第三个。
  • 箱子不会平滑滑动；而是以阶梯方式移动。
• 结果：每个“减速带”（或凹口）都作为一个稳定的记忆点。栅栏的位置决定了连接的“权重”。由于栅栏会卡在特定位置，因此记忆非常稳定，不易漂移。

4. “记忆”特性

论文指出一个有趣的现象：将栅栏从一个减速带移动到下一个，不仅仅取决于当前的推力；它还取决于栅栏之前所在的位置。

• 类比：这就像爬梯子，到达下一级横档所需的努力取决于你如何爬上上一级。这种“历史”模仿了真实生物突触的记忆和适应性。

5. 测试大脑：“学校”考试

为了验证他们的磁性大脑是否真的有效，他们使用这些磁性神经元和突触构建了一个完整的计算机网络（神经网络）。他们在两个著名的计算机“学校考试”上进行了测试：

1. MNIST：识别手写数字（0–9）。
2. Fashion MNIST：识别服装图片（衬衫、鞋子、包）。

结果：

• “完美”分数：首先，他们使用完美的连续数字（像标准计算机一样）模拟了该网络。它在数字识别上获得了97%的准确率，在服装识别上获得了86%。这证明了该设计可以工作。
• “现实”分数：然后，他们强制网络仅使用他们构建在硬件中的特定“阶梯”（凹口）。
  • 对于数字，准确率略微下降至95%。
  • 对于服装，准确率显著下降至62%（因为服装图片更难区分，且“阶梯”过于粗糙）。
• “微调”修复：最后，他们专门针对这些阶梯限制“重新训练”了网络。经过此调整后，准确率回升至接近完美分数（97%和86%）。

结论

该论文声称，通过使用带有工程化“减速带”的磁性轨道，他们可以创建一种硬件大脑，能够：

1. 模仿神经元的触发。
2. 以稳定、离散的阶梯（突触权重）存储记忆。
3. 学习和适应。
4. 即使在被迫使用有限的“阶梯”记忆系统时，也能以高精度识别图像。

他们尚未在真实的物理硬件上测试这一点；这是一次复杂的计算机模拟。然而，结果表明，这种“磁性火车轨道”设计是构建未来更节能、更像人类思考的计算机的一个有前景的蓝图。

技术摘要

技术摘要：基于畴壁神经元与量化突触的自旋电子神经形态硬件

问题陈述
在传统硬件上实现人工神经网络（ANN）受到冯·诺依曼瓶颈的阻碍，其特征是存储单元与处理单元之间进行高能耗且易产生延迟的数据传输。尽管新兴的非易失性存储器（eNVM）器件（如自旋电子器件）提供了超快动力学、低功耗和高耐久性，但在模拟生物突触的模拟特性方面仍存在重大挑战。磁隧道结（MTJ）通常提供适用于数字存储的二进制状态，但缺乏突触权重所需的连续可调性。此外，畴壁（DW）位置的稳定性对于可靠的推理至关重要；杂散场或退磁可能导致 DW 位移，从而降低突触权重的稳定性和推理精度。因此，亟需一种定义明确、稳定且可控的基于 DW 的神经形态硬件模型，该模型能够在无需在资源受限的边缘设备上进行复杂在线训练的情况下，准确模拟神经元激活和突触记忆。

方法论
作者提出了一种全连接 ANN 架构，利用重金属/铁磁体（HM/FM）异质结构，通过微磁模拟来模拟神经元和突触。

• 器件模拟：该研究使用面向对象微磁框架（OOMMF）和 UBERMAG 数值求解 Landau-Lifshitz-Gilbert-Slonczewski（LLGS）方程。
• 神经元模拟：采用矩形 HM/FM 纳米轨道（512 nm × 64 nm × 2 nm）来模拟 ReLU 激活函数。沿重金属层施加的电流脉冲（3 ns）通过自旋霍尔效应产生自旋轨道力矩（SOT），驱动横向畴壁（DW）。由跨越 128 nm 至 384 nm 的类 MTJ 结构检测到的 DW 位置编码了电导。该器件被设计为对负输入呈现零电导，对正输入呈现线性电导，从而有效规避了与 Sigmoid 函数相关的“死神经元”问题。
• 突触模拟：一个较大的 HM/FM 纳米轨道（1500 nm × 150 nm × 2 nm）具有对称的半圆形缺口型波纹（5 个或 10 个缺口），作为工程化的钉扎位点。施加具有不同电流密度的 10 ns 电流脉冲驱动 DW。这些缺口产生局部能垒，导致 DW 表现出阶梯状运动，并在特定位置出现暂时性停顿（钉扎）。这些钉扎状态下的电导作为离散且稳定的突触权重。
• 网络训练与量化：作者首先使用 PyTorch 和标准 float32（FP32）权重，在 MNIST 和 Fashion-MNIST 数据集上训练一个全连接 ANN（784 个输入节点、128 个隐藏节点、10 个输出节点）。随后，将这些权重进行量化以匹配所提出的突触器件可实现的离散电导水平。一个“微调”阶段利用这些量化权重重新训练网络，以恢复性能损失。

主要贡献

1. 硬件高效的神经元模型：演示了一种基于 DW 的器件，利用 3 ns 电流脉冲准确模拟 ReLU 激活函数，为复杂的激活电路提供了一种硬件友好的替代方案。
2. 工程化的突触稳定性：引入光刻定义的对称缺口以创建受控的钉扎中心。该设计确保了 DW 抵抗杂散场的稳定性，并能够产生离散的、量化的电导状态，这些状态作为可靠的突触权重发挥作用。
3. 突触记忆与适应性：观察到阈值依赖的延迟效应，其中去钉扎事件受先前状态的影响。这种行为成功模拟了生物突触固有的记忆和可塑性。
4. 量化神经网络（QNN）验证：成功实现了一个全连接 QNN，其中训练好的 FP32 权重被映射到离散的 DW 钉扎状态。该研究验证了在量化后对网络进行微调可以将准确率恢复至接近基线水平。

结果

• 器件性能：
  • 神经元器件展示了归一化电导与电流密度曲线，该曲线与 ReLU 函数高度吻合，并通过多项式拟合修正了轻微偏差。
  • 突触器件表现出阶梯状的 DW 运动。对于 5 缺口系统，DW 在随电流密度增加而钉扎在缺口处（例如，第一个缺口的电流密度为 0.500 × 10¹² A/m²）。10 缺口系统表现出类似行为，但与 5 缺口系统相比，需要更低的电流密度即可完全切换磁化方向。
• ANN 准确率：
  • 基线（FP32）：网络在 MNIST 上实现了约 97.41% 的准确率，在 Fashion-MNIST 上实现了约 86.40% 的准确率。
  • 纯量化：直接将权重映射到离散水平导致准确率分别降至约 94.67%（MNIST）和约 62.20%（Fashion-MNIST）。Fashion-MNIST 性能的显著下降归因于该数据集复杂且模糊的特性（例如，外观相似的服装物品）以及量化权重分布的稀疏性。
  • 微调量化：利用量化权重重新训练网络，将准确率恢复至约 97.17%（MNIST）和约 86.22%（Fashion-MNIST），有效恢复了纯量化中观察到的性能损失。
• 混淆矩阵分析：研究指出，Fashion-MNIST 数据集中的误分类主要是由于类间歧义（例如，将“衬衫”与"T 恤/上衣”混淆），量化加剧了这一问题，但通过微调得以缓解。

意义
该论文声称，工程化的 DW 钉扎 - 去钉扎动力学为神经形态计算提供了一条可扩展且自适应的途径。通过利用几何约束（缺口）来控制 DW 运动，作者展示了一种创建稳定、非易失性突触权重的方法，这些权重对位移具有鲁棒性。这项工作弥合了基础自旋电子磁化翻转与实际神经形态架构之间的差距，证明了基于 DW 的器件能够以高计算保真度支持复杂的算法需求。微调量化网络的能力表明，此类硬件可以有效地部署于边缘计算应用中，在无需牺牲推理准确率的前提下，满足低内存占用和能效至上的要求。