Stochastic Dynamics of Diffusive Memristor Blocks for Neuromorphic Computing

本文通过数值建模与实验研究了三个基于扩散忆阻器的脉冲神经元的突触收敛性，旨在确定用于靶向激活的电压组合并分析脉冲统计特性，从而推动神经形态计算中通用功能模块的发展。

要点

想象一下，你正试图构建一台微型、类脑型的计算机。这群研究人员没有使用那些只能进行严格“开”与“关”切换的硅芯片，而是决定构建一个行为更像生物大脑的电路：带有一点混乱、一点噪声，且充满惊喜。

以下是他们工作的介绍，通过简单的概念进行了拆解。

角色：三个“人工神经元”

在真实的大脑中，神经元（神经细胞）彼此交流。通常，多个神经元会向单个神经元发送信号，然后该神经元决定是否发出自己的信号。这被称为突触聚合（synaptic convergence）。

研究人员利用三个“人工神经元”构建了一个微型的电子版本。

• 工具： 他们使用了被称为**扩散性忆阻器（diffusive memristors）**的特殊电子元件。可以将它们想象成微小的、智能的电阻器，其电阻大小（电流流动的难易程度）会根据你施加电压的大小而改变。
• 魔力： 与保持不变的标准计算机部件不同，这些忆阻器是“易失性”的。在它们内部，微小的金属原子（如银）像云朵一样漂浮。当你施加电流时，它们会聚集在一起形成一个临时的桥梁（丝状结构），从而让电流通过。当你停止电流时，这个桥梁就会消散。这使得它们的行为非常接近生物突触，因为生物突触也是临时且可变的。
• 设置： 他们将两个这样的神经元（神经元 1 和神经元 2）连接到第三个神经元（神经元 3）。神经元 1 和 2 接收输入电压（我们称之为 $V_1$ 和 $V_2$）。神经元 3 倾听来自前两个神经元的“闲聊”，并决定是否发出一个脉冲（电脉冲爆发）或保持静默。

实验：调节音量

研究人员将输入电压（$V_1$ 和 $V_2$）视为立体音响上的音量旋钮。他们调高或调低这些旋钮，测试了数千种不同的组合，以观察会发生什么。

他们问道：如果我将左、右扬声器的音量分别设定为这些水平，哪些神经元会开始“歌唱”（发出脉冲）？

发现：行为图谱

他们发现系统的行为并非随机的混沌，而是一个有结构的图谱。根据电压组合的不同，系统会进入八种截然不同的“模式”：

1. 沉默： 谁都不发脉冲。
2. 独唱： 只有神经元 1 发出脉冲，或者只有神经元 2，或者只有神经元 3。
3. 二重奏： 神经元 1 和 2 同时发脉冲，或者 1 和 3，或者 2 和 3。
4. 三重奏： 三个神经元同时发出脉冲。

“噪声”因素：
真实的大脑是有噪声的。总会存在一些细微的静电干扰。研究人员发现，他们的电子神经元也天然具有噪声，这归功于忆的模型器内部金属原子的随机运动。

• 低噪声： 系统非常挑剔。只有当电压“恰好合适”时，它才会发出脉冲。
• 高噪声： 系统变得更加“慷慨”。随机的波动有助于神经元即使在电压略低的情况下也能发出脉冲。这就像房间里的一点背景噪声可能会通过触发你的大脑敏感度，反而帮助你听清耳语一样。

这能做什么？（“大脑数学”）

研究人员展示了这个简单的三神经元模块如何在不需要复杂处理器的情况下执行基础的类脑计算。

1. 比较器（“法官”）：
想象你有两个数字，$V_1$ 和 $V_2$。你想知道哪个更大，或者它们是否都很小，或者都很大。

• 如果 $V_1$ 很大而 $V_2$ 很小，系统的反应会是这样。
• 如果两者都很大，反应又是另一种样。
• 通过观察哪些神经元正在发出脉冲，你可以瞬间对这两个输入的关系进行“分类”。这就像一位法官，根据呈现的辩论是平等的，还是其中一方更强，来举起特定的旗帜。

2. 逻辑门（“决策者”）：
他们还展示了这个电路可以作为基础的计算机逻辑门（所有软件的构建模块）。

• 与门（AND Gate）： 如果你设定好规则，只有当两个输入都处于高电平时，第三个神经元才会发出脉冲。（1 + 1 = 1）。
• 或门（OR Gate）： 随着系统中加入更多“噪声”，只要其中一个输入处于高电平，第三个神经元就会发出脉冲。（1 + 0 = 1）。

现实世界测试

团队不仅仅是在计算机上运行这些内容；他们用真实的硬件构建了它。

• 结果： 物理设备的行为与计算机模拟几乎完全一致。
• “混乱”的现实： 现实世界的图谱比完美的计算机图谱更“模糊”。你会看到一个巨大的区域，其中神经元 1 和 3 发出脉冲，但在该区域内部，会出现一些微小的“孤岛”，在这些地方神经元 2 会随机加入进来。
• 为什么？ 研究人员意识到，这种模糊性来自于忆阻器内部金属丝不断变化的形状和结构。通过在计算机模型中添加一个“随机性因子”来模拟这种变化的形状，他们能够完美匹配这种混乱的现实世界结果。

大局观

这篇论文声称，通过使用这些“多噪”的扩散性忆阻器，我们可以创造出未来计算机的微型、通用构建模块。这些模块不仅仅是计算数字，它们还以一种模仿生物大脑处理信息的方式来比较信号并做出决策。

核心结论是，噪声不是缺陷，而是一种特性。 正如生物大脑一样，这些电子神经元中的随机波动有助于它们处理信息、进行比较并执行逻辑任务，而这些任务对于僵化、完美的计算机芯片来说要困难得多。

技术摘要

技术摘要：用于神经形态计算的扩散式忆阻器模块的随机动力学

问题陈述
开发高能效人工智能（AI）硬件需要超越冯·诺依曼架构，转向集成存储与处理的系统。虽然扩散式忆阻器因其能够模拟生物突触（例如突触可塑性和挥发性开关）的能力，已成为神经形态电路中极具前景的组件，但目前仍存在一个关键空白，即如何理解这些器件组成的简单模块如何执行特定计算。具体而言，在随机且由噪声驱动的环境中，突触收敛（即多个神经元的输入整合到单个下游神经元的过程）的机制尚未得到充分表征。本研究旨在确定特定的输入条件，以实现由扩散式忆结合构成的简化神经电路中的定向激活和计算逻辑。

研究方法
本研究采用实验制备、数值建模和统计分析相结合的方法，对一个三神经元电路进行了研究。

• 实验设置： 研究人员利用磁控溅射和紫外光刻技术制造了三个相同的扩散式忆阻器（Ag:SiO$_x$）。这些器件被配置为一个电路：两个前突触神经元（RM$_1$ 和 RM$_2$）接收外部电压输入（$V_1$ 和 $V_2$），并收敛至一个后突触神经元（RM$_3$）。每个忆阻器与一个负载电阻串联，并与一个电容器并联，以促进皮尔逊-安森（Pearson-Anson）振荡器行为（即脉冲发放/Spiking）。系统受到长电压脉冲（10秒开启，10秒关闭）的作用，输入电压范围为 0 到 3.6 V。脉冲行为的分类基于超过基线噪声 10% 的电压振荡幅度。
• 数值建模： 使用基于随机微分方程的电荷传输模型来模拟动力学过程。该模型考虑了金属团簇在电化学势驱动下的运动，这种运动受电场和随机热涨落（通过高斯白噪声模拟）的驱动。模型引入了一个随机参数 $\beta$，用以模拟导电细丝末端附近纳米团簇的随机重构，反映了细丝形成的非平稳特性。
• 统计分析： 为了量化脉冲发放状态，作者计算了脉冲间隔的变异系数（CV$_1$）和局部变异性（CV$_2$）。将这些指标在数值模拟与实验数据之间进行比较，以评估模型重现脉冲模式统计特性的准确性。

主要贡献与结果
本文建立了输入电压组合与三神经元忆阻器模块中特定脉冲模式之间的直接联系，证明了其作为神经形态计算功能单元的潜力。

1. 映射脉冲区域： 研究识别了在 ($V_1$, $V_2$) 参数平面上对应于不同脉冲结果的独特区域：无脉冲、单神经元脉冲（RM$_1$、RM$_2$ 或 RM$_3$）、双神经元脉冲以及三神经元脉冲。

   • 在低电压下，不发生脉冲。
   • 随着电压升高，单神经元脉冲区域出现。
   • 值得注意的是，存在一个仅有后突触神经元（RM$_3$）产生脉冲的区域，即使前突触神经元单独工作时也不会发放脉冲。这归因于前突触神经元的组合噪声输出提供了足以触发 RM$_3$ 的直流分量，或者是当组合输入波动超过阈值时引发了噪声诱导的脉冲。
   • 增加噪声水平会扩大多神经元脉冲的区域，并能在其中一个输入为零时诱发脉冲。

2. 计算能力： 独特的脉冲模式使该电路能够执行基本的类脑计算：

   • 分类： 电路可以根据产生的脉冲模式将输入对（$V_1$, $V_2$）归类为不同的类别。
   • 比较： 通过固定一个输入，该模块充当比较器，判定可变输入是否超过特定阈值。
   • 逻辑门： 根据噪声水平和输入电压范围，该电路可以实现布尔逻辑运算。例如，在较低噪声水平下，系统作为“与”（AND）门运行（仅当两个输入都较高时，RM$_3$ 才输出脉冲）；而在较高噪声水平下，它作为“或”（OR）门运行（只要有一个输入较高，就会输出脉冲）。

3. 模型与实验的一致性： 数值模拟在脉冲模式的存在性及其统计特性（CV$_1$ 和 CV$_2$）方面与实验测量高度吻合。在模型中引入随机化的 $\beta$ 参数对于重现实验中观察到的“杂乱”结构和替代模式的微小“孤岛”至关重要，这些现象源于导电细丝的非平稳演化。研究发现，人工神经元的统计特性处于皮层神经元的典型范围内（CV$_1$ 和 CV$_2$ 在 0.2 到 1.5 之间）。

意义与主张
作者声称，这项工作有助于开发神经形态系统的通用功能模块。其主要意义在于证明了简单的、随机的忆阻电路可以在不需要精确、非随机控制的情况下，执行诸如信号比较、分类和布尔逻辑等复杂任务。

本文认为，扩散式忆阻器固有的挥发性和随机性（通常被视为一种挑战）可以被用来模拟“神经变异性”——这是生物系统中观察到的一种现象，即神经元对相同刺激做出不同的反应。这种变异性被认为可能增强大脑的计算能力。因此，本研究为理解生物神经系统的计算机制提供了一个平台，并为设计利用扩散式忆阻器自然动力学进行信息处理的大规模神经形态架构提供了蓝图。作者谦虚地建议，稳定细丝演化可以提高特定应用的重复性，而自然的挥发性仍然是模拟生物神经变异性的一个极具前景的方向。