Scalable platform enabling reservoir computing with nanoporous oxide memristors for image recognition and time series prediction

技术摘要：利用纳米多孔氧化物忆阻器实现可扩展储备池计算的平台

问题陈述
当前的神经网络实现，特别是处理时空信号（如时间序列和语言）的实现，在能量效率、硬件可扩展性以及对在线服务器连接的需求方面面临重大挑战。虽然储备池计算（Reservoir Computing, RC）通过利用隐藏层中固定的随机权重来处理时间数据，具有低训练成本的优势，是一种极具前景的替代方案，但其物理实现往往难以克服可扩展性和结构复杂性的难题。现有的基于磁性、光子或标准忆阻器阵列的方法通常受到器件互连受限、可扩展性差以及难以创建复杂任务所需的真正随机且高维内部状态等问题的困扰。此外，许多物理储备池计算的演示尚未针对没有储备池的情况下的混沌时间序列预测进行严格基准测试，也未能充分利用材料固有不均匀性进行“内在于物质”（in materia）计算的潜力。

方法论
作者开发了一种基于具有固有结构不均匀性的挥发性铌氧化物（NbOx）忆阻器的可扩展全氧化物物理储备池计算平台。

• 器件制备： 该系统的核心是一个薄膜器件堆栈，包括 20 nm 纳米多孔铂（np-Pt）底电极、80 nm 氮掺杂 NbOx 切换层、3 nm Ti 粘附层和 120 nm Pt 顶电极。底电极的纳米多孔性是通过在 Ar:O₂ 混合气中进行铂的 DC 磁控溅射并随后进行高温退火实现的。这一过程诱导了随机分布的纳米孔（平均半径约为 29 nm），这些纳米孔向 NbOx 层传播，为每个顶电极创造了独特的、非相同的导电路径。
• 物理储备池机制： 该器件作为一种挥发性忆阻器运行，其电阻切换由焦耳热驱动。固有的纳米多孔性创造了随机、非线性的电流路径，有效地充当了一个具有固定随机内部权重和短期褪去记忆（滞后性）的物理储备池。
• 实验任务：
  1. XOR 任务： 将逻辑二进制输入编码为电压脉冲（0V 或 1.75V），以测试非线性可分性。
  2. 图像识别： 将数字 0–9 的二进制图像（5x3 像素）转换为电压脉冲序列，以测试模式识别能力。
  3. Lorenz-63 预测： 系统被要求预测并重建三维混沌 Lorenz-63 时间序列（$X(t), Y(t), Z(t)$）。该时间序列被转换为电压波形并按顺序应用于储备池。
• 读出与训练： 同时记录三个活跃输出通道的电流响应。这些电流与输入电压结合，形成一个拼接向量，用于通过外部软件训练线性读出层（简单线性感知器或逻辑回归）。研究将性能与带有储备池（电压 + 电流输入）的情况与不带储备池（仅电压）的基准情况进行了对比。

主要贡献

1. 通过纳米多孔性实现固有随机性： 本文介绍了一种创建物理储备池的方法，其随机性源于材料结构（纳米孔），而非需要复杂的外部布线或交叉阵列。这使得单个器件足迹下可以产生多个不同的输出通道。
2. 内在于物质的计算（In Materia Computing）： 该系统体现了“内在于物质”的计算，即材料本身作为并行计算介质，这与连接离散、相同器件的方法形成了对比。
3. 在混沌系统上的基准测试： 作者针对具有挑战性的 Lorenz-63 混沌系统，对其物理储备池进行了严格的基准测试，通过明确对比有无储备池时的性能，证明了物理记忆和非线性的必要性。
4. 波形重建： 研究表明，利用物理储备池可以成功重建混沌系统的缺失分量（例如，从 $X(t)$ 预测 $Y(t)$ 和 $Z(t)$），而如果没有储备池，该任务将会失败或表现不佳。

结果

• XOR 任务： 标准单层感知器（SLP）无法解决 XOR 问题（准确率为 50%）。然而，物理 RC 系统通过利用储备池的电流输出将输入投影到高维空间，在训练和测试中均实现了 100% 的准确率。
• 图像识别： 在经过 14 次训练迭代后，系统使用单个输出通道实现了数字 0–9 的 100% 识别准确率。对于具有相似像素模式的数字（如 3 和 5），在迭代次数较少时显示出较低的确定性，但在充分训练后得以解决。
• Lorenz-63 预测：
  • 储备池的表现显著优于非储备池基准。使用来自储备池的电流数据时，归一化均方根误差（NRMSE）值明显降低。
  • 对于 $V_X(t), V_Y(t)$ 和 $V_Z(t)$，在 1 步预测窗口和 100 步过去窗口下，最佳 NRMSE 值分别为 $1.2 \times 10^{-2}$、$1.5 \times 10^{-2}$ 和 $1.4 \times 10^{-2}$。
  • 确定了最优电压转换参数为偏移量（$V_0$）0.5 V 和范围（$V_{Range}$）2.5 V，突显了“物理感知训练”的概念。
• Lorenz-63 重建： 系统能够高精度地从 $V_X(t)$ 重建 $V_Y(t)$ 和 $V_Z(t)$。从 $V_Z(t)$ 重建 $V_X(t)$ 和 $V_Y(t)$ 则失败了，这与 Lorenz 系统的数学特性（对称性问题）一致，验证了物理系统与理论约束的一致性。
• 对比： 虽然先前文献中一个具有 9 个输出的数值模型报告了更低的 NRMSE 值，但作者指出，他们的 3 输出实验系统在输出较少且计算迭代较少的情况下仍表现令人满意，这表明了效率上的提升。

意义与主张
本文声称展示了一个可扩展、高能效的平台，适用于神经形态电子领域，能够处理复杂的时序任务。通过利用纳米多孔氧化物忆阻器的固有结构不均匀性，作者展示了创建物理储备池是可能的，这种储备池可以模拟生物大脑的随机连接，而无需传统交叉阵列的高昂硬件开销。

作者将这项工作定位为迈向“工业级、片上器件”的一步，适用于预测工业相关的时间序列或复杂的大气流场。他们强调该系统以离线模式运行，在安全性方面具有优势，并能降低延迟。这项工作结合了基于氧化物忆阻器的 RC 与“内在于物质”计算的概念，证明了此类系统可以在保持基于材料计算的可扩展性优势的同时，实现与其他氧化物忆阻器系统相当的计算性能。作者谦虚地建议，未来的预测精度提升可以通过通过光刻技术扩大输入/输出通道的数量来实现，而不是声称立即优于所有现有的数值模型。