⚡ 电气工程

Variability-Aware Memristor Circuit for Hierarchical Bayesian Temporal Sampling

本文提出了一种感知变性的忆阻器电路，该电路利用受控的时间随机性和层级训练来高效实现贝叶斯神经网络，在保持 MIT-BIH 心律失常分类任务推理准确性的同时，与群体编码方法相比实现了 2.7 倍的内存占用减少。

原作者： Tarcisius Januel, Tifenn Hirtzlin, Olivier Billoint, Djohan Bonnet, Louis Hutin, Damien Querlioz, Jean-Michel Portal, Elisa Vianello

发布于 2026-09-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tarcisius Januel, Tifenn Hirtzlin, Olivier Billoint, Djohan Bonnet, Louis Hutin, Damien Querlioz, Jean-Michel Portal, Elisa Vianello

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人工智能系统正越来越多地被要求不仅要做出预测，还要理解自己对这些预测的确定程度。这种向“具备不确定性感知能力”计算的转变依赖于一种被称为贝叶斯推断的数学方法，在这种方法中，系统将每一项知识视为一个可能性的范围，而非单一的固定事实。为了实现这一目标，这些系统必须不断从这些范围内生成随机样本，以测试不同的结果。在标准计算机芯片上高效地执行此操作非常困难，因为这需要大量的内存和能量。研究人员长期以来一直希望通过使用被称为“忆阻器”的微型电子元件来解决这个问题，这类元件存储信息的方式能够自然地模拟这些计算所需的随机性。然而，这些组件的物理现实一直是一个障碍；它们所拥有的随机性往往过于混乱且不可预测，以至于无法用于精确的科学工作。

一组研究人员现在展示了一种利用这些组件完成特定任务的新方法，有效地将误差来源转化为了可靠的工具。他们构建了一个定制电路，使用一种由氧化铪制成的忆阻器，并将其集成到标准的硅芯片中。该团队并没有试图强迫这些微型设备自行产生完美的随机性，而是设计了一个将信息存储与随机性生成相分离的系统。在他们的设置中，三个这样的微型设备被组合在一起，用以代表一个知识点。其中两个用于存储该知识的平均值，而第三个则充当控制该数值波动程度的“旋钮”。至关重要的是，实际的随机波动并非来自设备本身。相反，电路向系统中注入了一股稳定、受控的外部白噪声。第三个忆阻器仅负责调节允许通过的外部噪声量，从而有效地调节不确定性的水平。

研究人员首先测试了这些忆阻器是否能自行产生必要的随机性。他们发现，器件内部的自然波动是不一致的，并且遵循随时间变化的模式，这使得它们不适合该系统所需的精确采样。这种噪声过于依赖设备的特定历史记录，并且在不同组件之间存在剧烈差异。通过引入外部噪声源，他们完全绕过了这些限制。外部噪声提供了一股干净、稳定的随机流，且每次都保持一致，而忆阻器仅充当精确的音量控制。这种分离使得团队能够独立地编程平均值和不确定性程度，这在以往使用如此紧凑的硬件时是难以实现的。

为了使这种硬件在现实任务中发挥作用，该团队开发了一种特殊的训练方法，以应对其芯片固有的物理特性。他们并未将单个忆阻器之间不可避免的微小差异视为需要修复的误差，而是将其视为系统行为的一个已知组成部分。通过构建一个包含这些物理变化的模型，他们可以训练神经网络，使其在实际硬件的约束条件下完美运行。当他们在涉及从标准医学数据库中进行心律分类的任务上测试该系统时，结果令人鼓舞。与以往依赖大量设备来表示不确定性的方法相比，这种新方法使用的内存显著减少。它成功地保持了预测的准确性以及评估系统对预测信心程度的能力。这项工作展示了一条通往构建紧凑、高能效芯片的清晰路径，这些芯片可以执行复杂的、具备不确定性感知能力的推理，从而向着能够以人类大脑般的细微差别进行思考的硬件迈出了重要一步。

技术摘要：用于分层贝叶斯时间采样的变异性感知忆阻器电路

问题陈述
贝叶斯神经网络（BNNs）需要能够存储和采样概率突触权重的硬件，以量化人工智能中的不确定性。虽然群体编码（Population Coding）——利用阵列中名义上相同的器件来利用器件间（D2D）变异性——为不确定性提供了直接表示，但它带来了巨大的存储开销，因为每个突触权重都需要与样本数量相等的器件。时间采样（Temporal Sampling）通过重复使用单个比特单元来生成来自内在循环间（C2C）或读-写（R2R）变异性的样本，提供了一种更紧凑的替代方案。然而，实现硬件上的时间采样具有挑战性，因为忆阻器的内在波动通常缺乏实现稳健贝叶斯推理所需的控制性、可重复性和频谱特性（具体而言，它们通常是类闪烁噪声而非白噪声）。此外，现有方法难以在不进行多次写入循环（这会降低器件耐用性）的情况下，独立控制分布的均值和标准差。

方法论
作者提出了一种基于忆阻器的时间编码电路，该电路将非易失性参数存储与时间随机性的生成解耦。该方法由三个主要部分组成：

电路架构：
- 系统使用了一个在 130 nm CMOS 工艺的后金属层（BEOL）中制造的 2048 个忆阻器演示器（64×32 阵列），采用 TiN/Ti/HfOx/TiN 堆叠结构。
- 每个突触权重使用三个忆阻器器件进行编码：一个用于控制随机分量（ $G_\sigma$ ），以及两个差分器件用于编码正向和负向的均值贡献（ $G_{\mu+}$ 和 $G_{\mu-}$ ）。
- 电路并未依赖于器件的内在噪声，而是向 $\sigma$ 分支注入了一个外部生成的白噪声源。忆阻器电导 $G_\sigma$ 作为可编程增益，控制有效的 RC 截止频率，从而控制到达输出端的波动幅度。
- 均值（ $\mu$ ）由两个差分支电流之差得出，而标准差（ $\sigma$ ）则由注入噪声支路的波动得出。输出通过电荷跨阻放大器（CTIA）进行处理，以产生符合高斯分布 $N(\mu, \sigma^2)$ 的时间样本。
内在变异性表征：
- 作者实验证明，内在忆阻器变异性（D2D、C2C 和 R2R）不足以支持时间采样。研究发现 R2R 变异性过小，在不同器件间高度分散，且与编程电导状态无关。
- 频谱分析显示，内在 R2R 波动遵循 $1/f^\beta$ 依赖关系（ $\beta \approx 1$ ），这是闪烁噪声的特征，而非所需的白噪声频谱（ $\beta = 0$ ）。
硬件感知学习（分层变分模型）：
- 为了解决编码 $\mu$ 和 $\sigma$ 的忆阻器中的 D2D 变异性问题，作者开发了一种分层概率模型。他们将实验实现的权重视为由均值向量 $M$ 和协方差矩阵 $\Sigma$ 定义的二元高斯分布的“随机椭圆状态”。
- 训练使用**分层变分模型（HVM）**进行。一个连续隐椭圆分布（ $\epsilon_H$ ）作为优化变量。在每个学习步骤中，该连续状态被投影到从芯片测量得出的离散码本中最接近的实验可实现的量化状态（ $\epsilon_Q$ ）上。
- 贝叶斯损失和梯度在量化状态 $\epsilon_Q$ 上进行评估，确保网络直接针对硬件的物理约束和不确定性统计进行学习。

关键结果

受控随机性： 所提出的架构成功建立了忆阻器电导 $G_\sigma$ 与注入外部白噪声时的输出标准差 $\sigma(V_{out})$ 之间的线性可编程关系。在未注入噪声时，该关系是非单调且不可靠的。
频谱纯度： 注入外部噪声后的输出噪声频谱近似为平坦（ $\beta = 0$ ），证实了白噪声的生成，而均值支路的内在噪声保持在极低水平。
性能： 在 MIT-BIH 心律失常分类任务上，所提方法相比于等效的群体编码实现，实现了 2.7 倍的内存占用减少。
准确性与不确定性： 硬件感知训练保留了贝叶斯推理的准确性和不确定性估计。系统表明，有限数量的时间样本足以恢复大部分分类和分布外（OOD）检测性能，提供了一种在采样成本与准确性之间的可控权衡。

意义与主张
本文声称通过将分布参数的存储与时间随机性的生成分离，为使用忆阻器器件进行紧凑型贝叶斯推理建立了一条路径。其意义在于：

可扩展性： 通过使用每个权重单个单元（配合三个用于参数控制的器件）和时间采样，该方法避免了群体编码带来的内存开销。
鲁棒性： 通过显式建模器件变异性并使用外部噪声源，确保了系统在硬件非理想情况下的鲁棒性，避免了通过重复写入循环来塑造分布的需求。
硬件-软件协同设计： 将实验测量的器件统计数据集成到训练循环中（通过 HVM），使网络能够适应特定制造硬件的随机特性，而不是试图在训练后补偿误差。

作者总结道，该架构使得随着时间的推移可以增加随机样本的数量，而不会增加非易失性存储的占用，解决了可扩展贝叶斯硬件的一个关键瓶颈。

类似论文