🔬 applied physics

Mitigating the Impact of Retention Loss on Inference Accuracy in 65 nm Single-Poly Floating-Gate Analog In-Memory Computing

本文通过对 65 nm 单多晶硅浮栅模拟存内计算阵列的实验以及系统级仿真表明，将电路级补偿与算法级批归一化重校准相结合，可以在 60 天保持损失后，将推理精度恢复至基准值的 2–4% 以内。

原作者： Mirko Brazzini, Giulio Filippeschi, Alessandro Catania, Sebastiano Strangio, Giuseppe Iannaccone

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Mirko Brazzini, Giulio Filippeschi, Alessandro Catania, Sebastiano Strangio, Giuseppe Iannaccone

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：你的计算机不再仅仅是在工厂里进行数字运算，而是像大脑一样思考，利用电信号来模拟神经元的放电。这就是**模拟存内计算（Analog In-Memory Computing）**的领域。这种技术不再需要在存储库和处理器之间来回搬运数据（这就像每次需要一把勺子都要跑去厨房一样），而是将神经网络的“权重”——即大脑的记忆与教训——直接存储在存储单元本身之中。这就像拥有一个书籍本身就能为你进行数学运算的图书馆。

然而，问题在于，这些存储单元通常是由微小的、漂浮的电荷岛组成的。随着时间的推移，就像一个漏气的气球缓慢失去空气一样，这些单元会自然地流失电荷。这被称为保持力损失（retention loss）。在数字世界中，一点点电荷流失可能只是将 0 变成 1，这很容易修复。但在这种模拟大脑中，电荷本身就是答案。如果电荷发生偏移，数学计算就会出错，计算机可能会把猫误认为烤面包机。科学家们正竭尽全力研究如何让这些“漏电”的记忆大脑在数月或数年内保持准确，因为如果做不到这一点，这项超高效的技术将永远无法走出实验室。

本文深入探讨了这一具体问题，使用的是一种基于标准 65 nm 工艺（一种常见的制造尺寸）构建的特定类型存储芯片。研究人员 Mirko Brazzali 及其团队希望观察他们是否能阻止神经网络在存储单元随时间缓慢流失电荷时“忘记”它的教训。他们并非凭空猜测，而是制造了一块真实的芯片，对其进行编程，并观察了 60 天内的变化情况。

团队发现，电荷流失是以两种截然不同的方式发生的，就像两种不同的天气影响着花园。首先是系统性漂移（systematic drift），即所有单元都以一种可预测的、平均的方式失去电荷，使整个花园的生长向一个方向整体偏移。其次是随机噪声（stochastic noise），这是一种混沌的、随机的抖动，其中一些单元流失得稍多，另一些则稍少，从而形成了一种杂乱且不可预测的模式。

为了解决这个问题，团队尝试了两种不同的工具，就像园丁同时使用洒水器和肥料。第一个工具是电路级补偿（circuit-level compensation）。他们意识到，通过简单地调整“读取电压”（用于检查存储状态的压力），就可以抵消那种可预测的平均漂移。这就像调高收音机的音量，以补偿所有人都在变弱的信号。第二个工具是算法重校准（algorithmic recalibration），具体来说是一种被称为**批归一化重校准（Batch Normalization Recalibration, BNR）**的技术。这是一种软件技巧，通过重新调整神经网络的内部设置，来应对电压调整无法解决的随机、混沌的噪声。这就像教会大脑忽略收音机里的静电，转而专注于音乐本身。

结果令人振奋。当他们在两个用于图像识别的不同神经网络（VGG-10 和 WideResNet-28-10）上测试该系统时，他们发现如果不采取任何措施，结果将是一场灾难；在 60 天后，准确率大幅下降。仅使用电压调整虽然有所帮助，但网络在面对随机噪声时仍然表现挣扎。仅使用软件重校准虽然有助于处理噪声，却忽略了巨大的系统性漂移。然而，当他们将电压调整和软件重校准结合起来时，该系统成为了英雄。在经过真实实验数据校准的系统级模拟中，即使在 60 天后，网络的准确率仍能恢复到基准水平的 2-4% 以内。

论文谨慎地指出，这并不是解决一切问题的万能药。其结果是基于经过仔细调整以匹配其 65 nm 芯片真实测量值的系统级模拟。他们明确展示了你不能仅仅依赖一种方法；你需要硬件修复和软件修复共同协作才能完成任务。虽然论文并未声称这已经解决了所有未来计算机的问题，但它展示了一条清晰且具有实践意义的前行之路。它表明，通过这些结合的技术，浮栅模拟芯片有望实现可靠、长期的深度学习推理任务，使其“记忆”在无需重置的情况下，至少保持两个月以上的敏锐度。

技术摘要：缓解 65 nm 单多晶硅浮栅模拟存内计算中留存损失对推理准确度的影响

问题陈述
利用向量-矩阵乘法器（VMM）的模拟存内计算（AIMC）通过减少数据移动并利用亚阈值操作，为深度学习提供了显著的能效增益。虽然浮栅（FG）存储器因其与成熟 CMOS 工艺的兼容性以及固有的多级可编程性，成为一种极具前景的候选方案，但它们面临着留存损失（retention loss）的问题。与数字存储器中电荷流失导致离散比特错误不同，模拟存储器将突触权重存储为连续电荷水平。因此，电荷流失会扰动计算过程本身，从而降低推理准确度。挑战在于如何评估并缓解这种电荷流失在时间维度上的系统性（平均）漂移和随机性（器件间）变异，以维持可靠的神经网络性能。

方法论
作者对采用标准 65 nm TSFC CMOS 工艺制造的单多晶硅 FG 模拟非易失性存储阵列进行了实验和系统级仿真。该架构采用了 1T-1FG 交叉阵列方案，其中 1T-1FG 单元作为可编程电流源。

器件特性表征： 研究表征了被编程至各种电流水平（0.4 至 80 nA）的存储单元的留存行为。测量是在室温存储 10、30 和 60 天后进行的。数据表明，电荷流失导致晶体管阈值电压降低，从而引起编程电流的相应增加。
建模： 留存损失被分解为两个组成部分：
- 系统性漂移（Systematic Drift）： 随时间变化的电流平均偏移，通过拟合初始电流与保留电流之间的对数-对数关系来提取斜率（ $m$ ）和截距（ $q$ ）参数。
- 随机变异（Stochastic Variability）： 平均漂移周围的随机器件间变异，建模为零均值的正态分布（ $\chi$ ），其标准差（ $\sigma$ ）取决于编程电流和时间。
缓解策略： 评估了两种互补的技术：
- 电路级补偿（读取电压补偿 - $V_{read}$ Compensation, VRC）： 通过调整自适应读取电压来补偿阈值电压的系统性平均漂移。
- 算法重校准（批归一化重校准 - Batch Normalization Recalibration, BNR）： 使用校准数据集更新批归一化层的均值和方差参数。这旨在补偿由零均值随机电荷流失成分引起的分布偏移。
系统评估： 将校准后的留存模型集成到硬件感知推理仿真框架中。通过对 CIFAR-10 上的 VGG-10 和 CIFAR-100 上的 WideResNet-28-10 两种神经网络架构进行评估。仿真包含了 500 次蒙特卡洛运行，以考虑随机变异的影响。

关键结果
研究对比了四种场景：无缓解（NM）、仅 VRC、仅 BNR 以及结合 VRC+BNR 的方法。

基准性能： 在没有缓解措施的情况下，推理准确度在 60 天内显著下降。对于 VGG-10/CIFAR-10，准确度从 93.7% 的参考值下降到 59.6%（仅 BNR）或更低（无任何补偿）。
组合缓解的有效性： $V_{read}$ $V_{r e a d}$ 补偿与 BNR 的结合被证明非常有效。在 60 天后：
- VGG-10/CIFAR-10： 准确度恢复至 91.4%（参考值为 93.7%），偏差小于 2.5%。
- WideResNet-28-10/CIFAR-100： 准确度恢复至 78.3%（参考值为 82.1%），偏差约为 3.8%。
两种技术的必要性： 结果表明，单独使用任何一种技术都不足以恢复基准准确度。 $V_{read}$ 补偿解决了平均漂移，但无法纠正随机变异；而 BNR 解决了分布偏移，但无法在没有电压调整的情况下完全纠正系统性偏移。

意义与主张
本文声称，通过结合电路级自适应读取电压调整与算法级批归一化重校准，可以成功缓解浮栅模拟存储器中留存损失对深度神经网络推理准确度下降的影响。作者展示了在编程 60 天后，仍能维持稳定的推理准确度。

其意义在于，为基于浮栅的模拟神经形态芯片提供了一条实现长期可靠运行的切实路径。这项工作建立了一种器件-系统级的分析方法，该方法考虑了系统性和随机性留存成分，对于在深度学习推理应用中部署模拟非易失性存储器至关重要。作者得出结论，这些技术能够使推理准确度在 60 天后恢复至基准值的 2-4% 以内，验证了尽管存在固有的留存挑战，FG 技术在 AIMC 领域的可行性。

类似论文