💻 computer science

Multibit neural inference in a N-ary crossbar architecture

本文提出了一种基于多态磁隧道结的N进制交叉开关架构仿真框架，以展示节能的多比特神经推理，实现了94.48%的MNIST准确率，同时识别出权重量化为主要误差来源，并确定了使总矩阵 - 向量乘法误差最小化的最佳单元状态数量。

原作者： Anatole Moureaux, Anthony Lopes Temporao, Flavio Abreu Araujo

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Anatole Moureaux, Anthony Lopes Temporao, Flavio Abreu Araujo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将一台传统计算机比作一位忙碌的图书管理员，他必须在书架（内存）和书桌（处理器）之间来回奔跑，以寻找并阅读书籍。每次管理员移动时，都会浪费能量和时间。这就是阻碍现代人工智能发展的“冯·诺依曼瓶颈”。

本文提出了一种新方法：存内计算（In-Memory Computing, IMC）。与其来回奔跑，不如想象这位管理员就是书架本身。当你提出一个问题时，书籍本身会重新排列它们的页面，瞬间给出答案。这种方法速度快得多，且能耗更低。

以下是研究人员所做工作和发现结果的简要拆解，使用了日常类比：

1. “魔法网格”（交叉阵列）

研究人员构建了一个交叉阵列的模拟。你可以将其想象成一个巨大的微小开关网格（就像井字棋棋盘，但规模大得多）。

开关：网格中的每个交叉点都是一个微小的磁开关，称为磁隧道结（MTJ）。
技巧：与普通的“开”或“关”（2 种状态）电灯开关不同，这些开关可以设置为4 个不同的电阻级别（就像拥有 4 档亮度设置的调光开关）。
数学运算：当你向网格发送电信号（电压）时，开关会自然地为你完成数学运算。它们将输入乘以其“电阻”设置，并将结果相加，就像计算器一样，但使用的是物理原理而非硅芯片。

2. “翻译器”问题

这里有一个陷阱。计算机使用数字语言（0 和 1），而这个网格使用模拟语言（平滑、连续的电流）。

解决方案：团队创建了一个“翻译器”框架。他们找出了一种简单的数学公式，用于观察从网格输出的电流，并将其转换回数字答案。
优势：这意味着该网格可以作为独立的"AI 协处理器”工作，而无需改变计算机其余部分的运作方式。这就像给你的笔记本电脑插上一个即插即用的特殊计算器。

3. 测试：异或（XOR）与 MNIST

他们用两项任务测试了该系统：

异或（XOR）谜题：一个简单的逻辑游戏，计算机必须判断两个输入是否不同。该网格完美地解决了这个问题，其结果与标准计算机一致。
MNIST（手写数字）：一项更困难的任务，计算机需要识别手写数字。
- 结果：标准计算机的准确率为97.56%。磁网格的准确率为94.48%。
- 差距：这种差异并非因为网格“笨拙”，而是因为网格只能保持4 种设置（量化），而计算机使用无限精度。这就像试图仅用 4 种颜色而不是全套调色板来绘制一幅详细的肖像画。

4. “噪声”的来源

研究人员分析了导致该系统误差的原因：

“像素化”误差（量化）：这是罪魁祸首。因为开关只有 4 种设置，数学运算不够精确。你拥有的设置越多，答案的“像素化”程度就越低。
“系统性”误差：想象一下，如果网格中的每个开关都以相同的方式略微弯曲。如果制造工艺存在影响整个批次的缺陷，就会发生这种情况。这对准确性非常有害。
“随机”误差：想象一下，由于随机的热量或微小的制造差异，每个开关的弯曲程度都略有不同。令人惊讶的是，这危害较小。为什么？因为当你汇总数百个开关的结果时，随机的弯曲会相互抵消（就像一群朝略微不同方向行走的人，总体上仍在向前移动）。

5. “金发姑娘”式的状态数量

团队问道：“每个开关应该拥有多少种设置（状态）？”

太少：数学运算过于“像素化”（量化误差高）。
太多：如果你在微小的开关中塞入太多设置，它们之间的差异会变得极小，以至于随机噪声（热量）会将它们模糊在一起，导致开关不可靠。
发现：存在一个最佳数量。在嘈杂的环境中，拥有较少的状态（如 4 种）实际上更好，因为它们更清晰且更容易读取。在一个非常安静、完美的环境中，你可以拥有更多的状态以获得更高的精度。

总结

该论文证明，使用具有4 种不同状态的磁开关是进行 AI 数学运算的一种强大方式。虽然由于仅有 4 种设置导致的“像素化”问题，它尚未达到标准计算机的完美程度，但它非常接近（94% 对比 97%）。

关键要点是，随机误差是可以管理的，因为它们会相互抵消，但系统性误差（影响所有事物的缺陷）是危险的。研究人员还证明，你并不总是需要最复杂的开关；有时，如果环境稍微“嘈杂”，具有较少状态的更简单开关反而效果更好。

该框架为工程师提供了一份蓝图，用于构建未来更快、更节能的 AI 芯片，只需确切知道他们的开关需要多少种“设置”才能达到最准确的性能。

以下是论文《N 进制交叉阵列架构中的多比特神经推理》的详细技术总结。

1. 问题陈述

传统的冯·诺依曼计算架构面临根本性的效率限制，具体表现为“冯·诺依曼瓶颈”（内存与 CPU 之间的数据移动）和“内存墙”（处理器与内存之间的速度差距）。现代 AI 模型对能量和延迟的需求加剧了这些问题。虽然利用交叉阵列的存内计算（IMC）通过在内存中直接执行模拟矩阵 - 向量乘法（MVM）提供了解决方案，但仍存在若干挑战：

模拟 - 数字接口： 将数字输入转换为模拟信号（DAC）以及将模拟输出转换回数字信号（ADC）会引入显著的能量开销和量化误差。
器件非理想性： 现实世界的忆阻器件（如 MRAM、RRAM）会受到系统性误差（器件间差异、制造缺陷）和随机噪声（热波动）的影响。
量化： 将全精度神经网络权重映射到硬件单元有限的离散电阻状态会引入量化误差，从而降低推理精度。
缺乏通用框架： 现有方法通常将硬件物理特性与网络训练紧密耦合，限制了模块化以及在不同硬件实现中的通用性。

2. 方法论

作者提出了一种针对N 进制交叉阵列架构（其中单元具有超过 2 个离散状态）的模拟框架，该框架在不对底层物理特性做出过多假设的情况下检索 MVM 结果。

架构与器件模型：
- 该框架使用基于先前研究 [29, 30] 数据的**多态磁隧道结（M2TJ）**模拟交叉阵列，这些器件具有 4 个不同的电阻状态。
- MVM 操作基于欧姆定律和基尔霍夫定律建模：输入电压（ $V$ ）乘以单元电导（ $G$ ）产生电流，这些电流被求和以产生输出电压。
- 该框架假设输入采用线性编码，电阻电平等距分布，允许通过应用于测量输出向量的线性缩放方程（公式 13）检索 MVM 结果（ $\tilde{y}$ ）。这使得交叉阵列能够作为独立的协处理器运行，而无需修改推理流程。
权重量化：
- 全精度权重被量化为 $N$ 个等距电平（ $A_i$ ），以最小化原始权重与量化值之间的平方距离（类似于 $k$ -means，但具有固定间距）。
- 第一个状态（ $A_1$ ）和步长（ $d$ ）的优化使用 Powell 最小化方法执行。
误差建模：
- 系统性误差： 建模为应用于所有单元共享的随机偏移（ $\sigma_{NL}$ ），模拟制造缺陷（例如铁磁层错位）。
- 单元特定误差： 建模为每个单元独立的随机偏移（ $\sigma_{\perp}$ ），模拟热噪声和器件差异。
- 量化误差： 通过改变状态数量（ $N$ ）从 1 到 64 进行分析。
基准测试：
- XOR 任务： 训练一个简单的 2 层神经网络来解决 XOR 问题，以验证基本的非线性分离能力。
- MNIST 任务： 标准的数字分类任务（784 个输入神经元，128 个隐藏层，10 个输出）。
- 降维： 对 MNIST 输入应用主成分分析（PCA），将维度从 784 降低到 87，模拟使用较小交叉阵列的情况。

3. 主要贡献

通用检索框架： 开发了一种方法，仅利用输入信号和测量输出即可从模拟交叉阵列输出中提取 MVM 结果，无需将硬件物理特性嵌入训练循环。
误差源分析： 系统地隔离并量化了量化误差、系统性非理想性和随机单元特定噪声对推理精度的影响。
平均效应证明： 证明了单元特定的随机噪声比同等幅度的系统性误差危害更小，因为随机误差会在阵列中相互抵消，而系统性误差则会累积。
最佳状态确定： 确定了每个单元的最佳状态数（ $N_{opt}$ ），在量化误差减少与噪声环境下的电阻状态分辨率损失之间取得平衡。
缩放定律： 建立了 MVM 误差随阵列维度变化的缩放规律，表明误差随行数保持恒定，但随列数的平方根缩放。

4. 结果

XOR 推理： 模拟的交叉阵列实现了与全数字软件基线相当的结果，证实该框架保留了已学习模型的特性。
MNIST 分类：
- 基线： 纯软件精度为 97.56%。
- 交叉阵列（4x4 阵列，4 个状态）： 实现了 94.48% 的精度。3.08% 的下降主要归因于权重量化。
- 结合 PCA： 将输入维度降低到 87 个特征，将软件基线提升至 98.03%，交叉阵列推理提升至 95.24%，将硬件与软件之间的差距缩小至 2.79%。
量化与状态数（ $N$ ）： 均方根误差（RMSE）遵循清晰的 $1/N$ 趋势。即使 $N$ 较小（例如 $N=3$ 或 $4$），增加状态数也能显著减少量化误差。
噪声影响：
- RMSE 随系统性（ $\sigma_{NL}$ ）和单元特定（ $\sigma_{\perp}$ ）误差幅度的增加而线性增加。
- 然而，由于平均效应，单元特定噪声的斜率较浅。
最佳状态数（ $N_{opt}$ ）：
- 在低噪声环境中，较高的 $N$ 更受青睐，以最小化量化误差。
- 在高噪声环境中（ $\sigma_{\perp} > 100 \Omega$ ）， $N_{opt}$ 降低，因为状态之间的分辨率变得过低，无法可靠地区分它们。
- 至关重要的是，系统表现出鲁棒性；即使存在显著噪声，与二进制实现相比，使用 $N > 4$ 个状态通常也是有益的。

5. 意义

这项工作为理论 IMC 概念与实际硬件实现之间架起了关键桥梁。

硬件 - 软件协同设计： 它证明了专用算法（如 PCA）可以有效缓解硬件限制（小阵列尺寸），使当前的交叉阵列技术适用于复杂任务。
设计指南： 确定了依赖于噪声水平的最佳状态数（ $N_{opt}$ ），为未来的忆阻芯片开发者提供了具体的设计规则。这表明在噪声环境中，较少但更鲁棒的状态可能优于许多细粒度的状态。
多比特系统的鲁棒性： 研究结果验证了，只要将状态数针对硬件的特定噪声曲线进行调整，多比特（N 进制）交叉阵列即使在不完美器件的情况下也优于二进制阵列。
模块化： 通过将硬件检索过程与训练阶段解耦，该框架促进了各种忆阻技术集成到标准 AI 流程中，而无需重新训练神经网络。

总之，该论文确立了多比特 IMC 是节能 AI 推理的一条可行路径，前提是必须通过所提出的框架仔细管理量化策略和器件噪声特性。