💻 computer science

Trilinear Compute-in-Memory Architecture for Energy-Efficient Transformer Acceleration

本文提出了基于双栅铁电场效应晶体管（DG-FeFET）的 TrilinearCIM 架构，利用背栅调制技术实现了无需动态重编程的三操作数存内计算，从而在显著降低能耗和延迟的同时，首次实现了在 NVM 核心中完全无重编程地执行 Transformer 注意力机制。

原作者： Md Zesun Ahmed Mia, Jiahui Duan, Kai Ni, Abhronil Sengupta

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Zesun Ahmed Mia, Jiahui Duan, Kai Ni, Abhronil Sengupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 TrilinearCIM 的新型芯片架构，旨在解决人工智能（特别是像 BERT 和 ViT 这样的“大模型”）在运行时太耗电、太慢的问题。

为了让你轻松理解，我们可以把人工智能的推理过程想象成在一个巨大的图书馆里找书并写读后感。

1. 核心问题：旧方法的“死循环”

背景故事：
想象你有一个超级聪明的图书管理员（AI 模型），他需要阅读一本书（输入数据），然后找出书里相关的句子（注意力机制），最后写出一段总结。

旧方法（传统 CIM 加速器）的痛点：

静态 vs 动态： 以前的加速器就像是一个死记硬背的图书馆。书架上的书（权重参数）是固定的，管理员可以很快地查书。
麻烦的“重写”： 但是，AI 的“注意力机制”要求管理员根据每一本新书的内容，临时把书里的关键句子（Key 和 Value）抄写到新的便签纸上，贴在书架上，然后再去读。
代价巨大： 这个“抄写并贴便签”的过程（在芯片里叫NVM 重写）非常慢、非常费电，而且书架（存储器）用久了会磨损（寿命短）。
结果： 每次处理新句子，管理员都要停下来花大量时间重写书架，导致整个图书馆效率极低，电费爆表。

2. 解决方案：TrilinearCIM 的“魔法开关”

作者提出了一种新的芯片架构，核心在于一种特殊的晶体管——双栅极铁电场效应晶体管（DG-FeFET）。

创意比喻：带“魔法旋钮”的书架

想象我们给图书馆的书架装上了两个控制杆：

主书架（顶栅）： 用来存放永久固定的书（静态权重，如 $W_Q, W_K, W_V$ ）。这些书一旦放好，就永远不动，不需要反复重写。
魔法旋钮（背栅）： 这是一个临时的、可调节的旋钮。

TrilinearCIM 是如何工作的？

旧方法： 每次来新客人（输入数据），都要把客人的特征抄写在便签上，贴到书架上（重写存储器），然后去查书。
新方法（TrilinearCIM）：
- 书架上的书（权重）永远不动。
- 当新客人进来时，管理员不需要把客人的特征写下来贴在书架上。
- 相反，管理员直接转动书架上的**“魔法旋钮”**（背栅电压）。这个旋钮会根据客人的特征，瞬间改变书架对特定书籍的“敏感度”或“音量”。
- 三向乘法： 这种架构能同时处理三个要素：固定的书（权重）+ 客人的特征（输入）+ 旋钮的调节（动态调制）。它直接在书架内部完成了“查找 - 计算 - 汇总”的全过程。

简单来说： 以前是“写下来再读”，现在是“边读边调旋钮”。完全省去了“重写书架”这个最慢、最费电的步骤。

3. 这个新架构带来了什么好处？

论文通过实验（在 BERT 和 ViT 模型上测试）发现：

省电（Energy）： 因为省去了最费电的“重写”步骤，能耗降低了 46.6%。
- 比喻： 就像把“每天重新装修图书馆”省掉了，只保留“开门迎客”的能耗。
变快（Latency）： 处理速度提升了 20.4%。
- 比喻： 管理员不再需要停下来贴便签，直接转动旋钮就能得到结果，反应快多了。
更耐用（Endurance）： 因为不再反复擦写存储器，芯片的寿命大大延长。
- 比喻： 书架不再被反复涂写，永远不会磨损。
更聪明（Accuracy）： 在 9 个自然语言处理任务中，有 7 个任务的表现比旧方法更好。
- 比喻： 因为减少了中间转抄带来的错误，管理员的总结更准确。

4. 代价是什么？

天下没有免费的午餐。

面积增加： 为了安装那些“魔法旋钮”（背栅驱动电路），芯片的面积增加了约 37%。
- 比喻： 图书馆的墙壁稍微厚了一点，因为里面多了很多精密的调节管道。
图像任务的小瑕疵： 在图像识别（ViT）任务上，精度略有下降。
- 原因： 图像中的细节非常敏感，就像“魔法旋钮”的调节如果不够精细，可能会漏掉一些极细微的图像特征（比如图片里的一个微小斑点）。但在文字处理上，这种调节非常完美。

5. 总结

这篇论文提出了一种**“三线性存内计算”**架构。

以前： 像是一个笨拙的工人，每次干活都要先把工具摆好（重写存储器），再干活。
现在： 像是一个灵巧的魔术师，工具永远在原地，他只需要挥动魔杖（背栅电压）就能直接改变工具的效果，瞬间完成工作。

一句话总结： TrilinearCIM 通过给芯片加了一个“魔法旋钮”，让 AI 在处理复杂的注意力机制时，不再需要反复重写存储器，从而实现了更省电、更快速、更长寿的推理过程，是未来高效 AI 芯片的一个重要方向。

这篇论文提出了一种名为 TrilinearCIM 的新型架构，旨在解决 Transformer 模型在存内计算（Compute-in-Memory, CIM）加速器中面临的动态操作数瓶颈问题。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

Transformer 的自注意力机制瓶颈： Transformer 架构（如 BERT, ViT）的核心是自注意力机制，它需要动态生成三个操作数矩阵（Query $Q$ , Key $K$ , Value $V$ ）。
传统 CIM 的局限性： 现有的 CIM 加速器（基于 ReRAM, FeFET 等非易失性存储器 NVM）通常假设权重是静态的。然而，自注意力机制中的 $Q, K, V$ 随输入序列动态变化。
“计算 - 写入 - 计算”循环的代价： 为了在 CIM 中处理动态操作数，传统方案必须反复将动态数据写入 NVM 阵列。这导致了严重的性能问题：
- 延迟高： NVM 的写入速度比读取慢几个数量级。
- 能耗高： 写入操作极其耗能。
- 耐久性差： 频繁的写入会迅速耗尽 NVM 器件的寿命（Endurance）。
现有方案的不足：
- 矩阵分解/稀疏化： 只能减少但不能完全消除写入。
- 混合架构（如 X-Former）： 将注意力计算移至数字 CMOS 以避免写入，但这牺牲了 NVM 的高密度和低漏电优势，违背了“全存内计算”的初衷。

2. 方法论与核心架构 (Methodology)

作者提出了一种基于 双栅极铁电场效应晶体管 (DG-FeFET) 的架构，利用其独特的物理特性实现**三线性（Trilinear）**存内计算。

器件物理基础 (DG-FeFET)：
- 顶栅 (Top-Gate, TG)： 铁电层存储非易失性权重（静态操作数）。
- 背栅 (Back-Gate, BG)： 通过标准介质层提供独立的易失性调制路径。背栅电压 ( $V_{BG}$ ) 可以线性调制沟道电导，而无需改变铁电层的极化状态（即无需写入 NVM）。
- 三线性原语： 利用背栅调制，实现了 $I = V_{DS} \cdot G_0 \cdot (1 + \eta \cdot V_{BG})$ 的电流输出。其中 $G_0$ 是静态权重， $V_{DS}$ 是输入激活， $V_{BG}$ 是动态调制信号。这天然支持 $A \cdot B \cdot C$ 形式的三线性乘加运算。
TrilinearCIM 架构设计：
- 数据流融合： 将传统的投影（Projection）和注意力计算步骤融合为三个连续的三线性阶段，消除了中间动态矩阵（ $Q, K, V$ $Q, K, V$ ）的显式存储和 DRAM 传输。
  1. 缩放 Query 生成： $X \cdot W_Q^T / \sqrt{d_k}$ （静态权重 $W_Q$ 在顶栅，缩放因子通过背栅静态施加）。
  2. 分数合成 (Score Synthesis)： $R_1 \cdot W_K \cdot X^T$ （无需显式计算 $K$ 矩阵，直接利用 $X^T$ 通过背栅动态调制 $W_K$ 的电导）。
  3. Value 聚合： $Score \cdot X \cdot W_V^T$ （利用 $Score $通过背栅动态调制$ W_V$）。
- 消除动态写入： 整个推理过程中，投影权重 ( $W_Q, W_K, W_V$ ) 保持静态存储在顶栅，动态操作数通过背栅电压传递，完全避免了 NVM 的重编程（Reprogramming）。
- 系统层级： 包含芯片级（Tile 网格）、Tile 级（PE 网格）和阵列级（DG-FeFET 交叉阵列）。数字单元（Softmax, LayerNorm）由专用功能单元处理，模拟部分处理注意力核心计算。

3. 主要贡献 (Key Contributions)

新型三线性 CIM 原语： 首次利用 DG-FeFET 背栅特性，在存内计算中实现了原生的三操作数 ( $A \cdot B \cdot C$ ) 乘法累加，扩展了传统的双操作数 CIM 范式。
彻底消除动态 NVM 写入： 通过将静态权重映射到顶栅，动态激活映射到背栅，实现了完全在 NVM 核心内完成 Transformer 注意力计算，无需运行时重编程，解决了耐久性和写入延迟瓶颈。
简化的数据流与缓冲压力： 融合投影和注意力步骤，中间动态矩阵无需存储在全局缓冲区中，将同时驻留缓冲区的矩阵数量从 3 个减少到 1 个，降低了约 3 倍的缓冲容量需求。
恢复“全存内”计算优势： 在保持 NVM 高密度和低漏电优势的同时，实现了高效的 Transformer 加速，无需退回到数字 CMOS 处理注意力部分。

4. 实验结果 (Results)

研究者在 BERT-base (NLP) 和 ViT-base (CV) 模型上进行了评估，对比了传统双线性 CIM（需动态写入）和提出的三线性 CIM。

能效与延迟：
- 能量降低： 相比传统 FeFET CIM，能量消耗降低了 46.6%（在 64 token 序列长度下）。
- 延迟降低： 推理延迟降低了 20.4%。
- 吞吐量提升： 吞吐量提升约 25.5%。
- 能效比 (TOPS/W)： 提升了 22.8% - 39.2%。
面积开销： 由于增加了背栅驱动电路和 DAC，面积开销约为 37.3%，但在长序列下计算密度（TOPS/mm²）有所提升。
精度表现 (Accuracy)：
- NLP (GLUE 基准)： 在 9 个任务中的 7 个 上优于传统双线性 CIM（如 QNLI, MNLI, STS-B 提升显著）。三线性模式的标准差更小，表明推理更稳定。
- CV (ViT)： 在 CIFAR 和 ImageNet 上，三线性模式的精度略低于双线性模式。分析认为这是由于背栅 DAC 的量化误差影响了 ViT 中稀疏且高幅值的注意力分布，而 NLP 任务对这种噪声更具鲁棒性。
消融实验：
- 1b/6b 配置（1 位单元/6 位 ADC）： 在保持显著能效提升的同时，提供了最佳的精度优势。
- 32x32 子阵列： 提供了最大的延迟降低和接近完美的内存利用率。

5. 意义与影响 (Significance)

架构突破： 这是首个能够在 NVM 核心内完全执行 Transformer 注意力计算而无需运行时重编程的架构，打破了“存内计算无法处理动态操作数”的传统认知。
解决可持续性挑战： 通过消除高能耗、低耐久性的写入操作，显著降低了 Transformer 推理的碳足迹，使其更适合边缘设备和大规模部署。
硬件 - 算法协同设计： 展示了利用新型器件物理特性（双栅极调制）来匹配特定算法需求（三线性注意力）的有效性，为未来神经形态计算和存内计算架构提供了新的设计思路。
未来方向： 尽管在视觉任务上存在精度挑战，但该架构证明了“全存内”Transformer 加速的可行性，未来的工作可集中在优化背栅调制精度或针对视觉任务进行硬件感知的微调。

总结： TrilinearCIM 通过巧妙利用 DG-FeFET 的背栅调制能力，将 Transformer 中动态变化的注意力计算转化为存内的三线性运算，成功在不牺牲 NVM 密度优势的前提下，解决了动态操作数带来的写入瓶颈，实现了显著的能效和延迟提升。