🤖 machine learning

DiBA: Diagonal and Binary Matrix Approximation for Neural Network Weight Compression

本文介绍了 DiBA，一种紧凑的矩阵分解方法，该方法利用对角矩阵和二元矩阵来近似稠密神经网络权重，从而显著降低存储与计算成本，并提出了 DiBA-Greedy 和 DiBARD 算法，二者在不重新训练二元组件的情况下实现了高精度且高效的下游任务适配。

原作者： Nobutaka Ono

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nobutaka Ono

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一个庞大且极其详尽的图书馆，里面藏书无数（这代表一个神经网络）。这些书大多是用厚重、厚实的纸张（稠密矩阵）写成的，它们占用大量书架空间，翻阅起来也很缓慢。这篇论文的作者小野信隆（Nobutaka Ono）希望将这些书缩小，使其能装进背包，同时不丢失故事内容。

以下是他们提出的解决方案 DiBA 的简明解析及其工作原理。

问题：沉重的书籍

现代人工智能模型充满了“稠密矩阵”。你可以将这些矩阵想象成巨大的电子表格，其中每个单元格都包含一个特定且精确的数字。这些表格体积庞大，占用大量内存，导致人工智能在手机或小型设备上运行时速度缓慢。

解决方案：DiBA（“对角线与二值化”技巧）

DiBA 并非试图缩小电子表格中的每一个数字，而是将这个大表格分解为两种更简单的部分：

二值混合（蓝图）：想象一个由 0 和 1 制成的模板或饼干模具。它不存储任何数字，只决定哪些成分被混合在一起。它就像一个交换机，指示“将此线路连接到那条线路”，或者“让这条线路保持原样”。由于它仅使用 0 和 1，因此占用的空间极小（就像一张微小的草图）。
对角缩放（音量旋钮）：想象三排音量旋钮。一排控制输入，一排控制中间层，一排控制输出。这些旋钮是唯一存放实际“响度”或精确数值的地方。

类比：
将原始厚重的电子表格想象成一幅全彩、高清晰度的画作。

DiBA 并不试图保存每一个像素。相反，它保存一个黑白模板（二值部分），告诉你颜料应该涂在哪里。
然后，它保存一份颜料颜色和用量的清单（对角部分），用于涂抹这些位置。
通过将模板与颜色清单混合，你可以非常接近地重现这幅画作，但“文件大小”却极小，因为模板只是黑白点，而颜色清单只是一组数字。

如何找到最佳组合（DiBA-Greedy）

作者需要一种方法来确定完美的模板和完美的音量旋钮。他们开发了一个名为 DiBA-Greedy 的工具。

过程：这就像玩“热与冷”的游戏。
1. 他们从一个随机的模板和随机的旋钮开始。
2. 他们调整旋钮（数值），使画面尽可能接近原始图像。这是简单的数学计算。
3. 然后，他们查看模板。他们会问：“如果我将这个点从 0 翻转为 1，画面会变好吗？”如果是，他们就翻转它；如果不是，就保持原样。
4. 他们重复这个过程，交替调整旋钮和翻转点，直到画面达到最佳状态。

“微调”技巧（DiBARD）

这里是巧妙之处。有时，当你缩小一本书时，在新的语境下阅读（例如不同的语言或特定任务），故事会感觉有点“不对劲”。通常，你需要重写整本书来修复它。

但通过 DiBARD，作者发现了一个捷径：

他们保持模板（二值部分） 完全不变。它是被冻结的。
他们只再次转动音量旋钮（对角部分），但这次他们会根据特定任务（如回答问题或识别语音）来调整旋钮。

隐喻：
想象你有一台调谐到特定电台（原始人工智能）的收音机。你将收音机缩小以放入你的口袋（DiBA），但现在信号有点模糊。

旧方法：你必须重建整个收音机电路。
DiBARD 方法：你只需转动调谐旋钮（对角旋钮），直到音乐听起来清晰为止。你完全不动内部线路（二值模板）。

论文实际证明的内容

作者在来自真实人工智能模型的 40 个不同“电子表格”以及两个特定任务上测试了这种方法：

阅读/写作（DistilBERT）：他们替换了语言模型中的词嵌入部分。仅在调整“音量旋钮”（DiBARD）后，模型预测缺失单词的能力显著提高，击败了标准的压缩方法。
听力（音频频谱图 Transformer）：他们替换了人工智能中用于听语音命令的部分。经过“旋钮调整”后，人工智能的准确率从约 77% 跃升至接近 98%，几乎与原始的大型模型一样好。

局限性（论文未声称的内容）

论文非常诚实地说明了其尚未完成的事项：

理论与现实：他们计算了这种方法应该节省多少空间（理论存储），但并未实际构建超快的计算机芯片来证明其在现实生活中的运行速度更快。
局部最优：他们的“热与冷”游戏（DiBA-Greedy）找到了一个好的解决方案，但不一定是完美的数学解。
范围：他们仅在模型的特定部分进行了测试，而非一次性测试整个模型，且仅限于少数特定任务。

总结：DiBA 是一种压缩人工智能大脑的新方法，它将“结构”（一个微小、简单的二值地图）与“数值”（一组可调节的旋钮）分离开来。它允许你大幅缩小模型，然后只需快速“调谐”旋钮即可使其再次完美运行，而无需重新学习整个结构。

技术摘要：DiBA（对角与二值矩阵近似）

问题陈述
稠密矩阵是现代神经网络中占主导地位存储与计算单元，出现在线性层、令牌嵌入、注意力投影以及 $1 \times 1$ 卷积中。尽管已开发出剪枝、量化和低秩分解等技术来压缩这些权重，但它们面临特定的权衡。量化虽然对硬件友好，但引入了本质上难以求解的离散优化问题，通常需要复杂的混合整数规划或直通估计器。低秩分解往往缺乏实现高效位级存储和算术运算所需的特定结构约束。本文旨在解决一种紧凑矩阵表示的需求，该表示需在理论存储缩减、近似精度以及无需重新优化离散组件即可进行下游任务适应性之间取得平衡。

方法论
本文提出了DiBA（对角与二值矩阵近似），这是一种结构化矩阵分解，将稠密目标矩阵 $A \in \mathbb{R}^{m \times n}$ 近似为：
$\hat{A} = D_1 B_1 D_2 B_2 D_3$
其中：

$D_1, D_2, D_3$ 分别是大小为 $m \times m$ 、 $k \times k$ 和 $n \times n$ 的实值对角矩阵。
$B_1 \in \{0, 1\}^{m \times k}$ 和 $B_2 \in \{0, 1\}^{k \times n}$ 是二值矩阵。
$k$ 是一个中间维度，用于控制存储与精度之间的权衡。

理论性质：

存储：二值因子按每条目 1 位存储，而对角因子使用标准浮点精度（ $Q$ 位）。相对于稠密 $Q$ 位矩阵的理论存储比为 $\rho_{\text{DiBA}} = \frac{k(m+n) + Q(m+k+n)}{Qmn}$ 。
计算：矩阵 - 向量乘积被分解为三个逐元素缩放操作（对角）和两个二值混合操作（选择与求和），将浮点乘法次数从 $mn $减少到$ m + k + n$。
结构：该近似是 $k$ 个缩放后的秩一二值模式的叠加，并通过行和列的对角缩放进行校正。

优化：DiBA-Greedy
为了将 DiBA 因子拟合到预训练权重矩阵，作者引入了DiBA-Greedy，这是一种交替求解器：

对角更新：在固定二值因子的情况下，通过对角矩阵的闭式最小二乘解进行更新。
二值更新：在固定对角因子的情况下，通过评估翻转单个位对平方弗罗贝尼乌斯误差的精确变化来更新二值矩阵。仅当改进超过容差 $\tau$ 时，才接受翻转。
该方法通过将连续更新与离散更新分离，避免了同时优化的非凸性，尽管它是一种局部贪心求解器，并不保证全局最优。

下游适应：DiBARD
认识到最小化重构误差并不能保证下游任务性能，本文提出了DiBARD（仅重调对角因子的 DiBA）。在该协议中：

在初始 DiBA-Greedy 拟合后，二值矩阵 $B_1$ 和 $B_2$ 被冻结。
仅使用标准的基于梯度的优化，在下游训练数据上重调 $D_1, D_2, D_3$ 的对角条目。
这将适应阶段转化为一个小规模的连续优化问题，避免了在微调期间进行离散搜索的需求。

主要贡献

公式化：将 DiBA 定义为用于稠密权重压缩的对角与二值分解，包括其理论存储核算。
算法：开发了 DiBA-Greedy，结合闭式最小二乘更新与精确的单比特贪心更新。
实证评估（矩阵层面）：对从公共预训练模型（NLP 和视觉）中提取的 40 个稠密权重矩阵进行了评估。结果显示，随着理论存储比的增加，信噪比（SNR）持续改善，其中嵌入矩阵表现出特别高的 SNR。
适应协议：引入 DiBARD 并在两个组件替换研究中进行了验证：
- DistilBERT/WikiText：替换绑定的嵌入/输出投影。DiBARD 将掩码令牌准确率从 0.4447（DiBA 重调前）提升至 0.5210，超过了 Int4-scale-RT（0.5110），并接近原始模型（0.4906），尽管其理论存储比更低。
- AST/Speech Commands：替换音频频谱图 Transformer 中的 48 个注意力投影矩阵。DiBARD 将测试准确率从 0.7684 恢复至 0.9781（原始值为 0.9837），恢复了由初始压缩引起的性能差距的 97.4%。

意义与主张
本文主张 DiBA 提供了一种紧凑的权重表示，有效地结合了固定的二值混合与轻量级的对角重调。其主要意义在于证明：

稠密权重可以通过交错对角缩放和共享二值混合来近似，而无需逐元素量化。
在激进压缩后，通过仅重调对角因子即可恢复下游性能，从而避免了在非线性网络损失中重新优化离散二值变量的计算困难。

局限性与谦逊声明
作者明确指出了若干局限性：

理论存储：存储比是理论值，假设二值矩阵已进行位打包；未提供实测内存或位打包内核的加速数据。
范围：实验 2-1 和 2-2 报告的压缩比仅相对于被替换的组件，而非整个模型。
求解器：DiBA-Greedy 是局部贪心求解器，而非全局优化器。
评估：下游评估使用了固定的数据划分和有限的随机种子。
本文并未声称实测的推理加速或端到端运行时间的减少，而是侧重于近似质量、理论存储以及对角仅恢复的可行性。