🤖 machine learning

UltraSketchLLM: Sub-1-Bit LLM Compression via Sketch and Hardware-Friendly Operators

UltraSketchLLM 引入了一种基于数据草图（data sketch）的压缩方法，该方法实现了亚 1 位（每权重 0.5 位）的大语言模型压缩，且性能下降极小，并通过硬件友好型算子实现了 14.9 倍的加速。

原作者： Sunan Zou, Xueting Sun, Ziyun Zhang, Guojie Luo

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Sunan Zou, Xueting Sun, Ziyun Zhang, Guojie Luo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个庞大且极其详尽的知识图书馆（即大语言模型，LLM）。这个图书馆如此巨大，以至于需要一个巨大的、昂贵的仓库（高端 GPU）来存放这些书。大多数人无法拥有这样的仓库，因此无法在普通的电脑或手机上使用这些强大的工具。

这篇论文介绍了一种聪明的新方法——UltraSketchLLM，它能将这个图书馆缩小到可以装进一个小小背包的大小，同时又不失去讲好故事的能力。

以下是其工作原理的拆解，通过简单的概念进行说明：

1. 问题所在：“一对一”的瓶颈

通常，为了缩小模型规模，研究人员会尝试单独压缩每一本“书”（权重）。这就像是试图通过把每本书都缩减成明信片大小，从而把整个图书馆塞进一个手提箱里。

局限性： 你不能把它们缩得太小，否则文字会变得无法阅读。现有的方法在每本书 1 bit（数字信息的最小单位）左右就会遇到瓶颈。
混乱： 如果试图进一步挤压，往往会导致模型“遗忘”内容，或者运行速度慢到无法使用。

2. 解决方案：“草图”（用分组代替缩小）

UltraSketchLLM 并没有尝试单独缩小每一本书，而是使用了**草图绘制（Sketching）**技术。

类比： 想象你有 1,000 个不同颜色的弹珠。与其试图描述每一个弹珠的确切色调，不如把它们放入不同的桶中。
窍门： 你使用一条特殊的规则（“哈希函数”）将弹珠丢进桶里。如果两个弹珠落入了同一个桶，你不会同时保留两者。你只会保留那个“最重要”的（在这种情况下，是指体积/权重最大的那一个）。
结果： 你丢弃了重复的和微不足道的弹珠，只保留了收藏中的“草图”。这使得他们能够将数据压缩到 0.5 bits 每权重——这比之前的最佳方法还要小一半。

3. “智能”桶系统（AbsMaxMin 与重要性）

作者意识到，图书馆里的书并非同等重要。有些包含核心逻辑，而有些只是次要细节。

策略： 他们构建了一个“智能桶系统”。
- AbsMaxMin： 他们设计了一条规则，确保只有当桶中的弹珠确实具有显著意义时，才会保留那个“最大”的弹珠，从而确保不会意外丢弃关键信息。
- 重要性感知： 他们测量模型的哪些部分被使用得最频繁（就像检查哪些书被借阅得最频繁一样）。他们为这些热门部分分配更多的“桶空间”以确保准确性，同时将较少使用的部分压缩进更紧凑的空间。

4. 硬件魔法：将“随机”转化为“矩阵”

这是最大的障碍：草图法通常是通过将项目随机丢入桶中来工作的。在计算机上，这就像一个图书管理员在仓库里随机抓取书籍。这种过程是混乱且缓慢的。

创新： 团队想出了如何将这种混乱的“四处奔走”转化为整齐有序的矩阵乘法（Matrix Multiplication）。
类比： 不再是图书管理员随机奔跑，而是将所有书籍排列成一个完美的网格，然后像传送带一样一次性将它们滑入桶中。
益处： 这使得整个过程极其迅速。论文声称，这种改变使该系统比朴素的草图法快了 14.9 倍，并且在实际使用模型时几乎没有延迟。

5. 微调： “训练”阶段

当你进行如此大幅度的压缩时，事物会变得有些“模糊”。为了修复这一点，模型会经历一个特殊的训练阶段，称为微调（Fine-Tuning）。

过程： 模型学习适应其新的、压缩后的状态。这就像一位音乐家在练习一台音准略微走调的钢琴，直到他学会如何在上面完美演奏。
迁移学习： 如果你想让这个压缩后的模型用于新主题（比如从写故事切换到写代码），你不需要重新训练整个模型。你可以“冻结”那些已经表现良好的部分（逻辑层），只重新训练需要改变的特定部分。这节省了大量的时间和能量。

总结

UltraSketchLLM 是一种通过以下方式将巨大的 AI 模型缩小至 0.5 bits 每权重（极端压缩）的方法：

将相似的数据分组并仅保留最重要的部分（草图绘制）。
根据重要性智能分配数据位置。
组织过程使其像一台平滑运转的机器而非混乱的挣扎（矩阵运算）。

结果： 你可以在更小、更便宜的硬件（如标准台式电脑）上运行这些强大的 AI 模型，且几乎没有质量损失，也几乎没有速度减慢。论文在 Llama 和 Qwen 等模型上进行了测试，表明它们可以放入以前无法实现的内存空间中。

技术摘要：UltraSketchLLM

问题陈述

由于其巨大的内存占用，大语言模型（LLMs）在资源受限的环境中面临显著的部署障碍。现有的模型压缩方法难以在极高的压缩比、推理效率与性能保持之间取得平衡：

一对一映射 (OTO)： 诸如标量量化等方法对每个权重进行独立表示，但在理论上被限制在每权重至少 1 bit 的水平。
索引式多对一映射 (MTO)： 这些方法将权重分组并通过映射索引共享表示。虽然它们可以实现低于 1 bit 的压缩，但会引入索引表的内存开销，并因训练过程中使用的梯度聚合约束而导致性能下降。
无索引 MTO： 使用哈希函数的方法避免了索引表，但往往会引起巨大的估计误差，并且由于不规则的内存访问模式和随机地址生成，导致严重的计算效率低下，这并不适用于现代 GPU 架构。

核心挑战在于实现亚 1 bit 压缩（具体目标为每权重 0.5 bit），同时保持可接受的性能下降，并确保具有低延迟的硬件友好型推理。

方法论

UltraSketchLLM 通过将数据草图（Data Sketching）技术与基于矩阵的硬件友好型实现相结合来解决这些挑战。该框架基于 MTO 原理运行，将一组权重映射到一个共享的、更小的草图状态（Sketch State）。

1. AbsMaxMin 草图设计

不同于可能导致符号错误或巨大相对误差的标准草图，UltraSketchLLM 采用了欠估计 AbsMaxMin 草图：

机制： 草图状态存储映射到特定桶（Bucket）中的权重中绝对值最小的权重。在解压缩期间，使用 Max 操作来检索数值。
多行设计： 为了增加将数值相似的权重映射在一起的概率并减少碰撞误差，系统使用多个独立的哈希函数（多行草图状态）而非单行。
理论界限： 该设计确保重建的权重要么是原始值，要么是绝对值较小的数值，从而根据草图空间分配控制误差上界。

2. 重要性感知空间分配

考虑到 LLM 中的不同层和行对压缩诱导扰动的容忍度不同，该方法动态分配草图空间：

指标： 使用平方激活值的期望值 ( $E[a^2]$ ) 作为重要性指标。
策略： 具有更高重要性的行或层获得更大的草图空间（更多的桶），而不太关键的部分则被更激进地压缩。这是基于剖析结果得出的，结果显示前置 FFN 层比注意力层或后置 FFN 层对误差更敏感。

3. 基于直通估计器 (STE) 的微调

为了减轻亚 1 bit 压缩引入的不可忽视的误差，UltraSketchLLM 利用了压缩感知微调：

可微性： 由于哈希映射是离散的，因此采用直通估计器 (STE) 以允许梯度通过压缩操作进行传播。
运动自由度： 与以往将映射参数固定为唯一可训练变量的 MTO 工作不同，UltraSketchLLM 保持了原始的可训练参数规模。映射的选择由过程中的 Min/Max 结果动态决定，为模型适应草图诱导的扰动提供了更高的自由度。

4. 硬件友好型矩阵算子映射

为了解决传统草图（依赖顺序哈希和不规则内存访问）的效率问题，作者将草图操作重新表述为矩阵乘法：

压缩： 选择和更新操作被融合为一个使用投影矩阵 $P$ 的单一算子。这把顺序的“哈希并更新”过程转化为一个涉及绝对值 MIN 归约的改进型矩阵乘法 (MM)。
解压缩： 权重检索通过标准矩阵乘法 ( $\hat{W} = S \cdot P^T$ ) 实现。
优势： 这种方法消除了内存访问的不规则性，利用了 GPU 上的合并内存访问模式，并且对投影矩阵的存储开销微乎其微（特别是采用两级缓存策略时）。

5. 参数冻结的迁移学习

为了降低将压缩模型适配到新数据集的成本，论文提出了一种迁移学习策略：

冻结： 注意力（Attn）层和后置 FFN 层被冻结，因为研究发现它们对草图诱导的误差更具鲁棒性，且能保留推理能力。
微调： 仅更新关键的前置 FFN 参数，显著减少了新任务所需的训练参数量和迭代次数。

核心贡献

基于草图的 LLM 压缩： 引入了具有重要性感知空间分配的 AbsMaxMin 草图，实现了极高的压缩率（低至 0.5 bit/weight），同时保留了显著权重并控制了相对误差。
硬件友好型算子： 定制的矩阵运算算子将草图压缩和解压缩映射为标准矩阵乘法，消除了传统草图实现的异构性和不规则内存访问。
超低比特性能： 实验验证表明，UltraSketchLLM 在实现 0.5 bit 每权重的压缩率时，能够保持竞争力的性能，且与朴素草图方案相比，延迟开销可以忽略不计。

实验结果

该框架在 Llama3 和 Qwen3 系列（参数范围从 0.6B 到 8B）上使用 HuggingFace 框架进行了评估。

压缩效率： 当结合 4-bit 量化时，UltraSketchLLM 实现了 0.5 bit 每权重 的压缩率。
性能指标：
- 困惑度 (PPL)： 尽管比特宽度显著降低，但该模型与 AQLM (2.7 bits) 和 VPTQ (2.3 bits) 等基准相比，仍保持了具有竞争力的困惑度。
- PPB (困惑度 $\times$ 比特数)： 与原始 FP16 模型相比，该方法实现了高达 26 倍的 PPB 降低，并在压缩与质量的权衡方面优于基准模型。
- 下游任务： 在 HellaSwag、PIQA 和 WinoGrande 等任务上的表现保持在可接受范围内。
内存占用： 该方法使峰值 GPU 显存占用较 FP16 基准降低了高达 6.93 倍，使得 Llama-3.1-8B 等模型能够在消费级 GPU（如 RTX 3080 Ti）上以一半的显存运行。
延迟开销：
- 矩阵化实现方案相比于朴素的基于哈希的草图方案，在解压缩方面实现了 14.9 倍的加速。
- 推理延迟开销在各种输入长度下均可以忽略不计，性能优于所有基准模型。
消融实验：
- 去除重要性感知分配或使用朴素草图会显著降低性能。
- 矩阵化实现与顺序版本在数学上是等价的，但在速度上远优于后者。
- 使用参数冻结的迁移学习能以显著更少的资源实现与全量微调相当的收敛效果。

重要性

本文将 UltraSketchLLM 定位为在边缘和内存受限场景下部署 LLM 的实用解决方案。通过弥合理论上的亚 1 bit 压缩与硬件效率之间的鸿沟，本文证明了极高的压缩并不一定意味着高昂的延迟或严重的性能损失。这项工作强调了算法-系统协同设计（特别是将不规则的草图操作映射为规则的矩阵操作）对于实现数据草图在 LLM 推理中潜力的重要性。此外，所提出的迁移学习策略解决了微调成本的实际障碍，使该技术能够更容易地适配各种下游任务。