Sensitivity-aligned Mixed-precision Quantization and Low-rank Adaptation for LLMs
本文提出了一种敏感度引导的框架，该框架将分块混合精度量化与自适应低秩自适应相结合，旨在高效压缩大语言模型，同时保持甚至提升其相对于 FP16 基准模型的下游性能和困惑度。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大语言模型是当今最先进人工智能系统背后的引擎，它们能够撰写故事、解决复杂问题，并进行感觉非常接近人类的对话。这些系统构建在庞大的数学连接网络之上，通常包含数十亿个参数，这使得它们能够从海量的文本中学习模式。然而，这种智能也伴随着沉重的代价：这些模型的巨大规模需要极高的计算机内存和处理能力。这使得它们难以在智能手机或笔记本电脑等日常设备上运行，甚至连昂贵的数据中心也会在面对如此庞大系统的能源和速度需求时感到吃力。为了让这些强大的工具变得更加普及，研究人员多年来一直致力于开发在不损失清晰思考能力的情况下缩小模型体积的方法。
缩减这些模型最有效的方法之一被称为量化（quantization）。想象一个图书馆，其中的每一本书都是以高分辨率、全彩的形式编写的，占据了大量的书架空间。量化就像是用更小的、更紧凑的字体重新印刷这些书，或者使用更少的颜色来节省空间。在计算机世界中，这意味着用更少的比特信息来表示模型内部的数字。虽然这显著减小了模型的体积，但也往往会引入误差，就像一张丢失了细节的复印件一样。如果压缩过于激进，模型的语言理解能力就会下降，导致产生荒谬或错误的答案。挑战在于，如何找到一种既能将模型压缩到足以适配小型设备，又能保持其输出质量高水平的方法。
来自济州大学的研究人员提出了一种巧妙的解决方案来解决这个问题，即通过对模型的不同部分采取不同的处理方式，而不是对整个模型应用统一的压缩规则。他们观察到，语言模型的各个部分并非同等重要。有些部分对变化非常敏感，充当模型推理的核心骨干；而另一些部分则更为稳健，可以承受更高强度的压缩。研究人员开发了一套系统，用于绘制出这些敏感区域的图谱，并为它们分配更高的精度，保持其细节和清晰度，同时允许那些不太敏感的部分被压缩成更小、更高效的格式。这种方法类似于摄影师在拍摄时，会让主体的人脸保持清晰聚焦，而稍微柔化背景以节省空间，从而确保最重要的细节得以保留。
研究人员 Syed Faizan Hussain Shah 和 Gyeongmin Kim 创建了一个名为 A2BQ 的框架，其全称为“基于注意力的块状混合精度量化”（attention-derived block-wise mixed-precision quantization）。他们没有将模型视为一个单一的数据块，而是将其分解成较小的块。然后，他们利用一种源自模型如何关注不同词汇的信号，分析了每个块对模型内信息流的依赖程度。基于这种分析，他们为每个块分配了不同的精度等级。一些块保持在高细节水平，使用八位信息；而另一些块则被压缩至六位甚至四位。这创建了一个混合精度地图，使模型最关键的部分保持稳健，而不太关键的部分则被缩小以节省空间。
然而，仅仅进行智能压缩仍然会留下一些误差空间。为了修复这个问题，研究人员增加了第二步，称为自适应低秩自适应（adaptive low-rank adaptation），或称作 qLoRA+。你可以将其理解为一个微调过程，让模型有机会学习如何纠正压缩过程中引入的小错误。在以往的方法中，这种微调是均匀应用于整个模型的，给予每个部分同样程度的帮助。而这种新方法更加具有策略性：它将更多的“学习能力”分配给那些被压缩得最厉害或被识别为最敏感的部分。通过将模型的学习能力专门引导至最需要的地方，研究人员能够恢复在压缩过程中可能损失的大部分质量。
该团队在五个不同规模的大语言模型上测试了这种结合方法，这些模型的参数量从 11 亿到 80 亿不等。他们测量了这些模型在标准语言任务（例如预测句子中的下一个词，这是衡量模型语言理解能力的关键指标）上的表现。结果显示，他们的这种方法始终优于使用统一精度水平进行压缩的模型。事实上，对于他们测试的最小模型，该方法在标准测试中达到了 7.884 的特定得分，这优于相应的混合比特基准模型，同时运行速度达到了每秒 73.11 个 Token。这表明，通过仔细平衡在哪里进行压缩以及在哪里保留细节，并帮助模型学习如何适应这些变化，我们完全可以在不牺牲智能的前提下，使这些强大的系统变得更小。
该研究最重要的发现之一涉及模型在理论上节省的空间与运行时实际使用的内存之间的差异。研究人员指出，虽然他们的方法在理论上可以将模型的存储体积减少约 4% 到 8%，但实际运行时的内存使用量仍接近原始未压缩的模型。这是因为他们目前的系统会在计算机处理数据之前，将压缩数据还原回标准格式。虽然这意味着目前在磁盘上的文件体积减小带来的即时速度收益尚未完全实现，但该研究证明了这种混合不同精度等级并据此调整模型的方法在保持质量方面的有效性。此外，研究人员发现，虽然该方法提高了语言建模的分数，但并未保证在所有下游任务中都能获得统一的提升；在某些特定基准测试上的表现通常仍接近原始未压缩模型，部分任务甚至出现了轻微下降。研究人员认为，这种方法提供了一条清晰的前行路径：通过了解模型的哪些部分是脆弱的，哪些是稳健的，我们可以设计出既高效又智能的系统，为在日常设备上运行更强大的人工智能铺平道路。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。