Compression Trinity: Exploring Sparsity, Quantization, and Low-Rank Approximations for LLM Compression
本文介绍了“压缩三位一体”（Compression Trinity），这是一个通过共同利用稀疏性、量化和低秩近似来克服传统大语言模型（LLM）压缩中精度与效率权衡的统一框架，通过 MKOR、SLoPe、OPTIMA、PATCH 和 SLiM 等新颖方法，在预训练和后训练阶段均实现了显著的加速和精度提升。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大语言模型是新一代人工智能背后的引擎，它们能够编写故事、解决复杂问题，并进行感觉非常接近人类的对话。然而，这些数字大脑也伴随着沉重的代价。为了训练它们，研究人员必须向其喂入海量的数据，这一过程消耗了巨大的电量，并且需要耗资数百万美元的高性能计算机集群。即使在训练完成后，运行这些模型来回答一个问题也需要庞大的内存和处理能力，这往往限制了它们只能在大型数据中心使用，而非个人设备。多年来，科学家们一直试图通过三种主要技巧使这些模型变得更小、更快：移除不必要的连接、降低所用数字的精度以及简化其内部结构。然而，单独应用这些技巧却遇到了瓶颈。当研究人员尝试移除过多的连接时，模型会变得混乱并丧失智能；当他们过度降低精度时，数字会变得过于粗糙，无法承载模型的知识。每种方法在孤立状态下表现良好，但在推向极致时都会失败，这让业界面临着艰难的选择：要么是一个庞大且缓慢的模型，要么是一个微小但破碎的模型。
多哈马德·莫扎法里（Mohammad Mozaffari）领导的多伦多大学研究团队提出了一种新的前进方式，将这三种方法视为一个统一的工具包，而非独立的选项。他们称这种方法为“压缩三位一体”（Compression Trinity）。该研究表明，与其在移除连接、简化数字或改变结构之间做出选择，不如将这三种技术结合起来使用，效果才是最好的。其核心思想是每种方法都能弥补其他方法的弱点：移除连接可以减少计算机的工作量，而简化数字则减少了需要传输的数据量。第三种技术涉及添加一层微小的、灵活的额外信息，它充当了“安全网”，恢复了在应用前两种方法时损失的智能。通过将它们结合起来，研究人员发现他们可以在不破坏模型的前提下显著缩小模型规模，在某些情况下，甚至能让它们比未经压缩的原始版本更聪明。
这一发现之旅始于对这些模型如何训练的研究。训练是最昂贵的阶段，需要计算机调整数十亿个数字以从数据中学习。研究人员意识到，用于引导这一学习过程的标准工具过于沉重且缓慢。他们开发了一种新方法，直接将“三位一体”应用于训练过程本身。通过简化计算机计算下一步的方式，他们能够将大型模型的训练速度提高近一倍。他们通过结合稀疏计算、简化数字和低秩近似来实现这一目标，这使得计算机能够跳过不必要的工作，同时仍能找到通往解决方案的正确路径。这意味着创建这些强大模型所需的时间和能量可以被大幅降低。
一旦模型训练完成，必须对其进行压缩以用于实际应用，而在实际应用中，内存和速度更为关键。在这里，研究人员应对的是“复合误差”问题。当你试图仅使用一种方法来压缩模型时，误差会不断累积，直到模型停止工作。团队展示了通过按特定顺序应用“三位一体”，可以防止这种崩溃。首先，他们使用一种数学技术来寻找移除模型一半连接而不损害性能的最佳方式，从而建立了一个稳定且稀疏的基础。接着，他们降低了剩余数字的精度以节省空间。最后，他们添加了一个由数学推导出的微小额外信息层，以修复由移除和简化造成的错误。这最后一步至关重要，它就像一个维修队，填补了压缩过程中留下的空白，使模型保留了推理和理解的能力。
研究结果令人瞩目。在对拥有数十亿参数的模型进行测试时，这种组合方法产生的模型比原始模型小八倍，但在各种任务上的表现却同样出色，甚至更好。在直接对比中，这些压缩模型显著优于其他最先进的压缩技术，在某些情况下准确率提升了近 6%。或许最令人惊讶的是，当研究人员将这些压缩模型与同等规模的未压缩模型进行比较时，压缩版本实际上更加准确。这表明，通过仔细移除模型的冗余部分并用智能的低秩修正进行替换，实际上有助于模型专注于最重要的内容。
研究人员还探索了如何使这些技术适应不同类型的硬件。他们发现，通过允许模型保持一种灵活的模式——即部分密集、部分稀疏，他们可以实现速度与准确性之间的连续平衡。这种灵活性意味着模型可以经过调整，以高效运行在从强大的数据中心服务器到消费级显卡等各种设备上。这项工作还包括了一种训练已经处于稀疏状态的模型的新方法，确保学习过程从第一步开始就是高效的。这种方法意味着模型可以利用稀疏连接快速学习，并在训练的最后阶段才添加必要的复杂性，从而在整个过程中节省时间和能量。
尽管研究结果前景广阔，但研究人员也谨慎地指出，他们的方法目前针对特定类型的计算机芯片进行了优化，特别是那些拥有处理稀疏数据特殊硬件的 NVIDIA 芯片。他们承认，将这些技术转移到其他类型的硬件或通用处理器上还需要进一步的工程化工作。他们还指出，虽然模型在标准测试中表现良好，但需要确保压缩过程不会在无意中损害模型理解多样化语言或文化背景的能力，因为移除模型的部分可能会不成比例地影响对代表性不足群体的知识。
最终，这项工作表明，高效人工智能的未来不在于在一种压缩方法与另一种方法之间做选择，而在于将它们编织在一起。“压缩三位一体”提供了一个蓝图，旨在构建既具有丰富知识又具有稀疏计算能力的模型。通过将效率视为一个多维度的平衡行为，而非单一的优化问题，研究人员证明了创造既强大又实用的人工智能是可能的。他们的发现表明，部署这些模型的障碍并非物理学或数学的基本限制，而在于找到正确的工具组合。随着该领域的发展，这种集成方法可能会成为使大语言模型变得触手可及、可持续且适用于现实世界的标准。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。