OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction
OPTIMA 是一种可扩展的、单次训练后的大语言模型剪枝方法，它将层级权重重构公式化为具有共享海森矩阵（Hessian）的独立列向二次规划问题，在保持现代加速器计算效率的同时，实现了优于启发式方法的准确度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大型语言模型是强大的计算机程序，它们通过学习海量的文本，掌握了理解和生成人类语言的能力。它们可以编写故事、回答复杂问题并解决问题，但它们也存在一个显著的缺点：规模巨大。这些模型包含数十亿个参数，即系统为了理解语言而调整的内部数值。由于其规模庞大，运行这些模型需要昂贵且强大的硬件，这使得它们难以用于日常任务或在较小的设备上运行。为了使这些模型更具实用性，研究人员一直在寻找在不损失其清晰思考能力的前提下缩小模型规模的方法。一种流行的方法叫做“剪枝”（pruning），它涉及移除模型中不太重要的数字以减小其体积。然而，这个过程非常棘手。如果你只是简单地删除这些数字，模型往往会在执行任务时表现得糟糕得多。如果你试图通过一次性重新计算所有数字来补偿损失，那么数学计算量会变得极其庞大，以至于现代计算机无法完成。
一组研究人员开发了一种名为 OPTIMA 的新方法来解决这一特定问题。他们的目标是在“简单删除数字导致的快速但不准确的方法”与“试图一次性修复一切的过慢方法”之间找到一个折中方案。他们意识到，在决定移除哪些数字之后，修复剩余数字的任务可以分解为许多微小的、独立的子问题。与其尝试在一个巨大的、不可能完成的步骤中解决整个模型的数学问题，不如将模型中的每一列数字分开处理。他们发现，虽然每一列都有基于被移除数字的特定约束，但它们都共享一个共同的底层结构。这使得他们能够使用一种被称为“二次规划”（quadratic program）的专门数学工具，来为每一列寻找完美的替代值。由于每一列的结构都是相同的，他们可以在单个计算机芯片上同时解决数千个这类微型问题，而不是一个接一个地处理。
研究人员在多个不同的语言模型家族上测试了这种方法，包括像 LLaMA 和 Gemma 这样流行的模型。他们将该技术应用于已经被其他现有方法剪枝过的模型，本质上是将其作为提升结果的最后一道“抛光”工序。在大多数情况下，这一额外的步骤显著提高了模型的准确性。例如，当他们在各种标准任务上测试这些模型时，在一些困难场景下（尤其是当模型变得非常小时），该方法将平均得分提高了近 4 分。该方法在不同的剪枝模式和模型规模下都表现良好，涵盖了从十亿参数的小型模型到拥有数百亿参数的超大型模型。值得注意的是，虽然该方法提高了准确性，但它的运行时间比现有的最快方法要长，在单张高端显卡上处理一个 80 亿参数的模型大约需要 40 小时。然而，研究人员强调，这是一种在模型使用前进行的单次成本，处理后的模型运行速度与原始剪枝版本一样快。
这项研究还强调，这种方法并非适用于所有情况的“万灵药”。在少数特定情况下，新方法并未提高模型的性能，偶尔甚至使其表现略有下降，这表明剪枝方法与修正步骤之间的相互作用非常复杂。此外，研究人员发现，当初始剪枝留下了较大的改进空间时（例如当模型变得非常稀疏时），该方法的效果最好。他们还观察到，该方法的成功取决于特定的模型类型以及最初是如何进行剪枝的。尽管存在这些局限性，这项工作证明了利用严谨的数学优化来修复剪枝模型是可行的，并且具有实用性和可扩展性。通过将一个巨大的、无法完成的问题分解为数千个小的并行任务，研究人员展示了我们可以在不牺牲智能的前提下，保持大型语言模型的轻量化与高效。这为让更强大的 AI 在目前尚不足以支持它的硬件上运行打开了大门，使强大的语言工具更接近日常应用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。