Reservoir of Importance: Learning Semi-Structured Sparsity with Differentiable Subset Sampling
本文提出了重要性储集（Reservoir of Importance, RoI），这是一种轻量级的半结构化剪枝框架，它利用可微子集采样来学习稀疏掩码，从而显著降低参数和内存开销，实现大规模语言模型的可扩展且高效的部署。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大语言模型是当今许多最先进人工智能工具背后的引擎，能够创作故事、解决问题并回答复杂的问题。然而，这些模型规模巨大，通常包含数十亿个代表其知识的数字。这种庞大的规模使得它们难以在标准计算机上运行，需要昂贵的硬件和大量的能源。为了使这些系统更具实用性，研究人员长期以来一直在寻找在不损失智能的情况下缩小模型规模的方法。一种极具前景的策略涉及“剪枝”（pruning），即识别并移除模型中不太重要的数字。虽然随机移除数字通常会破坏模型，但一种被称为“半结构化稀疏性”（semi-structured sparsity）的更精细方法通过特定的、规则的模式来移除数字。这种方法使模型的结构保持完整，足以与现有的计算机芯片协同工作，为实现更快、更高效的人工智能提供了一条路径。
尽管这种剪枝技术具有潜力，但一个主要的障碍仍然存在：确定究竟要移除哪些数字是非常困难的。以往的方法试图通过将每一种可能的移除模式都视为一个独立的选项来解决这个问题，实际上是在要求计算机为每一组数字学习一套独特的规则。随着模型的增长，这种方法变得难以驾驭，需要如此多的额外内存和计算能力，以至于往往无法应用于最大的模型。这项名为“重要性储水池”（Reservors of Importance）的新研究背后的研究人员开发了一种处理此问题的新方法。他们提出了一种方法，通过以一种平滑、连续的方式对数字进行采样，而不是试图记忆每一种可能的组合，从而学习如何选择要保留的最佳数字。
团队在从小型到超大型的一系列大语言模型家族上测试了他们的新方法，即“重要性储水池”。该方法并没有构建一张复杂的、涵盖所有可能剪枝模式的地图，而是将选择过程视为从一个池中抽取特定数量的物品而不进行回放。想象一下，你有一个装满弹珠的袋子，你需要从每四个弹珠中恰好选出两个来保留，但你希望根据它们的重要性来选择最好的那些。旧的方法会尝试计算出你挑选那两个弹珠的所有可能方式的概率，随着袋子变大，这项任务会变得极其复杂。相比之下，新方法为每个弹珠分配一个简单的分数，然后使用一个巧妙的数学技巧来挑选出前两个。这个技巧允许计算机通过在训练期间稍微调整这些分数来学习哪些分数效果最好，就像调谐收音机以寻找最清晰的信号一样。
这种策略的转变带来了立竿见影的益处。研究人员发现，他们的新方法所需的用于学习剪枝模式的可调节设置显著减少。对于保留四分之二数字的一种常见模式，新方法使用的可学习参数比之前的领先方法减少了约三分之一。这种减少意味着系统运行所需的内存大大降低，使得在不耗尽计算机资源的情况下，在更大的模型上进行训练成为可能。当他们测试结果时，使用这种新方法进行剪枝的模型表现得与使用旧技术剪枝的模型一样好，甚至略好。它们在各种任务（从回答多项选择题到预测句子中的下一个词）中保持了高准确度，同时使用了更少的计算能力来实现这些目标。
研究还观察了当剪枝变得更加激进（例如，每八个数字中仅保留两个）时会发生什么。在这些极端情况下，依赖简单规则或固定重要性分数的旧方法往往会完全失效，导致模型失去理解语言的能力。然而，新方法却能持续有效工作。它成功地在这些严苛的条件下识别出了应该保留的正确数字，证明了直接学习剪枝模式比基于静态规则进行猜测要稳健得多。研究人员观察到，随着他们向模型输入更多的训练数据，其性能持续稳步提升，而其他方法则往往会遇到一个瓶颈，即增加数据也无法带来进一步的帮助。
虽然结果令人鼓舞，但研究人员指出，这项技术的实际应用在很大程度上取决于其运行的计算机硬件。这些模型所使用的特定模式旨在某些类型的现代图形处理器上高效运行，这些处理器在高端计算中很常见，但在所有设备上并不普及。如果计算机缺乏这种特定的支持，即使模型变小了，其速度优势也可能无法实现。尽管如此，这项工作为提高大型人工智能模型的效率提供了一条清晰的路径。通过简化计算机学习如何进行自我剪枝的过程，研究人员已经证明，可以在不牺牲智能的前提下缩小这些庞大系统的规模，从而为未来更强大、更易获取的人工智能工具铺平道路。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。