The Asymmetric Harms of LLM Compression
本文揭示了标准聚合指标无法捕捉大语言模型压缩所带来的不对称危害，即这种压缩会不成比例地降低头部知识的保留能力、在新增丢失信息上维持高置信度，并掩盖不同人口统计学子群之间相反的社会偏见偏移。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大语言模型是当今许多最先进人工智能工具背后的强大计算机程序，它们能够编写故事、回答复杂问题并解决问题。为了让这些庞大的程序能在智能手机或笔记本电脑等日常设备上运行，工程师们经常会对它们进行“缩减”，这个过程被称为压缩。这样做是为了节省空间并提高计算机的思考速度，就像为了旅行而将沉重的行李箱打包得更紧凑一样。多年来，检查这种缩减过程是否奏效的标准方法是观察程序的整体得分。如果压缩后的版本仍然能正确回答大多数问题且听起来自然，它就被认为可以安全使用。然而，这种方法将模型视为一个单一且统一的实体，假设只要平均性能表现良好，其内部的一切功能就都运行良好。
一个研究团队决定深入探究这些平均得分背后的真相。他们想知道，缩减这些模型的过程是否隐藏了某些特定的、不均匀的问题，而这些问题可能是危险或不公平的。他们检查了三种不同的语言大模型，并针对十一种不同的压缩方式对它们进行了测试。他们不仅仅是检查模型是否得到了正确的答案，还调查了模型所掌握的具体事实发生了什么变化、模型在出错时的确定程度如何，以及模型对待不同人群的方式是否发生了变化。他们的工作揭示了压缩并不仅仅是让模型在所有方面都稍微变差；相反，它创造了一个奇特的、不均匀的景观：有些知识丢失了，而模型却依然保持着危险的自信；同时，隐藏的偏见会以一种平均得分完全无法察觉的方式发生偏移。
研究人员首先探讨了压缩如何影响模型的不同类型事实的记忆。在现实世界中，有些事实是常识，比如一个国家的首都；而另一些则是罕见的，比如一个偏僻小镇的人口。研究小组发现，当模型被压缩时，它并不会像人们预期的那样更容易丢失这些罕见事实。相反，情况在微妙层面上恰恰相反。虽然模型回答常识性问题的正确率仍然高于回答罕见事实问题的正确率，但它丢失的常识性事实的“比例”实际上更大。令人惊讶的是，罕见事实保留原始准确性的能力比常识性事实更强。这意味着，衡量性能的标准方法（即观察正确答案的总数）掩盖了一个事实：模型对已知信息的掌握程度正在削弱得比对晦涩细节的掌握程度更快。
更令人担忧的是模型遗忘发生时的情况。研究人员发现，当一个压缩后的模型失去曾经拥有的某项知识时，它通常意识不到自己已经遗忘了。模型并没有变得不确定或承认自己不知道答案，而是经常对新的错误回答保持高度的自信。在许多情况下，即使压缩导致模型在之前能回答正确的问题上失败了，它依然会以极高的确定性进行表达。这种过度自信在不同的压缩方式或模型之间并不一致，但这是一个频繁出现且令人不安的模式。这表明，压缩后的模型可能会以回答正确答案时同样的权威感给出错误的答案，使得用户很难分辨机器何时出错了。
这项研究还观察了压缩如何影响公平性和偏见，特别是模型如何根据性别或其他特征对待不同群体。研究人员发现，观察整体偏见得分可能会产生误导。一个压缩后的模型其整体偏见得分可能几乎没有变化，从而让观察者认为它仍然是公平的。然而，当他们进行更细致的观察时，发现模型的偏好对不同人群正朝着截然相反的方向剧烈移动。例如，一个模型可能对某一群体变得显著更加偏见，同时对另一群体变得不再那么偏见，而这两者的变化在最终的平均值中相互抵消了。这意味着，一个模型在纸面上看起来可能非常平衡，但实际上对特定个人或社区可能变得更加有害。
这些发现挑战了“压缩模型仅仅是原始模型的缩小版且速度更快”这一观点。研究表明，缩减这些模型的过程产生了标准测试无法捕捉到的不对称变化。模型并非均匀地退化；它们在失去对常识的掌控的同时却保留了罕见事实，它们变得自信地犯错，并且利用稳定的平均得分掩盖了深层的、不均匀的偏见偏移。作者总结道，在这些压缩模型投入实际应用之前，必须对它们进行更详细、更细粒度的检查。依赖平均性能已不再足够，因为这会让从业者对压缩所引入的特定且不均匀的危害视而不见。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。