Can Large Language Models Still Explain Themselves? Investigating the Impact of Quantization on Self-Explanations
本文研究了量化如何影响大语言模型的自我解释，发现虽然量化通常会导致解释质量、忠实度和用户信任度出现中度下降，但其影响因上下文和模型规模而异，因此在部署前必须进行针对特定案例的验证。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大型语言模型是能够进行写作、推理并解释其自身思维的强大工具。当这些系统做出决策时，它们通常可以生成一两句话来描述自己为何选择那条路径，这一特性被称为“自我解释”。这种能力在医疗诊断或法律分析等高风险场景中变得日益重要，因为用户需要信任机器是在进行正确推理，而不仅仅是在瞎猜。为了让这些庞大的系统在日常设备上运行得更快、更便宜，工程师经常使用一种称为“量化”的技术。这个过程就像将一张高分辨率照片压缩成较小的文件体积；它降低了模型内部数字的精度以节省空间并加速计算，但也存在丢失使图像清晰的细节信息的风险。研究人员面临的关键问题在于，这种压缩是否也会模糊模型诚实解释自身的能力。
一组科学家着手调查了这一确切问题。他们选取了几个不同规模的大型语言模型，并对它们应用了三种常见的压缩技术，从而创建出使用更少比特信息来存储知识的版本。随后，他们要求这些模型针对各种任务生成两种类型的解释：自然语言辩护（即解释决策的文字句子）和反事实示例（即对输入进行轻微修改，从而导致模型改变主意的情况）。通过将压缩后的模型与原始的未压缩版本进行对比，研究人员可以观察缩减模型规模的行为是否也缩减了其诚实推理的能力。
结果表明，虽然压缩确实会产生影响，但并不像人们担心的那样具有灾难性，尽管这并非没有代价。研究发现，量化通常会导致解释质量出现适度下降，得分下降幅度高达 4.4%，且忠实度（即解释与模型实际内部逻辑的一致性）也有类似的下降，降幅达 3.9%。然而，人类对这些变化的感知更为显著。在一项涉及 48 名阅读并评价这些解释的人员的研究中，压缩后的模型被认为显著缺乏信任感且缺乏连贯性，信任度评分下降了多达 8.5%。这表明，虽然模型在技术层面可能仍能正常运作，但它们生成的解释在人类读者看来显得不太可靠。
有趣的是，研究人员发现，规模并不总是保证韧性。虽然较大的模型在压缩后通常能更好地维持其解释的真实性，但它们生成的文本质量并不一定高于规模较小的未压缩模型。此外，没有哪种单一的压缩方法能在所有方面都表现最佳；有些技术能更好地保持任务准确性，而另一些则在保持解释连贯性方面略胜一筹。该研究还强调了我们目前评估这些系统时存在的一个局限性。研究人员发现，使用另一种人工智能来评判这些解释的质量，无法匹配人类的判断。自动化评判者往往会忽略压缩如何以微妙方式削弱文本的可信度，这种差距只有通过人工评估才能揭示。
最终，论文得出结论：量化仍然是部署这些模型的可行策略，前提是开发者在投入使用前，必须测试其模型将生成的特定解释。性能的下降通常在可接受范围内，但在医疗或司法等透明度至关重要的场景中，连贯性和可信度的轻微损失至关重要。研究结果表明，不存在通用的解决方案；相反，从业者必须仔细验证压缩如何影响其系统所提供的特定类型的解释，以确保即使在压缩后，模型仍能作为决策过程中值得信赖的伙伴。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。