Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning
本文认为，大语言模型中的层冗余并非固有的结构属性，而是功能性地依赖于校准目标，这表明目标选择对深度剪枝结果的影响大于所使用的具体搜索算法。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一座庞大且极其智能的图书馆（即大型语言模型），它拥有 30 或 40 层楼。每一层都有一支专家团队，协助图书馆回答问题。问题在于，这座图书馆过于庞大，导致运行起来既缓慢又昂贵。你想要裁掉其中一些楼层以加快运行速度，但又不想削弱图书馆的思考能力。
这篇论文提出了一个简单却革命性的问题：哪些楼层实际上是无用的？
旧方法：“结构性”视角
长期以来，研究人员认为“无用”的楼层是建筑结构中固定不变的一部分。他们曾认为：“第 15 层天生就懒惰，无论我们让图书馆做什么，它都是如此。”
他们试图通过查看建筑的蓝图（模型的内部数学结构）或尝试不同的楼层裁撤方案（搜索算法）来找出这些懒惰的楼层。他们假设存在一份单一的“最佳楼层裁撤清单”，一旦找到这份清单，就可以将其应用于任何任务。
新发现：“功能性”视角
这篇论文指出，旧观点是错误的。冗余并非建筑的固有属性，而是完全取决于你聘请图书馆来完成的工作。
这就像一支运动队：
- 如果你需要赢得一场足球比赛，你可能会让明星前锋坐冷板凳，因为他们在防守方面太慢。
- 如果你需要赢得一场篮球比赛，那同一位前锋则是不可或缺的。
论文表明，人工智能模型中的一层（楼层）在要求它写故事时（衡量困惑度，即文本的流畅程度）可能是“无用”的，但当你要求它解决逻辑谜题时（衡量任务准确率），同一层却变得“至关重要”。
实验：验证理论
研究人员通过选取三个不同的人工智能模型，并尝试根据两个不同的目标对其进行精简，从而验证了这一理论：
- 目标 A（流畅性）： 让 AI 在撰写文本时听起来流畅自然。
- 目标 B（推理能力）： 让 AI 正确回答逻辑和常识性问题。
他们还测试了七种不同的方法（算法）来决定裁撤哪些层，从简单的“选取前 7 层”到复杂的“进化”搜索不等。
三大发现
1. 目标决定了裁撤方案
当他们以流畅性为目标时，算法一致地裁掉了中间特定的一组楼层。这就像大家达成共识：“写故事不需要中间部分。”
然而，当以推理能力为目标时，裁撤方案则散布在整个建筑中。不同的算法裁掉了不同的楼层。
- 比喻： 如果你修剪树木是为了让它看起来美观（流畅性），你会剪掉中间的树枝。如果你修剪树木是为了让它结果（推理能力），你会剪掉顶部的树枝。“无用”的部分取决于你希望这棵树做什么。
2. “流畅”的 AI 并非“聪明”的 AI
这是最令人惊讶的部分。他们发现，听起来最流畅（困惑度最低）的 AI 模型，并不是回答逻辑问题最好的模型。
事实上，排名往往完全相反。最擅长写出流畅句子的模型，有时在解决谜题方面表现最差。
- 比喻： 一个说话口音完美、词汇优美的人，未必是修理坏掉汽车引擎的最佳人选。你不能通过口音来评判一名机械师。
3. “如何做”不如“为何做”重要
研究人员测试了七种不同的方法来搜索最佳裁撤层。他们发现，一旦你选定了一个目标（流畅性或推理能力），使用哪种搜索方法并不重要。
无论他们使用的是简单快速的方法，还是复杂缓慢的方法，最终得到的结果几乎相同（准确率差异在 1–3% 以内）。
- 比喻： 如果你想烤蛋糕，是用木勺、打蛋器还是机械臂（搜索方法）并不重要。重要的是你遵循的是蛋糕食谱（目标）。如果你遵循“蛋糕食谱”，你就会得到蛋糕。如果你遵循“面包食谱”，你就会得到面包。改变工具对结果的影响，远不如改变食谱来得大。
核心结论
该论文得出结论：你设定的目标是最重要的因素，其重要性远超你用来寻找裁撤方案的复杂算法。
- 不要浪费时间去寻找“完美”的复杂搜索算法。
- 要花时间精心设计与你希望 AI 执行的具体任务相匹配的目标（即“食谱”）。
如果你想要一个用于写作的高效 AI，就针对写作进行优化。如果你想要一个用于推理的高效 AI，就针对推理进行优化。不存在一份适用于所有情况的“通用”楼层裁撤清单。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。