When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning

想象一下，你是一位名为“大语言模型”的巨型高科技飞船的船长。这艘飞船旨在理解并生成人类语言，但由于它过于沉重且复杂，导致它无法在现实应用的狭窄峡谷中穿行。为了让它能够飞行，你需要进行“剪枝”（pruning）：小心地移除飞船引擎的一部分，使其变得更轻，同时又不至于导致坠毁。

棘手之处在于，这艘飞船不仅携带一种类型的货物，还携带许多不同的乘客群体，比如“普通旅客”、“稀有代码专家”和“安全检查员”。如果你切掉了一个“稀有代码专家”赖以生存的引擎部件，飞船对于其他人来说可能飞行正常，但这些专家可能会被困在原地。计算机科学领域的一个重大问题是：你如何知道该切掉哪些部分，才能确保每一个乘客群体都是安全的，即便你无法测试每一个可能的切口？科学家们使用“压缩统计学”（compression statistics）——即试图预测哪些部分是无用的数学评分。但这篇论文提出了一个可怕的问题：如果评分显示某个部件可以安全切除，但实际上却摧毁了特定乘客群体的体验，该怎么办？

这篇题为《当压缩评分无法做出决策》（When Compression Scores Cannot Decide）的论文，调查了这些预测评分背后隐藏的局限性。作者（由 Andrew Zhang 领导）认为，单一的平均分就像是在看一张模糊的地图：它可能显示整体情况良好，但却掩盖了某个特定角落正在着火的事实。他们发现，这些评分往往无法预测针对特定群体的最坏情况。论文指出，与其依赖一个单一的“魔术数字”来决定切除什么，不如采用一种新策略：利用局部线索构建一个简短的候选名单，然后实际测试这些特定的候选者，看看它们对每一个群体表现如何，之后再做出最终的切割决定。

“平均值”评分的问题

把压缩评分想象成老师给全班打分。如果老师只看全班平均分，他们可能会认为每个学生都表现得很好。但如果有一个学生成绩极差，而其他人都考了高分呢？平均值掩盖了失败。在人工智能的世界里，研究人员使用“剪枝评分”（pruning scores）来决定要移除哪些神经元（AI 内部微小的处理单元）。这些评分通常观察 AI 在其所有数据上的“平均”行为。

作者发现这种方法是危险的。他们发现了一种特定的剪枝评分，其可靠性非常高（“折半信度”为 0.906，意味着两次测试结果高度一致）。该评分预测某个切口会使 AI 的性能提升 16.1%。然而，当他们实际进行切割时，结果却是一场灾难：AI 的表现比对照组差了 6.0% 到 7.7%。该评分对“平均值”的预测是正确的，但它完全忽略了会对特定用户群体造成毁灭性影响的事实。

“信息边界”与隐藏的差距

为了解释为什么会发生这种情况，作者使用了一个概念——“信息边界”（information boundary）。想象一下，你正试图通过观察阴影来猜测一个隐藏物体的形状。如果阴影只是一个简单的平均轮廓，你可能会认为这个物体是一个完美的球体。但实际上，这个物体可能是一个带有尖锐棱角的立方体，而那个棱角在阴影中并未显现出来。

论文认为，标准的剪枝方法只能看到“阴影”（聚合后的平均值）。它们错过了“尖锐的棱角”（针对特定群体的具体损害）。作者将评分所看到的与实际发生情况之间的差距称为“观测纤维”（observation fiber）。这就像一扇雾气蒙蒙的窗户：你可以看到大致的形状，但看不清最重要的细节。

他们在数学上证明了，如果你只观察平均值，误差可能会达到群体数量的倍数。如果你有 4 个群体，最坏情况下的损害可能是平均值所示情况的 4 倍。这是他们推导出的“锥形法则”（conic law），它就像是 AI 剪枝领域的一条物理定律：除非你采取特殊手段分别观察各个群体，否则平均化总是会掩盖最坏的情况。

解决方案：两步舞曲

那么，如果平均分是个骗子，我们该怎么办？论文提出了一种两步走的过程，作者称之为“提议”（Propose）和“决策”（Decide）。

第一步：提议（局部线索）
首先，你使用局部线索来建立一个简短的候选名单。在稠密 AI 模型（那些庞大、沉重的模型）中，他们使用了“群体解析对角线”（group-resolved diagonal）方法。这相当于为每个特定的乘客群体分别检查引擎部件，而不是仅仅观察整个引擎。这种方法非常擅长识别“整体”损害的严重程度（它与实际最坏情况的关联度达到了 0.9239）。它可以告诉你：“嘿，如果切掉这个部件，这组乘客会有大麻烦。”然而，它无法准确判断在那些看起来还不错的切口中，哪一个是最好的。它擅长发现危险，但不擅长挑选优胜者。

第二步：决策（真实测试）
一旦你拥有了一个简短的候选名单（一个“有限菜单”），你就必须停止猜测，开始测试。作者发现，你不能依赖单一的评分来对这些候选者进行排序。相反，你必须衡量每个候选者在特定群体上的实际表现。

他们在三种不同的 AI 模型（Llama、SmolLM3 和 Qwen）上测试了这一点。通过使用“目标匹配”（target-matched）方法——即测量候选者在他们关心的特定群体上的实际表现——他们发现了真实的提升。

• 在 Llama 模型上，他们降低了“最坏群体困惑度上升值”（衡量 AI 变得多么困惑的指标）达 7.96%。
• 在 Qwen 上，降低了 2.80%。
• 在 SmolLM3 上，降低了 2.68%。

这些不仅仅是猜测；它们是在新数据上依然成立的、经过衡量的改进。

MoE 的转折：路由器的秘密地图

论文还研究了另一种类型的 AI，称为“混合专家模型”（Mixture of Experts, MoE）。想象这些模型是一支专家团队。它不是一个巨大的大脑，而是由许多小型专家组成，并由一个“路由器”（router）决定为每个问题调用哪位专家。

在这种设置下，路由器会留下一个“痕迹”或地图，显示哪些专家被哪些群体所使用。作者发现，这张地图极其有用。它预测单个专家的移除效果比随机猜测更准确（在 192 次测试中正确了 114 次，而标准方法仅为 81 次）。

然而，就像在大型模型中一样，这张地图并不完美。它可以告诉你哪一个单一专家是最危险的（即不宜保留的），但它无法告诉你移除最佳的专家“组合”是什么。为了解决这个问题，他们必须测试完整的组合。通过测试，他们发现有两个特定的操作可以将最坏情况下的群体表现提升 13.7% 和 7.2%。

核心启示

这篇论文的主要教训是：你不能信任一个单一的、平均的数字来做出关乎 AI 群体生死攸关的决策。如果你想要构建一个对每个人都公平且鲁棒的 AI，你必须更加谨慎。

1. 局部线索有助于发现危险： 使用针对特定群体的评分来识别重大风险。
2. 但必须测试优胜者： 一旦有了简短的候选名单，你必须实际测量它们在特定群体上的表现。
3. “一刀切”的方法会失效： 适用于一个模型或一个群体的剪枝策略可能会在另一个模型或群体上完全失败。作者发现，对于一个模型有效的“精细方向”（特定的切割模式），在另一个模型上可能并不适用。

论文总结道，虽然我们可以构建更好的地图和候选名单，但最终的决策始终需要对结果进行直接测量。你不能仅仅通过计算来获得安全；你必须在每次切割后检查引擎。这能确保当你驾驶你的 AI 飞船飞行时，没有任何一个乘客群体会被遗忘在黑暗之中。