💻 计算机科学

Composing Lightweight Methods on Deep Neural Network: A Survey

本综述引入了一种用于组合轻量化深度学习技术（如剪枝、量化和知识蒸馏）的新颖分类法，旨在分析它们的选择、顺序和相互作用如何影响效率与精度，从而为在资源受限的边缘设备上部署深度神经网络提供实践指导。

原作者： Kilho Son, Yunho Jeon

发布于 2026-11-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Kilho Son, Yunho Jeon

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：最强大的人工智能系统——那些能够识别面部、翻译语言或诊断疾病的系统——由于过于沉重而无法装进兜里。这些系统由深度神经网络构建，这些庞大的数字结构通过调整数十亿个微小的内部设置来进行学习。虽然这些大规模网络擅长处理复杂任务，但它们需要巨大的内存和处理能力，而这些资源在智能手机、医疗传感器或自主无人机等日常设备上是稀缺的。为了让这些智能系统能够在大型数据中心之外发挥作用，工程师们多年来一直致力于开发如何在不损失智能的前提下缩小它们体积的方法。他们发明了各种工具，用于剔除不必要的部件、简化计算机使用的数字，并教导较小的模型去模仿大型模型的行为。

长期以来，研究人员将这些缩减工具视为独立的解决方案，分别进行测试。他们探讨剪枝（即移除不使用的连接）是否优于量化（即简化数字），或者知识蒸馏（即从大型教师模型向小型学生模型转移智慧）是否是最高效的路径。然而，在现实世界中，工程师很少只依赖一种技巧。他们通常会结合多种方法，以将模型压缩到特定设备所需的尺寸。Kilho Son 和 Yunho Jeon 的一项新调查将焦点从单一工具转向了组合这些工具的艺术。研究人员考察了当这些压缩技术结合使用时是如何相互作用的，并发现应用的顺序以及它们如何共同优化，可以决定一个模型是完美运行还是彻底失败。

该调查将这些组合分为三种主要策略：依次进行、同时进行以及混合两者。第一种策略是“顺序应用”，它就像一条工厂流水线：模型先经过剪枝，然后进行量化，最后进行精炼。这种方法简单直接，易于实现，因此成为许多开发者的热门选择。研究人员发现，当工具处理不同类型的“浪费”时，这种方法效果很好。例如，先移除冗余的连接，可以为下一步简化数字留下一个更干净的结构。然而，研究也强调了一个显著的局限性：一旦某个步骤完成，就无法更改。如果第一步移除的信息是第二步所必需的，那么这种损害是永久性的，最终的模型可能会难以恢复其准确性。

为了克服这种流水线式的僵化，一些研究人员使用“联合优化”，即在模型训练的过程中同时应用多种压缩技术。系统不再是完成一项任务后再开始下一项，而是在进行剪枝、数字简化和学习过程的同时进行调整。调查表明，这种方法可以产生更好的结果，因为不同的技术可以实时相互适应。例如，当一个模型在简化结构的同时也在减少数字精度时，系统可以学会保留对这两项任务都至关重要的网络部分。研究人员发现，这种方法通常能产生比逐步法更小且更准确的模型，但它需要更多的计算能力和精细的调优，以平衡相互竞争的目标。

第三类是“混合组合”，它融合了这两个世界的特点。在这种场景下，团队可能会利用联合优化来处理最困难的压缩部分，随后再使用一个独立的步骤来修复剩余的问题。调查指出，这种灵活性对于复杂任务（如在有限硬件上运行大型语言模型）至关重要。在这种情况下，模型可能会被同时剪枝和量化以节省空间，然后添加一个独立的恢复步骤来恢复损失的准确性。研究人员观察到，最好的结果往往来自于理解哪些工具可以互补，而哪些工具会产生冲突。例如，虽然剪枝和量化通常配合得很好，因为它们针对的是不同的冗余，但如果应用顺序错误或缺乏适当的协调，可能会导致性能下降，而这种下降是仅靠其中任何一种方法都不会造成的。

该调查的很大一部分关注于在实际硬件上运行这些压缩模型的现实情况。研究人员强调，一个模型在纸面上可能看起来非常高效（拥有更少的数字和更小的体积），但在实际设备上的运行速度却可能很慢。这是因为计算机芯片处理数据的方式与数据本身同样重要。如果一种压缩方法创造出的模式无法被处理器高效处理，那么速度优势就会消失。该调查回顾了在真实手机和服务器上测试模型的研究，揭示出最佳的理论压缩并不总是能转化为最快的现实世界表现。例如，一个经过重度剪枝的模型可能需要专门的软件才能快速运行，如果缺乏此类软件，设备的运行速度甚至可能比之前更慢。

作者还探讨了压缩新一代大型语言模型（用于编写代码或生成故事等任务）所面临的特定挑战。这些模型规模巨大，以至于需要特殊技术才能适配消费级设备。调查强调了如何将低秩自适应（即在冻结的模型中添加小的可训练层）与量化相结合，从而使这些庞大的系统变得可用。然而，研究人员警告说，仅仅堆叠这些方法并不保证成功。必须仔细管理模型不同部分之间的相互作用，以确保新增的组件不会消耗掉比它们节省下来的更多的内存。

最终，这项调查为应对模型压缩这一复杂领域提供了路线图。它不再仅仅追问哪种单一工具最好，而是探讨如何构建一支协同工作的工具团队。研究人员得出结论，并没有适用于所有情况的单一完美配方。正确的组合取决于特定的设备、任务以及可用的资源。通过理解这些方法是如何相互作用的，工程师可以设计出不仅功能强大而且具备便携性的人工智能，从而将先进计算的益处带到我们每天使用的设备之中。这项工作表明，高效人工智能的未来不在于寻找单一的“银弹”，而在于掌握结合多种策略以适应现实世界独特约束的微妙平衡。

以下是该研究论文的摘要：

=== 技术摘要：深度神经网络中轻量化方法的组合：综述 ===

1. 问题陈述

深度学习模型，特别是大规模卷积神经网络（CNN）和 Transformer，虽然取得了卓越的性能，但带来了巨大的计算和内存需求。这些需求阻碍了它们在资源受限的边缘设备（如手机、物联网设备）上的部署，往往迫使开发者依赖云端服务器，从而引入了延迟和隐私问题。

虽然各种单一的模型压缩技术——如高效架构设计、分解、剪枝、量化和知识蒸馏（KD）——已被广泛研究，但现有的综述通常孤立地分析这些方法。目前缺乏关于如何组合多种轻量化方法来影响效率和准确性的系统性研究。具体而言，该领域缺乏对以下方面的清晰理解：

顺序对性能的影响（例如，先剪枝后量化与先量化后剪枝的区别）。
方法之间的优化依赖关系（例如，它们应该是顺序应用、联合优化还是以混合方式应用）。
当多种压缩技术结合应用于实际部署流水线时，所产生的相互作用（互补或冲突）。

2. 研究方法

本综述采用基于分类法的方法来分析轻量化方法的组合。作者系统地回顾了来自主要 AI、计算机视觉、自然语言处理（NLP）和硬件相关会议及期刊的文献。核心方法包括：

分类法构建： 作者根据优化依赖关系而非仅仅根据技术的组合来对组合方式进行分类。三个主要类别是：
- 顺序应用（Sequential Application）： 方法按预定的顺序应用（例如，剪枝 $\to$ 量化 $\to$ KD）。每个阶段将前一阶段的输出视为固定值。
- 联合优化（Joint Optimization）： 多种方法被集成到单个训练、搜索或微调过程中，其中变量和目标被同时优化或相互影响（例如，剪枝掩码和量化间隔同时更新）。
- 混合方法（Hybrid Approaches）： 结合了顺序和联合策略的方法（例如，联合进行剪枝和量化，随后通过顺序 KD 进行恢复）。
定性与定量分析：
- 综述审查了每个类别中的代表性研究，重点关注研究内的对比（消融实验），以评估特定组合的效果。
- 指标： 作者使用**准确率下降（AD）来衡量相对于基准模型的质量退化，使用压缩率（CR）**来衡量效率增益。
- 硬件评估： 综述检查了真实硬件部署结果（延迟、内存、吞吐量），以识别由理论指标掩盖的成本（例如，稀疏元数据开销、算子融合需求）。
范畴扩展： 分析不仅限于传统的计算机视觉任务，还扩展到了大语言模型（LLMs），将参数高效微调（PEFT）方法（如 LoRA）作为 LLM 的一种独特组合组件纳入其中。

3. 核心贡献

本文对模型压缩领域做出了四个主要贡献：

全面的回顾： 提供了首个专门针对轻量化方法组合而非将其视为单一技术附属部分的综述。
新颖的分类法： 提出了一个基于优化依赖关系（顺序、联合、混合）的分类系统，区分了方法在优化过程中的相互作用方式。
实证分析： 综合了先前研究的定量证据，以评估不同组合如何影响准确率与效率之间的权衡，并强调了诸如剪枝与量化之间的互补性等趋势。
实践指导与未来方向： 识别了具有前景但尚未得到充分探索的组合，指出了潜在的冲突（例如，激进的量化会破坏用于恢复的信息），并为在物理硬件上选择、排序和部署组合模型提供了指南。

4. 主要结果与发现

4.1 顺序应用

有效性： 顺序应用对于进一步压缩高效架构或在激进压缩后恢复准确率是有效的。
顺序至关重要：
- 剪枝 $\to$ 量化： 通常更优。剪枝首先移除冗余结构，使量化能够专注于重要的权重，通常能在准确率损失最小的情况下实现更高的压缩率。
- KD 作为恢复手段： 在剪枝或量化之后应用知识蒸馏（KD）能持续恢复准确率下降。
- KD 作为预处理： 在剪枝之前应用 KD 可以集中信息，从而允许后续剪枝步骤实现更高的压缩率，尽管关于其是否优于“剪枝后 KD”的证据尚不统一。
局限性： 顺序流水线无法根据后续约束来修正早期的决策（例如，剪枝可能会移除对后续量化步骤至关重要的信息）。

4.2 联合优化

协同效应： 当方法之间存在强相互作用时，联合优化通常优于顺序流水线。
- 量化感知 NAS（Quantization-Aware NAS）： 为量化专门设计的架构搜索，在实现高压缩率时比量化固定架构具有更好的准确率。
- 剪枝 + 量化： 联合优化稀疏性和精度（例如，使用交替更新或共享损失函数）可以实现显著更高的压缩率（例如，ResNet-50 达到 462 $\times$ ），且与单一方法相比准确率下降程度相当。
- KD + 剪枝/量化： 将蒸馏损失与压缩目标进行联合优化，可以比顺序应用获得更好的结果，尽管简单的联合训练并不总是保证优越性；需要精细的损失平衡。
复杂性： 联合优化需要更复杂的搜索空间和损失平衡，但在有足够重训练预算时是非常有益的。

4.3 混合方法

灵活性： 混合策略结合了两者的优势。例如，联合优化剪枝和量化以找到鲁棒的压缩结构，随后通过顺序 KD 阶段进行最终的准确率恢复。
LLM 特性： 在 LLM 中，混合流水线很常见（例如，剪枝 $\to$ LoRA $\to$ 量化）。PEFT（如 LoRA）通常在结构化压缩后作为轻量级的恢复或适配阶段。

4.4 真实硬件部署

理论 vs. 实际： 高理论压缩率并不总能转化为低延迟。诸如稀疏算子支持、内存带宽和元数据开销等因素可能会抵消算术运算带来的节省。
平台依赖性： 性能高度依赖于目标硬件（CPU、GPU、NPU）。例如，结构化剪枝和稠密分解在标准硬件上通常比非结构化剪枝能产生更好的实际加速效果，因为后者需要专门的稀疏算子。

5. 重要性与主张

作者声称，本综述的重要性在于它将焦点从单个压缩技术转向了这些方法的系统性组合。

没有普适的最优解： 本文明确指出，没有哪一类方法（顺序、联合或混合）是绝对优越的。最优选择取决于具体的约束（内存 vs. 延迟）、目标硬件以及模型冗余的性质。
互补性 vs. 冲突： 综述强调，当方法解决不同的瓶颈时（例如，剪枝针对结构，量化针对精度），它们是互补的；但如果它们破坏了后续阶段所需的信息（例如，超低比特量化移除了 LoRA 恢复所需的数据），则会产生冲突。
从业者指南： 本文提供了可操作的指导，例如：
- 使用顺序流水线进行简单的模块化压缩。
- 当方法扰动相同的参数或共享预算时，使用联合优化。
- 当联合优化阶段需要独立的恢复阶段时，使用混合方法。
未来方向： 作者指出了当前研究中的空白，包括对更多真实设备评估的需求（测量 DRAM 流量和能耗）、更好地处理 LLM 特有的约束（KV cache、PEFT 开销），以及开发能够针对整个部署栈（而非仅仅是模型大小）进行优化的自动化流水线。

总之，本文认为，为了在边缘设备上有效部署深度神经网络，需要一种全局视角，即需要精心设计多种轻量化方法之间的相互作用、顺序以及优化耦合，而不仅仅是将它们孤立地应用。