🤖 machine learning

Hierarchical Reinforcement Learning for Neural Network Compression (HiReLC): Pruning and Quantization

本文介绍了 HiReLC，这是一个层次化强化学习框架，它通过协调低层逐块智能体与高层全局预算分配，并利用带有代理模型的主动学习循环，实现了深度神经网络的联合量化与结构化剪枝自动化，在保持 Vision Transformer 和 CNN 基准测试中具有竞争力的准确度的同时，达到了显著的压缩比（5.99–6.72×）。

原作者： Kamar Hibatallah Baghdadi, Kawther Guoual Belhamidi, Sara Belhadj, Aissa Boulmerka, Nadir Farhi

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kamar Hibatallah Baghdadi, Kawther Guoual Belhamidi, Sara Belhadj, Aissa Boulmerka, Nadir Farhi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座规模宏大、细节极其丰富的图书馆（深度神经网络），它非常聪明，擅长解决各种问题，但由于体积过于庞大，你的背包（手机或小型计算机）根本装不下。你需要缩小这座图书馆的规模，同时又不损失它解决问题的能力。

这篇论文介绍了一种名为 HiReLC 的智能自动化系统，它就像一位资深馆长和一群专家编辑协同工作，共同完成缩小图书馆的任务。

以下是其工作原理，通过简单的概念进行拆解：

1. 双层团队（层级结构）

与其让一个人试图同时缩小整个图书馆（这会导致混乱），HiReLC 使用了一个两层结构的团队：

高层代理（管理者）： 他们是“大局观”的思考者。他们观察整个图书馆并做出判断：“好吧，这个区域充满了重复的书籍；我们可以在这里大量删减。但另一个区域充满了独特且关键的知识；我们必须小心，不能删减太多。”他们为图书馆的每个部分分配一个“预算”。
低层代理（编辑）： 他们是“在一线干活的人”。他们接收管理者给出的预算，并开始处理具体的书籍（网络层）。他们决定具体要撕掉哪些页面（剪枝/Pruning），以及哪些词汇需要缩短或用缩写代替（量化/Quantization），以节省空间。

2. “敏感度”雷达

管理者如何知道哪些部分很重要？他们使用一种特殊的工具，叫做 Fisher 信息量 (Fisher Information)。你可以把它想象成一个敏感度雷达。

如果一个区域非常“敏感”（比如一份珍贵且不可替代的手稿），雷达就会发出响亮的警报。管理者随后会给该区域分配一个“宽松”的预算，告诉编辑：“这里不要怎么删减。”
如果一个区域很“冗余”（比如 50 本一模一样的电话簿），雷达就会保持安静。管理者会给该区域分配一个“严格”的预算，说：“在这里进行激进的删减。”

3. “试错”循环（主动学习）

缩小图书馆是有风险的。如果你删减过度，故事就会变得逻辑不通。为了避免这种情况，HiReLC 使用了一个聪明的练习循环：

猜谜游戏： 在真正销毁书籍之前，系统使用一个“水晶球”（一个轻量级的 AI，称为代理模型/Surrogate）来预测缩减后的图书馆表现如何。这节省了时间，因为如果完美地检查每一个版本将会耗时过久。
现实检验： 一旦系统找到了一个有潜力的缩减版本，它会进行实际测试（微调/Fine-tuning），以查看真实的结果。
反馈： 如果猜测错了，系统会从错误中学习并更新它的“水晶球”。如果猜测对了，它就继续前进。这个过程会不断循环，直到找到完美的平衡点。

4. “集成”策略

有时，一位编辑可能过于谨慎，而另一位则过于鲁莽。HiReLC 通过聘请具有不同性格的编辑团队（有些保守，有些激进）来解决这个问题。他们会对如何缩小某个部分进行投票。最终的决定是一个折衷方案，通常比任何单一编辑单独工作的效果都要好。

他们取得了什么成就？

论文在不同类型的“图书馆”（神经网络）上测试了这个系统，包括：

Vision Transformers (ViTs)： 能够“看”图像的现代 AI 模型。
CNNs： 较旧的、经典的图像识别模型。

结果显示：

他们成功将模型的体积缩小了 6 倍（在存储空间方面减少了 84%）。
准确率： 在大多数情况下，模型损失的智能微乎其微（准确率仅下降了 0.5% 到 5%）。
惊喜之处： 在一项特定的测试中（一个针对简单 10 类图像任务训练的模型），缩减过程甚至提升了模型的准确率，提升了 3.83%。作者将其解释为“压缩起到了正则化作用”，本质上是清理了模型，帮助它更好地聚焦，就像整理凌乱的桌面能让你工作得更高效一样。

核心总结

HiReLC 是一种智能且自动化的方式，用于缩小复杂的 AI 模型，使其能在较小的设备上运行。它不仅仅是随机地进行删减；它利用由管理者和编辑组成的层级结构，并由“敏感度雷达”引导，以确保保留最核心的大脑部分，同时剔除冗余内容。它实现了巨大的体积缩减，且几乎没有性能损失，在某些情况下甚至能提升模型的表现。

技术摘要：HiReLC —— 用于神经网络压缩的分层强化学习

1. 问题陈述

深度神经网络，特别是视觉 Transformer (ViT)，由于高参数量、高内存占用和高推理延迟，在资源受限的平台上面临显著的部署挑战。虽然现有的压缩技术（如静态启发式算法、单次混合精度分配和单目标优化）已经存在，但它们往往无法捕捉跨层依赖关系，且在微调过程中缺乏自适应细化能力。此外，用于压缩的强化学习 (RL) 方法在处理大规模动作空间时，历史上一直难以克服高方差、粒度粗糙以及缺乏敏感性感知引导的问题。

本文旨在解决开发一种通用的、与架构无关的框架的需求，该框架能够联合优化结构化剪枝和混合精度量化，同时在模型大小缩减与精度保持之间的复杂权衡中寻找最优解。

2. 方法论：HiReLC 框架

HiReLC (Hierarchical Reinforcement Learning for Neural Network Compression) 是一个两层分层集成强化学习框架，旨在分解压缩搜索空间。该系统在控制器层面是架构无关的，通过模块化层抽象将 RL 环境与特定的网络拓扑解耦。

2.1 分层智能体结构

该框架采用了两个不同层级的智能体：

高层智能体 (HLAs)： 这些智能体在网络层面运行，负责协调全局预算分配。它们为每个可压缩块分配“层预算 (LayerBudget)”，确定目标保留规模比例 ( $R_i$ )、剪枝限制和位宽边界。HLAs 利用基于 Fisher 信息量的敏感性估计来引导预算分配，确保高敏感性的模块获得较轻的压缩程度。
低层智能体 (LLAs)： 独立地在每个块上运行，LLAs 将全局预算细化为具体的逐核配置。它们为每个内核选择一个四维多离散动作空间：
1. 位宽 ( $b_{i,k}$ )： 选择精度水平。
2. 保留率 ( $\rho_{i,k}$ )： 确定保留输出通道的比例（结构化剪枝）。
3. 量化类型 ( $\tau_{i,k}$ )： 在整数 (INT) 和浮点 (FLOAT) 之间进行选择。
4. 粒度 ( $\mu_{i,k}$ )： 在均匀、对数域、逐通道或学习到的符号幅度方案中进行选择。

2.2 集成学习与共识

为了减轻 RL 在大规模离散空间中固有的方差，HiReLC 采用了集成方法。

LLA 集成： 训练多个并行的策略（结合了 PPO 和 A2C），并具有异构的奖励权重（在准确性和压缩率之间侧重点不同）。通过加权投票得出共识动作，融合保守、适中和激进的策略，以产生鲁棒的配置。
HLA 集成： 同样，由多个 HLAs 组成的集成会对预算分配提出建议，最终预算通过多数投票或算术平均聚合确定。

2.3 主动学习与代理模型

为了解决通过全量后压缩微调来评估每个候选配置所带来的计算成本问题，HiReLC 集成了一个迭代的主动学习循环：

Logit-MSE 代理： 在“冷启动”阶段（在收集到足够数据之前），使用基于压缩模型与基准模型之间 Logit 的均方误差 (MSE) 的轻量级代理来估计精度保持情况。
MLP 代理模型： 一旦评估了足够数量的配置，就会训练一个轻量级的多层感知器 (MLP) 代理模型来预测准确率。该代理模型用于 RL 优化过程中的奖励塑造，而全量微调则保留用于最终的周期级评估。
迭代循环： 该过程在 RL 策略优化、配置应用、微调和代理模型更新之间交替进行。

2.4 奖励公式

奖励函数旨在平衡准确性、压缩率和稳定性：

LLA 奖励： 包括准确率保持 ( $R_{acc}$ )、压缩增益 ( $R_{comp}$ )、预算合规性 ( $R_{budget}$ ) 和稳定性 ( $R_{stab}$ ) 项。同时应用敏感性惩罚 ( $P_{sens}$ ) 以阻止对高敏感块进行过度激进的压缩。
HLA 奖励： 侧重于平衡各块之间的异构性 ( $R_{bal}$ )、敏感性感知分配 ( $R_{sens}$ )、全局目标符合度 ( $R_{global}$ ) 以及基于前一周期表现的动态反馈 ( $R_{dyn}$ )。

3. 核心贡献

本文概述了三个主要贡献：

HiReLC 框架： 一个用于联合结构化剪枝和混合精度量化的架构无关的分层集成 RL 框架。它在四种架构（DeiT-Small, CLIP ViT-B/32, ResNet18, MobileNetV2）上实现了有效的参数存储压缩比 5.99–6.72×，精度下降范围在 0.55% 至 5.62% 之间，甚至在一种设定下实现了 3.83% 的精度提升。
敏感性感知引导： 在两个层级整合了 Fisher 信息敏感性评分。这确保了关键模块能够获得较轻的压缩，而无需额外的搜索时间评估，从而将基于梯度的块重要性传播到奖励塑造和动作修正中。
代理增强的主动学习： 一个交织了 RL 优化与后压缩微调的迭代循环。通过使用轻量级 MLP 代理和 Logit-MSE 代理，该框架摊销了昂贵的评估成本，使得在有限的周期内进行实际的框架级研究成为可能。

4. 实验结果

实验在 CIFAR-10/100 和 Tiny ImageNet 上针对 Vision Transformers 和 CNNs 进行了评估。

压缩性能： 该框架一致实现了 5.99× 至 6.72× 的压缩比（相当于 83.3%–85.1% 的模型大小缩减）。
精度影响：
- CIFAR-100 上的 CLIP ViT-B/32： 在 6.63× 压缩下实现了最小的 0.55% 降幅。
- CIFAR-10 上的 CLIP ViT-B/32： 展示了 3.83% 的精度提升（从 89.22% 升至 93.05%），这归功于压缩作为过参数化模型的正则化作用。
- Tiny ImageNet 上的 ResNet18 和 MobileNetV2： 分别显示出 4.22% 和 5.62% 的下降，反映了在更难的数据集上压缩小型、已高度紧凑架构的挑战。
消融实验：
- 移除 HLA（使用统一预算）会导致过度压缩以及显著更高的精度下降（完整系统为 1.72%，而移除后为 6.80%）。
- 使用同质 A2C 集成相比混合 PPO/A2C 集成，在权衡方面表现出较低的稳定性。
- Fisher 敏感性引导将精度保持提高了 1.30 个百分点，并产生了更具差异化的块级预算分配。
混合精度： 允许逐核选择 INT/FLOAT 类型和对数尺度粒度的实验，比统一 INT 设置具有更低的精度下降，这表明灵活性有助于精度恢复。

5. 重要性与主张

本文将 HiReLC 定位为一种实用的联合神经网络压缩设计方案，并强调以下几点：

统一搜索空间： 不同于以往针对单一压缩维度（剪枝或量化）的方法或依赖静态启发式算法的方法，HiReLC 联合优化两者，利用了结构化剪枝与混合精度量化之间的协同效应。
架构无关性： 该框架成功压缩了多种模型家族（Transformers, CLIP, ResNets, MobileNets），且无需重新设计特定架构的控制器。
敏感性感知： 使用 Fisher 信息使系统能够自动识别并保护敏感的网络组件，从而提高精度-压缩的权衡表现。
实用性： 通过利用代理模型和主动学习，该框架降低了基于 RL 的压缩的计算负担，使其能够在有限的周期内探索大规模配置空间。

作者指出，虽然实现的压缩比非常显著，但结果是具有上下文相关性的（例如，主要表格是在 CIFAR/Tiny ImageNet 而非 ImageNet-1K 上评估的），并且假设使用了打包的结构化存储。该框架被呈现为部署场景下的一个起点，在这些场景中模型大小是主要约束，未来的工作需要进一步优化针对特定硬件的延迟和能量指标。