🤖 machine learning

Empirical Minimal-Realisation Compression of Deep Neural Networks via Controllability-Observability Tests

本文提出了一种可控性-可观测性框架，将训练好的深度神经网络视为非线性动力系统，通过平衡实现（balanced realisation）来经验性地识别并消除冗余隐状态，从而在 MNIST 和 CIFAR-10 数据集上实现了显著的参数压缩和推理加速，且准确率损失微乎其微。

原作者： Anis Hamadouche, Amir Hussain

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anis Hamadouche, Amir Hussain

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你建造了一座规模宏大、细节极其复杂的邮件分拣工厂。这座工厂拥有数以千计的工人（神经元）和无穷无尽的传送带（层）。问题在于，尽管这座工厂运转得非常完美，但它规模巨大、运行成本高昂且速度缓慢。你怀疑其中许多工人只是在无所事事地站着，或者有些传送带运送的箱子根本从未被打开过。

这篇论文提出了一种全新的方法，旨在不破坏分拣流程的前提下，缩小这座工厂的规模。作者并没有简单地随机撤掉工人或将传送带变细，而是使用了一种“控制理论”的方法，来找出工厂中哪些部分真正承担了重任。

以下是他们方法的详细拆解，使用了简单的类比：

1. 将工厂视为一场旅程

作者不仅将神经网络视为一组静态的数字，而是将其视为一场旅程。

输入： 一封邮件进入工厂。
隐藏状态： 随着邮件在工厂中移动，它会经过不同的房间（层）。在每个房间里，邮件都会被处理并发生变化。
输出： 最终分拣好的结果从另一端出来。

问题在于：我们需要多少个房间？每个房间又需要多大？

2. 三项测试（A、B 和 C）

为了回答这个问题，作者在工厂运行并处理真实邮件时，进行了三项特定的测试。他们称这些测试为 A、B 和 C。

测试 A：“谁在场？”测试（可达性/Reachability）
想象一下在问：“当邮件到达时，哪些工人真正被召集起来投入行动？”
- 如果一个工人从未被邮件触及，那他就是多余的。
- 这项测试衡量了工厂的哪些部分会被数据“激发”。它找出了那些忙碌的工人。
测试 B：“谁重要？”测试（可观测性/Observability）
想象一下在问：“如果我们微调某个工人的动作，是否会改变最终的结果？”
- 有些工人可能非常忙碌，但如果你改变他们的行为，最终分拣出的邮件看起来却完全一样。他们很忙，但无关紧要。
- 这项测试衡量了哪些工人实际上影响了最终的输出。
测试 C：“黄金分割点”测试（平衡性/Balanced）
这是神奇的结合点。它在问：“哪些工人既在忙于处理邮件，又能真正改变最终结果？”
- 如果一个工人很忙但并不重要，那就裁掉他。
- 如果一个工人很重要但从不干活，也裁掉他。
- 只保留那些既活跃又必不可少的工人。

3. 结果：一个“实现化”的微型工厂

大多数压缩方法就像是给工厂拍张照片，然后说：“我们只需要 20% 的空间。”但你仍然必须保留整个建筑。

这篇论文更进一步。他们根据 测试 C 的结果，实际建造了一座新的、更小的工厂。

如果测试 C 显示第一个房间只需要 100 名工人而不是 1,000 名，他们就建造一个正好有 100 名工人的房间。
然后，他们从头开始训练这个新的、微型的工厂（或者通过观察大工厂来学习）。

4. 他们的发现

他们在两个著名的“邮件分拣”数据集（MNIST 和 CIFAR-10）上进行了测试。

MNIST 实验：
- 之前： 一个每个房间拥有 1,024 个“隐藏”工人的工厂。
- 之后： 他们意识到其实只需要 277 名工人。
- 结果： 他们将工厂的规模缩减了 73%。新出的微型工厂几乎与庞大的原版一样准确（95.45% 对比 96.60%）。
CIFAR-10 实验：
- 之前： 一个每个房间拥有 4,608 名工人的庞大工厂。
- 之后： 他们意识到其实只需要 1,339 名工人。
- 结果： 他们将规模缩减了 71%。新的工厂与大的工厂同样准确，但在计算机芯片上的运行速度快了 3 倍。

为什么这很重要

通常，当人们试图缩小 AI 规模时，他们只是随机砍掉一些权重，或者降低数字的精度（就像从高清视频切换到低清视频）。这篇论文与众不同，因为它关注的是信息的流动。

这就像是意识到在你家里，你有一个巨大的餐厅，但你其实只在小桌子上吃饭。与其在巨大的房间里放一张小桌子，这种方法说的是：“让我们直接盖一间带有小桌子的房子，并把那个空荡荡的餐厅彻底拆掉。”

简而言之： 这篇论文提供了一种科学的方法，去寻找神经网络中“有用的”部分，并重建一个更小、更快的网络，且不会丧失完成工作的能力。

技术摘要：基于可控性-可观测性测试的深度神经网络经验最小实现压缩

1. 问题陈述

深度神经网络（DNN）在隐藏状态中经常表现出大量的冗余，然而大多数现有的压缩技术直接作用于权重、神经元或数值精度，而没有明确表征内部状态的动力学角色。诸如剪枝、量化和低秩分解等标准方法往往无法回答一个基本的态空间问题：哪些隐藏状态方向确实被数据分布所激发，而这些方向中又有多少与输出相关？ 因此，这些方法虽然可以减少参数量或存储空间，但不一定能减少有效的隐藏状态阶数以及与宽层相关的密集推理延迟。

2. 方法论

本文提出了一个控制理论框架，用于经验性的状态阶数削减，将训练好的前馈 DNN 视为一个按深度索引的非线性动力系统。

2.1 状态空间公式化

网络被建模为一系列非线性转换：
$h_{\ell+1} = f_\ell(h_\ell), \quad z = g(h_L)$
其中 $h_\ell$ 代表第 $\ell$ 层的隐藏状态， $z$ 代表输出 Logits。输入 $x$ 被视为初始状态 $h_0$ 。目标是估计“有用的隐藏状态阶数”——即既能从数据中到达（reachable），又在输出端可观测（observable）的隐藏方向数量。

2.2 经验 A/B/C 测试

作者引入了三种基于由隐藏状态快照和输出雅可比矩阵（Jacobians）推导出的经验 Gram 矩阵的逐层测试：

测试 A（可达性/Reachability）： 衡量哪些隐藏方向被输入数据所激发。它计算经验可达性 Gram 矩阵（ $G_{c,\ell}$ ）作为中心化隐藏状态快照的协方差。其秩由捕捉数据诱导方差所需的谱能量（spectral energy）来确定。
测试 B（可观测性/Observability）： 衡量哪些隐藏方向影响输出 Logits。它使用相对于隐藏状态的输出雅可比矩阵（ $J_\ell = \partial z / \partial h_\ell$ ）计算经验可观测性 Gram 矩阵（ $G_{o,\ell}$ ）。其秩反映了显著影响分类器输出的方向。
测试 C（平衡的可达-可观测/Balanced Reachable–Observable）： 结合两个准则，以识别同时从数据分布到达且通过输出可观测的 directions。它构造了一个平衡矩阵 $B_\ell = G_{c,\ell}^{1/2} G_{o,\ell} G_{c,\ell}^{1/2}$ 。由此产生的 C-平衡秩（ $r_\ell$ ）估计了在保持输入-输出行为的前提下所需的最小隐藏状态数量。

2.3 实现式缩减 vs. 投影式缩减

在两种缩减模式之间做了关键区分：

投影式缩减（Projected Reduction）： 使用学习到的基底将隐藏状态映射到低维坐标。这种方法仅诊断了冗余，但保留了原始的全量网络权重和投影基底，因此未能减少存储或密集推理延迟。
实现式压缩（Realised Compression）： 直接使用 C-平衡秩（ $r_\ell$ ）作为新的紧凑 DNN 架构的实际隐藏层宽度。这个新网络通过从头开始训练或通过知识蒸馏获得，从而实现了真正的参数量和状态阶数的减少。

3. 核心贡献

基于状态的公式化： 本文将前馈 DNN 表述为按深度索引的非线性状态空间系统，将“隐藏状态阶数”定义为一个与参数量不同的、与压缩相关的独立量。
经验可控性-可观测性框架： 提出了利用经验 Gram 矩阵和雅可比矩阵来估计逐层有用隐藏维度的 A/B/C 测试方法。
实现式 C-平衡压缩： 提出了一种方法，将估计的 C-平衡秩转化为新紧凑网络的物理宽度，弥合了理论模型缩减与可部署架构设计之间的鸿沟。
全面评估： 在 MNIST 和 CIFAR-10 上针对全连接 SiLU DNN 进行了基准测试，验证了该方法相对于投影式缩减、非结构化/结构化剪枝、低秩 SVD、动态 INT8 量化以及线性基准模型的表现。

4. 实验结果

该框架在基于全连接 SiLU DNN 的 MNIST 和 CIFAR-10 任务上进行了评估。

4.1 MNIST 结果

压缩： 一个全状态阶数为 1024 的 4 层 DNN 被缩减至 277 的状态阶数。
参数： 参数量从 400,906 降至 106,323（状态压缩率为 73.48%，约 3.77 倍缩减）。
准确率： 实现式 C-平衡模型达到了 95.45% 的准确率，相比于全量模型的 96.60%，仅下降了 1.15 个百分点。
延迟： 由于减少了密集矩阵的维度，推理延迟与全量模型相当。

4.2 CIFAR-10 结果

压缩： 一个较大的 DNN（全状态阶数为 4608）被缩减至 1339（状态压缩率为 70.94%）。

参数： 参数量从 9.97M 减少到 1.69M（参数压缩率为 83.09%，约 5.91 倍缩减）。

准确率： 实现式模型保持了 54.44% 的准确率，与全量模型的 54.45% 几乎完全一致。
延迟： CUDA 推理延迟降低了约 3.0 倍（从每样本 0.001582 ms 降至 0.000525 ms）。

4.3 与基准模型的比较

剪枝： 非结构化剪枝（50%）维持了准确率，但并未减少状态阶数或密集延迟。若不进行微调，直接按 C-平衡秩进行结构化剪枝会导致准确率大幅下降（MNIST 为 34.50%），但通过微调，其可以恢复到 91.75% (MNIST) 或 55.22% (CIFAR-10)，这表明 C-平衡秩提供了有效的目标维度。
SVD： 低秩 SVD（0.5 比例）导致了显著的准确率下降（MNIST 为 85.50%，CIFAR-10 为 39.06%），这表明层局部的权重分解在保持非线性输入-输出几何特性方面不如基于状态的 C-平衡方法有效。
量化： INT8 量化减少了存储空间，但未改变状态阶数或架构宽度。

5. 意义与主张

本文声称，平衡的可达-可观测秩为设计紧凑神经网络架构提供了一个有原则的经验最小实现准则。

理论桥梁： 该工作将控制论中的模型缩减（特别是平衡截断法）与神经网络压缩联系起来，并将经验 Gram 矩阵应用于非线性、数据驱动的系统。
实际效用： 不同于仅能诊断冗余的投影式方法，所提出的“实现式”方法能将这些诊断转化为可部署的、更小的网络，从而减少参数量并降低延迟。
聚焦状态阶数： 结果表明，通过针对隐藏状态阶数（即内部表示的维度）而非仅仅是权重计数进行压缩，可以在几乎不损失准确率的情况下实现显著的压缩。
对局限性的审慎说明： 作者承认这些秩是经验性的且依赖于数据，对于非线性系统缺乏最坏情况下的理论误差界限。他们还指出，估计可观测性 Gram 矩阵具有计算成本，并且需要对压缩后的架构进行重新训练。目前的实验集中在全连接网络上，以提供受控的实验环境，未来将扩展到 CNN 和 Transformer。

总之，本文认为，通过控制论中可控性和可观测性的视角观察 DNN，可以识别并移除那些既未被数据激发、又与输出无关的冗余隐藏状态方向，从而实现高效且高性能的神经网络构建。