🤖 machine learning

Selection Plateau and a Sparsity-Dependent Hierarchy of Pruning Features

本文识别出一-shot 神经网络剪枝中的“选择平台期”，即所有秩单调评分器均收敛至相同的准确率，并提出稀疏性 - 信息 - 复杂度谱（SICS）假设，以证明要摆脱该平台期，必须采用具有针对目标稀疏度专门适配的复杂度水平的非单调特征。

原作者： Guangqi Li, Yongxin Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Guangqi Li, Yongxin Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对这篇论文的解释。

核心问题：“足够好”的墙

想象你正在修剪一丛非常庞大、过度生长的树篱（神经网络），目的是让它变得更小、更快。你需要决定剪掉哪些枝条，保留哪些。

几十年来，研究人员发明了数百种不同的“剪刀”（算法）来决定剪掉哪些枝条。有些剪刀观察枝条的粗细，有些观察它接收的阳光量，还有些观察它在风中晃动的程度。

令人惊讶的是： 尽管这些剪刀在理论上看起来截然不同，但当人们实际使用时，它们最终都会把树篱修剪成完全相同的形状和大小。它们都撞上了一道“性能墙”。无论剪刀多么花哨，似乎都无法超越某个特定的准确率水平。

作者将这种现象称为选择高原（Selection Plateau）。这就像每个人都在爬山，却撞上了一片平坦的草地顶端，无论你如何用力，都无法再向上攀登。

发现：这取决于你剪掉多少

作者问道：为什么我们会撞上这堵墙，我们能否突破它？

他们发现，答案完全取决于你试图剪掉多少树篱（即“稀疏度”）。他们发现了三个截然不同的区域，就像你园艺工作中的不同天气状况：

“简单”区域（剪掉一点点）：
- 情况： 你只需要修剪 30%–40% 的枝条。
- 结果： 最简单的剪刀就能完美工作。试图使用花哨、复杂的剪刀反而会让事情变得更糟，或者保持不变。高原的“平坦顶部”实际上就是这里能达到的最佳水平。
- 类比： 如果你只需要修剪叶尖，一把普通的手剪就完美了。拿出激光引导的机械臂完全是杀鸡用牛刀，甚至可能碍手碍脚。
“关键”区域（剪掉中等数量）：
- 情况： 你需要剪掉大约 70% 的枝条。
- 结果： 简单的剪刀失效了。你需要一种“平滑、波浪状”的模式来决定剪什么。你需要一种工具，它不仅仅看粗细，而是拥有一条柔和的曲线，与你开始剪切的特定点相匹配。
- 类比： 现在你要深入灌木丛内部进行修剪。你需要一种工具，能确切知道“安全区”在哪里结束，“危险区”在哪里开始。简单的直线切割行不通；你需要一种带有柔和凸起的工具，该凸起能与那个边界对齐。
“极端”区域（剪掉几乎所有东西）：
- 情况： 你需要剪掉 80% 或更多。
- 结果： 现在，“平滑、波浪状”的工具也失效了！它们的表现实际上比简单的工具还要差。要在这一区域生存，你需要一种带有**高频“抖动”**的工具——一种混乱、颤动的模式，看起来像旧电视上的雪花噪点。
- 类比： 你现在试图只保留最强大、最独特的枝条。平滑的曲线不够精确。你需要一种能检测到微小、混乱波动的工具，而这些波动是平滑工具所忽略的。

"SICS"规则

作者将这一发现命名为稀疏度 - 信息 - 复杂度谱（Sparsity-Information-Complexity Spectrum, SICS）。

把它想象成视频游戏的难度设置：

第 1 级（简单）： 简单的规则有效。
第 2 级（中等）： 你需要一种平滑、弯曲的策略。
第 3 级（困难）： 你需要一种混乱、颤动的策略。

如果你在错误的关卡使用错误的“武器”，你就会输掉。如果你在简单关卡使用“颤动”武器，你会感到困惑。如果你在困难关卡使用“平滑”武器，你会错过那些你需要的微小细节。

“假”剪刀测试

这篇论文最有趣的部分之一是他们进行的一项测试，旨在看看什么才是真正重要的。

他们制造了一套“假”剪刀，看起来复杂且呈波浪状，但这些波浪只是基于枝条粗细的数学技巧。

结果： 这些假剪刀彻底失败了。
教训： 仅仅看起来复杂是不够的。复杂性必须独立于枝条的基本大小。“抖动”必须来自不同于旧数据重新排列的其他信息来源。

“混沌”成分

为了创造这些复杂的“波浪状”工具，作者使用了一个名为混沌（具体是逻辑斯蒂映射）的数学概念。

他们并没有声称“混沌”是魔法。
他们只是利用混沌作为一种便捷的方式，来生成足以通过测试的“波浪状”形状。
他们甚至尝试制作“手工打造”的波浪（比如绘制一个完美的钟形曲线），看看是否能得到相同的结果。
结果： 手工打造的凸起有一点点效果，但“混沌”形状的效果要好得多。这表明，混沌工具那种特定的、杂乱的、复杂的形状包含了简单、完美的形状所遗漏的隐藏信息。

总结

问题： 不同的剪枝方法都卡在相同的准确率水平上。
原因： 它们都使用相同的basic“排序”逻辑，而这触及了极限。
解决方案： 要突破极限，你必须根据你剪掉多少来改变你的工具。
- 低剪枝量： 保持简单。
- 中剪枝量： 添加平滑曲线。
- 高剪枝量： 添加混沌“抖动”。
结论： 没有一种单一的“最佳”剪枝方法。最佳方法完全取决于你试图移除多少网络部分。

技术摘要：选择平台与稀疏度依赖的剪枝特征层次结构

1. 问题陈述

尽管经过数十年的研究，且针对一次性神经网络剪枝出现了多样化的权重重要性标准（从基于幅值的方法到泰勒重要性和基于海森矩阵的方法），但实证结果一致表明，在匹配的稀疏度预算下，这些功能迥异的方法收敛至几乎相同的下游准确率。从业者早已观察到这种收敛现象，但令人满意的理论解释却始终难以寻觅。此外，尚不清楚在何种条件下，超越简单幅值排名的特征工程能够成功提升剪枝性能，或者何时此类努力是徒劳的。

2. 核心现象：选择平台

作者形式化了**选择平台（Selection Plateau）**现象。他们证明，对于任何在权重幅值上运行的秩单调评分器（经过标准的每层秩归一化后），无论评分器的具体函数形式如何，其产生的通道选择结果都是相同的。

数学基础：引理 1 确立，如果两个评分器 $s_1$ 和 $s_2$ 是每层幅值秩的严格单调函数，那么对于任何给定的稀疏度 $S$ ，它们诱导的 Top-K 通道子集完全相同。
实证观察：因此，所有此类秩单调方法都收敛于一个共同的准确率平台，记为 $\Pi(S)$ 。该平台的高度随稀疏度剧烈变化，但在评分器的构建上是通用的。

3. 方法论与实验设置

为了探究何时以及如何逃离该平台，作者提出了**稀疏度 - 信息 - 复杂度谱（SICS）**假设，并进行了系统的实证研究。

架构与数据集：研究聚焦于 CIFAR-10 上的 ViT-Small。作者明确表示，在此阶段避免跨领域断言，将其视为单一的（架构，数据集）设置。
剪枝任务：对 12 个 Transformer 块中的 MLP $fc1$ 层进行结构化通道剪枝。
稀疏度水平：测试了四个水平： $S \in \{0.5, 0.6, 0.7, 0.8\}$ （移除的通道比例）。
特征类别：实验在四个稀疏度水平下测试了九个不同的特征类别（共 36 个单元格），按复杂度度量 $\kappa$ $κ$ 分类：
- $\kappa=0$ （秩单调）：秩的严格单调函数（例如 V1a peak_smooth, RandomSpline）。
- $\kappa=1$ （平滑非单调）：具有低频非单调结构的特征（例如平滑的 Logistic 映射轨道统计量，如 V1b var_smooth）。
- $\kappa=2$ （高频抖动）：包含细尺度振荡的特征（例如原始、未平滑的 Logistic 映射轨道统计量，如 A5）。
- 对照组：包括从幅值确定性导出的“虚假”非单调评分器（PureMag4）以及非混沌非单调对照（NL_sin, Weier4）。
优化：评分器融合权重在代理验证集上使用**蜣螂优化器（Dung Beetle Optimizer, DBO）**进行搜索。

4. 主要贡献与假设

SICS 假设

本文提出，存在一个依赖于稀疏度的最小特征复杂度 $\kappa(S) \in \{0, 1, 2\}$ ，这是逃离选择平台 $\Pi(S)$ 所必需的。该假设预测了三个不同的机制：

低稀疏度（ $S \lesssim 0.65$ , $\kappa=0$ ）：秩单调评分在经验上是最优的。非单调特征会增加噪声或降低性能。
临界稀疏度（ $0.65 \lesssim S \lesssim 0.75$ , $\kappa=1$ ）：形状与通道秩阈值对齐的平滑非单调特征可提供可测量的准确率提升（逃离平台）。
极端稀疏度（ $S \gtrsim 0.75$ , $\kappa=2$ ）：只有包含高频“抖动”分量的特征才能成功；平滑非单调特征的表现会低于平台水平。

主要发现与反直觉的子发现

36 个单元格的实验为 SICS 结构提供了统计显著的证据：

机制验证：
- 在 $S=0.5$ 和 $0.6 $时，所有特征都聚集在平台处（证实$ \kappa=0$）。
- 在 $S=0.7$ 时，平滑非单调特征相对于平台基准提升了 +6.6%，而高频特征表现相似。
- 在 $S=0.8$ 时，只有高频（原始混沌）特征实现了逃离（+2.6%）；平滑特征的表现低于平台。
幅值独立性至关重要：一个纯粹从权重幅值导出的“虚假”非单调评分器（PureMag4）的表现甚至不如梯度基线。这表明任意的非单调性是不够的；非单调结构必须在统计上独立于幅值排名。
更多指标并非更好：增加特征维度（例如添加更多轨道统计量）可能导致过拟合或噪声累积，从而降低性能（例如 A5_Log6 的表现不如 A5）。
秩对齐是必要但不充分的：在 $S=0.7$ 处与通道保留边界对齐的手工参数化隆起（例如高斯函数）仅实现了 +0.006 的逃离，而混沌导出的特征实现了 +0.046 的逃离。这表明虽然对齐是必要的，但混沌导出形状的具体结构复杂性提供了额外的、非加性的价值。
优化景观：在 $\kappa=0$ 区域，优化景观表现出极低的变异性（种子收敛至几乎相同的权重），而在 $\kappa=1$ 区域则显示出显著更高的变异性，表明其景观结构更为复杂。

5. 机制解释

本文提出了一个泰勒展开论证来解释 $\kappa(S)$ 的非递减性质：

低 $S$ ：剪枝扰动较小；一阶项（幅值/泰勒重要性）占主导地位。
临界 $S$ ：二阶海森矩阵项变得显著。捕捉通道间的耦合需要非单调特征，但由于主导特征模态是低秩的，因此平滑（ $\kappa=1$ ）特征已足够。
高 $S$ ：三阶项和细尺度相互作用变得显著，需要高频振荡特征（ $\kappa=2$ ）来解析。

作者还讨论了秩对齐假设，即非平滑特征必须与通道保留边界对齐。然而，他们明确指出，仅靠这种对齐不足以复现混沌导出特征所观察到的完整逃离效果。

6. 意义与局限性

意义：

统一解释：SICS 提供了一个框架，解释了为何多样化的剪枝方法会聚集在相似的准确率上（因为它们落入相同的 $\kappa$ 机制），并预测了特征工程何时可以或不可以超越基线排名。
设计指导：它表明未来的选择算法应使其特征复杂度适应目标稀疏度，而不是假设存在一个适用于所有稀疏度水平的单一“最佳”评分器。
方法严谨性：本文包含对从属假设（即混沌仅仅是形状生成的便捷基质）的直接证伪测试，并更新其主张，以反映混沌导出特征的具体结构具有承载作用。

局限性与范围：

无跨领域断言：作者明确表示，他们不声称结果在架构或数据集之间具有通用性。结果特定于 ViT-Small/CIFAR-10。
机制验证：虽然机制结构已得到实证验证，但机制解释（泰勒展开、秩对齐）被表述为“推测性机制”或“候选解释”，需要进一步验证（例如直接测量海森矩阵谱）。
未来工作：本文概述了未来的方向，包括在其他架构（ResNet, Swin）、数据集（ImageNet）和选择问题（Token 剪枝、KV 缓存压缩、MoE 路由）上进行测试，以及开发 SICS 自适应剪枝器算法。

总之，本文识别了当前剪枝启发式方法的一个根本局限性（选择平台），并提出了一种稀疏度依赖的层次结构（SICS），该结构决定了克服此局限性所需的最小特征复杂度，其得到了严谨的实证证据以及对特征独立性和结构复杂性的细致分析的支持。