💻 computer science

Slimmable ConvNeXt: Width-Adaptive Inference for Efficient Multi-Device Deployment

本文介绍了 Slimmable ConvNeXt，这是一种宽度自适应推理框架，它利用 ConvNeXt 的现代设计，通过单一共享权重集实现高效的多设备部署，在无需复杂归一化机制的情况下，相较于现有的 CNN 和视觉 Transformer 方法，能够在不同的计算约束下实现更优越的精度。

原作者： Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一支厨师团队（一个计算机视觉模型），需要为一大群人烹饪餐食。有时，厨房巨大，配备齐全的员工和豪华设备（一台强大的云服务器）。有时，你则是在一辆狭小的露营车中烹饪，只有一个炉灶和有限的食材供应（一部电量不足的智能手机）。

传统上，如果你希望你的厨师团队能在两种环境中工作，你就必须雇佣两支完全不同的团队：一支大团队用于大厨房，一支微型且专业化的团队用于露营车。你必须分别训练他们，分别存储他们的食谱，并根据所在位置在他们之间切换。这既昂贵又混乱。

旧版“灵活”厨师的问题
一些研究人员试图创造一种能够随时伸缩的“超级厨师”。他们建立了一个单一团队，可以配备 100 名厨师、50 名厨师或 10 名厨师进行操作。然而，这些旧方法存在一个重大缺陷：它们需要一个复杂的“交换机”（称为可切换的批归一化）来跟踪每种可能团队规模的统计数据。这就像为每一种食材尺寸都准备一套不同的量杯，使得厨房变得混乱且难以训练。

新解决方案：Slimmable ConvNeXt
本文介绍了一种名为Slimmable ConvNeXt的新型厨师团队。作者发现，ConvNeXt 架构的现代设计天生就非常适合无需混乱的“交换机”即可进行伸缩。

以下是其工作原理，使用简单的类比：

1. “层归一化”（LayerNorm）的魔力（无需交换机）

旧的灵活模型需要特殊规则来处理不同的团队规模。Slimmable ConvNeXt 使用了一种称为层归一化（LayerNorm）的技术。

类比：想象一个传统团队，经理需要确切知道房间里有多少人才能发出指令。如果房间大小改变，经理就会惊慌失措，需要一本新的规则手册。
新方法：层归一化就像一位经理，他根据每个人当下正在做什么来发出指令，而不管房间里有多少人。无论你拥有 100 名厨师还是 10 名厨师，经理都能瞬间适应。这意味着你不再需要复杂的“交换机”。训练过程因此变得更加简单和整洁。

2. “倒置瓶颈”（Inverted Bottleneck）（易于切片）

ConvNeXt 使用一种称为“倒置瓶颈”的结构。

类比：想象一个标准的三明治：面包（小）、肉（大）、面包（小）。如果你想做一个更小的三明治，你必须切面包和肉，这很棘手。
新方法：倒置瓶颈就像一个馅料巨大但面包很薄的三明治。“肉”（繁重的计算）集中在中间。当你想要缩小模型时，只需切掉肉的边缘部分。从中间切下一片而不会弄乱整个结构非常容易。这使得通过“切片”通道（数据的宽度）来创建模型的较小版本变得轻而易举。

3. 实际运作方式

研究人员训练了一个单一模型，其中包含了多个嵌套在内部的自身版本。

训练：想象厨师们每天都在练习。有些天他们以 100 人的完整团队进行练习。其他天，他们只以 50 人练习，还有几天仅以 25 人练习。他们共享同一个知识库（权重）。由于他们在所有这些不同规模下都进行了练习，他们学会了适应任何规模。
结果：当你部署模型时，你不需要重新加载新文件。你只需告诉模型：“嘿，今天我们的电量只够 25 名厨师使用”，它就会瞬间切换到其 25 人模式。如果明天你拥有满电电源，它就会切换回 100 人模式。

结果：更优的性能，更少的计算

该论文在名为 ImageNet-1k（一个包含 128 万张图像的图书馆）的超大数据集上测试了这一点。他们将新的"Slimmable ConvNeXt"与现有的最佳灵活模型（主要基于 Vision Transformers，一种不同类型的 AI 架构）进行了比较。

获胜者：Slimmable ConvNeXt 速度更快且更准确。
- 在中等计算水平下，其准确率为80.8%。而排名第二的竞争对手得分为78.4%。
- 在非常低的计算水平下（如性能较弱的手机），其得分为77.4%，而竞争对手得分为73.0%。
规模：他们测试了其模型的小、中、大版本。较大的版本在缩小规模时表现更好，且不会损失太多准确率。例如，最大版本在满功率运行时准确率为82.8%，即使缩小到一半大小，它依然保持极其强劲的表现。

为什么这很重要（根据论文所述）

论文声称，这是这种特定的“切片”技术首次应用于 ConvNeXt。

简洁性：它消除了旧方法所需的复杂归一化切换。
效率：由于它不使用“自注意力”（Transformer 模型使用的一种繁重过程），因此获得相同结果所需的数学运算量（GMACs）更少。
多功能性：它允许单个模型在大型服务器、笔记本电脑或智能手机上运行，而无需存储多个不同的文件。

简而言之，作者构建了一个 AI 模型的“瑞士军刀”。与其分别携带刀具、螺丝刀和开瓶器，你拥有的是一个可以瞬间转变为其中任何一件的工具，而且它比上一代多功能工具做得更出色、更高效。

技术摘要：可缩略 ConvNeXt

问题陈述

在具有异构资源约束的设备上部署视觉模型，或在计算能力因电池状态、热节流或延迟截止而波动的单一设备上部署，通常需要对每个目标平台分别训练和维护独立的模型。这种方法成本高昂，且在动态环境中不切实际。虽然宽度自适应推理通过训练一组包含多个嵌套子网络的共享权重提供了解决方案，但先前的方法面临特定的架构限制：

经典 CNN： Slimmable Networks 和 US-Nets 等方法需要可切换的批归一化（Batch Normalization），以为不同的通道宽度维护独立的运行统计量，从而增加了复杂性和参数量。
视觉 Transformer（ViT）： 近期的可扩展方法（如 HydraViT、MatFormer）依赖于注意力机制，这些机制对子网络的提取方式施加了结构约束（例如，按头维度的倍数丢弃注意力头，或保留完整的嵌入维度），限制了可扩展性的粒度和范围。

方法论

本文提出了可缩略 ConvNeXt，这是将通道宽度缩略技术首次应用于 ConvNeXt 架构家族。该方法利用 ConvNeXt 固有的特定设计选择，简化了训练流程并提高了效率。

架构设计

每个 ConvNeXt 块被分配一个缩略比率 $p \in (0, 1]$ ，该比率决定了活跃通道的比例。

通道切片： 块内的所有权重张量（深度卷积、逐点卷积和 LayerNorm 参数）均被切片，仅保留前 $\lfloor p \cdot C \rfloor$ 个通道。
倒置瓶颈： 中间扩展层（4 倍扩展）也被切片至 $4 \cdot \lfloor p \cdot C \rfloor$ ，以保持扩展比不变。
残差处理： 当缩略后的块产生的通道数少于其输入时，输出会在添加残差连接之前进行零填充以匹配原始维度。这避免了引入额外的投影参数。
归一化： 与经典的可缩略 CNN 不同，ConvNeXt 使用LayerNorm而非批归一化。LayerNorm 按样本和通道切片计算统计量，使其能够自然地适应任何通道数量，而无需可切换的归一化层或独立的运行统计量。

训练过程

该模型采用交替宽度的联合训练过程进行训练：

随机选择： 定义一组 $p$ -列表（定义每个块的缩略比率）。在训练期间，每个批次随机选择一个 $p$ -列表。
共享权重： 所有子网络共享相同的权重。比率 $p < 1$ 的子网络仅使用 $p=1$ 时所用参数的严格子集。
优化： 模型对选定的子网络进行标准的正向 - 反向传递。这种随机交替类似于 HydraViT 中的尾部丢弃（tail-drop）训练，但应用于通道维度。
AutoSlim（可选）： 为了优化非均匀的每块宽度，本文研究了AutoSlim。这种贪婪搜索从均匀宽度开始，迭代地减少重要性最低块（基于验证集准确率下降）的比率，直到达到目标平均比率。这通常保留较宽的早期和晚期阶段，同时激进地缩略中间阶段。

主要贡献

架构适用性： 作者证明了 ConvNeXt 的设计——特别是 LayerNorm 和倒置瓶颈的使用——使其成为宽度自适应缩略的理想候选者。这消除了先前 CNN 方法所需的可切换批归一化的开销，并避免了基于注意力的 ViT 方法的结构限制。
简化的流程： 与先前的 CNN 和 ViT 可缩略方法相比，该方法产生了更简单的训练流程，无需可切换归一化、知识蒸馏或三明治训练规则。
性能： 该方法在 ImageNet-1k 上广泛的计算预算范围内实现了最先进的准确率，优于基于 ViT 和经典 CNN 的基线模型。

实验结果

作者在 ImageNet-1k 上评估了三种模型大小的可缩略 ConvNeXt：ConvNeXt-Tiny（T）、Small（S）和 Base（B）。所有模型均从头开始训练 600 个 epoch。

ConvNeXt-Tiny（3 个子网络）

全容量（4.5 GMACs）： 80.8% 的 top-1 准确率。
半容量（1.2 GMACs）： 77.4% 的 top-1 准确率。
对比： 在 4.6 GMACs 下，其表现优于 HydraViT 的 6 头子网络（78.4%）2.4 个百分点；在 1.3 GMACs 下，优于其 3 头配置（73.0%）4.4 个百分点。在可比的 GMACs 下，它也超越了 MatFormer-S 和 SortedNet-S。

ConvNeXt-Base（4 个子网络）

全容量（15.4 GMACs）： 82.8% 的 top-1 准确率。
半容量（4.0 GMACs）： 81.6% 的 top-1 准确率。
对比： 在半容量下，它以 4.0 GMACs 实现了 81.6% 的准确率，优于 HydraViT 在 4.6 GMACs 下的 80.2%（运算量减少 13%）。它从一组权重中覆盖了 1.1 到 15.4 GMACs 的计算范围，而 MatFormer 仅限于大约一半到全计算量。

扩展性与鲁棒性

优雅降级： 较大的模型（ConvNeXt-B）在缩略下表现出比小模型（ConvNeXt-T）更优雅的降级，在半容量下保留了其全容量准确率的 98.7%。
子网络数量： 增加子网络数量（例如从 3 个增加到 5 个）通常会导致小模型的收益递减或准确率轻微下降，但 ConvNeXt-B 保持稳健，4 个子网络实际上提高了峰值准确率。
AutoSlim： AutoSlim 在低容量下提供了适度的改进（例如，ConvNeXt-T 在四分之一容量下提升了 +1.0%），但在满容量下收益边际化或略有负面影响，这可能是由于残差连接中的零填充策略所致。

意义与主张

本文声称，可缩略 ConvNeXt 提供了一个单一的弹性模型，能够在推理时动态调整其计算成本以适应变化的资源预算。这使得部署场景成为可能，即单个模型可以服务于异构的设备群，或适应运行时约束（电池、热、延迟），而无需重新加载权重。

作者强调，LayerNorm（消除可切换归一化）和倒置瓶颈（促进直接的参数切片）的结合，使得 ConvNeXt 在几乎每个工作点上都能比最先进的基线实现更高的准确率，同时保持了卷积架构的简单性和硬件兼容性。这项工作表明，对于需要降低容量的部署场景，从较大的基础模型开始并激进地缩略，可能比训练全宽的小模型产生更好的结果。