🤖 machine learning

Mixture of Channel Experts: Static Sparse Supports with Input-Adaptive Mixing for Pointwise Projections

本文介绍了混合通道专家（Mixture of Channel Experts, MoCE），这是一种结构化稀疏通道混合层，它通过将输入路由至具有学习到的稀疏通道支持和输入自适应聚合的专家，来取代稠密逐点投影，在实现显著降低计算成本和延迟的同时，达到了匹配或超过稠密基准模型的准确率。

原作者： Elian Iluk, Gil Ben-Artzi

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Elian Iluk, Gil Ben-Artzi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代能够识别图像、翻译语言或诊断疾病的计算机，依赖于庞大的类人工智能神经元网络。这些网络构建得像多层工厂，原始数据从底层进入，逐层处理，直到最终答案浮现。这种处理过程的一个关键环节发生在“混合”站，在这里，系统会组合不同的信息流。在许多这类工厂中，混合是通过一种密集且笨重的方式完成的：在每一步中，每一条信息流都会与其它所有信息流进行组合。这确保了系统能看到所有的可能性，但代价极其高昂。随着系统拥有的信息流越来越多，它必须进行的计算就越多，存储这些计算指令所需的内存也越多。当这些系统为了变得更聪明而规模扩大时，这种持续且全覆盖式的混合成本成为了一个瓶颈，减慢了机器的速度并增加了运行成本。

以色列艾里尔大学（Ariel University）的研究人员提出了一种运行这些混合站的不同方式，这种方式模仿了专业化劳动力的高效，同时又不牺牲输出质量。他们将这种方法称为“通道专家混合”（Mixture of Channel Experts）。其核心思想很简单：与其强迫系统的每个部分始终与所有其他部分进行交流，不如让每个输出通道只监听一小部分经过精心挑选的输入通道。想象一个大型办公室，每个员工通常都必须阅读来自每个部门的所有报告，然后才能撰写自己的备忘录。这种新方法建议，每个员工只需要阅读与其特定任务最相关的三到四份报告，同时由一个独立的轻量级系统确保没有任何一份重要的报告被完全忽略。这种从“每个人都与每个人交谈”到“每个人只与特定的专家交谈”的转变，大幅减少了所需的计算量。

研究人员发现，简单地复制语言模型中一种流行的策略——即通过复制不同的专家并让系统选择使用哪一个——在图像处理领域效果并不理想。当他们尝试创建多个并行的混合单元，且这些单元都读取完全相同的输入集时，这些单元很快就学会了做完全相同的事情。它们变成了彼此的冗余副本，在没有增加任何新见解的情况下浪费了空间。为了解决这个问题，团队将专业化过程从操作者本身转移到了它们之间的连接上。在他们的新设计中，每个输出通道都由一个“专家”处理，这个专家不是一个独立的网络，而是输入通道的一种特定的、经过学习的选择。每个专家挑选一小组输入（例如，从一百个中挑选八个）并进行组合。至关重要的是，这种选择是静态的；一旦系统训练完成，专家将始终观察相同的八个通道。这使得计算机可以提前规划工作，从而避免了因试图在运行时即时决定读取哪些通道而带来的混乱且不可预测的延迟。

然而，研究人员发现，虽然通道的“选择”应该是固定的，但它们的“组合方式”仍应保持灵活性。他们添加了一个小型且智能的机制，根据正在处理的具体图像来调整每个被选定通道的权重。如果图像明亮清晰，系统可能会侧重于其中一个特定通道；如果图像模糊，它可能会更均匀地分配注意力。这种调整的计算成本极低，每张图像仅需计算一个数字。该系统还包含一个安全网：一个残差摘要（residual summary），用于收集任何未被专家选中的输入通道，从而确保信息不会丢失。这种固定且高效的选择与微小自适应灵活性的结合，被证明是最佳平衡点。

在标准的图像识别任务测试中，这种新方法提供的结果与传统的、重型系统相比，表现持平甚至略有超越。在一个名为 ImageNet 的主要数据集上，新方法减少了约 17% 的计算量，同时显著降低了存储模型的内存需求。在某些情况下，该系统在实际应用中变得更快，缩短了处理图像所需的时间。研究人员还测试了一个更复杂的版本，在该版本中，系统尝试为每一张图像选择不同的通道，类似于人类根据所见内容观察场景的不同部分。他们发现，这种额外的灵活性并没有提高准确性，反而使系统变慢了近七倍。这是一个决定性的发现：当系统坚持使用可靠、预先计划好的连接，并仅利用其有限的能量来微调这些连接的权重时，其表现最为出色。

这项研究表明，高效人工智能的未来可能不在于构建更大、更复杂的网络，而在于使其中的连接变得更聪明、更有纪律。通过学习哪些特定的输入对每个输出最为重要并冻结这些选择，系统可以在不损失理解世界能力的前提下，运行得更快、成本更低。研究人员展示了，当一个僵化的、组织良好的结构与极少量的适应性相结合时，其表现可以优于一个试图对所有人提供一切服务的系统。这种方法为构建能够在日常硬件上运行的强大人工智能提供了一条清晰的路径，证明了有时，明确知道该忽略什么，与知道该关注什么同样重要。

技术摘要：通道专家混合（MoCE）

问题陈述

本文针对现代视觉骨干网络中逐点（1×1）卷积的计算成本问题进行了研究。这些卷积在 ResNet 瓶颈层、反转瓶颈层以及 Vision Transformer 中充当通道混合算子。由于这些操作的复杂度随通道宽度（ $C_{in} \times C_{out}$ ）呈二次方增长，因此成为了结构化稀疏化的主要目标。

作者发现，直接将专家混合（Mixture-of-Experts, MoE）原则应用于卷积网络时存在一个关键的失效模式。在标准 MoE 中，输入被路由到一组重复的算子子集。然而，当并行卷积专家共享相同的输入通道和监督信号时，它们会学习到近乎相同的滤波器（观察到的平均余弦相似度为 0.88），从而无法产生有效的专业化。这表明，当输入表示是共享时，通过复制算子来实现专业化是一种低效的路径。

方法论：通道专家混合 (MoCE)

为了解决算子冗余的问题，作者提出了通道专家混合（Mixture of Channel Experts, MoCE），将专业化的轴心从重复的算子转向了稀疏通道选择。

核心架构

MoCE 用一个由以下部分组成的结构化稀疏层取代了密集的逐点投影：

路由专家（Routed Experts）： 每个“专家”不再是完整的卷积滤波器，而是对应于单个输出通道。它作用于一个学习到的、静态的 $k$ 个输入通道子集（其中 $k \ll C$ ）。
静态稀疏支撑（Static Sparse Supports）： 每个专家所选的输入通道由路由逻辑决定。在训练期间，这些逻辑会被优化；在推理阶段，前 $k$ 个索引会被预先计算并固定。这实现了固定的内存访问模式和打包执行，无需依赖数据的分支。
输入自适应混合（Input-Adaptive Mixing）： 虽然所选通道的集合是静态的，但这些通道的权重是动态的。一个轻量级门控网络会为每个专家和每个输入样本预测一个温度参数 $\tau$ $τ$ 。该温度参数调节混合系数的 Softmax 集中度：
- 低 $\tau$ ：将质量集中在权重最高的通道上（类 max 操作）。
- 高 $\tau$ ：趋向于均匀平均（类 mean 操作）。
- 这使得专家能够在不改变所选支撑集或不需要对所有 $C$ 个通道进行评分的情况下，调整其聚合策略。
残差覆盖（Residual Coverage）： 一个残差专家负责聚合所有未被任何路由专家选中的输入通道（集合 $U$ ）。这确保了没有任何输入通道会被完全忽略，从而维持信息流。
负载均衡（Load Balancing）： 一种正则化项（ $L_{cov}$ ）鼓励所有输入通道在不同专家之间得到均匀的聚合使用，防止模型坍缩到极少数通道。

设计原理：静态 vs. 动态

论文研究了输入依赖性更适合用于选择读取哪些通道（动态支撑）还是选择如何组合这些通道（自适应混合）。

动态支撑： 一个为每个输入对所有 $C$ 个通道进行评分以选择 $k$ 个通道的路由器具有高度的表达能力，但会带来显著的内存访问开销和延迟（实验观察到慢了 7.13 倍），且准确率提升微乎其微（+0.03%）。
自适应混合： 一个仅读取已选出的 $k$ 个描述符来预测标量温度的门控网络计算成本很低。移除该门控会导致显著的准确率下降（-1.19%）。
结论： 作者得出结论，对于逐点投影，输入依赖性在聚合策略（混合）上的应用比在成员选择（支撑）上更为有效，这使得 MoCE 能够保持静态可调度性。

核心贡献

结构性洞察： 证明了由于滤波器对齐的原因，在共享输入的卷积 MoE 中，算子复制会失效，因此必须转向基于通道选择的稀疏化。
MoCE 层： 一种新型稀疏通道混合层，用学习到的静态支撑和输入自适应混合取代了密集投影。
效率分析： 表明虽然 MoCE 大幅降低了 MACs，但端到端加速往往受限于内存带宽（激活值流量）而非算术强度，因为池化和残差路径仍需读取完整的输入张量。
实证验证： 在 ResNet 骨干网络、EfficientViT 以及各种训练方案（ImageNet、CIFAR、迁移学习）上进行了全面的评估。

实验结果

作者在 ImageNet-1K 和 CIFAR-100 上使用 ResNet-50/101/152 和 EfficientViT 骨干网络对 MoCE 进行了评估。

准确率 vs. 效率：
- ResNet-50 (ImageNet)： MoCE 实现了 76.71% 的 Top-1 准确率（对比 75.98% 的密集基准线），同时减少了 16.7% 的 MACs 和 16.8% 的部署参数。
- ResNet-152： 准确率提升至 78.24%（对比 77.78%），同时减少了 20.8% 的 MACs。
- 迁移学习： 在 ImageNet 上学习到的 MoCE 支持在迁移到 CIFAR-100 时无需重新学习支撑集依然有效，表明通道角色具有稳定性。
- EfficientViT： MoCE 在保持准确率的同时减少了 18–22% 的 MACs。
与基准对比：
- MoCE 在效率上优于 SE (Squeeze-and-Excitation) 和 CondConv，在达到与 SE 相当的准确率的同时，使用了显著更少的参数和 MACs。
- 与 Pick-or-Mix（一种动态通道选择方法）相比，MoCE 在达到同等延迟的情况下实现了更高的准确率。
消融实验：
- 支撑设计： 随机固定支撑显著降低了性能（61.30%），而确定性循环支撑几乎达到了密集基准线的水平（78.27% vs 78.44%）。学习到的支撑表现最好，证实了学习支撑结构的必要性。
- 稀疏度 ( $k$ )： 发现最优的 $k$ 为 8，远低于计算平衡点（对于 $C=256$ ， $k^* \approx 63$ ），这表明约束在于表示能力而非计算量。
- 延迟： 由于内存带宽瓶颈，MoCE 减少的端到端延迟约为 4.6%（小于 16.7% 的 MAC 减少量）。然而，在宽投影（如 2048→512）中，加速比达到了 3.0 倍。

意义与主张

论文声称，MoCE 通过利用静态稀疏支撑结合极简的输入自适应混合，为密集的逐点投影提供了一种实用的、硬件高效的替代方案。

效率： 它实现了更高（或保持）的准确率与减少的计算量、参数量及执行时间的共同平衡点。
设计原则： 该工作确立了一个原则：在通道混合层中，利用“输入信号”来调节如何聚合一组固定的通道（通过温度）比动态选择读取哪些通道更为有效。这种区别使得模型既能保留自适应性的优势，又能保持静态调度的执行效率。
冗余性： 结果表明，密集的逐点投影包含大量的冗余，因为仅用 8 个通道的凸混合就能匹配甚至超过数百个通道的密集投影性能。

作者保持了审慎的态度，指出加速效果受限于内存流量而非算术运算，且主要的增益来自于在减少投影层算术强度的同时，通过残差连接维持信息流。