💻 computer science

SimGrowNet: Efficient Neural Growth with Similarity-Based Redundancy Control

SimGrowNet 是一种受人类神经发生启发的、高效的神经生长方法，它在训练过程中逐步扩展紧凑型模型，同时通过基于相似性的约束来最小化神经元冗余，从而增强特征多样性、缓解捷径学习，并在多个图像识别数据集上超越了现有的基准模型。

原作者： Taigo Sakai, Kazuhiro Hotta

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Taigo Sakai, Kazuhiro Hotta

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能的世界里，计算机通过构建庞大的数字连接网络来学习识别世界，这种方式模仿了人类大脑处理信息的方式。这些被称为深度神经网络的系统在识别照片中的物体等任务上已经变得极其出色。然而，为了让它们变得更聪明，研究人员通常只是简单地让它们变得更大，不断增加更多的连接，直到系统变成一台庞大且耗能的机器，需要很长时间才能完成训练。这种方法有一个显著的缺点：随着网络的增长，它往往会开始自我重复。正如如果给每位工人分配完全相同的任务，团队就会变得低效一样，这些数字网络也会产生冗余部分，即多个连接都在学习识别相同的简单细节（例如天空的颜色），而不是物体的复杂形状。这种重复浪费了计算能力，并可能导致系统因为关注错误的线索而犯错。

来自日本名城大学的研究人员提出了一种构建这些智能系统的新方法，这种方法更像是像生物体一样生长，而不是像静态机器那样。他们没有从一个巨大的网络开始尝试削减它，也没有在没有计划的情况下添加新部件，而是开发了一种名为 SimGrowNet 的方法，该方法从小规模开始并进行谨慎扩张。其核心理念受到了人类大脑在成年期后仍能持续形成新神经元的启发。研究人员意识到，当新的连接被添加到数字网络中时，它们往往会从事与旧连接完全相同的工作。为了解决这个问题，他们引入了一条规则，强制要求每一个新连接都必须与现有的连接有所不同。他们通过衡量新部件与旧部件之间的相似度，并轻轻地引导它们变得各具特色，从而确保网络学习到的是多样化的特征，而不是仅仅重复那仅有的几种。

该团队在三组不同的图像集上测试了这种方法，涵盖了从简单的动物简笔画到复杂的现实场景照片。他们将这种新方法与那些仅仅添加随机新连接或复制现有连接的旧技术进行了对比。结果显示，通过保持新部件的独特性，网络的表现变得更好。在一项识别一百类不同图像的标准测试中，由于采用了新方法，准确率比之前的最佳方案提高了近 2%。在另一项涉及一千个类别的测试中，它也优于竞争对手。这些数字看起来可能微不足道，但在人工智能领域，即使是百分之零点几的差距，也可能意味着一个系统是实用的还是不可用的。更重要的是，研究人员能够准确解释其成功的原因。通过使用一种可以突出显示计算机正在观察什么的可视化工具，他们发现新方法关注的是整个物体（例如鸟的身体和头部），而不是被背景或仅仅是一个小边缘所分散注意力。

这种关注点的转变表明，网络不再是在走捷径。在许多情况下，旧的方法会学会根据单一且简单的线索来猜测答案，比如假设一张鸟的照片实际上是飞机的照片，因为两者的背景都是蓝天。通过强制要求连接的多样性，新方法防止了系统依赖这些简单的技巧。它学会了观察全局。研究人员还发现，这种益处不仅来自于添加更多部件，还来自于对这些部件的控制方式。即使在停止添加新连接、仅对固定网络应用该规则时，系统的表现依然更好。这表明成功的关键不仅在于拥有更多的容量，还在于拥有一个每个部分都扮演着独特角色的网络。

这项研究还解决了训练这些系统时的一个常见问题：不稳定性。当网络的结构发生快速变化时，它有时会变得混乱或丢失已经学到的知识。研究人员在他们的方法中加入了一个安全机制，防止新连接发生过于剧烈的变化，从而确保系统在增长过程中保持稳定。他们发现，这些变化的节奏非常重要；增长网络太频繁或太缓慢都会降低收益，因此他们必须为每种类型的图像找到最合适的节奏。虽然该方法需要一些精细的调优才能达到理想效果，但结果表明，构建高效的智能网络并不需要庞大的规模。相反，它需要对多样性和质量的关注。

这项工作为创建既强大又高效的人工智能提供了一条充满前景的路径。通过学习以避免重复的方式生长，这些系统可以在无需承受当今大型模型所带来的巨大能耗的情况下实现高性能。研究人员建议，这种方法对于像智能手机或传感器这样电力受限的设备特别有用，因为在这些设备上，每一分计算能力都至关重要。虽然该方法是在图像识别领域进行的测试，但确保学习多样性的原则也可以应用于计算机需要理解复杂模式的其他领域。研究结论指出，高效人工智能的未来可能不在于构建更大的规模，而在于实现更聪明的生长，确保系统的每一个新部件都能带来独特的东西。

SimGrowNet 技术摘要：基于相似度冗余控制的高效神经增长

问题陈述
深度神经网络在图像识别方面取得了卓越的性能，然而其不断增加的规模导致了巨大的计算成本和漫长的训练时间。传统的优化策略（如微调、知识蒸馏和剪枝）通常面临稳定性方面的局限性，或存在丢弃关键信息的风险。此外，现有的动态网络增长方法——特别是那些随机添加神经元或复制现有神经元的方法——往往会引入神经元冗余。这种冗余导致新生成的神经元提取的特征与现有特征重叠，从而导致模型容量利用效率低下、特征提取偏差（例如，关注背景区域而非目标物体），以及“捷径学习”（shortcut learning），即模型依赖于表层线索而非鲁棒的语义特征。

方法论：SimGrowNet
受生物神经发生（neurogenesis）的启发，SimGrowNet 提出了一种构造式方法，使紧凑的神经网络在训练过程中逐步扩张。与以往的增长方法不同，SimGrowNet 通过基于相似度的约束来显式控制冗余。其核心机制包含两个主要步骤，在神经元添加或复制后执行：

余弦相似度计算：该方法计算层内神经元权重向量之间的成对余弦相似度图（ $C_{sim}$ ）。该图源自归一化权重矩阵（ $W_{norm}$ ），其中 $C_{sim} = W_{norm}W_{norm}^T$ 。选择余弦相似度是因为它能捕捉权重向量的方向对齐，代表了无论模长如何变化的特征提取功能相似性。
相似度最小化与正则化：目标是最小化神经元之间（排除自身相似性）的平均绝对余弦相似度（ $\mu_{sim}$ ）。通过将该值趋向于零，该方法鼓励神经元趋于正交，从而促进功能多样性并防止冗余特征提取。

为了确保训练稳定性并防止多样性优化覆盖已有的有效特征检测器，引入了权重变化正则化项（ $L_{weight}$ ）。该项会对训练步骤之间权重总和的剧烈变化进行惩罚。

总损失函数公式化为：
$\min L_{total} = L_{task} + \alpha(\mu_{sim} + \lambda \cdot L_{weight})$
其中 $L_{task}$ 是标准的任务特定损失（如交叉熵）， $\alpha$ 是权重系数， $\lambda$ 用于平衡权重正则化。

核心贡献
本文概述了三个主要贡献：

相似度正则化增长：一种在扩张后最小化神经元间余弦相似度的策略，以减少新添加神经元的冗余，确保它们学习到独特且互补的特征。
稳定性机制：引入权重变化正则化项，以稳定动态扩张的网络，并防止增长阶段出现权重不稳定现象。
冗余感知框架：一种将神经元相似度控制与提升特征多样性和缓解捷径学习联系起来的公式化方法，适用于紧凑型 CNN 扩张。

实验结果
SimGrowNet 在 CIFAR-10、CIFAR-100 和 ImageNet-1k 数据集上使用 VGG16 和 MobileNet 架构进行了评估。它与随机增长（Random growth）、最陡下降分裂法（SSD）以及 Firefly 算法进行了对比。

准确率提升：SimGrowment 一致优于基准方法。显著的改进包括：
- CIFAR-10：比 Firefly 高出 1.1% 的准确率（MobileNet: 92.56% vs. 91.89%）。
- CIFAR-100：比 Firefly 高出 1.95% 的准确率（MobileNet: 67.49% vs. 66.42%）。
- ImageNet-1k：比 Firefly 高出 0.9% 的准确率（MobileNet: 67.0% vs. 66.1%）。
定性分析 (Grad-CAM)：可视化结果表明，虽然基准方法（如 Firefly）通常关注局部或背景区域（例如鸟类的天空区域），但 SimGrowNet 能够关注更广泛、具有语义相关性的物体区域（例如鸟的身体或头部）。这表明模型减少了捷径学习。
消融研究：
- 结合相似度最小化与权重正则化产生了最高的准确率，证实了这两个组件的必要性。
- 该方法即使在固定架构设置下（不进行实际的神经元增长）也能提高准确率，这表明基于相似度的冗余控制本身就是性能提升的主要驱动力。
- 在数据稀缺条件下（例如仅使用 10% 的训练数据），SimGrowNet 表现出显著的鲁棒性，在 CIFAR-10 上比传统模型高出 4.1%，在 CIFAR-100 上高出 5.8%。
超参数敏感性：在更新迭代次数 ( $N$ ) 为 15 且惩罚系数 ( $\lambda$ ) 为 0.01 时，观察到了最佳性能。

意义与主张
作者声称，SimGrowNet 为“先训练大规模模型再进行剪枝”的范式提供了一种可持续的替代方案。通过构建受控冗余的紧凑型高性能模型，该方法符合“绿色 AI”原则，适用于边缘计算和资源受限的环境。

论文强调，其主要益处不仅在于边际准确率的提升，更在于提升模型的可靠性。通过迫使神经元学习多样化的特征，SimGrowNet 缓解了捷径学习，确保模型依赖于鲁棒的语义特征而非背景伪影。作者指出，虽然该方法引入了需要调优的超参数（ $N$ 和 $\lambda$ ），但该方法有效地增强了表示的多样性和学习效率，且无需修改基础网络结构。未来的工作方向确定为将此方法应用于持续学习以缓解灾难性遗忘，并探索其在强化学习及 Transformer 等其他架构中的适用性。

类似论文