Connecting Independently Trained Modes via Layer-Wise Connectivity
本文提出了一种新的经验算法，该算法能够在更广泛的现代架构和训练超参数范围内可靠地连接独立训练的神经网络模式，从而克服了现有方法局限于传统模型的局限性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你构建了两个极其聪明的机器人（神经网络）来解决一个谜题。你分别训练它们，从零开始，使用不同的随机种子，就像两位不同的厨师遵循同一份食谱，但从一开始就使用不同的食材。
令人惊讶的是，当两个机器人都完成训练后，它们都出色地完成了任务。但这里有一个谜团：它们在本质上真的是同一个机器人吗？ 还是说，它们只是恰好都表现良好的两种不同解决方案？
在人工智能领域，机器人的“大脑”是一个庞大的数字列表（参数）。如果你绘制这个大脑所有可能的版本，那些“好”的（能很好地解决谜题的）版本会坐落在一个深邃的低洼地带，称为低损失区域。而“坏”的则坐落在高耸崎岖的山峰上。
问题：“迷失在谷中”的谜团
长期以来，科学家们发现，如果你取两个表现良好的机器人，并尝试在这个数字空间中从其中一个直线走向另一个，你往往会在中途撞上一座高山峰。路径断裂，机器人随之停止工作。
以往的方法试图通过以下方式解决这一问题：
- 扭曲路径：尝试弯曲线条以绕过山峰。
- 仅连接“双胞胎”：只尝试连接那些已经非常相似的机器人（就像出生时被分开的双胞胎）。
问题在于，这些旧方法不可靠。它们在简单、老式的机器人设计（如基础 CNN）上有效，但在现代、复杂的模型（如 MobileNet 或 EfficientNet）上却彻底失败。有时，它们会声称存在一条路径，但实际上那是一条死胡同。
解决方案：“逐层”电梯
本文的作者提出了一种名为LLPF（低损失路径寻找）的新方法。他们意识到，试图一步到位地从机器人 A 走到机器人 B 太难了。相反，他们决定逐层移动。
将神经网络想象成一栋多层建筑：
- 第 1 层是大堂（识别边缘和形状）。
- 第 2 层是一楼（识别眼睛和鼻子）。
- 第 3 层是二楼（识别完整的面孔）。
旧方法试图一次性移动整栋建筑。而新方法则说：“让我们先移动大堂，确保它仍然稳定，然后移动一楼，再移动二楼。”
魔法技巧：方差球体
本文引入了一个巧妙的概念，称为方差球体。想象一下，每次训练一个机器人时，它的大脑都会收敛到一个特定“大小”或“分布范围”的数字集合。
- 如果你用相同的设置训练两个机器人，它们会落在大小大致相同的球体上。
- 新算法确保在从机器人 A 移动到机器人 B 的过程中，每一步都保持大脑的“大小”恒定。它防止机器人因“收缩”或“膨胀”而跌落悬崖。
他们的发现
使用这种新的“电梯”方法，作者发现：
- 它几乎适用于所有情况：他们成功连接了采用现代复杂架构（如 EfficientNet、RegNet 甚至基于 Transformer 的模型）构建的机器人，而以往的方法根本无法触及这些模型。
- 它非常可靠：如果你用不同的随机种子运行实验 100 次，每次都会得到完全相同的光滑路径。旧方法就像抛硬币；而新方法则像轨道上的火车。
- 它 bridged 不同的训练风格：他们甚至成功连接了一个用“重”设置（高权重衰减）训练的机器人与一个用“轻”设置训练的机器人。这就像连接一个为重型卡车设计的机器人与一个为自行车设计的机器人，证明它们实际上属于同一片连续景观。
全局视角
本文并不声称这会立即让你的手机更快或治愈疾病。相反，它解决了一个基本的几何谜题。
它表明，“低损失区域”（所有优秀 AI 模型所在之处）并非被海洋隔开的孤立岛屿群。相反，它很可能是一个巨大的、相连的大陆。即使两个模型在表面上看起来截然不同，只要你知道如何逐层驾驶，就有一条平滑、安全的道路将它们连接起来。
这为科学家们提供了一张新地图，以导航人工智能的复杂世界，证明不同的训练运行并非仅仅是幸运的偶然——它们都是同一段连续旅程的一部分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。