🔬 condensed matter

Architecture-Aware Minimization (A $^2$ M): How to Find Flat Minima in Neural Architecture Search

该论文揭示了可微神经架构搜索空间中高性能架构聚集于平坦区域的几何特性，并据此提出了架构感知最小化（A²M）算法，通过显式引导梯度趋向平坦极小值，在多个基准数据集和搜索空间上显著提升了现有方法的泛化性能。

原作者： Matteo Gambella, Fabrizio Pittorino, Manuel Roveri

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Matteo Gambella, Fabrizio Pittorino, Manuel Roveri

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 A2M（架构感知最小化） 的新方法，旨在让自动设计神经网络（NAS）的过程变得更聪明、更稳健。

为了让你轻松理解，我们可以把设计神经网络想象成在茫茫大海上寻找最完美的“宝藏岛屿”。

1. 背景：我们在找什么？

在机器学习领域，我们需要设计一种叫“神经网络”的数学模型来识别图片、翻译语言等。以前，这需要人类专家凭经验去“试错”，非常耗时。
后来，科学家发明了 NAS（神经架构搜索），让计算机自动去尝试成千上万种不同的网络结构，找出最好的那个。

目前最流行的方法是 DARTS，它就像是一个在迷雾中摸索的探险家。它通过一种“连续”的方式（把离散的选项变成连续的数值）来快速搜索。但是，这个探险家经常迷路，或者找到了一些看起来很美，但一遇到真实世界（新数据）就“水土不服”的假宝藏。

2. 核心发现：地形图的秘密

这篇论文的作者们做了一件很酷的事：他们不再只看“哪里宝藏最多”，而是开始研究这片海域的“地形”。

传统的观点：只要找到一个高准确率的点（宝藏），就万事大吉了。
作者的新发现：
- 平坦的盆地（Flat Minima）：那些真正强大、能泛化（适应新环境）的神经网络，往往聚集在一个宽阔、平坦的盆地里。在这个盆地里，哪怕你稍微改变一下网络结构（比如换个零件），它的性能也不会掉下来。这就像在一个大平原上，无论你怎么走，海拔都差不多，很安全。
- 尖锐的山峰（Sharp Minima）：那些性能差、不稳定的网络，往往位于狭窄、尖锐的山峰上。稍微动一下（改变一个参数），就会立刻掉进深渊，性能暴跌。这就像站在针尖上，稍微一歪就摔下去了。

比喻：
想象你在玩一个寻宝游戏。

普通算法：它可能找到了一个孤零零的、像针尖一样的小土包，上面插着旗子（看起来是最高点）。但风一吹（数据一变），旗子就倒了。
A2M 的发现：真正的宝藏其实藏在一片广阔的高原上。虽然高原上的最高点可能比那个针尖土包低一点点，但整个高原都很高且平坦。在这里，无论你怎么走，都不会掉下去。

3. 解决方案：A2M（架构感知最小化）

基于这个发现，作者发明了 A2M。

以前的做法：探险家（算法）只盯着“哪里最高”看，不管那里是针尖还是平原。
A2M 的做法：它给探险家装了一个**“地形探测器”**。
- 当算法发现一个高点的邻居（稍微改动一下结构）如果性能下降得很厉害，它就意识到：“哦，这里是个针尖，太危险了，我不去。”
- 如果它发现一个高点，周围的邻居性能都差不多好，它就意识到：“哈！这里是个平坦的高原，安全又稳定，我要往这里走！”

简单来说：A2M 不再只追求“最高分”，而是追求“最稳分”。它强迫算法去寻找那些即使稍微改动一下，表现依然很好的“平坦区域”。

4. 效果如何？

作者们在几个著名的测试场（CIFAR-10, CIFAR-100, ImageNet 等）上做了实验，把 A2M 加到了现有的各种算法里。

结果惊人：加上 A2M 后，几乎所有算法的表现都变好了。
- 在 CIFAR-10 上，平均准确率提升了 3.6%。
- 在 CIFAR-100 上，提升了 4.6%。
- 在更复杂的 ImageNet 上，也提升了 3.64%。

这意味着什么？
这就像给所有的赛车手都换上了更稳的轮胎和悬挂系统。虽然他们跑的还是同一条赛道，但因为车更稳了，过弯不飘，所以圈速（准确率）普遍提高了。

5. 总结

这篇论文的核心思想可以概括为：

在自动设计神经网络时，不要只盯着“最高点”看，要去找那些“平坦且宽阔”的高地。因为在那里，模型不仅跑得快，而且站得稳，不容易被风吹倒。

A2M 就是那个帮我们要找到这些“平坦高地”的导航仪。它不需要重新发明轮子，而是可以像插件一样，直接安装在现有的自动设计工具上，让它们变得更聪明、更可靠。

一句话总结：
这就好比找房子，以前的方法只找“视野最高”的（可能是悬崖边），而 A2M 教我们去找“视野好且地基稳固”的平原，这样住起来才既舒服又安全。

论文技术总结：架构感知最小化 (A2M)：如何在神经架构搜索中寻找平坦极小值

1. 研究背景与问题 (Problem)

神经架构搜索 (NAS) 已成为设计高效神经网络的关键工具，特别是可微分 NAS (Differentiable NAS, 如 DARTS) 方法，通过松弛离散架构空间为连续空间，显著降低了搜索成本。然而，现有的 NAS 方法仍面临以下核心挑战：

性能崩溃与泛化能力差：许多 DARTS 变体在搜索过程中容易过拟合（特别是过度依赖跳跃连接），导致最终离散架构的性能远低于超网（Supernet）的验证性能。
架构空间几何性质未被充分探索：虽然深度学习领域对权重空间 (Weight Space) 的损失景观（Loss Landscape）及其“平坦性”（Flatness）与泛化能力的关系已有深入研究（如 SAM 算法），但架构空间 (Architecture Space) 的几何性质（如局部性、平坦区域、精度障碍）仍缺乏系统性理解。
缺乏针对架构空间的平坦性优化：现有的改进方法多集中于正则化或约束跳跃连接，缺乏一种从原理上显式地将搜索引导至架构空间“平坦极小值”的算法框架。

2. 方法论 (Methodology)

本文提出了一种名为 架构感知最小化 (Architecture-Aware Minimization, A2M) 的新框架，旨在通过显式优化架构空间的平坦性来提升泛化能力。

2.1 架构空间几何性质分析

作者首先定义了度量架构空间几何性质的工具：

架构邻域 (Architecture Neighborhoods)：基于最小修改次数定义半径 $R$ $R$ 的邻域。
- 在 NAS-Bench-201 中，通过修改序列中的单个操作定义邻域。
- 在 DARTS 中，通过修改邻接矩阵中的操作或调整连接（保持节点入度约束）定义邻域。
架构路径 (Paths)：构建连接两个不同架构的最短修改路径，并计算路径上的平均精度。
精度障碍 (Accuracy Barriers)：定义路径上最低精度与两端平均精度的差值，用于量化架构间的“隔离”程度。

关键发现：

高表现架构聚集：高精度架构倾向于聚集在架构空间的平坦区域（Flat Regions），其邻域内的架构性能波动小。
低表现架构孤立：低精度架构往往位于尖锐区域，被较高的精度障碍隔离，邻域内性能波动大。
这一发现类比了权重空间中“平坦极小值对应良好泛化”的理论，证明了架构空间同样存在类似的几何特性。

2.2 A2M 算法设计

基于上述发现，作者将权重空间中的 Sharpness-Aware Minimization (SAM) 概念推广到架构参数 $\alpha$ 上，提出了 A2M 算法。

核心思想：在 DARTS 的双层优化（Bi-level Optimization）框架中，修改架构参数 $\alpha$ 的梯度更新规则，使其显式地偏向平坦区域。
数学推导：
标准 DARTS 更新 $\alpha$ $α$ 仅基于验证损失梯度。A2M 引入了类似 USAM (Unnormalized SAM) 的扰动机制。
更新公式近似为：
$\nabla_\alpha L_{val} \approx \nabla_{\tilde{\alpha}} L_{val} + \rho_\alpha \frac{\nabla_{\alpha^+} L_{val} - \nabla_{\alpha^-} L_{val}}{2\epsilon}$
其中：
- $\tilde{\alpha} = \alpha + \rho_\alpha \nabla_\alpha L_{val}$ 是基于 SAM 原理的扰动点。
- $\alpha^\pm = \tilde{\alpha} \pm \epsilon \nabla_{\tilde{\alpha}} L_{val}$ 是用于有限差分近似二阶项（曲率）的进一步扰动点。
- $\rho_\alpha$ 是架构邻域半径超参数。
实现方式：该更新规则可以作为一个即插即用（Plug-in）模块集成到现有的 DARTS 及其变体中，无需改变底层搜索空间结构。

2.3 计算复杂度

A2M 相比一阶 DARTS 增加了计算成本：

权重参数 $w$ 的反向传播次数保持不变（1 次）。
架构参数 $\alpha$ 的反向传播次数从 1 次增加到 4 次。
由于 $|\alpha| \ll |w|$ （架构参数远少于权重参数），整体训练时间仅增加 1.1 倍至 1.3 倍，在可接受范围内。

3. 主要贡献 (Key Contributions)

架构空间几何性质的量化分析：首次系统性地定义了架构邻域和路径，揭示了 NAS-Bench-201 和 DARTS 搜索空间中，高表现架构聚集在平坦区域，而低表现架构被高障碍隔离的几何规律。
提出 A2M 算法：首次将 SAM 思想显式应用于架构参数优化，通过解析推导的梯度更新公式，引导搜索过程朝向架构空间的平坦极小值。
广泛的实验验证：证明了 A2M 可以无缝集成到多种 SOTA DARTS 变体中，并在多个基准数据集和搜索空间上显著提升了泛化性能。

4. 实验结果 (Results)

作者在 NAS-Bench-201 和 DARTS 搜索空间上，针对 CIFAR-10, CIFAR-100, ImageNet-16-120 三个数据集进行了广泛评估。

性能提升：
- 在 CIFAR-10 上，平均测试准确率提升 +3.60%。
- 在 CIFAR-100 上，平均测试准确率提升 +4.60%。
- 在 ImageNet-16-120 上，平均测试准确率提升 +3.64%。
- 特别是在 PC-DARTS 和 DARTS 基线上，提升尤为显著（例如 PC-DARTS 在 ImageNet-16-120 上准确率翻倍）。
几何验证：
- 实验显示，A2M 找到的架构具有更低的精度障碍 (Accuracy Barriers)。
- 在 DARTS 空间的路径分析中，A2M 架构的邻域内性能波动更小，证明了其确实位于更平坦、更稳定的区域。
鲁棒性：A2M 在不同随机种子下表现出更低的方差，说明其找到的解更加稳定。

5. 意义与影响 (Significance)

理论突破：建立了架构空间几何性质（平坦性）与模型泛化能力之间的直接联系，填补了 NAS 领域在几何理解上的空白。
实用价值：A2M 提供了一种简单、通用的“即插即用”方案，能够显著提升现有可微分 NAS 方法的性能，无需重新设计复杂的搜索策略。
未来方向：
- 为离散 NAS 方法（如进化算法、强化学习）寻找平坦区域提供了新的理论视角。
- 指出了未来可结合更先进的 SAM 变体（如自适应扰动半径）来进一步优化计算效率。
- 为研究架构空间与对抗鲁棒性、分布外泛化等属性的关系奠定了基础。

总结：本文通过深入剖析架构空间的几何结构，提出了 A2M 算法，成功将“平坦性优化”从权重空间扩展到架构空间，显著解决了可微分 NAS 中的泛化瓶颈问题，为自动化机器学习（AutoML）领域提供了重要的理论依据和实用工具。