🤖 machine learning

Bilevel Optimization for Neural Architecture Search

本文通过双层优化（bilevel optimization）的视角，对神经架构搜索（NAS）进行了结构化的综述，将现有方法归类为基于采样的方法和基于理论的方法，同时倡导一种利用二阶信息的新型辅助数学规划框架，旨在实现比传统采样方法更高的准确性和效率。

原作者： Abhishek Shukla, Ankur Sinha, Faiz Hamid

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Abhishek Shukla, Ankur Sinha, Faiz Hamid

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：建造一座更好的工厂

想象一下，你正试图建造世界上最高效的工厂，用来生产一种特定的产品（比如一个能识别照片中猫咪的神经网络）。

你有两项主要工作要做，但这两项工作非常棘手，因为它们相互依赖：

建筑师（领导者）： 你需要决定工厂的蓝图。要盖多少层楼？走廊要多宽？每一层楼放置什么样的机器？这些是架构参数（Architecture Parameters）。
经理（跟随者）： 一旦蓝图绘制完成，你需要雇佣工人并培训他们，让他们完美地操作机器。你会调整他们的排班和技能，使工厂运行得尽可能顺畅。这些是模型权重（Model Weights）。

问题在于：在蓝图完全绘制好之前，你无法知道一个蓝图是否优秀；但在有了蓝图之前，你也无法训练工人。这形成了一个循环。

什么是“双层优化”（Bilevel Optimization）？

论文称之为双层优化问题。可以把它想象成一场**将军（建筑师）与士兵（经理）**之间的国际象棋对弈。

士兵的任务： 无论将军下达什么命令，士兵都会针对该特定命令采取最佳策略来争取胜利。
将军的任务： 将军必须在选择命令（蓝图）时，预见到士兵会对该命令做出完美反应。将军的目标是选择一个能带来整体最佳胜利的命令，前提是假设士兵会发挥出最高水平。

在 AI 世界中，“将军”试图找到最佳的网络形状，而“士兵”则是通过训练网络权重来最小化误差的计算机。

两大主要策略

论文回顾了研究人员尝试解决这个“将军 vs 士兵”问题的各种方法。他们将这些方法分为两大阵营：

1. “猜与检”阵营（基于采样的法）

想象你被蒙上了眼睛，试图寻找最好的蓝图。

网格搜索（Grid Search）： 你逐一尝试每一种楼层数量和走廊宽度的组合。这种方法很彻底，但耗时极长。
随机搜索（Random Search）： 你闭上眼睛随机挑选蓝图。令人惊讶的是，这种方法通常比尝试所有组合更有效，因为你不会在糟糕的组合上浪费时间。
进化算法（Evolutionary Algorithms）： 你创造一个蓝图的“种群”。表现最好的蓝图得以生存并“繁衍”产生新的蓝图，而差的蓝图则会被淘汰。
强化学习（Reinforcement Learning）： 你雇佣一个机器人代理，它通过试错来学习。它尝试一个蓝图，观察工厂运行得如何，然后学习下次如何挑选更好的蓝图。

代价： 这些方法就像是在黑板上投掷飞镖。它们有效，但速度慢且计算成本高（消耗大量的计算资源）。

2. “数学引导”阵营（基于双层理论的法）

这些方法不再靠猜测，而是利用高级数学来计算精确的方向。

核心思想： 这些方法不再只是改变蓝图然后祈祷结果，而是计算蓝图的一个微小变化将如何影响训练好的工人。
可微神经架构搜索（如 DARTS）： 想象蓝图不是由坚硬的方块组成的，而是由一种柔软、有弹性的凝胶组成的。你可以平滑地拉伸或收缩蓝图的各个部分。这使得计算机可以使用“梯度”（数学斜率）沿着山坡滑向完美的方案设计，而不是盲目地跳跃。
新方法（辅助数学规划）： 这是本文的主要贡献。作者提出了一个新的“规则书”（辅助数学程序）。
- 隐喻： 想象你正在下山（最小化误差）。通常情况下，你只需要向下迈出一步。但在这种问题中，如果你移动了脚的位置（改变了蓝图），地面也会随之移动（工人们会重新训练）。
- 创新点： 作者的方法在迈出一步之前，先解开了一个小的数学谜题。这个谜题确保了当你移动蓝图时，你也同时调整了工人的训练，使得工人在新的蓝图下依然保持完美优化。它保证了你是在朝着山坡最真实的、最陡峭的方向移动，而不会意外地因为工人的“最优性”而跌倒。

为什么这很重要？

论文对比了这两个阵营，发现**数学引导（双层理论）**通常胜出。

准确度： 由数学引导方法建造的工厂生产出的产品更好（更高的准确率）。
效率： 它们能更快地找到最佳设计，使用更少的计算资源（更少的 GPU 天数）。

“超局部搜索”的额外奖励

论文还提到了其数学框架的一个很酷的副作用。它不仅可以用于建造工厂，还可以用于微调（Fine-tuning）。

类比： 想象你拥有一台非常复杂、昂贵的机器（比如大型语言模型）。有时它会“卡住”或者记住错误的东西（过拟合）。
解决方法： 作者的方法允许你同时对机器的设置及其内部齿轮进行微小且精确的调整。他们在大型 AI 模型（GPT-2）上进行了测试，发现这种“微调”有助于模型更好地泛化并避免过拟合，使其变得更聪明、更可靠。

总结

这篇论文认为，构建 AI 网络是设计结构与训练权重之间的一场双人舞。旧的方法试图通过投掷飞镖来猜测最佳设计，而新方法则使用一个复杂的数学“舞伴”，以确保每一步都完美无瑕。作者的新方法就像是一个 GPS，它不仅告诉你该往哪走，还能实时重新计算路况，确保你永远不会被困住，从而实现更快、更好的 AI 设计。

技术摘要：神经架构搜索中的双层优化

1. 问题定义

本文探讨了神经架构搜索 (NAS) 的挑战，这是超参数优化 (HPO) 和自动化机器学习 (AutoML) 的一个子领域。其核心问题是如何从庞大、高维且通常是离散的搜索空间中，自动发现最优的神经网络架构。

作者将 NAS 建模为一个双层优化问题 (Bilevel Optimization Problem, BOP)，其特征具有层级结构：

上层 (领导者/Leader)： 优化架构参数 ( $A$ ) 以最小化验证损失 ( $L_v$ )，旨在实现泛化。
下层 (跟随者/Follower)： 在给定架构 $A$ 的情况下，优化模型权重 ( $W$ ) 以最小化训练损失 ( $L_t$ )。

在数学上，这可以表示为：
$\min_{A} L_v(A, \hat{W}) \quad \text{s.t.} \quad \hat{W} \in \arg\min_{W} L_t(A, W)$

论文强调，传统的单层方法往往无法考虑到架构与权重之间的相互依赖关系，从而导致过拟合或次优的泛化性能。此外，由于存在多个下层最优解（例如，不同的权重初始化可能产生相同的训练损失），这引入了歧义性，需要特定的公式（乐观型 vs. 悲观型）来定义领导者的目标。

2. 方法论与框架

论文将现有的 NAS 方法分为两大类，并引入了一种特定的理论进展。

A. 基于采样的算法 (Sampling-Based Methods)

这些方法将搜索空间视为黑盒，使用启发式或概率机制来评估候选架构。它们包括：

网格搜索与随机搜索 (Grid and Random Search)： 对离散超参数进行穷举或随机采样。
贝叶斯优化 (Bayesian Optimization)： 使用代理模型（如高斯过程、TPE）来引导搜索。
进化计算 (Evolutionary Computation, EC)： 通过变异和交叉来进化架构种群。
强化学习 (Reinforcement Learning, RL)： 使用控制器（如 RNN）根据奖励信号（验证性能）来采样架构。
局限性： 这些方法通常计算成本极高，需要数千个 GPU 天，且缺乏基于梯度的更新所需的理论严密性。

B. 基于双层理论的方法 (Bilevel Theory-Based Methods)

这些方法显式地求解嵌套优化问题，通常利用可微性。

KKT 重构 (KKT Reformulation)： 将下层问题替换为其 Karush-Kuhn-Tucker (KKT) 条件（例如 $\nabla_W L_t = 0$ ），从而将 BOP 转换为受约束的单层问题。
代理近似 (Surrogate Approximation)： 使用学习到的模型来近似下层的反应集或最优值函数，从而减少重复进行内层训练的需求。
基于超梯度的算法 (例如 DARTS)： 将离散的架构空间松弛到连续域。它们通过隐式微分或展开优化来计算“超梯度”（即验证损失相对于架构参数的梯度）。这使得高效的基于梯度的更新成为可能。
- 机制： DARTS 将有向无环图 (DAG) 中的边表示为候选操作的加权和。它交替执行更新权重（最小化训练损失）和更新架构参数（最小化验证损失）。

C. 提出的贡献：辅助数学规划框架 (Auxiliary Mathematical Programming Framework)

论文强调了一个特定的研究方向，即通过辅助数学规划框架来解决双层 NAS 公式。

核心思想： 该方法不是独立地更新架构参数（这可能会破坏模型权重的最优性），而是通过求解一个辅助优化问题来确定架构 ( $A$ ) 和权重 ( $W$ ) 的联合下降方向。
数学公式： 该方法寻求最速下降方向 $(dA, dW) $，在严格保持下层最优条件 ($ $，在严格保持下层最优条件 ($ \nabla_W L_t = 0$) 的同时，最小化验证损失。
- 这被公式化为一个二阶锥规划 (SOCP) 或在松弛条件下为一个线性规划 (LP)。
- 约束条件 $H_{21}dA + H_{22}dW = 0$ （源自对下层最优条件的微分）确保权重更新能够补偿架构的变化，使模型维持在训练损失的局部最优状态。
实现： 为了处理 Hessian 矩阵的计算成本，该框架采用了近似方法（如 L-BFGS、简化 Hessian 子集）以及诸如 LP-DARTS（确定性参数选择）和 SOCP-DARTS（随机参数选择）等策略。
扩展： 同样的辅助程序也被应用于超局部搜索 (Hyperlocal Search)，即同时微调超参数和模型参数，以提高 Transformer 微调等任务中的泛化能力。

3. 关键结果

论文在标准基准测试 (CIFAR-10, ImageNet) 和特定实验设置下对 NAS 方法进行了对比分析：

效率与准确率： 基于采样的算法 (RL, EC) 虽然能达到较高的准确率，但计算成本巨大（数百至数千个 GPU 天）。可微方法 (DARTS, PC-DARTS) 在保持竞争力的准确率的同时，将这一成本降低了数个数量级（1–10 个 GPU 天）。
辅助程序方法的表现：
- 在 CIFAR-10 和 ImageNet 的限时实验中，基于辅助框架的 LP-DARTS 和 SOCP-DARTS 与标准 DARTS 及其他变体 (P-DARTS, PC-DARTS, STO-DARTS) 相比，实现了更高的 Top-1 准确率和更好的参数效率。
- 例如，在 CIFAR-10 上，LP-DARTS 仅用 1.66M 参数就达到了 92.56% 的准确率，在相似的计算预算下优于 DARTS (82.57%, 3.38M 参数)。
超局部搜索： 将辅助框架应用于超参数调优（例如在 GPT-2 上）的结果表明，与标准的基于采样的调优相比，该方法在测试困惑度 (perplexity) 和泛化能力方面表现出持续的提升，有效地控制了过拟合。

4. 重要性与主张

论文声称，双层优化提供了一个统一的理论框架，架起了自动化架构设计与严谨数学优化之间的桥梁。

理论一致性： 不同于将搜索视为黑盒的采样法，基于双层理论的方法（特别是使用辅助程序的算法）确保了架构更新在数学上与训练模型的最优性保持一致。这带来了更具原则性的结果。
双层方法的优越性： 作者断言，双层理论方法在准确率和效率方面通常优于基于采样的算法。通过辅助程序引入的二阶信息允许进行系统性的更新，从而保持模型的最优性，而这在标准的超梯度方法中往往是缺失的。
未来方向： 论文将双层优化定位为下一代 NAS 的基础。它建议未来的研究应侧重于可扩展的结构化 Hessian 近似、统一可微方法与辅助规划的混合方案，并将这些原则扩展到更广泛的领域，如大型语言模型和多模态系统。

总之，论文认为，从启发式采样转向原则性的双层优化——特别是通过辅助数学规划——为实现高效、可泛化且自动化的神经架构设计提供了一条稳健的路径。