🤖 machine learning

From Regression to Inference: Meta-Learning Predictors for Neural Architecture Search

本文提出了一种新颖的神经架构搜索框架，该框架以元学习的卷积神经过程替代传统的监督回归，从部分观测中推断架构性能，从而在数据稀缺条件下实现更优越的泛化能力和最先进的选择质量。

原作者： Liping Deng, MingQing Xiao

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Liping Deng, MingQing Xiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

核心难题：大海捞针

想象你正在寻找制作蛋糕的最佳食谱。你有一本包含423,000 种不同食谱的烹饪书（这就是“搜索空间”）。然而，烘焙蛋糕耗时数小时且需要昂贵的原料。你无法烘焙所有 423,000 种蛋糕来找出哪一款最好；你根本没有足够的时间或资金。

因此，你决定只烘焙少数几款蛋糕（比如 172 款）来尝个鲜。基于这少量的样本，你想要推测出剩余 422,828 款未烘焙的食谱中，哪一款效果最好。

这就是**神经架构搜索（NAS）**面临的挑战。在这里，蛋糕代表我们要设计的计算机大脑结构（神经网络），而品尝则代表测试它们解决数学问题的能力。

旧方法：“一刀切”的导师

此前，科学家们试图通过雇佣一位“导师”（一种称为预测器的计算机程序）来解决这个问题。他们会向导师展示那 172 款已烘焙的蛋糕，并说：“这是食谱，这是得分。请学习其中的规律。”

导师会尝试记忆一条固定规则：“如果食谱包含 3 个鸡蛋，得分就是 80。”
**问题在于：**由于导师只看到了极小比例的食谱，它感到困惑。它开始死记硬背它见过的具体蛋糕，而不是学习烘焙的通用原则。当被要求推测一款新的、未见过的食谱时，它往往会做出荒谬的猜测。这就像一个学生死记硬背了练习题的答案，却因考题略有不同而在真实考试中不及格。

新方法：“元学习”侦探

本文作者提出了一种完全不同的方法。他们不是教导师一条固定规则，而是教它如何从部分信息中学习。

他们使用了一种名为**卷积神经过程（ConvNP）**的方法。你可以将其想象成一位通过观察线索来破案的训练有素的侦探，而不是一个死记硬背教科书的學生。

以下是他们训练这位侦探的过程：

“伪造”场景：由于他们只有一份真实的 172 款蛋糕列表，他们创建了数千个“伪造”的训练游戏。他们将这份 172 款的列表打乱，并切割成许多不同的小组。
游戏机制：在每个游戏中，侦探会看到一小组蛋糕（称为“上下文”），并被要求猜测其余部分的得分（称为“目标”）。
课程要点：通过玩数千次这种每次线索都不同的游戏，侦探学会了一项超能力：如何仅凭少量片段推断全貌。它学会了说：“基于这些具体线索，这款蛋糕可能是最好的”，而不仅仅是死记硬背一条静态规则。

秘密武器：“元特征”

为了让这种方法生效，作者必须用侦探能理解的方式来描述蛋糕。他们不仅仅说“巧克力蛋糕”。他们将食谱分解为简单、可量化的统计数据，称之为元特征：

统计信息：有多少巧克力豆？有多少个鸡蛋？
复杂度：食谱有多少步骤？是简单的混合还是复杂的分层？
结构：原料是如何连接的？

他们将这些统计数据转化为一个简单的数字列表（向量），以便侦探能够快速处理。

结果：Top-K 与完整列表

该论文得出了一个关于如何衡量成功的重要发现。

旧目标：“导师将每一款食谱从好到坏排名的准确度如何？”（全局排名）。
新目标：“导师能否选出前 10 名最佳食谱？”（Top-K 选择）。

作者发现，一位导师可能在完美排名整个列表方面表现出色（获得较高的“肯德尔 tau"分数），但仍然无法将绝对最好的食谱排入前 10 名。相反，他们的新 ConvNP 侦探可能无法完美地排名整个列表，但它在寻找前几名优胜者方面表现出色。

在实验（使用 NAS-Bench-101 和 NAS-Bench-201 数据集）中：

当只有少量样本可用时，新方法始终比旧方法发现性能更优的架构。
它在"Recall@K"（召回率@K）方面表现尤为出色，这意味着如果你让它挑选前 10 个候选者，它比其它方法更有可能包含实际最好的那一个。

总结

该论文认为，在 AI 设计的世界里，我们不应试图绘制整个领土的完美地图。相反，我们应该构建一个智能向导，它懂得如何利用仅有的几个路标进行导航。

通过使用元学习（学习如何学习）和合成任务（在虚构场景中进行练习），他们的新预测器即使在之前只见过极少数“针”的情况下，也能更好地在“干草堆”中找到“金针”。他们还提醒我们，在这场游戏中，找出最好的那几个比完美地给整堆东西排名更重要。

技术摘要：从回归到推断：用于神经架构搜索的元学习预测器

问题陈述

神经架构搜索（NAS）旨在自动化深度学习架构的设计，这一任务之所以必要，是因为模型性能高度依赖于架构选择。然而，现代搜索空间的巨大规模使得穷举评估在计算上不可行。基于预测的 NAS 应运而生，它利用学习到的预测器来估算候选架构的性能，而无需进行完整训练。

尽管现有预测器具有实用性，但它们通常依赖监督回归来学习从架构表示到性能指标的固定映射。这种方法在 NAS 背景下面临关键局限：

数据稀缺：NAS 运行在仅能观测到搜索空间极小部分的机制中。
过拟合与泛化：在有限样本上训练的固定映射往往无法泛化到未见过的架构，导致分布外性能不佳。
与部署场景的不一致：传统回归并未明确反映部署场景，在该场景中，预测必须基于对搜索空间的部分观测进行条件化，而非依赖全局固定函数。

方法论

作者提出了对 NAS 性能预测的根本性重构，将确定性回归转变为元学习框架内的条件函数推断。

核心框架：卷积神经过程（ConvNP）

预测器不再学习静态函数 $y = f(x)$ ，而是建模给定观测到的架构–性能对（即上下文集）的目标输出条件分布。作者采用卷积神经过程（ConvNP），其包含：

编码器：将上下文集中的信息聚合为潜在表示。
解码器：基于这些潜在表示预测目标输出。
机制：该模型学习函数分布，使其能够在考虑不确定性的同时，从部分观测中推断未见输出。这利用了卷积结构的平移等变性，从而能够外推至观测输入的支持范围之外。

合成任务构建

为了在元学习范式下训练 ConvNP，作者通过以下方式从单一可用数据集（ $D$ ）生成任务分布：

重采样：通过有放回重采样观测数据来创建合成任务。
打乱：随机排列数据点，以鼓励置换不变性。
上下文 - 目标分割：每个合成任务被严格分割为上下文集（ $C$ ）和目标集（ $T$ ）。这模拟了 NAS 推断场景，即模型必须基于观测架构的子集来预测性能。

元特征提取

作者设计了一组简单而有效的元特征，用于基于单元的架构，重点关注以下三个方面：

统计信息：特定操作（如 $3\times3$ 卷积、 $1\times1$ 卷积）和节点的数量。
架构复杂度：基于复杂度分配给操作的基于路径的权重（例如， $3\times3$ 卷积 = 3，最大池化 = 1），聚合为最大/最小路径权重和总参数量等指标。
结构信息：源自邻接矩阵的指标，包括边数、边节点比以及最大入度/出度。
这些特征被归一化至 $[0, 1]$ 范围。

学习目标

鉴于 NAS 优先识别高性能架构而非完美的分布预测，作者结合了两个目标：

回归损失（ $L_{MSE}$ ）：鼓励准确预测验证准确率。
排序损失（ $L_{rank}$ ）：一种基于成对边距的损失，强制目标集中候选架构的正确相对排序。
总目标为 $L_{total} = L_{MSE} + \lambda L_{rank}$ 。作者指出，经验表明，基于似然的目标（神经过程中的标准做法）在架构选择方面不如带有排序监督的直接均值预测有效和高效。

主要贡献

新公式：本文利用 ConvNP 将 NAS 预测重新定义为条件函数推断问题，从固定映射转向基于部分观测的条件化模型。
元学习策略：提出了一种通过重采样和打乱生成合成任务的策略，使预测器能够在极端数据稀缺下实现泛化。
评估视角：作者认为，强大的全局排序指标（如肯德尔 tau）并不一定转化为更好的架构选择。他们主张采用面向选择的指标，如 Top-K 性能。
实证验证：在 NAS-Bench-101 和 NAS-Bench-201 上的综合实验证明了该方法的有效性。

实验结果

该方法在 NAS-Bench-101（CIFAR-10）和 NAS-Bench-201（CIFAR-10、CIFAR-100、ImageNet16-120）上进行了评估，对比了多种基线，包括回归模型（LR、RF、MLP、XGB）、基于图神经网络的预测器（NP、CAP、CARL）以及搜索算法（RS、RE）。

预测精度：ConvNP 实现了具有竞争力或更优的验证和测试准确率。在 NAS-Bench-101 上，其验证准确率达到 94.76%，测试准确率达到 94.09%，优于大多数回归基线和搜索算法。
Top-K 性能：虽然与 CARL 等专用排序方法相比，ConvNP 并未总是实现最高的全局排序相关性（肯德尔 tau），但它始终表现出更优越的Recall@k。随着 $k$ 的增加，它更有效地识别出高性能架构，特别是在低数据 regime 中。
数据效率：改变训练集大小（从 50 到 860 个样本）的实验表明，ConvNP 在低数据 regime 中从数据增加中获益显著，随着数据量增长，性能提升趋于饱和。
消融研究：移除上下文 - 目标分割或合成任务生成会导致性能显著下降，证实了元学习公式的必要性。结合回归和排序损失被证明优于单独使用其中任何一种。

意义与主张

本文声称，其主要意义在于将 NAS 预测器的训练过程与实际部署场景对齐。通过将预测建模为从部分观测中的推断，该方法比传统监督回归更有效地解决了 NAS 固有的数据稀缺问题。

一个关键见解是，全局排序指标并不总是与 NAS 的实际目标一致。作者证明，优化面向选择的指标（Top-K）能产生更有效的架构选择，即使其全局排序相关性略低于专用排序模型。这项工作表明，未来的 NAS 预测器应优先考虑概率和元学习方法，以更好地反映搜索过程的条件性质。

作者承认了一些局限性，包括与专用排序预测器相比全局排序性能略低、对合成任务设计的敏感性，以及相比简单回归器额外的计算开销。他们还指出，目前的评估仅限于特定的基准搜索空间。