💻 computer science

Structuring Open-Ended NAS: Semi-Automated Design Knowledge Structuring with LLMs for Efficient Neural Architecture Search

本文提出了一种半自动化框架，该框架利用大语言模型将设计知识结构化以构建用于创建多样化搜索空间的高级模板，并结合具有多类型变异和反馈回路的 FairNAD 算法，从而高效地发现高性能神经架构，使其在 CIFAR 和 ImageNet 基准测试中超越现有最先进方法。

原作者： Yuiko Sakuma, Masakazu Yoshimura, Marcel Gröpl, Zitang Sun, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuiko Sakuma, Masakazu Yoshimura, Marcel Gröpl, Zitang Sun, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试打造一台终极、最高效的机器人厨师。过去，工程师必须手动设计每一个齿轮、杠杆和电路。这种方法既缓慢又昂贵，而且受限于工程师已有的知识。

为了加速这一过程，科学家们发明了神经架构搜索（NAS）。你可以把它想象成一个为你建造其他机器人的机器人。然而，传统的 NAS 就像给这个机器人一个预先打包好的小工具箱。它只能混合搭配给定的工具（比如扳手或螺丝刀）。它无法发明新工具，也无法意识到锤子可能更适合这项特定工作。

随后，大型语言模型（LLMs） 出现了，这些“超级智能机器人”能够阅读数百万本书籍并编写代码。研究人员尝试利用这些 LLM 来设计机器人厨师。这令人兴奋，因为 LLM 可以想象出任何工具，而不仅仅是工具箱里的那些。但其中有个陷阱：LLM 常常感到困惑。它会从庞大的记忆中提取过于具体、过于怪异或完全错误的想法，导致搜索过程混乱且低效。

本文介绍了一种名为FairNAD的新方法来解决这一混乱局面。以下是其工作原理，使用简单的类比说明：

1. “结构化图书馆”（半自动化知识结构化）

与其让 LLM 从一堆杂乱无章的论文中随机抓取想法（就像在垃圾堆里挖掘），作者们建立了一个结构化图书馆。

问题：如果你问 LLM“给我一个设计想法”，它可能会建议“为二维照片使用三维激光扫描仪”，这毫无用处。或者，它可能在 70% 的情况下建议“使用某种特定类型的注意力机制”，而忽略了其他好主意。
解决方案：作者们创建了一个树状归档系统（属性树）。他们将设计想法整理成整齐的类别：
- 第一层：这是一个微小部件（操作）、一个模块（块），还是整个机器人（网络）？
- 第二层：它是什么？（例如：特征提取、归一化）。
- 第三层：具体细节（例如：分组卷积）。
类比：想象一位图书管理员，她不会随手递给你一本随机书籍。相反，她会问：“你需要一本关于引擎（操作）的书，还是关于底盘（块）的书？”然后找到你需要的特定V8 引擎（子类别）。这确保了 LLM 获得高质量、相关的想法，而不会陷入单一趋势（例如“一切必须是 Transformer”）。

2. “公平厨师”（FairNAD 框架）

一旦图书馆建立，作者们使用一种称为FairNAD的特殊搜索过程。你可以将其想象为一场烹饪比赛，目标是找到最佳食谱。

阶段 1：“公平想法”品尝（带有公平想法采样的变异）
- 问题：通常，搜索算法只挑选迄今为止看到的“最佳”想法，而忽略那些怪异或微小的想法。
- 解决：FairNAD 强制 LLM 平等地品尝图书馆中每个类别的想法。它确保“小型高效”的想法与“大型强大”的想法拥有同等的测试机会。这防止了搜索陷入僵局。
阶段 2：“帕累托”平衡行动（帕累托感知变异）
- 问题：有时机器人小巧快速但不够聪明；有时它是个天才但太重无法移动。标准搜索往往忽略那些“小但聪明”的机器人，因为它们尚未达到绝对最佳。
- 解决：FairNAD 关注“帕累托前沿”。想象一个图表，一个轴代表“速度”，另一个轴代表“智能”。FairNAD 专门寻找位于该图表边缘的机器人——那些在特定尺寸下最聪明的机器人。如果机器人太小，它会获得“升级”（更多层）；如果太大，它会获得“调优”（更好的设置）。
阶段 3：“迭代抛光”（LLM 驱动的迭代变异）
- 问题：一旦找到好食谱，你就想将其完善。
- 解决：系统选取表现最佳的机器人，并让 LLM 反复微调它们，就像厨师不断品尝并调整调味直到完美为止。
“安全网”（反馈循环）
- 问题：LLM 有时会编写出崩溃的代码、占用过多内存，或制造出只有一条腿的机器人。
- 解决：在新设计被接受之前，它会经过三步检查：
  1. 它能运行吗？（执行检查）
  2. 它太大了吗？（预算检查——如果太重，LLM 会被要求缩小它）。
  3. 它真的是个机器人吗？（结构检查——确保它有多层，而不仅仅是旧设计的复制品）。
- 如果失败，LLM 会被要求立即修复。这保持了搜索的多样性，并防止系统浪费时间在破损的设计上。

结果

作者在标准图像识别任务（例如在照片中识别猫与狗）上测试了该系统。

结果：他们的方法找到了显著优于以往方法的机器人厨师（神经网络）。
得分：在一个数据集上，他们将准确率提高了0.84 分，在另一个数据集上提高了2.17 分，在第三个数据集上提高了2.35 分。在人工智能领域，这些是巨大的飞跃。

总结

简而言之，这篇论文指出：“不要仅仅让超级智能的 AI 随机猜测。给它一个结构化归档系统来组织其知识，并使用一个公平的多步骤过程来测试想法。这样，你得到的不仅仅是任何设计，而是符合你的尺寸和速度限制的最佳可能设计。”

该论文声称，与试图在一堆杂乱无章的未组织想法中进行操作相比，这种方法使新 AI 架构的搜索更快、更多样化，也更成功。

技术摘要：利用半自动化设计知识构建开放式神经架构搜索

问题陈述

当前的神经架构搜索（NAS）方法在搜索空间的灵活性与探索效率之间面临根本性的权衡。传统的 NAS 方法依赖于封闭的、预定义的搜索空间（例如，3x3 卷积等固定算子的组合），这限制了新颖架构的发现。相反，近期基于大语言模型（LLM）辅助的 NAS 方法通过直接生成模型源代码实现了“开放式”搜索，允许创建新的模块和拓扑结构。然而，这些开放式方法往往存在探索效率低下的问题。它们通常依赖于源自 LLM 先验或原始论文挖掘的非结构化知识库，导致以下问题：

偏见与低质量想法：搜索空间可能被过度特定于领域、特定于任务或无关的设计概念所污染（例如，损失函数设计或 3D 点云处理），这些概念并不适用于视觉骨干网络。
低效采样：缺乏结构化组织导致设计想法的采样缺乏多样性，经常遗漏紧凑但高性能的模型，或未能探索帕累托前沿的有希望区域。
违反硬件约束：朴素的变异策略经常生成超出硬件预算（FLOPs、参数量）的模型，导致其被立即丢弃，从而降低了候选者的多样性。

方法论

作者提出了一种双管齐下的方法来解决这些低效问题：半自动化模型设计属性结构化和FairNAD 框架。

1. 半自动化模型设计属性结构化

为了筛选高质量、多样化的设计知识，作者引入了一个分层的模型设计属性树（ $D_{attr}$ ）。

结构：该树分为三个层级：粒度（操作、模块/连接、网络）、主类别（例如，特征提取、归一化）和子类别（例如，分组卷积、层归一化）。
构建：前两个层级由专家预定义，以确保广泛的覆盖范围。子属性通过提示 LLM 参考最先进（SOTA）的模型代码（如 ResNet、ViT、EfficientNet）以及预定义属性模板，进行半自动生成。
知识提取：利用该结构化树从学术论文中筛选和提取设计想法。首先筛选论文，确保其与属性树一致。然后处理有效论文以提取细粒度的想法，并将这些想法标记为 $D_{attr}$ 中对应的属性。此过程过滤掉了无关或过于特定的知识，从而形成了一个经过策划的模型设计知识库（ $D_{kn}$ ）。

2. FairNAD 框架

FairNAD 是一个进化搜索框架，利用结构化知识库执行高效的开放式神经架构设计（NAD）。它采用多类型变异策略和反馈循环：

基于公平想法采样的变异：为了确保无偏探索，想法根据其属性标签（粒度、主类别）从 $D_{kn}$ 中均匀采样。这防止了搜索被流行但可能次优的趋势（例如，过度的注意力机制）所主导。粒度标签还决定了变异目标（例如，修改操作与修改网络结构）。
帕累托感知变异：为了解决遗漏紧凑模型的问题，该阶段从帕累托前沿（平衡准确率与硬件约束）采样父模型。它采用双重策略：
- 扩展：低于硬件预算阈值的模型被扩展（增加宽度/深度）。
- 超参数调整：接近或超过阈值的模型进行超参数调整（例如，核大小、步长）。
LLM 驱动的迭代变异：为了加速收敛，该框架对高性能模型进行迭代优化。LLM 分析成功变异的历史，并在相似属性类别中生成新想法，以进一步优化有希望的候选者。
反馈循环：这是维持多样性和有效性的关键组件。生成的代码需经过三个验证阶段：
1. 执行验证：确保代码可编译且可执行；如果出现错误，则提示 LLM 进行调试。
2. 预算验证：检查 FLOPs 和参数量。如果违反约束，模型会自动缩小（例如，减少深度或宽度），而不是被丢弃。
3. 结构验证：确保模型是多层的，并且在结构上与父模型不同。

主要贡献

半自动化知识结构化：本文提出了一种方法，将论文中的非结构化设计知识组织成分层属性树。这使得能够过滤掉嘈杂的、特定于领域的想法，并为 NAS 创建一个多样化、高质量的知识库。
FairNAD 框架：一种新颖的搜索框架，将多类型变异（公平想法采样、帕累托感知和 LLM 驱动迭代）与反馈循环相结合。这种方法在尊重硬件约束的同时，平衡了探索（多样性）与利用（性能）。
最先进性能：该方法在标准基准测试中展示了相对于现有手工设计和基于 LLM 的 NAS 方法的显著改进。

实验结果

作者在 NAS-Bench-201 基准测试上评估了 FairNAD，使用了 CIFAR-10、CIFAR-100 和 ImageNet16-120 数据集。搜索被限制在特定的参数量（1.5M）和 FLOPs 限制内。

性能提升：与当前最先进的开放式 NAS 方法（NADER）相比，FairNAD 实现了以下测试准确率提升：
- CIFAR-10 上提升 0.84%
- CIFAR-100 上提升 2.17%
- ImageNet16-120 上提升 2.35%
消融研究：
- 结构化知识：使用结构化灵感（相对于原始论文灵感或 LLM 先验）使 CIFAR-100 上的测试准确率提高了 0.37 个百分点。
- 公平采样：实施公平想法采样使准确率提高了 1.81 个百分点，突显了多样化属性探索的重要性。
- 多类型变异：帕累托感知变异与 LLM 驱动迭代变异的结合产生了最佳结果。值得注意的是，仅使用 LLM 驱动的变异是有害的，这证实了帕累托采样所提供的多样性的必要性。
- 反馈循环：移除预算验证器显著降低了性能和通过率，证明了其在保留那些否则会被丢弃的多样化候选者方面的作用。

意义与主张

本文主张，FairNAD 通过证明结构化设计知识对于高效探索至关重要，为未来开放式 NAS 的研究奠定了关键基础。作者认为，仅仅依赖 LLM 的“开放式”能力是不够的；搜索过程必须由经过策划的分层知识引导，并由多阶段变异策略进行平衡。

所发现的架构表现出标准 NAS 中通常不具备的独特特征，例如：

定制的注意力机制（例如，同时使用平均池化和最大池化的 DPCA）。
动态特征共享机制（例如，FeaturePool）。
非标准通道大小和层深度（例如，使用 51、102、204 个通道，而不是 2 的幂次）。
结合 CNN 与位置编码或专用激活函数的混合方法（例如，BandLimitedReLU）。

作者将这项工作定位为迈向减少对手工专家设计依赖的一步，旨在通过以结构化、系统化的方式利用外部知识，发现更强大、更高效且更新颖的神经架构。他们承认搜索的高计算成本，但将其视为实现传统方法无法达到的性能水平所必需的投资。