Each language version is independently generated for its own context, not a direct translation.

想象一下，你是一位建筑师，受命建造一座房屋。长期以来，唯一重要的事是让房屋外观漂亮（高准确率）。但随着我们开始将这些“房屋”（AI 模型）从蓝图带入现实世界，我们意识到仅仅外观漂亮是不够的。

这篇题为HERCULES的论文指出，要建造一座真正成功的 AI 房屋，你需要同时平衡三个艰难的目标：

效率：房屋必须足够小，以便安装在微小的电池供电设备（如智能手表或传感器）上，且能耗极低。
鲁棒性：房屋必须足够坚固，以抵御风暴、地震，甚至有人试图闯入（对抗性攻击或硬件噪声）。
持续学习：房屋必须能够随时间成长和变化。如果有新家庭成员搬入（新任务），房屋应能扩展以容纳他们，而不会导致旧房间坍塌（遗忘先前的知识）。

问题：“孤岛”式方法

作者指出，当前的 AI 研究人员通常只专注于这三者中的一个来建造房屋。

有些人建造了节能但一遇风暴就会倒塌的微型房屋。
有些人建造了像堡垒一样超级坚固但过于沉重无法移动的房屋。
有些人建造了可以轻松添加新房间的房屋，但它们太大，会瞬间耗尽电池电量。

该论文声称，在现实世界中，你需要一座能同时实现这三者的房屋。

解决方案：HERCULES 框架

作者提出了一个名为HERCULES（硬件高效、鲁棒且持续学习搜索）的新框架。他们以希腊英雄赫拉克勒斯（Hercules）的名字命名，因为这项任务就像这位英雄一样，是“令人望而生畏”的。

将 HERCULES 想象成一位总建筑师，他不仅仅绘制静态蓝图。相反，这位建筑师设计了一座具有两个特殊功能的“活”房屋：

“智能开关”（动态适应性）：
想象一座拥有智能照明系统的房屋。如果你只是在走廊里行走，灯光会调暗（节省能源）。但如果你在烹饪复杂的菜肴，灯光就会调亮（消耗更多电力以获得更好的结果）。
- 在论文中：这被称为动态神经网络。AI 可以选择对简单任务进行“快速猜测”（节省能源），或对困难任务进行“深度挖掘”（确保准确率）。如果硬件开始出现故障，它还可以重新路由其内部连线。
“模块化扩展”（持续学习）：
想象一座拥有魔法地基的房屋。当新家庭成员到来时，房屋可以温和地添加一个新翼，而无需拆除旧的部分。
- 在论文中：这解决了“灾难性遗忘”问题。AI 通过略微扩展其结构来学习新任务，而不是覆盖其旧记忆。

HERCULES 的“十二项苦役”

正如赫拉克勒斯必须完成十二项不可能的任务一样，作者表示，建造这座完美的 AI 需要克服12 项具体挑战（或称“苦役”）。以下是其中最重要的几项，已转化为日常用语：

苦役 1：现实世界测试（软硬件协同设计）。
不要只在纸上计算需要多少砖块。你必须在房屋实际矗立的真实地形上进行测试。AI 设计必须考虑其运行芯片的具体特性。
苦役 2：风暴测试（可扩展的鲁棒性）。
你不能等到飓风来袭才测试房屋是否安全。你需要一种在设计阶段快速模拟风暴的方法，以确保房屋不会倒塌。
苦役 3：平衡术（可塑性 vs. 稳定性）。
这是最困难的部分。你希望房屋足够灵活，可以添加新房间（可塑性），但又足够稳定，新房间不会震裂地基（稳定性）。该框架必须找到完美的平衡点。
苦役 12：长远视角（生命周期可持续性）。
大多数 AI 是“部署后遗忘”。HERCULES 问道：“五年后，当硬件变旧或数据发生变化时会发生什么？”设计必须具有长期的可持续性，而不仅仅适用于第一天。

为什么这很重要

该论文得出结论，我们不能再依赖分离的工具来分别实现效率、强度和增长。我们需要一种统一的方法。

HERCULES是构建以下 AI 的路线图：

轻量级：足以在你的手机或传感器上运行。
坚韧：足以应对不良数据或硬件故障。
适应性：足以永远学习新事物而不遗忘旧知识。

这是一项呼吁：停止建造“静态”AI，开始建造能够生存于混乱、变化且资源匮乏的现实世界的“活”AI。

Each language version is independently generated for its own context, not a direct translation.

技术摘要：HERCULES——硬件高效、鲁棒、持续学习的神经网络架构搜索

1. 问题陈述

神经网络架构搜索（NAS）传统上侧重于优化精度与硬件效率（如延迟、内存、能耗）之间的权衡。然而，随着人工智能系统从静态基准测试转向现实世界部署，这种双重焦点已显不足。现代人工智能应用面临三个正交却又相互关联的挑战：

效率：需要在边缘设备上在严格的资源约束（能耗、内存、计算能力）内运行。
鲁棒性：要求在环境变化下保持可靠性，包括对抗性扰动、硬件引起的噪声（例如新兴存储器中的电导漂移）以及分布偏移。
持续学习（CL）：能够在不产生灾难性遗忘的情况下适应顺序任务，平衡可塑性（学习新知识）与稳定性（保留旧知识）。

当前的 NAS 文献大多将这些目标孤立处理。虽然存在关于硬件感知 NAS、鲁棒 NAS 或持续学习 NAS 的综述，但没有任何一种观点将这三者视为同等基础并提供统一的视角。此外，现有解决方案往往未能考虑到现实世界部署的动态性质，即模型必须适应随时间变化的数据流和硬件退化。本研究旨在解决的核心问题是：是否有可能自动化设计神经网络架构，使其在尊重严格能耗预算和不断变化的任务要求的同时，在硬件噪声和数据偏移下保持性能可靠性？

2. 方法论与分类法

本文通过效率、鲁棒性和持续学习的“三重透镜”，提出了 NAS 方法的全面分类法。它将现有方法归类为三大支柱，并分析其交集：

A. 效率（硬件感知 NAS）

该综述回顾了针对资源受限环境进行优化的方法，分为以下几类：

模型压缩：将剪枝、量化和架构缩放直接集成到搜索循环中（例如 MSuNAS、CNAS、APQ）。
动态神经网络：根据输入复杂度调整计算的架构，例如早退网络（EENN）、混合专家模型（MoE）和多分支网络（例如 EExNAS、HADAS、InstaNAS）。
软硬件协同设计：联合优化神经网络架构和加速器参数（例如 FPGA/ASIC 配置、数据流），以实现固定任一方都无法达到的帕累托最优解（例如 Codesign-NAS、DNA、NACIM）。

B. 鲁棒性

本文将鲁棒性感知 NAS 分为五种扰动源：

平坦度优化：在损失景观中寻找平坦极小值，以提高泛化能力和稳定性（例如 R-DARTS、GeNAS、A2M）。
对抗鲁棒性：利用对抗训练和 Lipschitz 正则化等技术，针对故意扰动进行优化（例如 ADVRUSH、RNAS、WsrNAS）。
硬件噪声鲁棒性：解决存内计算（IMC）器件（如 RRAM 和 PCM）中的非理想性，包括电导漂移和随机开关（例如 CMQ、UAE、AnalogNAS）。
资源偏移鲁棒性：适应动态能量可用性（例如能量收集场景）。
多模态鲁棒性：确保在不同模态和领域偏移下的稳定性（例如 NAS-OOD、MFAS、Harmonic-NAS）。

C. 持续学习

综述指出，很少有 NAS 工作孤立地优化持续学习。大多数专注于持续学习的 NAS 方法都是在与效率联合优化的背景下进行审查的。关键方法包括：

基于扩展的方法：随着新任务的到来，动态增加网络宽度或深度（例如 Continual NAS、CLEAS、BNS）。
基于正则化的方法：使用惩罚项防止权重更新干扰先前的任务（例如 REC）。
基于蒸馏的方法：将知识从旧模型转移到新模型。

D. 差距

本文指出了当前解决方案的关键弱点：

静态视角：大多数硬件感知 NAS 假设环境是静态且无噪声的，未能预见随时间推移的硬件退化或分布偏移。
时间盲区：专注于鲁棒性的 NAS 往往忽视了适应性的需求，创建了鲁棒但僵化（无法学习新任务）的模型。
硬件开销：鲁棒架构通常会产生显著的参数开销，使其不适合 TinyML 预算。
孤立性：效率、鲁棒性和持续学习很少被联合优化，导致现实世界部署的权衡次优。

3. 主要贡献：HERCULES 框架

为了弥补这些差距，作者提出了HERCULES（硬件高效、鲁棒且持续学习搜索），这是一个面向下一代 NAS 的新框架和分类法。

框架架构

HERCULES 通过引入**架构适配器（Arch Adapter）**模块扩展了传统 NAS，该模块将基础架构（来自搜索空间 $\Gamma_x$ ）与动态能力（来自配置空间 $\Gamma_\theta$ ）相结合，创建了一个精细化的搜索空间 $\Gamma_{\tilde{x}}$ 。

输入：数据集、架构集合、动态行为超参数、评估参数、先验信息（例如硬件噪声概况、能量收集模式）以及约束条件。
输出：一组帕累托最优神经网络，可以是静态的或动态的（包含运行时适应性）。
优化目标：一个受约束的多目标函数，最小化成本函数 $G$ $G$ ，该函数平衡：
- $F_A(\tilde{x})$ ：精度（或持续学习的平均增量精度 $F_{AIA}$ ）。
- $F_C(\tilde{x})$ ：资源成本（延迟、能耗、内存）。
- $F_R(\tilde{x}, \rho, \Delta)$ ：针对各种环境扰动的鲁棒性。

HERCULES 的十二项苦役

本文定义了实现可部署、终身学习人工智能系统所需的十二项技术挑战（期望条件）：

软硬件协同设计：将 NAS 与编译器和运行时集成，以获得实际性能。
可扩展的鲁棒性估计：在不产生过高开销的情况下高效估计鲁棒性指标。
可塑性 - 稳定性平衡：显式优化学习新任务与保留旧知识之间的权衡。
部署保真度：利用先验信息，确保搜索时的评估能真实近似现实世界的运行条件。
目标建模：将效率、鲁棒性和持续学习视为正交的、首要的目标。
动态适应性：同时优化静态模式和运行时自适应策略。
表达性搜索空间：包含能够在所有三个支柱上进行优化的架构块。
多目标搜索策略：开发算法以导航这三个目标非凸的帕累托前沿。
环境对齐：针对特定部署环境定制搜索空间和策略。
基准可复现性：提出统一的HERCULES-Bench，结合增量学习、分布外（OOD）鲁棒性和硬件变异性。
搜索效率：优化 NAS 过程本身的计算成本。
生命周期可持续性：考虑长期部署成本，包括在老化硬件下的重新训练和维护。

4. 结果与证据

本文并未展示来自新算法的实验结果，而是提供了对现有文献的全面综述与综合。

表 I–VIII：本文系统地分类并总结了三大支柱中的 50 多种 NAS 方法。详细列出了它们的目标、搜索成本、数据集和性能指标。
差距分析：综述表明，虽然各个支柱已被充分研究，但联合优化却很少见。例如，很少有工作孤立地优化持续学习；大多数是与效率联合进行的。同样，鲁棒性往往以牺牲效率为代价，而动态适应性才刚刚开始与鲁棒性和效率集成。
综合：分析表明，该领域正朝着联合优化的必要性收敛，验证了 HERCULES 框架的需求。

5. 意义与主张

本文主张其作为神经网络架构搜索领域的路线图具有重要意义。

统一视角：这是第一篇明确将效率、鲁棒性和持续学习视为同等基础且正交目标的综述，超越了当前研究的孤岛视角。
范式转变：它主张从“部署即遗忘”的静态 NAS 转向考虑环境和时间动态的“终身学习”动态 NAS。
基础框架：通过定义 HERCULES 及其十二项苦役，本文为未来研究提供了一套结构化的期望条件，指导真正可部署的人工智能系统的开发。
未来方向：本文谦逊地指出，虽然 HERCULES 为设计动态网络提供了框架，但未来的工作必须将适应性整合到搜索过程本身（动态 NAS）中，并与真实硬件反馈形成闭环，以实现“自动进化”系统。

总之，本文提出，人工智能部署的未来依赖于不仅准确，而且本质上具有弹性、资源感知并能随运行环境演进的架构。HERCULES 被提议为实现这一目标的概念和技术基础。

HERCULES: Hardware-Efficient, Robust, Continual Learning Neural Architecture Search