🤖 machine learning

Coverage You Can Steer: Online Conformal Calibration for RL-Driven Hardware-Aware NAS

本文提出了一种利用自适应反馈控制的在线符合性校准框架，用于恢复强化学习驱动的硬件感知神经架构搜索中的无分布假设覆盖保证，从而在不牺牲准确率或违反目标误差率的前提下，实现对 25–50% 候选架构的高效剪枝，尽管该搜索过程具有非可交换性。

原作者： Pedro Brandimarte, Nerea Aranjuelo, Marcos Nieto, Oihana Otaegui

发布于 2026-10-05✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pedro Brandimarte, Nerea Aranjuelo, Marcos Nieto, Oihana Otaegui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：你智能手表、汽车制动系统或医疗传感器中微型计算机所运行的，是目前仅存在于大型数据中心中的那种强大人工智能。这就是边缘人工智能（Edge AI）的愿景：让智能系统能够在本地运行，即时响应，且无需将隐私数据传回云端。但问题在于，这些边缘设备在内存容量和处理速度方面有着极其严格的限制。要设计一个能够适应这些严苛约束的神经网络（一种通过数据进行学习的计算机程序），就像是试图建造一座必须也能塞进鞋盒里的摩天大厦。可能的方案数量如此之巨，涉及数百万种层级、连接和设置的组合，以至于人类设计师根本无法一一测试。

为了解决这个问题，研究人员使用了一种称为“神经架构搜索”（Neural Architecture Search）的方法，即由一个计算机程序自动尝试不同的设计，以寻找最优解。然而，测试单个设计是非常昂贵且缓慢的；它需要通过在数据上训练模型来观察其表现如何。如果一台计算机必须训练数千个设计才能找到一个好的设计，那么这个过程在实际应用中就会因为成本过高而变得不切实际。因此，挑战在于如何判断哪些设计值得投入时间和金钱去进行训练，而哪些设计应该在从未进行完整测试前就立即被舍弃。

西班牙维科姆特克（Vicomtech）的一个研究团队开发出了一种让这种过滤过程变得可靠的新方法。他们解决了一个在无形中破坏了以往尝试的问题：计算机自身的学习过程正在改变比赛的规则。在这些搜索系统中，一个“控制器”会根据其目前所学到的知识来建议新的设计。随着控制器的变得越来越聪明，它所建议的设计也会随之改变。以往用于过滤掉糟糕设计的旧方法假设，在搜索初期建议的设计与在搜索后期建议的设计在统计学上是相似的。但由于控制器正在学习并不断改进，这一假设是错误的。设计方案在不断变化，而旧的过滤器——那些基于早期设计进行校准的过滤器——开始失效。它们要么浪费时间去训练糟糕的设计，要么更糟的是，在对最佳设计进行妥善测试之前，就误将其丢弃了。

研究人员用一个能够实时学习并调整的系统取代了这种静态的一次性过滤器。他们不再是设定一条规则并寄希望于其始终有效，而是使用一个反馈循环来不断检查自身的性能。在每测试完一个设计后，系统都会自问：“我是否正确预测了这个设计是好还是坏？”如果系统犯了错，它会稍微调整其内部的“优秀设计”判定阈值。这种调整是持续发生的，使得系统能够追踪搜索过程的变化。其结果是一个可以被调节至特定安全水平的过滤器。如果研究人员要求 90% 的保证确保不会错过任何好设计，系统就能精准实现；如果他们要求 95%，系统也能照办。这种控制是精确且可重复的，即使在建议的设计方案发生剧烈变化时也依然有效。

该团队在三种不同类型的网络架构上，并在各种数据集上测试了这种方法，模拟了为内存极其有限的微控制器寻找模型的搜索过程。他们发现，这种自适应系统可以在从不进行训练的情况下，安全地丢弃 25% 到 50% 的提议设计，从而节省了大量的计算时间。至关重要的是，这种剪枝过程并未损害最终解决方案的质量。事实上，在其中一个特定的测试案例中，最佳设计是广袤平庸景观中一个罕见的、孤立的峰值，而旧方法反复失败，丢弃了那个最好的设计。而新的自适应方法每次都能找到它。

研究人员还发现，通常用于生成这些设计的“智能”控制器其实并不是寻找最佳架构的最有效方式。当他们将一种复杂的学习控制器与简单的随机搜索进行对比时，发现随机搜索的表现往往不相上下，甚至在许多情况下表现得更好。控制器擅长寻找平均水平的设计，但它容易陷入局部区域并错过那些罕见的完美设计。他们发现，该方法的真正价值不在于控制器本身，而在于那个负责管理预算的校准过滤器。通过将自适应过滤器作为引导下一步行动的指南，而非仅仅作为一个守门员，研究人员可以引导搜索直接走向最佳解决方案。这种“校定的乐观主义”使得系统能够以已知的风险水平去探索那些有前景但尚未经过验证的设计，从而在受限环境下超越了随机猜测甚至更复杂的规划算法。

研究还探讨了当搜索是以逐层构建设计（而非一次性构建）的方式进行时，这些过滤器的表现如何。他们发现，单一的全局过滤规则往往无法考虑到不同构建阶段的具体难点。例如，一个适用于网络早期浅层部分的规则，对于深层、复杂的部分来说可能过于宽松或过于严格。通过将这种自适应方法分别应用于构建的每个阶段，他们可以确保无论网络增长到多深，安全保证都能始终成立。这种细粒度的控制防止了系统产生那些在使用“一刀切”方法时无法察觉的系统性错误。

最终，这项工作表明，在为受限设备设计人工智能的高风险博弈中，最重要的工具不一定是更聪明的预测器，而是一个更诚实的预测器。旧方法依赖于对数据行为的假设，而这些假设会被学习行为本身所打破。新方法放弃了这些假设，转而依赖于一种基于现实的、无分布限制的持续检查，并时刻调整其置信水平。它证明了你可以拥有一个既高效又安全的搜索过程，一个清楚地知道自己承担了多少风险，并且只需通过旋转旋钮即可调节风险大小的搜索过程。这种从静态规则向动态、自我修正控制的转变，为构建下一代资源受限型智能设备提供了一条稳健的路径。

技术摘要：可控覆盖率：面向强化学习驱动的硬件感知神经架构搜索（NAS）的在线共形校准

问题陈述
硬件感知神经架构搜索（HW-NAS）受限于候选架构评估的高昂成本，因为每一个提出的架构都需要经过训练才能确定其奖励（reward）。为了缓解这一问题，前人的工作（如 MARCO）利用共形预测（conformal prediction）过滤器在训练前剔除无望的候选者。这些过滤器依赖于一个代理预测器和一个共形偏移量（conformal offset）来建立真实奖励的上界，从而保证被剔除的候选者以受控的误差概率（ $\delta$ ）低于设定的阈值。

然而，标准的共形预测假设校准集与测试候选集之间具有可交换性（exchangeability）。在强化学习（RL）驱动的 NAS 中，这种假设在构造上是被破坏的：

策略漂移（Policy Drift）： 随着 RL 控制器的学习，所提出的架构分布会偏离用于校准的初始预热分布。
回合内偏移（Within-Episode Shift）： 在顺序、逐层构建的搜索过程中，随着深度的增加，部分网络（partial networks）的分布在单个回合内迅速变化。

因此，静态共形过滤器会遭受“无声退化”：其实际覆盖率会脱离请求的目标值（ $1-\delta$ ），导致要么浪费评估资源（过度覆盖），要么错误地丢弃最优架构（覆盖不足）。周期性重校准虽然可以减轻方差，但无法恢复控制或纠正与深度相关的偏差。

方法论
本文提出使用**自适应共形推理（Adaptive Conformal Inference, ACI）**取代静态分位数估计，并结合多种变体以应对 RL 搜索中的非平稳特性。

自适应共形推理 (ACI)： 该方法不再使用固定偏移量，而是采用在线反馈控制。在每次真实评估后，通过基于误覆盖指标（miscoverage indicator）的次梯度步长来更新共形偏移量 $\alpha_t$ ：
$\alpha_{t+1} = \alpha_t + \gamma (\mathbb{I}\{r_t > g(x_t) + \alpha_t\} - \delta)$
这确保了无论是否存在分布偏移或缺乏可交换性，长期覆盖率都能收敛到目标值 $1-\delta$ 。
AgACI (免调优)： 为了消除对手动调节步长（ $\gamma$ ）的需求，作者利用指数加权（Hedge 算法）聚合了多个具有不同 $\gamma$ 的 ACI 专家，从而创建了一个鲁棒且无需参数的过滤器。
归一化共形 (局部自适应)： 为了实现探索（acquisition），该方法通过来自二级代理的每个候选者难度估计 $u(x)$ 来对非符合性得分进行归一化。这产生了区间宽度 $U(x) = g(x) + q \cdot u(x)$ ，使得边界能够根据不确定性而非仅仅根据预测奖励来对候选者进行排序。
Mondrian 共形 (分组条件化)： 为了解决回合内的深度偏移，该方法为不同的组（例如层深度）维护独立的 ACI 偏移量。这提供了基于特定构建深度的条件覆盖保证，纠正了全局偏移失效时产生的系统性不平衡。
共形采集 (Conformal Acquisition)： 校准后的乐观边界被重新用于采集函数。作者实现了：
- 贪婪采集： 从采样池中选择具有最高乐观边界的候选者。
- 共形乐观 MCTS： 使用校准后的边界为蒙特卡洛树搜索（MCTS）中的叶节点赋值，从而在没有真实训练成本的情况下进行广泛的规划。

核心贡献

策略漂移下的自适应过滤： 本文证明了 ACI 恢复了 RL 驱动 NAS 中的“可控覆盖率”。与静态基线不同，自适应过滤器能将请求的覆盖水平（ $1-\delta$ ）追踪至 $\sim 10^{-3}$ 精度，涵盖三种架构族（LeNet, ResNet, MobileNet）以及单步和顺序搜索两种形式。它在不损失解质量的前提下，剔除了 25–50% 的评估。
面向结构化搜索的条件扩展： 作者指出，边缘校准可能会掩盖系统性误差（例如，在深层出现覆盖不足）。Mondrian 构建纠正了这一点，在搜索频繁访问到的深度处实现了组条件覆盖。
从剪枝到搜索： 校准后的边界被成功用作直接搜索机制。在受限测试平台上，贪婪乐观采集的表现优于随机搜索和 RL 控制器，其中在线校准通过降低方差显著提升了性能。
控制器无关性分析： 研究表明，由于 RL 控制器优化的是期望奖励而非最大值（argmax），它在这些空间上并不优于随机搜索。本文方法的价值在于其校准后的边界本身，它能有效管理评估预算，而无论提议机制如何。

实验结果

校准与可控性： 在三个数据集（MNIST, CIFIA-10, CIFAR-100）上，自适应和 AgACI 过滤器实现了单调且可复现的覆盖率。相比之下，静态拆分共形（split-conformal）基线是不可控的（覆盖率不随 $\delta$ 变化），且在不同种子间表现出高方差。高斯过程（GP）基线则存在严重的置信度失准，其实际覆盖率始终锁定在 0.99 附近，而不随请求水平变化。
解质量： 在具有孤立最优解的景观（类 ResNet）中，由于校准失灵，静态过滤器在每个种子下都会错误地丢弃最优架构。自适应过滤器在剔除 25–50% 候选者的同时，保留了最优解。
深度条件覆盖： 在顺序搜索中，全局 ACI 会在极端深度（过浅或过深，取决于架构族）出现覆盖不足。Mondrian 适配恢复了所有被充分采样的深度的目标覆盖率。
搜索效率： 在受限测试平台（256 kB 内存预算）上，贪婪共形采集在高达 1,000 次评估的预算内均优于随机搜索和 RL 控制器。其增益主要源于边界的乐观性，而在线校准通过减少约 $6\times$ 的方差提供了最后的优势。

意义与主张
本文认为，在学习循环内部，不确定性必须针对结果进行验证，而非仅依赖模型假设。其主要贡献是一个分布无关、基于反馈控制的校准机制，能够应对 RL 搜索中的非平稳性。

作者主张：

恢复了可控性： 从业者可以设定目标风险水平（ $\delta$ ）并获得单调且可复现的结果，这是静态过滤器无法实现的。
控制器并非瓶颈： 在这些空间中，HW-NAS 方法的价值不在于学习到的策略（该策略往往无法超越随机搜索），而在于通过校准边界对评估预算进行高效、安全的管理。
采集是可行的： 既能用于门控评估又能用于引导搜索的校准机制，提供了一个分布无关的 GP-UCB 类比，且不会像基于模型的 GP 那样因漂移而产生模型失准。

论文对局限性保持了审慎态度，指出硬件成本模型是解析性的（未经设备校准），结果依赖于部分训练代理，且当特定组（如极深层）数据匮乏时，深度条件保证会下降。目前针对定向搜索的证据主要限于单一受限测试平台。

类似论文