🤖 machine learning

A Comparative Analysis on the Performance of Upper Confidence Bound Algorithms in Adaptive Deep Neural Networks

本文在自适应深度神经网络中引入并评估了四种先进的置信上限策略（UCB-V、UCB-Tuned、UCB-Bayes 和 UCB-BwK），以优化边缘计算中精度、能耗与延迟之间的权衡，并证明 UCB-V 和 UCB-Tuned 在帕累托前沿上实现了更优越的性能。

原作者： Grigorios Papanikolaou, Ioannis Kontopoulos, Konstantinos Tserpes

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Grigorios Papanikolaou, Ioannis Kontopoulos, Konstantinos Tserpes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在经营一家繁忙的餐厅厨房（你的计算机），每天需要供应数千道菜肴（数据）。你拥有一支技能水平各异的厨师团队，从快速备餐厨师到主厨大师。

问题：“一刀切”的厨房
传统上，每一道订单，无论多么简单，都会一直送到主厨那里。即使顾客只点了一片普通的吐司，厨房也会浪费时间和能量，将其送入整个复杂的烹饪流程。在人工智能领域，这就像为每一张图片（即使是简单的图片）都运行一个庞大的深度神经网络。这会消耗过多电池（能量）并导致过长的延迟，对于依赖有限电力的智能手机或传感器等设备而言，这是一个大问题。

解决方案：“提前退出”策略
本文介绍了一种更聪明的方法，称为自适应深度神经网络（ADNNs）。这相当于在厨房的不同阶段增加了“试吃员”。

如果备餐厨师有 100% 的把握认为吐司完美，他们就可以在此停止并立即上菜。
如果他们不确定，则将其传递给下一位厨师。
如果主厨仍然不确定，他们就会继续直到最后一步。

这被称为**“提前退出”**。其目标是一旦你拥有足够的把握就立即停止，从而节省时间和能量。

挑战：如何决定何时停止？
棘手之处在于设定“何时停止”的规则。

如果停止得太早，你可能会端上烧焦的吐司（低准确率）。
如果等待太久，你就会在简单任务上浪费能量（高延迟）。

此前，研究人员使用一种名为UCB1的简单规则手册来决定何时停止。这就像一位经理说：“让我们先尝试快速退出，但如果失败太多次，我们就尝试下一个。”它运作尚可，但略显僵化。

本文的创新：更优的规则手册
本文的作者问道：“如果我们拥有不同性格的更聪明的经理会怎样？”他们测试了四种新的“经理”（算法），以观察哪一种能做出最佳的提前停止决策：

UCB-V（方差观察者）： 这位经理关注结果的一致性。如果一位厨师一直非常稳定（低方差），这位经理会很快信任他们。如果结果不稳定（高方差），他们就会继续测试更长时间。
UCB-Tuned（保守调节器）： 与方差观察者类似，但增加了一个安全上限。如果事情变得过于不可预测，这位经理就会放慢速度并变得更加谨慎，防止厨房做出鲁莽的决定。
UCB-Bayes（贝叶斯专家）： 这位经理利用基于过往经验的“直觉”（数学先验）。他们非常擅长快速学习正确的规则，但由于在采取行动前需要进行大量复杂的心理计算，他们的思考速度也非常慢。
UCB-BwK（成本计数器）： 这位经理审视每个决策的“代价”。他们不仅关注食物有多好，还会精确计算为此消耗了多少能量，试图在质量和成本之间找到完美的平衡。

实验
研究人员在两种类型的厨房（神经网络）上测试了这些经理：ResNet（一种标准、可靠的厨房）和MobileViT（一种更新、更高效的厨房）。他们向它们输入了数千张图片（来自 CIFAR 数据集），并测量了：

准确率： 有多少菜肴被正确供应？
能量： 消耗了多少电池？
延迟： 供应菜肴花了多长时间？

结果

获胜者： UCB-V 和 UCB-Tuned 整体表现最佳。它们找到了“甜蜜点”，即在不供应劣质食物的情况下，厨房节省了最多的能量和时间。它们主导了“帕累托前沿”，这是一种花哨的说法，意指它们在速度/能量与质量之间提供了最佳的可能权衡。
快速学习者： UCB-Bayes 学习最佳规则的速度最快（“遗憾”最低），意味着它能迅速找出正确的策略。然而，由于它在头脑中进行了如此多的复杂数学运算，它实际上拖慢了厨房的速度，使其对实时设备来说实用性降低。
慢速学习者： 旧标准（UCB1）和成本计数器（UCB-BwK）学习速度较慢，且表现不如那些感知方差的经理。

结论
本文证明，你不需要为每种情况使用相同的简单规则。通过为你的特定设备和任务选择合适的“经理”（算法），你可以构建出速度更快、更节能的 AI 系统。具体而言，对于大多数边缘设备，UCB-V 和 UCB-Tuned 策略是平衡速度、电池寿命和准确性的最佳工具。

以下是论文《自适应深度神经网络中上置信界算法性能的比较分析》的详细技术总结。

1. 问题陈述

边缘计算环境在能耗、延迟和计算资源方面面临严格限制。尽管深度神经网络（DNN）功能强大，但其静态推理过程往往通过完整网络深度处理所有输入，而无论输入难度如何，从而造成资源浪费。

自适应深度神经网络（ADNNs），特别是早退深度神经网络（EEDNNs），通过允许模型在浅层以高置信度做出预测时提前“退出”来解决这一问题。然而，确定最佳的退出置信度阈值是一个关键挑战：

静态阈值效率低下，因为它们无法适应变化的输入难度或资源约束。
当前的动态方法主要依赖于多臂老虎机（MAB）框架中的UCB1（上置信界 1）算法。虽然 UCB1 简单，但它忽略了奖励方差、成本意识和贝叶斯不确定性，可能导致在准确性、能耗和延迟之间的权衡次优。

本文认为，不同的 UCB 变体拥有独特的探索 - 利用策略，可能在特定边缘场景中产生更优越的性能，但这一点尚未得到系统比较。

2. 方法论

作者提出了一个比较框架，其中 MAB 代理动态选择早退的最佳置信度阈值。

A. MAB 框架

臂（Arms）： 每个“臂”代表一个离散的置信度阈值。
奖励函数： 奖励基于预测置信度、可靠性和计算成本之间的权衡计算得出：
$\text{reward} = C_{\text{EEDNN}} \times (1 - C_{\text{Gating}}) - \lambda \times \text{cost}$
- $C_{\text{EEDNN}}$ ：来自 EEDNN 的置信度。
- $C_{\text{Gating}}$ ：来自轻量级门控网络的可靠性评分（越低越好）。
- $\text{cost}$ ：退出点的索引（索引越高 = 层数越多 = 成本越高）。
- $\lambda$ ：风险控制平衡因子。

B. 提出的 UCB 变体

本研究将四种 UCB 变体引入 EEDNN 上下文，以替代标准的 UCB1：

UCB-V： 将经验方差（ $\sigma^2$ ）纳入探索项。它是“方差感知”的，更积极地探索高方差臂，同时更快地转向稳定、低方差的臂。
UCB-Tuned： 类似于 UCB-V，但使用截断方差值（ $\tilde{V}$ ）以防止早期阶段的过度自信。如果方差超过 0.25，则采用保守策略。
UCB-Bayes： 使用贝叶斯不确定性（正态 - 逆伽马先验）代替频率统计。它在奖励的均值和方差上保持后验分布，并随着数据到来更新信念。
UCB-BwK（带背包/成本的多臂老虎机）： 在选择过程中明确考虑了拉取臂的成本。它优化平均奖励与平均成本的比率（ $\mu/c$ ），而不仅仅是最大化奖励。

3. 主要贡献

新颖整合： 首次将 UCB-V、UCB-Tuned、UCB-Bayes 和 UCB-BwK 应用于早退 DNN 中的动态阈值选择。
全面的比较研究： 系统评估这些算法与标准 UCB1 的对比，分析准确性、能耗和延迟之间的权衡。
实证洞察： 证明“最佳”算法取决于具体约束（例如，方差感知算法在能耗/延迟方面表现出色，而贝叶斯方法在收敛速度方面表现出色）。
次线性遗憾证明： 实证验证所有提出的策略均实现了次线性累积遗憾，这是有效 MAB 性能的理论要求。

4. 实验设置与结果

架构： ResNet18、ResNet34、ResNet50 和 MobileViT（CNN-Transformer 混合架构）。
数据集： CIFAR-10、CIFAR-100 和 CIFAR-10.1（用于测试分布偏移）。
指标： 准确率（%）、能耗（通过 CodeCarbon 计算的 kWh）、推理时间（延迟）和累积遗憾。

主要发现：

帕累托优势（准确率 vs. 能耗/延迟）：
- UCB-V 和 UCB-Tuned 始终主导帕累托前沿。它们利用奖励方差的能力使其在次优阈值上浪费的样本更少，从而带来更好的能耗和延迟效率。
- UCB-BwK 在奖励方差不明显的 MobileViT 架构上表现良好，因为它明确优化了奖励与成本的比率。
收敛速度（遗憾）：
- UCB-Bayes 在累积遗憾方面收敛最快（在更少的步骤内达到最佳阈值）。
- 然而，由于后验计算，UCB-Bayes 会产生更高的计算开销，使其在严格延迟约束下不如 UCB-V/Tuned 有吸引力。
模型架构影响：
- 较大的模型（ResNet34/50）从动态阈值中获得的收益显著多于静态方法。
- MobileViT 表现出不同的方差特征，在某些情况下将最佳算法偏好转向 UCB-BwK。
遗憾行为： 所有策略均表现出次线性累积遗憾，证实了其在推理中在线学习的理论有效性。与方差感知和贝叶斯变体相比，UCB1 和 UCB-BwK 通常显示出更高的平均遗憾和更慢的收敛速度。

5. 意义与结论

本文挑战了仅在边缘 AI 自适应推理中使用 UCB1 的现状。它表明**方差感知（UCB-V、UCB-Tuned）和贝叶斯（UCB-Bayes）**策略提供了独特的优势：

针对边缘效率： UCB-V 和 UCB-Tuned 在保持准确性的同时，在最小化能耗和延迟方面更为优越。
针对快速适应： UCB-Bayes 非常适合需要快速收敛到最佳策略的场景，前提是计算开销可以接受。

未来工作： 作者计划探索利用神经网络处理上下文的线性老虎机变体（如 LinUCB），尽管这可能会引入更高的推理成本。

资助： 本研究得到了欧盟“地平线欧洲”研究与创新行动的支持（资助编号 101215032）。