💻 computer science

BlankSkip: Early-exit Object Detection onboard Nano-drones

本文提出了名为 BlankSkip 的自适应网络，通过在纳米无人机上利用辅助分类任务实现“无目标”帧的早期退出，在仅造成极小检测精度损失（0.015 mAP）的情况下，将平均吞吐量提升了 24%。

原作者： Carlo Marra, Beatrice Alessandra Motetti, Alessio Burrello, Enrico Macii, Massimo Poncino, Daniele Jahier Pagliari

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Carlo Marra, Beatrice Alessandra Motetti, Alessio Burrello, Enrico Macii, Massimo Poncino, Daniele Jahier Pagliari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 BLANKSKIP 的聪明小发明，专门用来帮助微型无人机（Nano-drones）在飞行时“偷懒”，从而飞得更久、反应更快。

想象一下，你手里拿着一只只有硬币大小的微型无人机。它非常灵活，能钻进狭窄的缝隙去执行搜救或检查任务。但是，它的“大脑”（芯片）非常小，电量也很少，就像是一个只有几块钱预算的微型计算器。

1. 遇到的难题：小马拉大车

通常，让无人机自动识别物体（比如看到瓶子、罐子或人），需要运行一个非常复杂的“视觉神经网络”。这就像让那个微型计算器去解一道高等数学题。

问题：无人机在飞行时，摄像头会不停地拍照。但在很多瞬间，画面里可能什么都没有（比如对着天花板、墙壁或空旷的地板）。
浪费：如果无人机不管画面里有没有东西，每次都强行把这道“高等数学题”解完，那就太浪费电和时间了。这就好比每次出门买酱油，不管家里有没有酱油，都要先开车去超市转一圈再回来。

2. 解决方案：BLANKSKIP（空白跳过）

作者们想出了一个绝妙的办法：“先问一句，再决定做不做”。

他们给无人机的大脑加了一个超级简单的“守门员”（辅助分类器）。

工作流程：
1. 当摄像头拍下一张照片时，先交给这个“守门员”看一眼。
2. 守门员的任务很简单：它只负责判断“这张图里有没有我们要找的东西？”
3. 如果守门员说“没有”（比如全是白墙）：无人机直接跳过后面所有复杂的计算，直接看下一张图。这叫“早退”（Early-exit）。
4. 如果守门员说“有”：这时候才启动那个复杂的“大脑”去详细分析物体在哪里、是什么。

3. 这个办法有多好？

这就好比你在安检口：

以前的做法：不管你是来上班的还是来旅游的，每个人都必须脱鞋、解皮带、把包全倒出来，接受最严格的全身扫描。这很慢，而且安检员（无人机芯片）累得半死。
BLANKSKIP 的做法：先派一个快速安检员看一眼。如果你手里空空如也（画面是空的），他直接挥手让你快速通过，不用脱鞋解皮带。只有那些看起来像带了东西的人，才去接受详细检查。

实际效果：

速度变快了：在测试中，无人机的处理速度提升了 24%。这意味着它能更快地发现目标，飞得更顺畅。
电量省了：因为省去了大量不必要的计算，无人机可以飞得更久。
没变笨：虽然它“偷懒”了，但识别物体的准确率几乎没有下降（只降低了 0.015，几乎可以忽略不计）。

4. 为什么这很厉害？

以前的技术要么是把整个“大脑”做得很小（但还是很慢），要么是只针对简单的分类任务（比如只判断“这是猫还是狗”）。
这篇论文的厉害之处在于，它把这种“偷懒”的智慧用到了复杂的物体检测上，而且是在极度受限的微型无人机上实现的。

总结一下：
BLANKSKIP 就像给微型无人机装了一个聪明的“节能开关”。它教会无人机：“如果眼前一片空白，就别费脑子去分析了，直接跳过！” 这让这些小小的机器人在资源有限的情况下，也能拥有更强大的自主飞行能力。

BLANKSKIP：面向纳米无人机的早期退出目标检测技术总结

1. 研究背景与问题定义

背景：
纳米级无人机（Nano-drones，如直径小于 10 厘米的 Crazyflie 2.1）在室内探索、基础设施检查和搜救任务中具有独特优势。实现完全自主飞行需要机载实时感知能力（如目标检测，OD）。然而，这些平台的计算资源极其受限（约 10 MiB 内存，约 1 W 功耗预算，GAP8 SoC 仅几百 MHz 频率）。

核心问题：
现有的嵌入式目标检测方案（如 MobileNet-SSD）通常采用静态计算图，即无论输入帧的内容如何（是包含目标还是完全空白），都执行完整的推理流程。

资源浪费：在探索场景中，大量帧可能不包含任何感兴趣的目标（“空帧”），对这些帧进行全量计算是极大的浪费。
现有局限：虽然“早期退出”（Early Exit, EE）技术在图像分类中已广泛应用，但在密集预测任务（如目标检测）上的应用尚不成熟，且缺乏针对纳米无人机极端资源约束的优化方案。现有的 EE 检测方案（如 AdaDet）通常针对高算力 GPU 平台，无法直接部署在资源受限的嵌入式设备上。

2. 方法论：BLANKSKIP

作者提出了 BLANKSKIP，一种专为纳米无人机设计的自适应目标检测网络，旨在通过识别“空帧”来跳过后续昂贵的检测计算。

2.1 核心机制

BLANKSKIP 将目标检测问题重构为两个顺序子任务：

轻量级二分类：在骨干网络（Backbone）的中间层附加一个轻量级的早期退出分支（EE Branch），首先判断当前帧是否包含感兴趣的目标（空 vs 非空）。
条件推理：
- 如果分类器以高置信度判定为“空”，则立即停止推理，跳过剩余骨干层和检测头。
- 如果判定为“非空”，则继续执行完整的检测流程。

2.2 网络架构

骨干网络：基于 MobileNetV2 的 SSD（Single Shot Detector）架构。
EE 分支设计：
- 附加在骨干网络的中间层（ $\ell$ ）。
- 结构极简：包含两个 3x3 卷积层（带 BN 和 ReLU6）、全局平均池化（GAP）和两个全连接层。
- 参数开销：仅增加 50K–138K 参数（占原模型 1.1–3.0%），计算成本极低。
决策逻辑：基于置信度阈值 $\tau$ 控制跳过行为。高阈值减少漏检（False Positives），低阈值增加计算节省。

2.3 训练策略

复合损失函数： $L_{total} = L_{loc} + L_{cls} + \lambda \cdot L_{EE}$ $L_{t o t a l} = L_{l oc} + L_{c l s} + λ \cdot L_{E E}$ 。
- $L_{EE}$ 为加权二元交叉熵，用于优化空/非空分类。
- 引入类权重 $w_0$ 和 $w_1$ 以平衡漏检惩罚与计算节省。
超参数优化（HPO）：
- 将分支位置、学习率、损失权重、类别权重和置信度阈值 $\tau$ 的联合优化建模为贝叶斯超参数优化问题。
- 使用 Tree-structured Parzen Estimator (TPE) 搜索最优配置，最大化检测质量（mAP）、计算节省和 EE 分类准确率的综合目标。

2.4 部署细节

量化：采用量化感知训练（QAT）将模型压缩至 8 位整数格式。
编译：使用开源编译器 DORY 生成针对 GAP8 SoC 的底层 C 代码，利用其 8 核并行集群加速推理。

3. 主要贡献

提出 BLANKSKIP 机制：首个针对纳米无人机平台设计的自适应目标检测方案，利用帧内容的稀疏性（空帧）实现早期退出。
端到端联合优化：设计了包含检测损失和早期退出损失的复合训练目标，并通过贝叶斯优化自动寻找骨干网络中的最佳分支插入点及超参数。
真实硬件验证：在 Bitcraze Crazyflie 2.1（搭载 GAP8 SoC）上成功部署了 8 位量化模型，证明了在极端资源约束下的可行性。
广泛的实验评估：在纳米无人机专用数据集（Himax EE）和通用城市数据集（Cityscapes 分块版）上进行了验证，展示了方法的泛化能力。

4. 实验结果

4.1 Himax EE 数据集（纳米无人机专用）

数据集：包含合成生成的空帧，模拟真实探索场景。
性能提升：
- 吞吐量：相比静态 MobileNet-SSD (1.0x)，BLANKSKIP 实现了 24% 的平均吞吐量提升（从 1.50 FPS 提升至 1.86 FPS）。
- 精度损失：mAP 仅下降 0.015 (0.555 $\to$ 0.540)。
- 计算节省：平均每个图像减少 22.5% 的 MAC 操作；在触发早期退出时，计算量减少 57%。
- 跳过率：成功跳过了 39.8% 的帧。
分支位置：实验表明，将分支置于第 4 阶段（Layer 9）效果最佳，平衡了语义抽象能力和计算成本。

4.2 真实场景模拟

在真实的无人机探索视频数据上测试，发现 71.7% 的帧实际上是空的。
BLANKSKIP 识别出其中 54.83% 的帧并提前退出，将吞吐量提升至 2.07 FPS（相比静态模型提升 37.7%）。

4.3 Cityscapes 数据集（通用场景）

为了验证泛化性，将图像分块处理以适应内存限制。
结果：在跳过 26.7% 的图块的情况下，平均计算量减少 12.1%，mAP 从 0.229 降至 0.204（下降约 11%）。
结论：即使在对象密度较高的复杂场景中，BLANKSKIP 仍能提供有效的精度 - 效率权衡。

5. 意义与结论

BLANKSKIP 证明了在资源极度受限的纳米无人机上，通过内容自适应的早期退出机制，可以显著提升目标检测系统的实时性和能效，而不会造成显著的性能损失。

技术突破：解决了早期退出技术难以应用于密集预测任务（目标检测）的难题，并成功适配了嵌入式边缘设备。
实际应用价值：
- 提高了无人机在高速飞行时的目标捕捉率（减少因推理延迟导致的漏检）。
- 释放了计算资源，使得无人机可以同时运行导航、避障等其他关键任务。
未来方向：研究动态调整阈值 $\tau$ 的策略，以进一步适应不同飞行状态下的环境变化。

该工作为在微型无人机上部署复杂的计算机视觉任务提供了一条切实可行的技术路径。