🤖 AI

RAMS: Resource-Adaptive and Detection-Conditioned Model Switching for Embedded Edge Perception

RAMS 是一个轻量级、资源自适应的运行时控制器，它根据设备压力和近期弱势道路使用者检测情况，在 YOLOv8 模型层级之间进行动态切换，旨在无需模型重载开销的情况下，优化嵌入式边缘硬件上的推理延迟和检测质量。

原作者： Kushal Khemani, Evan Leri, George Xu, Amit Hod

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Kushal Khemani, Evan Leri, George Xu, Amit Hod

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在驾驶一辆汽车，副驾驶是一位非常聪明但有点紧张的搭档。这位副驾驶的任务是观察路面上的行人、骑行者和其他弱势道路使用者（也就是论文中所说的“VRUs”）并发出警告。

问题在于，汽车的计算机（即“大脑”）有时会变得不堪重负。也许是收音机声音太大，也许是 GPS 正在计算新路线，又或者是引擎过热。当计算机压力过大时，它会变慢。如果副驾驶试图使用一张极其精细、高科技的地图来识别行人，汽车可能会因为处理图像而卡顿一秒钟。这非常危险。但如果副驾驶为了节省时间而切换到一张超级快速、模糊的地图，他们可能会完全错过一名行人。

RAMS 是一个旨在解决这个问题的全新系统。它就像是汽车计算机的一个智能交通管理员，根据计算机有多忙以及它刚刚看到了什么，不断决定使用哪张“地图”（或 AI 模型）。

以下是它的工作原理，通过简单的概念进行拆解：

1. 三种“地图”（模型层级）

RAMS 不仅仅有一种观察世界的方式；它同时加载并准备好了三个版本的同一个 AI：

“NANO”地图： 超快，细节极低。就像通过一个小钥匙孔看路面。它胜在速度，但可能会错过远处站着的小孩。
“SMALL”地图： 中间地带。在速度和细节之间取得了平衡。
“MEDIUM”地图： 高细节，低速度。就像通过高清晰度望远镜观察。它能看清一切，但处理起来很慢。

2. “压力表”（资源监控器）

RAMS 持续检查计算机的“压力水平”。它查看 CPU 占用率、计算机温度以及剩余内存。

类比： 想象仪表盘上的一个刻度表。如果指针在绿色区域（低压力），RAMS 会说：“我们有充足的动力，让我们使用高清晰度的 MEDIUM 地图以确保安全。”
如果指针摆到了红色区域（高压力），RAMS 会说：“我们超载了！立即切换到快速的 NANO 地图，以免发生卡顿。”

3. “智能切换”（无需重启）

在旧系统中，从慢速地图切换到快速地图通常需要重新加载软件，这会导致延迟（就像每次切换应用时都要重启手机一样）。
RAMS 将所有三张地图同时加载在内存中（称为“热层级/Warm Tiers”）。在它们之间切换是瞬间完成的，就像拨动灯开关一样。没有延迟，没有等待，也没有“重新加载”。

4. “安全锁”（基于检测条件的切换）

这是论文中最巧妙的特性。通常情况下，如果计算机压力过大，RAMS 会立即切换到快速、模糊的 NANO 地图。但如果计算机刚刚看到了一名行人呢？就在那一刻切换到模糊地图可能会导致致命后果。

RAMS 有一条特殊规则：如果检测到弱势人员，系统会拒绝在几秒钟内切换到模糊地图。

类比： 想象你在黑暗中行走。如果你听到树枝折断的声音（检测到目标），即使你很累，你也不会立即戴上墨镜（切换到快速/模糊模式）。你会保持眼睛睁大（停留在高细节地图上）片刻，以确保不会被绊倒。
RAMS 通过检测到的物体大小来推测其距离。如果行人看起来很大（距离近），它会将系统锁定在高细节地图上。如果他们看起来很小（距离远），它可能会允许切换到中间地图。

5. “通用翻译器”（校准）

论文的一个重要主张是，该系统可以在任何计算机上运行，从微小的 Raspberry Pi 到强大的笔记本电脑，而无需人类为每台设备调整设置。

类比： 这就像一个学习你房屋“正常”温度的恒温器。当你第一次开启它时，它会在没有任何活动的情况下测量房间（空闲状态）。然后，它会根据这个基准设定“太热”和“太冷”的界限。
RAMS 自动完成这一切。它测量计算机在无任务时的压力，然后根据这个基准设定其切换规则。这意味着相同的代码可以在慢速设备和快速设备上完美运行，无需手动调整。

6. “计分卡”（SWAS）

我们如何知道这个系统是否真的更安全？作者创建了一种新的评分方法，称为 SWAS。

它不仅仅是统计发现了多少个物体，SWAS 还会为在计算机承受压力时发现弱势人员（如行人）的行为给予额外加分。
他们还创建了一个“真相测试”（Oracle）来确保系统不仅仅是在自欺欺人。他们发现，虽然该系统表现出色，但它受限于“模糊”地图本身识别人的能力。如果模糊地图漏掉了 76% 的行人，那么“安全锁”也无法在 76% 的时间内救命，因为它根本还没意识到危险的存在。

核心结论

论文表明，在强大的计算机（NVIDIA Jetson Orin）上，这个系统的运行速度比坚持使用高清晰度地图的系统快 5.6 倍，同时仍能保持 74% 的安全准确度。

它之所以能做到这一点，是因为它具有灵活性：在计算机繁忙时它会放慢速度，但只要它认为有人处于危险之中，它就会智能地“锁定”安全功能，从而确保速度永远不会以牺牲生命安全为代价。

技术摘要：RAMS —— 用于嵌入式边缘感知的资源自适应与检测条件触发模型切换系统

1. 问题陈述

在嵌入式硬件上部署目标检测面临着推理延迟与检测质量之间的根本性张力，这种张力在云端环境中并不存在。虽然云端推理延迟主要受限于模型复杂度与网络往返时间，但嵌入式设备需要与主机操作系统、后台服务及传感器流水线共享 CPU 和内存资源。随着系统利用率上升，固定模型的推理延迟会大幅下降（例如，在 Intel i7-1165G7 上，YOLOv8-MEDIUM 的推理延迟在空闲时为 448 ms，但在突发负载下会增加到 1500 ms 以上）。

标准的权衡方案——降级到更轻量级的模型以降低延迟——引入了一种不对称的代价。在空旷道路上的 320 px 推理所带来的精度损失，与包含近处行人的场景所带来的损失是相同的，然而漏检行人所带来的安全风险是单纯的延迟指标无法捕捉的。此外，现有的自适应系统通常依赖于固定阈值，由于不同硬件的空闲资源压力不同，这些阈值无法跨平台迁移；或者它们需要云端连接，而这在边缘设备上是无法实现的。

2. 方法论：RAMS 系统

RAMS（Resource-Adaptive and Detection-Conditioned Model Switching，资源自适应与检测条件触发模型切换）是一个轻量级的运行时控制器，旨在平衡延迟与安全性，且无需模型重载延迟。它完全在设备端运行，由四个组件组成：

A. 资源压力监测器 (Resource Pressure Monitor)

监测器以 10 Hz 的频率运行，通过查询 OS 级信号（CPU 利用率、虚拟内存压力、温度和电池电量）来计算标量压力指数 $R(t) \in [0, 1]$ 。
$R(t) = w_c c + w_m m + w_T \hat{T} + w_b (1 - b)$
权重反映了嵌入式工作负载中 CPU 利用率的主导地位。如果特定传感器不可用，其权重将重新分配给 CPU 利用率。

B. 相对空闲状态的阈值校准 (Idle-Relative Threshold Calibration)

为了确保无需针对每个设备进行手工调优即可实现跨设备的可移植性，RAMS 采用了相对空闲状态的校准程序。系统不是使用固定阈值，而是通过对设备在空闲状态（无推理负载）下的性能进行剖析，确定基准压力 $R_{idle}$ 。随后，切换阈值被设定为相对于该基准的固定偏移量：
$\theta_\ell = R_{idle} + \delta_\ell, \quad \theta_h = R_{idle} + \delta_h$
其中 $\delta_\ell = 0.10$ ， $\delta_h = 0.25$ 。这确保了阈值的语义含义（例如“中度负载”）在具有不同空闲基准的平台（如 Raspberry Pi 5 与 Jetson Orin）之间保持一致。

C. 热备模型库 (Warm Model Library)

RAMS 在内存中同时维护三个 YOLOv8 层级（320px 的 NANO、416px 的 SMALL 和 640px 的 MEDIUM）。这种“热备层级”方法消除了按需加载模型带来的延迟惩罚。总内存占用对于 ONNX FP32 模型约为 81 MB，对于 TensorRT 引擎则为 120–150 MB。

D. 切换策略 (Switching Policies)

控制器实现了从简单阈值处理到检测条件覆盖的五种策略：

阈值策略 (Threshold Policy)： 使用滞后效应（hysteresis）来防止基于 $R(t)$ 在不同层级间发生快速振荡。
预测策略 (Predictive Policy)： 使用指数加权移动平均（EWMA）来预测压力，并在触发阈值前触发降级。
自适应策略 (Adaptive Policy)： 根据近期压力读数的方差对 EWMA 平滑因子进行自我调节。
安全策略 (Safety Policy)： 一种基于检测条件的覆盖机制，在检测到弱势道路使用者（VRU）后的时间窗口内（ $\Delta t_w = 0.5$ s），防止降级到 NANO 层级。
两级安全策略 (Two-Level Safety Policy/Safety2)： 一个增强版本，根据检测到的 VRU 边界框面积来决定覆盖层级。大尺寸框（近距离物体）会触发 MEDIUM 层级锁定，而小尺寸框（远距离物体）则触发 SMALL 层级锁定。

3. 核心贡献

形式化的资源压力指数： 一种可移植的、基于空闲状态校准的方法 ( $R(t)$ )，使得相同的控制器方程可以在异构硬件上跨越 37 倍的延迟范围运行，而无需进行逐设备调优。
检测条件触发切换： 五种形式化指定的策略，包括两种基于近期 VRU 检测结果延迟降级的反应式变体，解决了由于漏检安全关键物体导致的不对称代价问题。
SWAS 指标： VRU 加权准确度得分（SWAS），一种用于在未标记视频上进行离线策略比较的标量指标。该指标通过 VRU 的存在情况对准确度进行加权。论文引入了一个“受预言机限制的”变体 ( $SWAS^\star$ )，利用地面真值标签来区分层级保留带来的收益与使用检测器自身（可能不完美）的输出触发策略所产生的循环论证。
全面的评估： 在五个硬件目标（Raspberry Pi 5, Intel i7-1165G7, i7-13700F, Jetson Orin ONNX, Jetson Orin TensorRT）上进行的十项实验评估，涵盖了负载敏感性、滞后调优以及安全-延迟权衡。

4. 结果

实验使用 YOLOv8 各层级并在 KITTI 数据集上进行。主要发现如下：

延迟与准确度的权衡： 在重负载下的 Jetson Orin (TensorRT) 上，Safety2 策略实现了 3.41 ms 的平均延迟（比固定 MEDIUM 模式快 5.6 倍），同时保留了 74% 的代理准确度。它通过主要运行在 NANO 模式，并在 VRU 正向窗口期间选择性地锁定在 SMALL 或 MEDIUM 模式来实现。
SWAS 提升： 在重负载下，相比于仅基于阈值的策略，检测条件触发切换在预言机评分下（考虑了检测器循环性的保守估计）使 SWAS 提升了 25.4%，在检测器衍生评分下提升了 47.3%。
跨设备可移植性： 相同的控制器方程管理着跨越 37 倍延迟范围（从 Jetson TRT 的 3.41 ms 到 Jetson ONNX 的 127.52 ms）的操作。系统成功地将层级选择适配到了特定的硬件能力，而无需手动调整阈值。
召回率界限： 论文明确量化了反应式系统的基本限制。由于 NANO 层级在 KITTI 数据集上的 VRU 召回率仅为 24.2%，因此在 VRU 存在的帧中，安全覆盖机制在 76% 的情况下并未激活，因为基础检测器未能触发触发条件。这凸显了反应式切换无法补偿最低层级模型固有召回率限制的问题。
瞬态响应： 控制器在阈值策略下会在 3 个监测样本（0.3s）内完成层级变更，而在预测/自适应策略下速度更快。安全策略在 VRU 事件发生后，会在维持较高层级最多 5 个周期后才恢复原状。

5. 重要性与主张

论文声称 RAMS 是唯一结合了热备层级切换、检测条件触发层级选择、跨设备可移植校准以及无需云端卸载的纯设备端运行系统的方案。

作者强调，25.4% 的预言机 SWAS 提升 代表了检测条件触发切换的真实收益，这有别于因使用低召回率检测器来触发安全锁而导致的检测器衍生评分中的虚高增益。这项工作证明，在关键安全窗口内，实现接近 NANO 级的延迟并保留较重层级的大部分准确度是可能的。

然而，论文对于该方法的局限性描述较为克制。文中明确指出，反应式覆盖受限于基础检测器的召回率；如果 NANO 层级漏掉了 VRU，安全锁就无法触发。作者认为这是任何在不完美的检测器之下运行的反应式检测条件系统的基本约束，并建议未来的工作应专注于更强大的轻量级基准检测器或并行的 VRU 分类器，以缩小这一差距。该系统并不声称提供形式化的安全保证（如 ISO 26262），而是提供一种在资源受限环境下优化延迟-准确度权衡的机制。