COHORT: Hybrid RL for Collaborative Large DNN Inference on Multi-Robot Systems Under Real-Time Constraints

本文提出了名为 COHORT 的基于 ROS 的多机器人协作框架，通过结合离线优势加权回归（AWR）与在线多智能体 PPO 的混合强化学习策略，动态调度大模型推理任务，在满足实时约束的同时显著降低了能耗并提升了 GPU 利用率。

要点

这篇论文介绍了一个名为 COHORT 的智能系统，它的核心任务是帮助一群机器人在紧急情况下（比如地震救援、灾难现场）高效地“思考”和“工作”。

为了让你更容易理解，我们可以把这群机器人想象成一支特种救援小队，而它们需要处理的大规模人工智能模型（DNN）就像是极其烧脑的复杂谜题。

以下是用通俗语言和生动比喻对这篇论文的解读：

1. 背景：为什么需要 COHORT？

场景：想象一下，一群救援机器人（有的像轮式小车，有的像机器狗）正在废墟中搜索幸存者。它们需要实时回答人类的问题，比如“这里有人吗？”或者“那块石头下面有没有生命迹象？”。
问题：

• 大脑太重：现在的先进 AI（比如能看懂图片并回答问题的模型）非常强大，但也非常“吃”资源。就像让一个只有小电池的手电筒去驱动一台超级计算机，电量瞬间就会耗尽。
• 没网可用：在灾难现场，通常没有互联网，也不能把数据传到遥远的云端服务器去处理。
• 各自为战很傻：如果每个机器人都自己硬扛所有计算任务，有的机器人（比如电池快没电的）会很快累倒，导致整个任务失败。

COHORT 的解决方案：它就像是一个聪明的现场指挥官，能让机器人之间互相商量：“嘿，你电池多，这个难算的题你帮我算一下；我电池快没了，那个简单的题我来做。”

2. 核心魔法：混合强化学习（Hybrid RL）

COHORT 最厉害的地方在于它学习做决定的方式。它结合了两种学习方法，就像是一个实习生的成长过程：

• 第一阶段：离线学习（看录像带）

  • 比喻：在真正上战场前，指挥官先让机器人看过去几百小时的“演习录像”。这些录像里，机器人是用一种传统的“拍卖”方式分配任务的（谁出价低谁干活）。
  • 作用：机器人通过看这些录像，学会了大概的套路，避免了刚上场就乱来（比如把任务分给没电的机器人）。这叫做离线强化学习。

• 第二阶段：在线微调（实战演练）

  • 比喻：上了战场后，情况瞬息万变（有的机器人突然没电了，有的路堵了）。这时候，机器人不再死板地照搬录像，而是根据当下的实际情况，利用多智能体 PPO（MAPPO） 算法实时调整策略。
  • 作用：就像赛车手在赛道上根据弯道实时微调方向盘。它能迅速适应新加入的机器人，或者某个机器人突然“罢工”的情况。

3. 它是如何工作的？（系统架构）

想象一下，每个机器人身上都装了一个智能调度员：

1. 监控状态：调度员时刻盯着自己的“身体状况”（电量、CPU 温度、内存）和“队友状态”（谁离得近、谁有空）。
2. 做决定：
   • 如果我自己能搞定，我就自己干（本地执行）。
   • 如果我太累了，或者队友更强，我就把任务“外包”给队友（卸载/Offload）。
   • 如果队友太忙，我就拒绝接收新任务。
3. 目标：不仅要算得快（达到每秒多少帧画面），还要省电，并且不能超时（必须在几秒内给出答案）。

4. 实验结果：它有多强？

研究人员在真实的机器人（像波士顿动力的 Spot 机器狗、Clearpath 的轮式机器人）上进行了测试，对比了“各自为战”、“传统拍卖”和"COHORT"三种模式。

COHORT 的表现就像是一个超级高效的团队经理：

• 省电：相比其他方法，它让机器人的电池寿命延长了约 15.4%。这意味着在灾难现场，机器人能多工作好几个小时，多救更多人。
• 更聪明地利用硬件：它让机器人的显卡（GPU）利用率提高了 51.67%，相当于把原本闲置的算力都利用起来了。
• 更守时：它能保证 2.55 倍 的时间满足任务的时间要求（比如必须在 1 秒内给出答案，它就能做到）。

5. 总结：为什么这很重要？

这篇论文不仅仅是在讲怎么分配任务，它解决了一个生死攸关的问题：在没有任何基础设施支持的灾难现场，如何让一群能力参差不齐、电量有限的机器人，像一个有机的整体一样，既聪明又持久地工作。

一句话总结：
COHORT 给救援机器人装上了一个懂变通、会算账、能协作的“超级大脑”，让它们在面对复杂任务时，不再是一个个孤军奋战的“独行侠”，而是一个能互相补位、省着用电、高效完成任务的特种战队。

技术摘要

COHORT 论文技术总结：面向多机器人系统的混合强化学习协同大模型推理

1. 研究背景与问题定义 (Problem)

背景：
在灾难响应（SAR）等关键任务场景中，多机器人系统需要协同工作以执行复杂的感知任务（如目标检测、语义理解）。近年来，基于 Transformer 的多模态大模型（如 VLMs：CLIP, SAM）显著提升了感知能力，但其巨大的计算、内存和能耗需求使得它们难以在资源受限的边缘机器人（如 Jackal, Husky, Spot）上独立运行。

核心挑战：

1. 资源受限与异构性： 机器人平台在计算能力（CPU/GPU）、内存、电池化学性质和传感器模态上存在显著差异。
2. 实时性与约束： 任务必须在严格的延迟（Deadline）和帧率（FPS）约束下完成，且不能依赖不稳定的云端基础设施（灾难现场通常无网络）。
3. 动态性与鲁棒性： 机器人可能随时加入或退出系统，且电池状态、网络状况和计算负载随时间动态波动。
4. 现有方案局限： 传统的集中式调度或基于拍卖的启发式方法无法有效处理动态异构环境，且往往忽略了能量效率与实时约束的联合优化。

目标：
设计一个去中心化的框架，能够在多机器人系统中动态分配大型 DNN（特别是 VLM）的计算负载，以在满足实时性约束的同时，最大化能效和系统吞吐量。

---

2. 方法论 (Methodology)

作者提出了 COHORT 框架，这是一个基于 ROS 的分布式大 DNN 推理框架，其核心创新在于采用 混合离线 - 在线强化学习 (Hybrid Offline-Online RL) 策略。

2.1 系统架构

• 输入： 机器人接收自然语言提示（Prompt），驱动 CLIP 和 SAM 模块进行语义理解和空间定位。
• 模块化： 将 CLIP 和 SAM 流水线预分割为 6 个模块化执行单元（检测器、编码器、解码器等）。
• 决策机制： 每个机器人作为独立代理（Agent），通过 RL 策略决定每个模块是本地执行、卸载给邻居还是接受邻居的任务。
• 通信： 基于 ROS 2 (DDS)，支持点对点通信，最小化代理间的信息交换。

2.2 三阶段训练流程 (Three-Phase Training)

为了解决在真实机器人上直接训练 RL 策略样本效率低、风险高（可能导致电池耗尽）的问题，COHORT 设计了三个阶段的课程学习：

阶段 A：行为克隆 (Behavior Cloning, BC) - 安全初始化

• 目的： 解决冷启动问题，避免随机探索带来的危险。
• 方法： 利用基于拍卖（Auction-based）的启发式算法在真实机器人上收集离线数据。训练一个共享的 Actor 网络来模仿拍卖机制的决策（即根据资源状态提交“出价”）。
• 机制： 采用集中训练、分散执行 (CTDE) 架构，所有机器人共享策略参数。

阶段 B：离线策略改进 (Offline Policy Improvement) - 优势加权回归 (AWR)

• 目的： 在不与真实环境交互的情况下，从离线数据中学习优于启发式算法的策略。
• 方法：
  1. 训练一个集中式 Critic 网络（基于 CTDE 状态），评估动作价值。
  2. 使用 优势加权回归 (Advantage-Weighted Regression, AWR) 更新 Actor。AWR 通过指数加权（$e^{A/\beta}$）给高回报（低延迟、低能耗）的动作赋予更高权重，从而过滤掉启发式算法中的次优决策。
• 结果： 得到一个经过“预热”的 RL 策略，其性能优于原始拍卖基准。

阶段 C：在线策略微调 (Online Fine-tuning) - 多智能体 PPO (MAPPO)

• 目的： 适应实时变化的环境（负载波动、设备加入/退出）。
• 方法：
  • 部署预训练策略到真实机器人集群。
  • 使用 MAPPO (Multi-Agent PPO) 进行在线更新。
  • 约束处理： 引入 拉格朗日松弛 (Lagrangian Relaxation) 将硬约束（如电池电量、延迟截止时间）转化为惩罚项，动态调整拉格朗日乘子以平衡性能与约束满足。
  • 决策： 机器人根据本地观测（资源状态、队列长度等）生成连续出价，出价最低者（或最优者）赢得任务执行权。

---

3. 关键贡献 (Key Contributions)

1. 资源感知的分布式大 DNN 执行框架：

   • 提出了首个针对异构多机器人系统的两阶段 RL 流水线，能够动态平衡负载，无需依赖集中式服务器。
   • 实现了最小化代理间通信的“一次性决策”机制，适应带宽受限环境。

2. 混合强化学习策略 (HybridRL)：

   • 结合了离线 AWR（利用历史拍卖数据快速收敛）和在线 MAPPO（实时适应动态环境）。
   • 解决了多智能体 RL 在真实硬件上样本效率低和探索风险高的问题。

3. 容错与可扩展性机制：

   • 设计了故障容忍机制，当机器人失效或资源耗尽时，能动态重新分配任务。
   • 支持“策略掩码 (Policy Masking)"：新加入的机器人可以直接加载与其硬件配置相似的预训练策略，无需重新训练即可参与协作。

4. 真实世界的大规模验证：

   • 在三种异构机器人平台（Husky, Jackal, Spot）上部署并评估了 CLIP 和 SAM 模型。
   • 验证了系统在增加/减少机器人数量、增加工作负载强度下的鲁棒性。

---

4. 实验结果 (Results)

实验在真实的异构机器人测试台上进行，对比了基线（全本地执行）、拍卖算法、遗传算法 (GA) 和 COHORT (RL 策略)。

• 任务成功率 (Success Rate)：

  • COHORT 在满足 FPS 和延迟约束方面的表现显著优于其他方法。
  • 在 Husky 上，成功率从基线的 21.21% 提升至 54.0% (约 2.55 倍)。
  • 在 Jackal 和 Spot 上，分别提升了 3.5 倍 和 3.2 倍 以上。

• 能效与资源利用：

  • 电池消耗： 相比基线，COHORT 减少了 15.4% 的电池消耗。
  • GPU 利用率： 提高了 51.67%，表明更有效地利用了异构硬件的计算能力。
  • 状态电量 (SoC) 下降： 在所有机器人上均实现了最低的 SoC 下降幅度（例如 Husky 从 25% 降至 20.5%）。

• 实时性能：

  • 显著降低了任务延迟的抖动，使 CLIP 和 SAM 的吞吐量更稳定地接近目标帧率（如 CLIP 稳定在 4 FPS 以上）。
  • 在增加新设备（4 设备场景）或移除设备（故障场景）时，系统能保持稳定的性能，无需重新训练。

• 对比基线：

  • 相比遗传算法 (GA) 和纯拍卖机制，RL 策略能更好地感知时间趋势和特定机器人的计算瓶颈，实现了更智能的卸载决策（例如在算力强的 Husky 上减少卸载，在算力弱的 Spot 上增加卸载）。

---

5. 意义与总结 (Significance)

COHORT 解决了在基础设施匮乏、资源受限且动态变化的灾难响应场景中部署大型 AI 模型的关键难题。

• 理论意义： 提出了一种结合离线数据利用与在线自适应的混合 RL 范式，为多智能体系统在真实物理世界的部署提供了可落地的解决方案，特别是解决了样本效率和安全性问题。
• 实践意义： 证明了通过去中心化的协同推理，可以显著延长机器人任务寿命（Mission Lifetime），提高感知系统的鲁棒性。这对于未来自主机器人集群在搜救、监控和工业巡检中的应用具有重大指导价值。
• 未来展望： 该工作为后续研究指明了方向，包括联合优化感知与导航、引入不确定性建模、以及针对更大规模间歇性连接团队的层级协调。

综上所述，COHORT 不仅是一个高效的调度框架，更是推动大型 AI 模型在边缘机器人集群中实际落地的关键一步。