🤖 AI

Hera: Learning Long-Horizon Coordination for Device-Cloud Collaborative LLM Agents

Hera 是一种面向长视野大语言模型智能体的新颖步骤级设备 - 云协调器，它采用模仿学习与成本感知强化学习相结合的两阶段训练范式，以优化任务成功率与计算成本之间的权衡，在显著降低云资源使用的同时实现了接近纯云方案的性能。

原作者： Yuxin Zhang, Mengxue Hu, Zheng Lin, Xiaoyi Fan, Fan Xie, Zihan Fang, Jing Yang, Wenjun Zhu, Zhiwen Chen, Chengfei Lv, Zhe Chen

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuxin Zhang, Mengxue Hu, Zheng Lin, Xiaoyi Fan, Fan Xie, Zihan Fang, Jing Yang, Wenjun Zhu, Zhiwen Chen, Chengfei Lv, Zhe Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但昂贵的助手（云端），还有一位反应迅速、廉价但偶尔会健忘的助手（设备）。你需要它们协同工作，来解决一个漫长而复杂的谜题，比如规划为期一周的假期，或是在迷宫中导航。

问题在于：

如果让设备包揽一切，它既快速又免费，但在处理谜题的难点时可能会迷路或犯错。
如果让云端包揽一切，它能完美完成任务，但代价高昂，且由于距离遥远，沟通耗时很长。

大多数现有系统试图做出这样的决定：“我们是否应该为这个整个任务使用云端？”如果任务看起来很难，它们就付费使用云端；如果看起来容易，就使用设备。但这就像因为菜单复杂，就雇佣一位主厨在一整周内切所有蔬菜，尽管主厨其实只需要帮忙处理那些棘手的装饰部分。

Hera 登场了。

Hera 是一位新的“团队队长”，它不为整个任务做决定。相反，它逐步观察工作进程，并做出瞬间决策：“这一步容易吗？让设备来做。这一步棘手吗？呼叫云端帮忙。”

Hera 如何学会成为一位出色的队长

Hera 通过一个两阶段的训练过程来学会担任这一队长角色，就像体育教练训练运动员一样：

第一阶段：“影子跟随”阶段（模仿学习）
首先，Hera 观察云端完美地完成整个任务。然后，它让设备尝试完全相同的步骤，并以云端的答案作为指导。

如果设备能独立正确完成该步骤，Hera 就会学到：“好的，设备在这里有能力。无需调用昂贵的云端。”
如果设备感到困惑或做出了不同的选择，Hera 就会学到：“啊，这一步对设备来说太难了。我们需要云端的帮助。”
这为 Hera 提供了一份基础规则手册，指明设备在哪些地方会遇到困难。

第二阶段：“策略”阶段（强化学习）
现在，Hera 亲自参与游戏。它尝试通过混合设备和云端的步骤来完成任务。它的得分基于两点：

我们赢了吗？（任务是否完成？）
我们花费过多吗？（我们是否过于频繁地调用云端？）

Hera 学到，它并不需要为每一个困难步骤都调用云端。它学到，有时在漫长旅程的中间，仅调用云端处理一个关键步骤，就足以让整个计划保持正轨。它学会通过仅在绝对必要以避免失败时才调用云端，来节省成本。

结果：兼得两者之优

研究人员在三个不同的“谜题”上测试了 Hera：

ALFWorld：一个机器人试图整理房屋。
WebShop：一个智能体试图在网站上购买特定商品。
AppWorld：一个智能体试图编写代码来管理应用程序。

关键数据：

成功率：Hera 达到了始终使用云端时**92.5%**的成功率。它几乎从不出错。
成本节省：它仅在**46.3%**的步骤中使用了昂贵的云端。其余步骤由设备处理。
速度：由于大量使用本地设备，整个过程比每次都等待云端要快得多。

核心启示

将 Hera 想象成一位聪明的经理，它确切地知道何时让初级员工（设备）处理常规工作，何时引入资深专家（云端）解决棘手问题。通过这样做，团队完成工作的效果几乎与专家包揽一切时一样好，但成本减半，速度翻倍。

该论文声称，这是首个能够逐步而非针对整个任务做出这些决策的系统，证明了要解决复杂问题，你并不需要为每一个动作都配备一台超级计算机。

技术摘要：Hera——学习长视野协调以用于设备 - 云协同 LLM 智能体

1. 问题陈述

大语言模型（LLM）智能体已展现出通过自主与环境交互来解决复杂、长视野任务的能力。然而，其现实世界的部署面临一个根本性的设备 - 云困境：

设备端限制：设备端模型（通常参数量<10B）高效且低延迟，但往往缺乏复杂多步规划所需的推理深度，导致性能下降和轨迹不连贯。
云端限制：强大的云端模型提供卓越的推理能力，但引入了显著的网络延迟、高昂的计算成本以及隐私担忧，使其在机器人或交互式 GUI 导航等实时应用中不切实际。

现有的设备 - 云路由方法通常做出粗粒度的任务级决策，根据估计的难度或置信度将整个查询分配给设备或云端。这种“全有或全无”的方法不适合长视野智能体任务，因为此类任务的执行是作为一系列具有不同难度的相互依赖步骤展开的。本文认为，需要一种更细粒度的步骤级协调策略，以有效平衡任务成功率和推理成本。

2. 方法论：Hera 框架

作者提出了Hera，这是一种轻量级的步骤级设备 - 云协调器，旨在优化任务成功率与云使用量之间的权衡。Hera 是一个 5 亿参数的仅解码器 Transformer，带有一个二元分类头，它在每个交互步骤 $t$ 决定将状态路由到本地设备策略（ $\pi_{\theta_d}$ ）还是云端策略（ $\pi_{\theta_c}$ ）。

Hera 采用了一种新颖的两阶段训练范式：

阶段 1：通过模仿学习（IL）进行冷启动

为了在没有直接强化信号的情况下初始化路由策略，作者使用了模仿学习：

轨迹收集：展开设备智能体和云端智能体，为一系列任务生成轨迹。
过滤：选择云端性能显著优于设备（超过阈值 $\delta$ ）的任务，以定义需要云端辅助的机制。
监督：在云端成功的轨迹状态上“重放”设备智能体。生成步骤级一致性标签 $y_t$ $y_{t}$ ：
- $y_t = 1$ （路由到云端）：如果设备的动作 $a^d_t$ 与云端的动作 $a^c_t$ 不一致。
- $y_t = 0$ （路由到设备）：如果动作一致。
训练：路由器在此数据集上使用二元交叉熵（BCE）损失作为二元分类器进行训练，使其潜在空间与两个模型之间的性能差异对齐。

阶段 2：带状态分组的成本感知强化学习（RL）

IL 阶段提供了一个先验，但并未直接优化在最大化回报的同时最小化云端调用的联合目标。Hera 使用 RL 进行细化：

** rollout**：使用当前路由器为每个任务收集多个轨迹（ $N$ ），并通过温度缩放的伯努利分布引入随机性以鼓励探索。
状态分组：将不同 rollout 中遇到的相同状态进行分组。对于每个唯一状态 $s$ $s$ ，系统估计：
- $\hat{R}(d; s)$ ：如果做出决策 $d$ （设备或云端）时的预期轨迹回报。
- $\hat{C}(d; s)$ ：如果做出决策 $d$ 时的预期未来云端调用次数（包括当前步骤）。
偏好标记：通过选择具有更高估计回报的决策来导出偏好标签 $y(s)$ 。如果回报相当（在阈值 $\epsilon$ 内），则优先选择预期未来云端使用量较低的决策。
优化：路由器通过最小化这些偏好标签上的 BCE 损失进行更新，并带有 $L_2$ 正则化项以防止参数过度偏离 IL 初始化的参数。

3. 主要贡献

本文声称有三个主要贡献：

首个步骤级协调器：Hera 被呈现为第一个针对长视野任务在步骤级运行的设备 - 云智能体协调器，比之前的任务级路由器更细粒度地解决了性能 - 成本权衡问题。
两阶段训练框架：作者开发了一个特定的训练流程，结合了模仿学习（基于动作一致性的冷启动初始化）和状态分组的强化学习（用于轨迹回报和云端成本的联合优化）。
实证优越性：广泛的实验表明，Hera 优于最先进（SOTA）的基线，在任务成功率和云端使用量之间实现了更强的帕累托前沿。

4. 实验结果

Hera 在三个具有挑战性的长视野基准测试上进行了评估：ALFWorld（具身家庭任务）、WebShop（电子商务导航）和AppWorld（多应用编码任务）。设备模型为 Qwen2.5-7B-Instruct，云端模型为 Qwen-Max。

主要发现：

性能 - 成本权衡：Hera 实现了**92.5%的纯云端成功率，同时仅使用了46.3%**的步骤进行云端调用。
与基线的比较：
- 在 ALFWorld 上，Hera 实现了 86.1% 的成功率，成本为 $4.0 \times 10^{-3}$ ，显著优于纯云端基线（90.9% 成功率， $11.7 \times 10^{-3}$ 成本）以及其他所有路由基线（如 RouteLLM、FrugalGPT）。
- 在 WebShop 上，Hera 以 $8.1 \times 10^{-3}$ 的成本达到了 34.1% 的成功率，而纯云端方案在 $14.7 \times 10^{-3}$ 的成本下为 35.6% 的成功率。
- 在 AppWorld 上，Hera 以 $31.3 \times 10^{-3}$ 的成本实现了 19.7% 的成功率，而纯云端方案在 $43.8 \times 10^{-3}$ 的成本下为 22.6% 的成功率。
延迟：通过减少云端调用，Hera 显著降低了端到端延迟（例如，ALFWorld 上为 105.5 秒对比 174.1 秒），同时保持了高成功率。
消融研究：移除 RL 阶段导致成功率降低和云端使用量增加。移除 IL 阶段导致训练不稳定和性能较差，证实了两阶段流程的必要性。
微观基准测试：分析表明，Hera 能有效识别需要深度上下文跟踪或复杂约束组合的“关键步骤”并将其路由到云端，同时在本地处理常规步骤。

5. 意义与主张

本文认为，Hera 代表了从粗粒度任务级路由向细粒度动态协作的关键转变。其意义在于：

普及高级智能体：通过证明只有少量关键步骤需要云端干预，Hera 降低了在用户设备上部署复杂智能体的计算和财务门槛。
赋能实时应用：该框架使得对延迟敏感的应用（如机器人控制、交互式助手）能够在设备硬件上实现，而无需付出高昂的成本或延迟。
可扩展性：Hera 建立了强大的性能 - 成本帕累托前沿，表明在资源约束至关重要的现实世界环境中，迈向可扩展、可持续且无处不在的自主智能体是一条可行的路径。

作者指出了局限性，包括假设同步、可靠的连接性，以及缺乏针对卸载数据的内置隐私保护机制，并确定这些是未来研究的领域。