💻 computer science

Agentic CAMA-DRL: A Context-Aware Multi-Agent Deep Reinforcement Learning Framework for Multi-Stakeholder Charging Coordination of Last-Mile Delivery E-Bikes

本文提出了 Agentic CAMA-DRL，一种上下文感知的多智能体深度强化学习框架，该框架通过协调配送运营商、充电站、车队规划师和环境监管机构，来优化城市最后一公里物流中的电动自行车充电，与传统的基于规则的方法相比，在提高车队利用率、准时性、减少拥堵以及降低二氧化碳排放方面取得了显著改进。

原作者： Muddsair Sharif, Huseyin Seker

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Muddsair Sharif, Huseyin Seker

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一座城市就像一场巨大的、繁忙的捉迷藏游戏，其中的玩家是送货自行车，而“基地”则是充电站。在过去，这些自行车使用柴油驱动，但现在，就像我们许多人将旧手机换成新款手机一样，它们正在转向电力驱动。这对我们呼吸的空气非常有益，但也引入了一个棘手的新规则：自行车必须停下来插电才能继续“玩游戏”。如果所有人都在同一时间尝试插电，或者当自行车正准备投递包裹时却停下来充电，整个游戏就会陷入停滞。这就是“最后一公里配送”的世界——即从仓库到你家门口这最后一段往往充满混乱的旅程。研究这一领域的科学家使用一种叫做**深度强化学习（Deep Reinforcement Learning）的工具。你可以把它想象成一个超级聪明的视频游戏人工智能，它通过玩数百万轮游戏来学习，尝试不同的动作，并记住哪些动作能获得最高分。当你拥有许多不同的玩家（比如送货公司、充电站所有者和城市监管机构）都在试图同时获胜时，这就变成了一个多智能体（Multi-Agent）**问题。研究人员提出的核心问题是：我们能否教会这些 AI 玩家像团队一样协作，而不是互相竞争，同时还要兼顾不断变化的天气、交通和电价？

这篇论文介绍了一种名为 Agentic CAMA-DRL 的巧妙新系统，正是为了解决这个谜题。作者 Muddsair Sharif 和 Huseyin Seker 构建了一个繁忙伦敦早晨的数字模拟环境来测试他们的想法。他们并没有建立一个指挥每辆自行车的“大老板”，而是创建了四个不同的“AI 智能体”，每个智能体都有特定的职责和不同的视角。其中一个智能体是配送运营商，它的唯一目标是确保包裹按时到达；另一个是充电站运营商，它希望确保充电站不会过于拥挤；第三个是车队规划师，它试图通过在电价便宜时充电来节省成本；第四个是环境规划师，它希望尽可能利用太阳能等绿色能源。

这个系统的神奇之处在于这四个智能体如何进行沟通。他们并不通过发送文本信息来往来，而是共同观察同一个“上下文（context）”——这是一个包含实时数据的直播流，包括交通拥堵情况、每辆自行车的剩余电量以及阳光照射情况。他们共享一个共同的计分板。如果一个智能体做出的动作虽然对自己有利却损害了其他人的利益（例如，将自行车送到一个已经满载的充电器处），整个团队的分数就会下降。这迫使他们学习一种让每个人都能共同获胜的策略。该系统是“代理式（agentic）”的，这意味着它不仅仅是对低电量做出反应，它还能预判问题。这就像一位棋手，不仅是为了保住棋子不被吃掉而移动棋子，更是为了提前三步布局，从而建立优势地位。

当研究人员运行他们的模拟实验时，结果令人印象深刻。与旧的简单规则（例如“只要电量低就充电”）或仅由一个 AI 老板控制的系统相比，这种全新的基于团队的方法使车队的工作效率提升了 28%。它减少了充电站处的交通拥堵 35%，并使交付准时率提高了 32%。或许对我们的地球而言最重要的一点是，它减少了 42% 的二氧化碳排放。作者还进行了一项特别测试，以观察这种成功在多大程度上来自于“团队协作” versus “上下文（context）”（即实时数据）。他们发现，虽然团队协作至关重要，但观察未来上下文的能力额外带来了 5–8% 的提升，这证明了这两个理念结合在一起的效果比单独使用时更好。

需要记住的是，这些数字来自一个高度真实的伦敦计算机模拟，而非在真实街道上的实地测试。作者谨慎地表示这是一个“部署就绪（deployment-ready）”的解决方案，这意味着软件已在实验室中构建并经过测试，但仍需在现实世界中进行测试，以观察它如何应对不可预测的人类骑手或损坏的传感器。然而，这项研究表明，通过将物流配送视为一场协作的团队运动而非一场孤独的赛跑，我们可以让我们的城市变得更清洁、更快速，并让所有相关人员都感到更加顺畅。

技术摘要：用于最后一公里电动自行车充电的智能型 CAMA-DRL 框架

1. 问题陈述

城市最后一公里物流的快速电气化引入了一个关键瓶颈：电动自行车充电的协调问题。与通勤微出行不同，配送业务面临着严格的时间窗约束、随载荷变化的能量消耗以及多仓库协调的需求。目前的充电策略通常是反应式的或基于规则的，这导致了次优结果，例如错过交付时间窗口、充电站拥堵以及不必要的碳排放。

现有解决方案未能同时解决以下三个特定挑战：

配送特定约束： 时间窗遵守情况和基于载荷调整的能量预算。
多利益相关者冲突： 需要协调具有潜在冲突目标的异构利益相关者（配送运营商、充电站运营商、车队规划师和环境监管机构）。
智能体上下文集成： 缺乏能够预判未来状况（需求、天气、电网碳强度）而非仅仅对当前状态做出反应的系统。

2. 方法论：智能型 CAMA-DRL

作者提出了 Agentic CAMA-DRL（上下文感知多智能体深度强化学习），这是一个旨在通过协作式、前瞻性决策来优化充电基础设施的框架。

2.1 系统架构

该框架作为一个连续的闭环系统运行，包含四个功能列：

数据源： 包括 GPS/行程数据、充电站元数据（占用率、充电器类型、能源类型）、需求/天气预测以及路径约束的实时流。
智能体上下文引擎： 一个将原始数据转化为增强状态向量 ( $\tilde{s}_t$ $\tilde{s}_{t}$ ) 的五阶段流水线：
1. 状态编码： 对时刻（Time-of-day）和星期（Day-of-week）进行归一化和时间嵌入。
2. 预测： 生成 30–60 分钟的需求预测和电池荷电状态（SoC）轨迹。
3. 特征融合： 将观测值与预测值拼接成一个潜在表示。
4. 环境信号注入： 叠加分时电价、电网碳强度和太阳能可用性。
5. 状态组装： 将增强后的上下文向量广播给所有智能体。
CAMA-DRL 智能体： 四个专门的深度 Q 网络（DQN）智能体，每个智能体对应一个不同的利益相关者：
- 配送运营商： 优先考虑准时交付和机会性充电窗口。
- 充电站运营商： 平衡输入需求以维持 60–80% 的占用率。
- 车队规划师： 调度前瞻性的低电价补电并管理车队 SoC 分布。
- 环境规划师： 指导充电向以太阳能为补充的站点倾斜，以最小化二氧化碳排放。
利益相关者输出与反馈： 智能体根据系统范围的结果（利用率、拥堵、准时性、二氧化碳）接收奖励，从而完成闭环。

2.2 协调机制

该框架采用了 集中式训练、分布式执行（CTDE） 的变体。

共享奖励结构： 所有四个智能体优化一个共同的标量化奖励函数：
$R_k(t) = w_1 \Delta U_t - w_2 C^{cong}_t + w_3 D^{on-time}_t - w_4 CO_2^t$
其中 $\Delta U_t$ 是车队利用率， $C^{cong}_t$ 是拥堵惩罚， $D^{on-time}_t$ 是准时交付， $CO_2^t$ 是碳成本。
隐式协调： 智能体之间不进行显式的消息交换。相反，共享的奖励结构确保了如果一个智能体的行为以牺牲另一个智能体的利益为代价（例如造成拥堵），则会降低整体奖励信号，通过梯度更新来抑制此类行为。
训练算法： 智能体使用独立的经验回放池，但共享一个共同的 DQN 主干网络。训练采用标准的 DQN 稳定器：经验回放、目标网络（每 10 个 episode 更新一次）以及带有几何衰减的 $\epsilon$ -greedy 探索。

2.3 训练配置

折扣因子 ( $\gamma$ )： 设置为 0.9，以实现远见性和前瞻性规划（长时程优化）。
超参数： Batch size 为 128，包含 3 个 256 单元的隐藏层，奖励权重集为 $\{0.2, 0.3, 0.4, 0.1\}$ ，在高峰时段优先考虑准时交付和避免拥堵。

3. 核心贡献

论文确定了三个主要贡献：

新颖架构 (C1)： 一个四智能体 DQN 架构，在共享的城市环境中进行协作，并具有完全上下文化的状态表示，实现了从反应式向前瞻式决策的转变。
多利益相关者奖励 (C2)： 一个平衡了车队利用率、准时性、充电站占用率和二氧化碳成本的奖励函数，无需显式的智能体间通信协议，实现了帕累托改进的协调。
经验优越性 (C3)： 在高保真伦敦模拟中的验证表明，该框架相较于基于规则的方法、单智能体 DQN 以及无上下文的多智能体基准模型具有显著提升，并通过消融实验分离出了上下文编码的具体价值。

4. 实验结果

该框架在伦敦早高峰（06:00–10:00）的高保真模拟中进行了评估，涉及 50 辆电动自行车、20 个充电站和随机需求。

4.1 性能指标

与基于规则（RB）的基准相比，完整的 Agentic CAMA-DRL 框架实现了：

车队利用率 (FUR)： 提升了 28%（达到 97%）。
充电站拥堵： 高峰占用率降低了 35%（降至 40%）。
交付准时率 (DPR)： 提升了 32%（达到 95%）。
二氧化碳排放量： 减少了 42%（从 0.48 降至 0.28 kg/次配送）。

4.2 消融分析

多智能体 vs. 单智能体： 从单智能体 DQN 转向多智能体协调，使 FUR 提升了 5%，并将拥堵降低了 10%。
上下文感知性： 将“CAMA-DRL（无上下文）”与完整模型进行对比显示，实时上下文编码（需求预测、电价、太阳能可用性）为性能指标（特别是 FUR、DPR 和二氧化碳排放）额外贡献了 5–8% 的提升。这证实了上下文与协调之间是协同关系，而非简单的叠加。

4.3 利益相关者收益

配送运营商： 收入增加 27%，成本降低 16%。
充电站运营商： 由于拥堵减少带来的维护成本降低了 24%。
车队规划师： 通过均匀的 SoC 分布实现收入增加 21%，成本降低 18%。
环境规划师： 通过太阳能优先路由实现二氧化碳减排 32%。

5. 重要性与主张

论文将 Agentic CAMA-DRL 定位为一种可扩展、可部署的解决方案，用于可持续的城市最后一公里物流。其重要性在于：

机制协同： 证明了将多智能体协调与实时上下文编码相结合，所产生的效果优于两者部分的简单加总。
前瞻性 vs. 反应性： 确立了“智能体”行为（跨越较长时程进行规划）对于处理配送需求和可再生能源供应的时间变动性至关重要。
实际部署： 该框架不需要显式的智能体间通信，且每次决策步骤的推理时间在 1 毫秒以内，适用于大规模车队的实时控制。
模块化： 该架构支持向混合车队（电动自行车和电动货车）共享共同充电枢纽的清晰迁移路径。

作者对局限性保持了审慎的态度，指出其结果是基于模拟的（尽管已根据现实参数进行了校准），并且报告的增益是相对于所测试的具体基准而言的。他们承认，从模拟到现实的迁移可能会面临传感器噪声和人类骑手行为带来的挑战，且奖励权重需要仔细调优以避免偏袒特定的利益相关者。未来的工作建议包括联邦学习、用于混合车队的层次化智能体以及实时电网集成。