技术摘要：基于延迟市场反馈的多智能体强化学习，用于三方调度中的目标权重自适应

问题陈述

食品配送调度是在涉及消费者、商家和骑手的三方市场中进行的序列决策问题。其核心挑战在于平衡相互竞争的目标：拼单（通过组合订单来提高骑手效率）与速度（通过缩短交付时间来提升客户体验）。

在像 DoorDash 这样的生产环境中，这种权衡传统上是通过手动全局调优的静态启发式权重来管理的。这些静态权重在局部、随时间变化的条件下表现得非常脆弱；例如，在拥堵期间过度拼单会导致延迟，而在需求低谷期拼单不足则会浪费效率。此外，系统评估决策的标准并非即时的人类偏好标签，而是延迟的运营结果（例如：交付速度、骑手利用率、商家拥堵情况），这些结果在网络中是相互耦合的。现有的强化学习（RL）方法通常试图完全取代组合分配优化器，但这会对生产可行性和安全性带来显著风险。

方法论

作者提出了一种已部署的离线强化学习系统，该系统能够实时调整调度目标权重，而不取代现有的生产分配优化器。该系统采用了两层决策架构：

1. 内层（优化器）： 一个组合分配优化器，根据目标权重将订单、骑手和约束条件映射为可行的分配方案。
2. 外层（OWA-RL 智能体）： 一个门店级策略智能体，它观察局部市场状态并选择一个离散乘数，用以调整优化器的目标权重。

公式化定义

该问题被建模为一个具有集中式离线训练的分布式多智能体马尔可夫决策过程 (MDP)：

• 智能体： 每个门店 $i$ 作为一个智能体。
• 状态 ($s_t$)： 包括未完成订单数 ($d_t$)、骑手等待时间 ($cwt_t$) 以及局部供应压力特征 ($sup_t$)。供应压力经过有效骑手供应量的重新缩放，以暴露被区域性信号所掩盖的门店级变化。
• 动作 ($a_t$)： 一个取自集合 $\{0.8, 0.9, 1.0, 1.1, 1.2\}$ 的离散乘数，应用于基准交付速度目标权重（ASAP 权重）。
  • 较低的权重倾向于拼单和路径效率。
  • 较高的权重优先考虑快速完成订单。
  • 中性动作 ($1.0$) 恢复静态基准。
• 奖励 ($r_t$)： 一个在区域层面聚合的延迟多目标奖励，以捕捉网络效应。它被定义为以下各项的加权和：
  • ASAP： 面向客户的交付时长 ($t_{drop} - t_{create}$)。
  • XCAT： 超出直接路径的额外骑手活跃时间 ($CAT - T_{direct}$)。
  • 奖励函数为 $r = -\frac{1}{|D|} \sum (\alpha \cdot \text{ASAP} + \beta \cdot \text{XCAT})$。

训练架构

系统使用基于日志记录的市场数据进行离线强化学习训练：

• 算法： 使用带有共享价值函数 $Q_\theta(s, a)$ 的双重深度 Q 网络 (Double DQN)。
• 目标值： 使用 Double Q-learning 目标值以减少最大化偏差：
  $$y_t = r_t + \gamma Q_{\bar{\theta}}(s_{t+1}, \arg\max_{a'} Q_\theta(s_{t+1}, a'))$$
• 保守正则化： 为了防止离线 RL 中常见的分布外 (OOD) 价值高估问题，作者引入了保守 Q 学习 (CQL) 正则项。该项会惩罚那些在日志数据分布中支持度不足的动作。
• 损失函数： $L(\theta) = L_{\text{DDQN}}(\theta) + \eta L_{\text{CQL}}(\theta)$。

核心贡献

本文提出了三个主要贡献：

1. 用于目标权重自适应的 RL 架构： 引入了一种通过低维控制接口从市场反馈中学习并调整调度权重的系统，通过保留现有的生产优化器而非将其替换。
2. 离线多智能体公式化： 将问题表述为具有分布式门店级执行和延迟区域奖励的离线多智能体决策任务，解决了反馈存在噪声、延迟且相互耦合的挑战。
3. 生产验证： 通过生产环境下的 Switchback 实验证明，所学习的策略可以在不降低客户交付质量的前提下，提高拼单率并降低骑手侧的时间成本。

实验结果

系统通过为期两周的全球 Switchback 实验进行了评估，在实验中，约 4,000 个地理区域被随机分配到控制组（静态基准权重）或实验组（OWA-RL 策略）。

关键发现（全天时段）：

• 效率提升：
  • 骑手活跃时间 (CAT)： 减少了 1.26 秒（统计学显著，$p=0.019$）。
  • 骑手等待时间 (CWT)： 减少了 0.86 秒（统计学显著，$p=0.004$）。
  • 拼单率： 提高了 0.495 个百分点（统计学显著，$p < 0.001$）。
• 质量保持：
  • ASAP (交付速度)： 无统计学意义上的下降 ($p=0.264$)。
  • 20 分钟延迟率： 无统计学意义上的下降 ($p=0.237$)。

晚餐高峰表现：
在晚餐时段观察到了类似的趋势，即 CAT 和 CWT 显著减少，拼单率增加，且 20 分钟延迟率略有改善，同时 ASAP 保持稳定。

该策略展示了状态依赖的自适应能力：在特定的积压和供应机制下，它会将概率质量转向较低的乘数（倾向于拼单），而非应用固定的全局重调。

重要性与主张

本文声称，这项工作展示了如何利用来自真实经济和物流系统的世界反馈来在线地自适应决策策略。通过将 RL 智能体限制在一个狭窄的目标权重接口内，该系统在实现局部动态环境自适应的同时，保持了生产的可行性和操作安全性。

作者强调，通过以下方式，该方法实现了在对现实运营和劳动力有影响的系统中安全部署 RL：

• 利用受限控制层以确保可靠性和可扩展性。
• 采用离线 RL 防护措施 (CQL) 来处理分布偏移和数据稀疏问题。
• 依靠在线实验 (Switchback) 在全面部署前验证安全性和有效性。

这项工作作为一个案例研究，展示了如何将 RL 集成到复杂的、涉及多方利益相关者且决策具有延迟和耦合特性的三方市场中。