🤖 machine learning

Scalable Ride-Sourcing Vehicle Rebalancing with Service Accessibility Guarantee: A Constrained Mean-Field Reinforcement Learning Approach

本文提出了一种可扩展的约束均值场强化学习方法，用于网约车车辆重平衡，该方法在有效解决大规模车队中维度灾难的同时，确保了不同地理区域间服务可及性的公平性。

原作者： Matej Jusup, Kenan Zhang, Zhiyuan Hu, Barna Pásztor, Andreas Krause, Francesco Corman

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Matej Jusup, Kenan Zhang, Zhiyuan Hu, Barna Pásztor, Andreas Krause, Francesco Corman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个城市里有成千上万辆网约车（如 Uber 或 Lyft），以及源源不断试图打车的乘客。对于运营这些车辆的公司来说，最大的头痛点不仅是找到乘客，而是如何在有人发出需求之前，就确定空车应该在哪里等待。

如果所有的车都卡在市中心，而郊区的人却在苦苦等待，那么整个系统就会失效。如果车辆随机散布各处，它们又会为了寻找订单而空驶，浪费燃油。这就是**车辆重平衡（Vehicle Rebalancing）**的问题。

本论文提出了一种利用**平均场强化学习（Mean-Field Reinforcement Learning）**概念来管理这些车队的更聪明的新方法。以下是其工作原理的拆解，采用了简单的类比：

1. 问题所在：“厨师太多”的困境

传统上，试图控制 18,000 辆车就像是在指挥一个管弦乐队，每个乐手都在演奏不同的乐器，而你必须精确地告诉每一个乐手下一步该演奏哪个音符。随着车辆数量的增加，计算机就会不堪重负（这被称为“维度灾难”）。计算耗时过长，等到算出结果时，交通状况早已发生了变化。

2. 解决方案：“鸟群”法

作者并没有追踪每一辆单独的汽车，而是将整个车队视为一群鸟或一团气体。

类比： 你不需要告诉每一只鸟该飞向哪里。你只需要知道鸟群的“形状”，然后告诉鸟群：“整体向左移动一点。” 这样，个体鸟类就会自然地调整位置以适应这个形状。
技术： 这被称为平均场控制（Mean-Field Control）。计算机不再关注第 4,502 号车，它观察的是城市不同区域车辆的“密度”。它会询问：“北边的车群中是否存在缺口？让我们把整个车群向北推一下。” 这使得数学计算变得极其快速且具有可扩展性，能够瞬间处理数万辆汽车。

3. 新的转折点：“公平规则”

大多数以往的系统只关心效率：“获取尽可能多的订单，赚取尽可能多的利润。” 这通常意味着将所有车辆集中在最繁忙、最富有的社区，从而导致贫困或安静区域无法获得服务。

作者加入了一个服务可及性保证（Service Accessibility Guarantee）。

类比： 这就像是披萨外送服务。贪婪的策略只会把司机派往订单保证充足的繁华市中心。但城市规定：“你也必须确保在安静的郊区至少有一名司机可用，即使那里的订单并不多。”
技术： 他们在 AI 中加入了一个数学“规则”（约束条件）。AI 被告知：“你可以实现利润最大化，但是，你必须保持车辆分布得足够分散，以确保没有哪个社区会被完全遗留为空白。” 他们使用了一个叫做“熵”（衡量分布程度的概念）的概念，来确保车辆不会仅仅聚集成堆。

4. 他们如何教导 AI

他们使用了两种方法来教授系统：

方法 A（地图阅读者 - MFC）： 他们给了 AI 一张完美的、预先计算好的关于车辆与乘客如何匹配的地图。AI 利用这张地图来解决谜题。这种方法非常快，但依赖于地图必须是完美的。
方法 B（学习者 - MFRL）： AI 在模拟环境（类似于电子游戏）中一遍又一遍地进行练习，并从错误中学习。它学习的是乘客真实的反应行为，而不仅仅是地图上显示的理论行为。这种方法训练速度稍慢，但能更好地适应现实世界的混乱情况。

5. 结果：快速、公平且强大

当他们在深圳（一个拥有 18,000 辆模拟车的巨大中国城市）的真实数据上进行测试时：

速度： 新方法可以在不到一秒钟的时间内决定如何调度全部 18,000 辆车。旧方法则需要超过 10 分钟。在现实世界中，等待 10 分钟才移动车辆是毫无意义的；你需要立即行动。
公平性 vs. 利润： 他们找到了一个“甜点区（平衡点）”。通过执行公平规则，他们并没有损失太多的利润或效率。他们可以确保在安静的社区也有车可用，同时不会破坏繁忙地区的服务。
鲁棒性（稳健性）： 当他们模拟一个突发事件（例如演唱会结束，导致成千上万的人在奇怪的位置同时需要用车）时，旧系统表现得很糟糕。而新系统由于保持了车辆分布的均匀性，能够应对这种突发的激增。

总结

本论文介绍了一种管理大规模网约车车队的方法，这种方法既足够快，可以进行实时操作，又足够公平，可以服务每一个人，而不仅仅是服务富裕地区。它通过停止让计算机微观管理每一辆车，转而管理整个车队的“形状”，并强制系统在每个社区保留一个安全保障网来实现这一目标。

技术摘要：具有服务可及性保障的可扩展网约车重平衡技术

1. 问题定义

本文研究了大规模网约车系统（如 Uber、滴滴出行）中的车辆重平衡问题（vehicle rebalancing problem）。核心挑战在于车辆供给与乘客需求之间的时空错配。虽然现有方法侧重于优化系统整体效率（例如最大化收入或最小化等待时间），但它们往往忽略了服务可及性（service accessibility），导致低需求区域的服务分布不均。

该问题具有三个主要难点：

可扩展性（Scalability）： 传统的集中式强化学习（RL）在车辆数量增加时会面临“维度灾难”。多智能体强化学习（MARL）虽然降低了维度，但引入了非平稳性和协调复杂性。
不确定性（Uncertainty）： 系统涉及随机需求和复杂的车辆-乘客匹配机制，这些机制难以进行显式建模。
公平性约束（Equity Constraints）： 确保各地理区域具备最低水平的服务可及性，为优化问题增加了一个硬约束，这在标准的强化学习框架中处理起来非常困难。

2. 方法论

作者提出了一种**约束均值场强化学习（Constrained Mean-Field Reinforcement Learning, MFRL）方法，并辅以均值场控制（Mean-Field Control, MFC）**模型。该框架将车队视为连续的智能体分布，而非离散的个体。

2.1 均值场公式化

问题被公式化为一个约束均值场马尔可夫决策过程（C-MF-MDP）。

状态空间： 代表性车辆的连续二维坐标。
均值场分布 ( $\mu_t$ )： 代表当车队规模 $L \to \infty$ 时，车队的极限分布。
动作： 连续的重定位概率 ( $p_t$ ) 和移动向量 ( $u_t$ )。
转移： 状态转移分解为三种结果：重定位、匹配（服务乘客）或巡游。匹配概率由可用车辆分布与需求分布之间的相互作用决定。

2.2 两种动力学处理方法

论文开发了两种不同的方法来处理未知的转移动力学（特别是匹配过程）：

均值场控制 (MFC)： 假设使用**最优传输（Optimal Transport, OT）**对匹配过程进行闭式近似。匹配被建模为供给分布与需求分布之间的最小费用流问题。这提供了一个具有高样本效率的模型驱动解决方案。
均值场强化学习 (MFRL)： 通过回合制交互直接从数据中学习匹配过程。训练一个二分类器来根据供需状态预测匹配概率，随后利用该分类器来近似状态转移函数，以进行策略优化。

2.3 处理可及性约束

为了强制执行服务可及性，作者引入了一个基于可用车辆分布的 $\epsilon$ -平滑加权微分熵（ $\epsilon$ -smoothed weighted differential entropy） 的约束。

约束： $h_w(\mu_t, \pi_t) \ge C$ ，其中 $C$ 是熵的下界。
机制： 高熵对应于车辆的均匀分布，确保了整个服务区域（排除河流等非运营区域）的覆盖。
优化： 使用**对数障碍法（log-barrier method）**将约束问题转化为无约束问题，在奖励函数中添加惩罚项 $\lambda \log(h_w - C)$ 。这确保了策略在训练过程中保持在可行域内。

3. 核心贡献

论文声称其贡献如下：

首次将可及性集成到强化学习中： 据作者所知，这是首个在随机转移和非平稳需求下，将服务可及性约束集成到基于强化学习的车辆重平衡研究中的工作。
连续空间的扩展性： 与以往基于区域的离散方法不同，所提出的 MFC 和 MFRL 模型在连续空间中运行，并且在车队规模变化时无需重新训练即可扩展至数万辆车。
效率-公平性的帕累托前沿（Pareto Front）： 该方法成功生成了能够探索效率（利用率、完成率）与公平性（可及性）之间权衡的策略，表现优于基准模型。
鲁棒性： 模型在面对需求变化（包括高斯噪声、时间排列变化和突发需求冲击）时表现出鲁棒性。

4. 实验结果

研究使用来自中国深圳的真实出租车轨迹数据（18,000 辆车，6 小时高峰期）对方法进行了评估。

4.1 计算效率

训练： MFC 训练耗时约 40 分钟；MFRL 训练耗时约 26 分钟。
推理： 在 GPU 上，MFC 和 MFRL 生成 18,000 辆车重平衡策略的时间均 <0.001 分钟（亚秒级）。
对比： 这显著快于线性规划（LP）基准，后者在 CPU 上进行推理需要 12–19 分钟。

4.2 性能指标

可及性 vs. 效率： 随着可及性约束 ( $p$ ) 变得更加严格，可及区域的比例增加，而利用率和服务率等指标略有下降。然而，这种下降是微小的（例如，为了获得显著的可及性提升，利用率损失仅为 <5%），这表明可以在不牺牲主要效率的情况下实现高公平性。
基准对比： 在服务完成率、利用率和接单距离方面，MFC 和 MFRL 均优于“无重平衡”、“静态 LP”和“动态 LP”策略。MFRL 通常比 MFC 取得略好的性能（差距达 5%），但训练成本更高。
对冲击的鲁棒性： 在假设的需求冲击下（例如，在低需求区突然涌入 5,200 个请求），所提策略维持了 70% 至 85% 的服务率，而基准模型（LP 和无重平衡）未能服务超过 40% 的请求。可及性约束在这些不可预测的场景中被证明对于维持服务至关重要。

5. 重要性与主张

本文将其工作定位为迈向可扩展且公平的城市移动管理的重要一步。

可扩展性： 通过利用均值场近似，该方法消除了在车队规模变化时重新训练模型的需要，使其适用于大都市规模的部署。
公平性： 它解决了对私营网约车服务的“公平性”质疑，通过数学手段保证了最低水平的服务可及性，超越了纯粹的利润驱动优化。
实用性： 亚秒级的推理时间表明该方法已准备好进行实时部署，能够比传统的优化方法更快地响应市场变化。

作者也谦虚地承认了局限性，指出当前模型假设驾驶员完全遵守指令（忽略了人类行为）并使用了时间离散化。他们建议未来的工作应解决多平台竞争、更细粒度的局部约束以及自动驾驶车队集成等问题。