💻 computer science

Meeting equity requirements in shared micromobility rebalancing: a constrained Markov decision process with a case study in The Hague

本文提出了一种使用因子分解拉格朗日Q学习的约束马尔可夫决策过程（CMDP）框架，通过显式强制执行服务失败率的公平性阈值来优化共享微出行再平衡，并通过合成网络和海牙的真实案例研究进行了验证。

原作者： Lorenzo Rota, Canmanie T. Ponnambalam, Thiago D. Simão

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Lorenzo Rota, Canmanie T. Ponnambalam, Thiago D. Simão

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个充满了共享单车或滑板车的城市。目前，这些车辆往往像是一场受欢迎的派对：每个人都想去热闹的地方（市中心），于是车辆就在那里堆积如山。与此同时，位于城市边缘的安静社区却变得空空如也。如果你住在这些外围地区，你可能需要用车，却发现无车可用。

运营这些自行车系统的公司通常会试图通过移动车辆来获取最大利润。这自然会让问题变得更加严重，因为他们不断地将自行车送到繁忙、富裕的中心区域，而忽视了贫穷的郊区。

城市开始意识到：“停！我们需要公平。”他们希望确保即使是边缘地带也有足够的自行车。但问题在于，告诉计算机“要公平”是一个模糊的概念。如果你只是告诉计算机“尝试变得公平”，它必须猜测该如何努力。这就像告诉一位厨师，“把汤做得没那么咸一点”，却没说具体要减掉多少盐。厨师可能会猜错，让汤变得太淡或者还是太咸，然后他必须不断地品尝并调整，直到达到理想的效果。

论文的解决方案：“自行车的限速规则”

论文作者们想出了一个更聪明的与计算机沟通的方法。他们不再要求计算机去“猜测”如何变得公平，而是给了它一个严格的规则，就像限速标志一样。

旧方法（奖励塑造/Reward Shaping）： 计算机每做一个动作都会得到一个分数。如果它把一辆自行车移到贫困社区，它会得到一些额外的分数。但计算机必须猜测多少分才足以让这项工作变得值得。这是一个试错的过程。
新方法（约束决策/Constrained Decision Making）： 城市设定了一个规则：“任何一个社区的骑行者无法找到自行车的比例不得超过 5%”。计算机不需要猜测。它必须找到成本最低的方式来移动自行车，且必须严格遵守这一规则。如果违反了规则，它会受到沉重的惩罚；如果遵守了规则，它就可以保持低成本。

它是如何运作的：交通警察与区域划分

研究人员将城市划分为不同类型的社区（区域），从最中心到最边缘。他们为每种类型的社区创建了一个“交通警察”。

规则： 城市设定一个“失败率”限制（例如：“外围区域只能有 5% 的人无法找到自行车”）。
价格标签： 计算机使用一种特殊的工具，称为“拉格朗日方法”（Lagrangian method）。你可以把它想象成一个动态的价格标签。
- 如果外围社区正面临缺车情况，人们找不到车，那么“失败”的价格就会上升。计算机看到这个高昂的价格就会想：“噢不，我需要把更多自行车移到那里，以避免这种昂贵的惩罚！”
- 如果社区里的自行车充足，价格就会下降，计算机就会停止浪费资金将自行车移往那里。
结果： 计算机学会了精确的策略，既能将失败率控制在限制范围内，又能以尽可能低的成本运行。

他们的发现

研究人员通过两种方式测试了该方法：

虚拟城市（合成网络）： 他们创建了一个城市模拟系统。他们发现这种新方法可以精准达到城市设定的“失败率”目标。如果城市说“我们想要 5% 或更低”，系统就能交付 5% 或更低。
- 成本： 随着城市要求的规则变得更加严格（例如，将失败率从 10% 降至 5%），移动自行车的成本也会上升。这很好理解：比起仅仅让繁忙地区拥有所有自行车，确保每个人都有车要花更多的钱。
- 衡量指标： 他们还发现，一种常见的衡量公平性的方式（称为“基尼系数”）其实并不适合这项工作。这就像是通过衡量大家是否“完全平等”来衡量公平。但这里的目标并不是让每个人都完全相等，而是要确保那些“处境最差的人”有足够的资源。新方法改善了处境最差的地区，而没有损害富裕地区的利益，尽管这实际上让“平等度”的分数看起来变差了。
真实城市（荷兰海牙）： 他们将此方法应用于真实的荷兰海牙数据，使用了实际的自行车站点位置和出行调查。
- 他们构建了该城市自行车网络的模型。
- 他们展示了即使面对现实世界中杂乱的数据，该系统也能学会满足规则的策略。
- 难点： 当规则设定得极其严格时（例如 0.5% 的失败率），系统在最小、波动最大的社区中表现得有些吃力。当你使用一个针对整个群体组的统一策略时，很难保证每一个微小的角落都能达到完美。然而，对于合理的规则，它的表现很好。

核心结论

这篇论文表明，城市不必通过“猜测”来让共享单车变得公平。与其给运营商模糊的指令，不如设定一个明确、硬性的限制——即有多少人会被留在原地无法用车。计算机随后可以计算出满足该限制的最具成本效益的方案。它将一个模糊的“公平”目标转化为了一个具体的、可实现的计划，并且拥有一个已知的价格标签。

技术摘要：共享微出行重平衡中的公平性需求满足

问题陈述
共享微出行系统往往会重现城市的不平等现象，即车辆过度集中在需求量大、中心化且富裕的区域，而使边缘和低收入区域处于服务不足的状态。标准的重平衡政策通常以最大化收入为目标，这加剧了这种“分裂城市主义”（splintering urbanism）。虽然城市越来越多地施加公平性要求（例如，在特定区域设定最低车辆份额），但现有的运营方法难以高效地满足这些指令。现有的强化学习（RL）方法试图通过在奖励函数中添加加权惩罚项来整合公平性，然而，这种方法依赖于对惩罚权重的试错性调优，无法直接保证能够达到特定的监管阈值（例如，最大服务失败率），也无法为收紧此类规则提供清晰的成本效益分析。

方法论
作者将车队重平衡问题重新表述为一个约束马尔可夫决策过程（CMDP）。该方法并非通过奖励塑造（reward shaping）隐式地编码公平性，而是将公平性视为对服务失败率（即用户找不到车辆的比例）的一个显式约束。

公式化： 服务区域被划分为若干个按类别分组的区域（从边缘到中心）。该问题被建模为一个 MDP，其状态包括时间段、区域类别和车辆库存。目标是在满足约束的前提下最大化长期回报（最小化重平衡成本和车队惩罚）：即每个区域类别在每个时间段内的预期服务失败率不得超过城市定义的阈值（ $r_{max}$ ）。
求解算法： 该 CMDP 使用**因子化拉格朗日 Q 学习（Factorized Lagrangian Q-learning）**进行求解。
- 拉格朗日松弛： 通过引入自适应惩罚项（对偶变量 $\lambda$ ）将约束对偶化。该变量为每个类别和时间段设定了一个服务失败的“价格”：当失败次数超过目标时，价格上升；当低于目标时，价格下降。
- 因子化： 假设各区域间的需求是相互独立的，问题被分解为由每个类别的一个智能体管理的单区域子问题。属于同一类别的所有区域共享同一个 Q 表，该表由该类别内所有区域的综合经验进行更新。
- 原对偶更新（Primal-Dual Updates）： 算法在更新 Q 值（原问题，旨在优化修改后的奖励：基础奖励减去 $\lambda \times$ 失败次数）与更新对偶变量（对偶问题，基于滑动窗口内的平均违反约束情况）之间交替进行。
现实世界适配： 在海牙（The Hague）的案例研究中，作者调整了模型以处理容量不等的区域，通过将车辆库存归一化为占用比例（$0 $到$ 1$）。他们利用加权 k-means 聚类算法根据站点位置构建了服务区，并利用国家旅行调查数据（ODiN）和地址登记数据估算了需求。

核心贡献

直接约束满足： 该方法允许城市直接指定最大服务失败率，消除了对公平性权重进行试错性调优的需求。算法会自动调整重平衡策略以满足该界限。
成本透明度： 该方法量化了满足特定公平目标所需的运营成本。它证明了随着失败率界限的收紧，重平衡成本会随之增加，从而使城市能够在采纳严格规则之前评估其代价。
指标选择： 论文指出基尼系数（Gini index）并不适合用于强制执行“服务底线”。虽然奖励塑造（旨在使速率相等）可以降低基尼系数，但约束方法在保持中心区域高水平服务的同时，提升了边缘区域的服务水平。这可能导致基尼系数停滞甚至在最差情况下的失败率改善时略有上升，因此，对于这一特定目标，最差情况下的失败率是更合适的指标。
现实应用性： 在海牙的案例研究表明，该方法可以使用公开数据（站点馈送、地址登记和旅行调查）进行实例化，从而生成经过训练的重平衡策略。

结果

合成网络： 在一个具有五个类别的合成网络上，该方法成功满足了所有区域类别和时间段指定的失败率阈值。随着界限（ $r_{max}$ ）从 100% 收紧至 5%，最差情况下的失败率单调下降，而重平衡成本则大约翻了一番。中心区域不受约束影响，而边缘区域的可用性得到了显著提升。
与奖励塑造的比较： 与奖励塑造基准相比，约束方法并没有为了缩小差距而降低原本服务良好的中心区域的服务水平。相反，它专注于向欠发达区域分配资源，以达到绝对阈值。
海牙案例研究： 应用于真实数据时，该系统本身表现良好（无约束时最差情况失败率约为 2.8%）。当测试更严格的界限时，该方法通过增加车队规模和重平衡操作做出响应。然而，在最严苛的界限（0.5% 和 0.75%）下，由于采用了按类别因子化的处理方式（即在不同规模的区域间共享单一策略），最边缘的区域略微超过了限制，这凸显了计算效率与细粒度控制之间的权衡。

意义与主张
作者声称，这项工作弥合了监管公平性要求与运营决策之间的鸿沟。通过将重平衡建模为 CMDP，该方法将公平性目标转化为一个具有已知价格的规划输入。它使城市能够实施基于结果的规则（服务水平），而非基于指令性的输入（车辆数量），这符合国际运输论坛等机构的建议。论文得出结论，该方法为实现联合国可持续发展目标 11.2 中的最后一公里接入目标提供了一条可行路径，即提供一种机制，在不损害整个网络效率的情况下，为欠发达地区维持服务底线。作者保持了谦逊的态度，指出目前的模型假设需求是独立的且重平衡时刻是固定的，未来仍需解决需求相关性、期内重平衡以及针对需求漂移的在线自适应等问题。

类似论文