技术摘要：扩展队列规模——纽约市市政投诉系统中基于强化学习的公平呼叫分类容量

1. 问题陈述

市政 311 呼叫中心和投诉受理系统面临着投诉量与用于分类、分流及路由这些投诉的可用容量之间的结构性错配。当前的受理工作流程依赖于被动的、基于规则的启发式方法，无法随需求扩展。这一瓶颈导致系统性的优先级误判，使得来自低收入和少数族裔社区的投诉被不成比例地分配到低优先级队列、不恰当地批量处理，或未被分类。

核心问题并非仅仅是随机错误，而是测量不公。投诉量是潜在住房风险的一个有偏信号，因为报告率与收入、教育水平和数字素养呈正相关。因此，基于历史 311 数据天真训练的分类器会继承并放大“参与差距”，即服务不足的社区尽管潜在事件发生率可能更高，却产生的记录更少。这导致了一个反馈循环：报告不足的区域获得的检查更少，从而为未来的训练产生更少的结果记录。

本文探讨了三个研究问题：

1. 公平性：强化学习（RL）策略能否在人口统计群体间公平地分配正确的行动指派？
2. 容量：RL 智能体能否比现有的启发式方法实现更高的吞吐量和更低的误分类率？
3. 权衡：公平的量化成本是多少？随着奖励配置的变化，速度、成本和公平覆盖之间的帕累托前沿如何移动？

2. 方法论

2.1 形式化框架：多目标马尔可夫决策过程

作者将纽约市建筑局（DOB）的六个运营领域（锅炉安全、起重机/井架、供暖/热水、住房分流、脚手架安全和自然区域区）形式化为离散时间的马尔可夫决策过程（MDP）。

• 状态（$S$）：编码投诉队列、社区统计数据（人口普查区级别）和容量指标。特征包括重复报告标志、积压情况和社区风险评分。
• 动作（$A$）：分类类别，如升级、批量处理、推迟、立即检查或忽略。
• 奖励（$R$）：一个多目标函数，旨在最大化吞吐量，最小化误分类成本，并主动缩小历史公平性差距。

2.2 以公平为中心的奖励设计

一项关键创新是将公平分类覆盖率视为一级奖励目标，而非次要约束。第 $t$ 步的奖励函数定义为：
$$r_t = \alpha_1 r_{speed} - \alpha_2 r_{cost} + \alpha_3 r_{equity} + \alpha_4 r_{retention}$$

为解决“参与差距”，作者在标准化升级吞吐量之前引入了上游报告率校正。在计算公平性时，他们不使用原始投诉数量（$N_g$）作为分母，而是使用以下方法估算潜在事件数量（$\hat{N}_g$）：

1. 重复报告估算器：遵循 Liu 等人 [12] 的方法，利用同一事件的重复报告率来估算社区的报告倾向（$\rho$）。
2. 贝叶斯空间模型：当重复数据稀疏时，使用美国社区调查（ACS）协变量（收入、教育、语言获取）作为报告倾向的代理。
3. 校正：估算的潜在事件数量 $\hat{N}_g = C_g / \hat{\rho}_g$ 替代公平项中的原始计数。这确保智能体被激励去升级来自低报告率（通常是低收入）普查区的投诉，其比例应基于其估算的需求，而非其提交量。

2.3 算法与训练

该研究评估了多种 RL 算法与基线（当前的 DOB 启发式方法、随机策略和基于规则的专家系统）：

• DQN（深度 Q 网络）：结合经验回放和目标网络使用；在特定领域包含 CQL（保守 Q 学习）惩罚。
• 带学习基线的 REINFORCE：一种策略梯度方法，针对顺序资源分配进行了优化。
• 表格 TD Q 学习：用于较小的状态空间。
• 行为克隆（BC）：用作基线以估算历史策略性能。

训练采用严格的时序划分（例如，2020–2024 年用于训练，2025 年用于测试），以防止数据泄露并模拟现实世界的部署。

2.4 可解释性与审计

作者采用**SHAP（SHapley Additive exPlanations）**归因来审计学习到的策略。这有助于识别哪些作为人口统计属性代理的特征（例如社区收入、种族构成）正在驱动决策。审计按人口普查区收入五分位和种族构成进行细分，以检测差异性影响。

3. 关键结果

3.1 分类吞吐量与准确性

• 供暖与住房领域：REINFORCE 在累积奖励方面比 HDQN 和随机策略提高了4 倍。在 365 天的时间范围内，它多解决了约**20–27%**的违规行为（101 起对比 80–84 起）。
• 锅炉安全：DQN 在总奖励（1030 万美元对比 900 万美元）和召回率（98.7% 对比 94.5%）方面优于 REINFORCE，尽管由于遗漏安全隐患的高成本不对称性（26:1 的成本比率），两者的精确度都较低（约 22%）。
• 电梯和 SNAD 领域：RL 智能体（DQN 和 REINFORCE）在奖励和可操作的分类率方面始终优于“平衡”启发式方法和其他基线。

3.2 多目标权衡（帕累托前沿）

• “公平的价格”：研究发现，添加公平目标（$\alpha_3 > 0$）会导致**4–7%**的适度吞吐量损失。这与 Liu 和 Garg [13] 的理论边界一致，表明在市政环境中，效率与公平在很大程度上是互补的，而非对立的。
• 策略优势：带有公平目标的 RL 策略在效率和公平性两个维度上同时优于纽约市现行的检查调度方案。

3.3 公平性分析

• 差距减少：当前的 DOB 启发式方法表现出统计学上显著的梯度，即低收入社区（Q1）每起投诉获得的正确升级次数少于高收入社区（Q5）。
• 以公平为中心的 RL：使用校正后的公平奖励项（$\alpha_3 > 0$）训练的智能体在各收入五分位间接近均等。相比之下，未使用公平项训练的智能体虽然缩小了差距，但未能消除差距。
• 特征重要性：SHAP 分析显示，社区层面的特征（例如曼哈顿第 12 社区委员会）是强有力的预测因子，证实了历史数据中的地理变量编码了社会经济地位。

4. 意义与主张

本文主张，公平并非效率的必然副产品；它必须被明确地写入奖励函数中。

1. 明确公平的必要性：仅针对吞吐量优化的智能体虽然能缩小历史差距，但无法消除它们。只有具有明确覆盖率均等目标的智能体才能在超越启发式方法检测缺陷的同时，实现近乎均等的公平性。
2. 适度的成本：公平的权衡是可量化且微小的（4–7% 的吞吐量损失），这挑战了公平需要重大运营牺牲的观念。
3. 数据质量限制：作者强调，分类质量受限于数据质量。如果不针对“参与差距”（低收入地区的漏报）进行校正，RL 系统由于反馈循环，可能会在连续的训练轮次中损害公平性。
4. 规范性政策制定：为公共部门 RL 配置奖励函数是一种规范性政策制定行为。本文认为，在帕累托前沿上选择何处操作（平衡速度、成本和公平）是一个政治决策，属于该机构及其服务的社区，而不仅仅是算法。

5. 部署建议

作者提出了一种带有特定安全保障的“人在回路”部署策略：

• 持续审计：每月进行人口统计审计，并设定预先指定的阈值以进行人工审查。
• 报告校正：在每次重新训练周期之前，应用重复报告估算器来校正公平性分母。
• 反馈循环缓解：使用探索奖励和反事实升级，防止模型强化历史上的服务不足。
• 透明度：公开记录奖励配置，将其作为规范性政策优先级的声明。

本文结论指出，虽然 RL 提供了扩展分类容量的杠杆，但要实现公平服务交付的承诺，必须在这些偏见塑造算法决策之前，先纠正公民数据收集中固有的结构性偏见。