技术摘要：基于人工智能的排队系统设计与调度

1. 问题陈述

本文探讨了在服务系统中进行作业调度的挑战，其中作业类别（决定了服务时间和延迟成本）在先验阶段是未知的，必须使用机器学习预测模型进行估计。在诸如内容审核等应用场景中，AI 模型会对进入的条目进行分类（例如，“有害”与“安全”或特定的受保护群体），但这些预测并不完美。

核心问题在于误判引入了负外部性。根据预测类别来优先处理作业，可能会无意中延迟属于其他真实类别的作业，而这些作业被混入了同一个预测队列中。标准的调度策略，例如对 $Gc\mu$ 规则（基于预测类别参数进行优先级排序）的朴素适配，无法考虑到这些误分类误差，从而导致次优的拥塞成本。作者旨在设计一种在重度交通（heavy traffic）下具有渐近最优性的调度策略，并显式地将预测模型的混淆矩阵纳入考虑。

2. 研究方法

2.1 建模框架

作者将该系统建模为一系列由 $n$ 索引的单服务器、多类别排队系统，运行在重度交通机制下。

• 到达过程： 作业通过单一的共同外生流到达，其到达间隔服从独立同分布（i.i.d.）分布。
• 分类： 在进入队列之前，每个作业由固定分类器 $f_\theta$ 分配一个预测类别 $\tilde{l}$。真实类别 $k$ 与预测类别 $\tilde{l}$ 之间的关系由混淆矩阵 $Q$ 控制。
• 服务与成本： 服务时间和延迟成本取决于真实类别 $k$，而 $k$ 对调度器是不可观测的。调度器仅能观察到预测类别和作业的年龄（age）。
• 缩放： 系统使用扩散缩放（diffusion scaling, $n^{-1/2}$）进行分析，当 $n \to \infty$ 时，交通强度 $\rho_n \to 1$。

2.2 理论分析

分析过程分为两个主要阶段：

1. 下界推导： 作者推导了累积排队成本的渐近下界。他们刻画了预测类别到达过程和服务的扩散极限，展示了混淆矩阵 $Q$ 如何聚合不可观测真实类别的波动。最优成本被公式化为一个凸优化问题 (Opt)，该问题在总工作量约束下最小化真实类别的加权成本之和。
2. 策略设计 ($Pc\mu$-rule)： 受最优工作量分配 KKT 条件的启发，作者提出了 $Pc\mu$-rule。与朴素的 $Gc\mu$ 规则不同，$Pc\mu$-rule 为每个预测类别使用了一个混淆加权成本函数 ($\tilde{C}_l$)。该成本是真实类别成本的加权平均值，权重是给定预测类别下真实类别的后验概率。

2.3 最优性证明

证明 $Pc\mu$-rule 的重度交通最优性面临着显著的分析挑战：

• 目标识别： 与目标工作量分配是透明的经典设置不同，误分类模糊了预测队列与真实成本之间的关系。作者表明，最优策略必须使预测类别的负载与从下界推导出的凸优化问题的解保持一致。
• 指数收敛： 证明需要展示不同预测类别的指数之差在极限下趋于零。作者通过在 $O(n^{-1/2})$ 大小的扩散缩放时间间隔上进行归纳论证，建立了这一结论。
• 技术条件： 证明依赖于延迟成本函数的强凸性（这比 Van Mieghem [66] 等前人文献中假设的严格凸性是一个更强的条件），以确保论证能够闭合。

3. 核心贡献

3.1 $Pc\mu$-Rule

本文引入了一种简单的、基于指数的调度策略，该策略在重度交通下具有渐近最优性。该规则优先处理具有最高边际延迟成本的预测类别，其中成本已通过分类器的混淆矩阵进行了修正。它有效地纠正了预测模型引入的“噪声”。

3.2 严谨的重度交通理论

作者提供了关于**基于年龄（age-based）**的 $Gc\mu$ 规则（及其在误分类情况下的扩展）具有重度交通最优性的第一个严谨证明。

• 他们填补了经典证明（Van Mieghem [66], Mandelbaum and Stolyar [40]）中的空白，特别是关于指数差异的收敛性以及基于年龄的指数与基于停留时间（sojourn-time-based）的指数之间等价性的问题。
• 他们证明了成本函数的强凸性是使指数间隙消失的充分条件，而这一条件在经典文献中此前并未被明确指出。

3.3 模型选择与系统设计

理论结果为模型选择和系统设计提供了框架：

• 模型选择： 作者建议使用相对遗憾度（Relative Regret, $J^*(t; Q) / J^*(t; I)$）作为选择预测模型的指标。他们证明，即使具有相同的预测准确度（如精确率/召回率），不同的模型也可能产生截然不同的排队成本，而他们的指标能正确识别出对下游调度更优的模型。
• 分诊系统设计： 该框架被扩展用于设计基于 AI 的分诊系统（过滤 + 人工审核）。作者展示了如何通过联合优化过滤阈值、招聘水平和调度，以最小化包含过滤、招聘、误分类和排队成本的总成本函数，且使用的是简单的反射布朗运动模拟，而非昂贵的排队模拟。

4. 实证结果

作者使用基于真实在线评论（CivilComments 数据集）的内容审核任务验证了其框架。

• 设置： 他们微调了大语言模型（DistilBERT）以对不同人口统计群体的毒性进行分类，创建了 10 个作业类别。
• 对比： 将 $Pc\mu$-rule 与以下对象进行比较：
  • Oracle $Gc\mu$： 理论下界（已知真实类别）。
  • Naive $Gc\mu$： 将预测视为真实情况。
  • 深度强化学习 (DRL)： 使用 Q-learning 的黑盒方法。
• 发现：
  • $Pc\mu$-rule 显著优于 Naive $Gc\mu$-rule（将与 Oracle 的成本差距缩小了约 30%）和 DRL（将与 Oracle 的成本差距缩小了 60–70%）。
  • DRL 不稳定性： 深度 Q-学习在即使训练种子相同的情况下，在不同的超参数配置下也表现出巨大的性能偏差，这突显了在该领域应用强化学习的工程难度。
  • 模型多样性： 实验证实，具有相似准确率的模型会产生不同的排队成本。所提出的理论标准成功地按实际排队性能对模型进行了排名，优于传统的基于准确率的选择方法。
  • 鲁棒性： $Pc\mu$-rule 在分布偏移（非平稳到达率）下仍能保持性能增益。

5. 重要性与主张

本文声称其主要意义在于架起了预测建模与服务系统中运营决策之间的桥梁。

• 超越预测准确度： 它认为，对于预测驱动资源分配的系统，优化标准预测指标（准确率、F1 分数）是不够的。“下游”排队成本才是真正的目标。
• 实用性： $Pc\mu$-rule 提供了一种简单、可实现的替代方案，可以取代复杂、不稳定且数据饥渴的强化学习方法。它仅需要混淆矩阵以及到达/服务速率，这些都可以从历史数据中估算得出。
• 理论完整性： 通过严谨证明存在误分类时的基于年龄的指数的最优性，本文加强了重度交通排队理论的理论基础，解决了该领域开创性著作中留下的特定空白。
• 设计指导： 该框架提供了一种易于处理的方法（通过布朗运动模拟），用于设计端到端的 AI 辅助服务系统（例如内容审核流水线），在平衡过滤、人员配备和调度成本的同时，无需进行计算成本极高的模拟。

作者保持谦逊，指出该框架假设到达过程是 i.i.d. 且分类器是固定的，并且将这些结果扩展到具有复杂稳定性约束或动态学习环境的多服务器设置仍是一个有待研究的开放领域。