🤖 AI

Learning optimal policies from event logs through reinforcement learning: a comparison of deep and MDP-based approaches

本文提出了一种用于规范性过程监控（Prescriptive Process Monitoring）的强化学习框架，该框架通过直接从历史事件日志中学习最优行为策略，以推荐优化关键绩效指标（KPI）的行动，并将基于模型的马尔可夫决策过程方法与无模型的深度强化学习方法进行了比较，并证明了两者都能有效提升 KPI，同时基于模型的方法在计算效率方面表现更优。

原作者： Stefano Branchi, Andrei Buliga, Chiara Di Francescomarino, Chiara Ghidini, Riccardo Graziosi, Francesca Meneghello, Massimiliano Ronzani

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Stefano Branchi, Andrei Buliga, Chiara Di Francescomarino, Chiara Ghidini, Riccardo Graziosi, Francesca Meneghello, Massimiliano Ronzani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是某家繁忙银行的经理。每天都有客户申请贷款。有时贷款会被批准，有时会被拒绝，有时客户则直接离开了。你的目标很简单：尽可能让更多的客户对你的贷款提议说“好”。

然而，你无法控制一切。你可以控制银行的行为（比如发送提议或要求更多信息），但你无法控制客户的行为（比如决定接受、拒绝或取消）。这就像是在玩一场国际象棋，你只能移动自己的棋子，但你的对手（客户）会根据心情随机移动他们的棋子。

这篇论文旨在通过观察银行过去如何进行这场“游戏”的旧记录，来教计算机成为一名最优秀的银行经理。目标是找到能更频繁获胜的最佳策略。

两位“教练”

研究人员测试了两种不同的方式（或称“教练”），利用强化学习（一种通过试错来学习的 AI 类型，但在本案例中，它是通过阅读历史书来进行学习）来教计算机这种策略。

1. “地图绘制者”（基于 MDP 的方法）

这位教练通过观察成千上万份过去的贷款申请，试图构建一张游戏的详细地图。

运作方式： 它将相似的情况归为一类（例如“客户要求 1 万美元，我们发送了提议”），并计算下一步发生的概率。它创建了一个清晰的规则手册：“如果你处于情况 A，则执行动作 B。”
类比： 想象一个 GPS，它已经绘制了城市中每一条道路的地图。它确切知道哪个转弯会导致拥堵，哪个转弯可以通往捷径。它在告诉你该怎么走之前，先构建了一张完整的城市地图。
缺陷： 构建这张地图需要一些工作，如果地图过于详细，可能会被罕见、奇特的事件所困扰。为了解决这个问题，研究人员添加了一个“过滤器”，以忽略历史记录中那些罕见且不可靠的路径。

2. “深度学习者”（离线深度强化学习）

这位教练并不试图构建地图。相反，它使用一个超级智能的神经网络（类似于拥有许多层级的“大脑”）来观察历史书，并直接推测出最佳动作。

运作方式： 它阅读过去的记录，并试图寻找人类或简单地图可能错过的隐藏模式。它通过一遍又一遍地查看数据来进行学习。
类比： 想象一位看过数百万局棋的国际象棋大师。他们不需要画出棋盘地图；他们仅仅是根据经验积累的直觉来“感觉”出正确的走法。
缺陷： 这个“大脑”非常沉重。它需要很长时间来训练，并且需要大量的计算能力，就像是用超级计算机去解一个巨大的拼图。

实验：模拟竞技场

由于你不能直接向真实的客户提供糟糕的建议来测试结果（那会令银行损失金钱），研究人员构建了一个虚拟模拟器。

他们制作了一个贷款流程的“电子游戏”版本。
他们让计算机使用它学到的策略玩了几千次游戏。
他们衡量了得分标准：银行赚取了多少利润？（利润 = 赚取的利息减去处理贷款所花费的时间）。

他们的发现

结果非常有意思：

两位教练都赢了： “地图绘制者”和“深度学习者”都制定出了比银行原有标准做法更好的策略。它们都帮助银行获得了更多的“好”回答。
“地图绘制者”略胜一筹： “地图绘制者”（MDP）始终能找到稍好的策略，尤其是在棘手的、罕见的情况下。它在明确知道该做什么方面更加可靠。
“地图绘制者”速度快得多： 这是最大的区别。“地图绘制者”在几分钟内就学会了它的策略。而“深度学习者”需要数小时（甚至根据数据规模的不同，需要数天）来进行训练。
- 类比： “地图绘制者”就像是一个通过研读教科书并在 10 分钟内通过考试的学生。“深度学习者”则像是一个为了得到同样的成绩而必须把整部百科全书重读 100 遍的学生。

核心结论

论文得出结论，如果你想利用过去的数据来教计算机如何运行一项业务流程（如贷款审批）：

你并不总是需要最复杂、最重型的 AI（深度学习）。
一种能够构建清晰流程模型的更简单的方法（MDP）不仅效果同样出色，甚至更好，而且运行起来更快、更便宜。

这提醒我们，有时，一张清晰的地图比一个超级复杂的“大脑”更有效，尤其是当你只想高效地完成任务时。

技术摘要：通过强化学习从事件日志中学习最优策略

问题定义

本文探讨了规范性过程监控（Prescriptive Process Monitoring, PPM）面临的挑战，特别侧重于直接从历史事件日志中学习最优行为策略。与现有的 PPM 方法不同，这些方法通常推荐预定义的干预措施或基于专家规则的具体后续活动，而本研究旨在发现能够确定最佳行动序列以最大化特定关键绩效指标（KPI）的通用策略。

该问题的一个关键约束是多参与者环境（multi-actor environment）。在许多现实世界的流程中（例如贷款申请），流程所有者（智能体/agent）仅控制一部分活动，而其他活动则由外部参与者（如客户）或外生因素驱动。目标是为智能体学习一种策略，使其能够在对流程执行仅拥有部分控制权的情况下优化 KPI。

作者识别了将强化学习（RL）应用于该领域时的两个主要挑战：

数据驱动的学习： 避免依赖大量的领域知识来手动定义状态空间或干预集。
评估安全性： 由于存在破坏现有系统的风险，在实时系统中测试策略是不切实际的。因此，在部署前需要一个稳健的评估机制。

方法论

本文提出并比较了两种不同的基于人工智能的方法，用于在多参与者设置下从事件数据中学习最优策略，其中智能体控制特定的活动。

1. 基于模型的路径 (基于 MDP 的 RL)

这种方法通过构建显式的**马尔可夫决策过程（MDP）来处理事件日志，并使用动态规划（DP）**进行求解。

MDP 构建：
- 动作（Actions）： 定义为由智能体控制的活动。
- 状态（States）： 通过编码轨迹历史进行构建。作者使用 k-means 聚类对编码后的前缀（活动频率、位置和归一化前缀奖励）进行处理，以管理状态空间的维度并防止维度爆炸。一个状态被定义为最后执行的活动与分配的簇（cluster）组成的对。
- 转移与奖励（Transitions & Rewards）： 通过重放轨迹来估计转移概率和平均奖励。
策略学习： 使用**价值迭代（Value Iteration）**推导出最优策略。
处理数据稀疏性： 为了防止智能体利用罕见的高奖励转移（过拟合），作者引入了一个应用于 Q 值的缩放函数 $h(s, a)$ 。他们测试了基于状态-动作对出现频率（使用出现次数的四分位数）参数化的阶跃函数和 Sigmoid 函数，以惩罚低频转移。

2. 无模型路径 (离线深度 RL)

这种方法采用了保守 Q 学习（Conservative Q-Learning, CQL），这是一种最先进的离线深度强化学习技术，它直接从历史数据中学习，而不与环境交互。

架构： 使用带有**长短期记忆（LSTM）单元的循环神经网络（RNN）**来逼近状态-动作价值函数，以处理事件日志的序列特性。
数据准备： 从轨迹中提取转移。至关重要的是，涉及环境控制动作的转移被移除，其奖励被转移到前一个有效的智能体转移上，从而使数据集与智能体的视角保持一致。
训练： 模型使用 CQL 算法进行离线训练，以最小化离线 RL 中常见的过度估计偏差。

评估框架

为了在不冒风险影响实时系统性能的情况下评估学习到的策略，作者利用了业务流程模拟（Business Process Simulation, BPS）。

合成日志： 从 BPMN 模型生成，用于测试在不同日志规模和成功率下的鲁棒性。
真实世界日志： 使用了 BPIC2012 和 BPIC2017 数据集。
模拟模型： 采用了两种类型的模拟模型：
1. 固定概率模型 ( $M_\pi$ )： 在决策点使用标准概率。
2. 决策树模型 ( $M^\pi_{DT}$ )： 使用基于历史数据训练的决策树来建模对过程历史更敏感的环境响应。
基准测试（Baselines）： 与惯常策略（customary policy）（原始日志中固有的行为）以及启发式信息策略（informed heuristic）（一个利用模拟逻辑的特权知识构建的强基准，仅适用于合成日志）进行对比。

核心贡献

直接策略学习： 本文展示了一种能够以极少领域知识直接从事件日志中学习通用行为策略的方法，并区分了可控活动与不可控活动。
从日志构建 MDP： 提出了一个特定的流水线，通过聚类处理状态抽象，从而从事件日志中构建 MDP，克服了手动定义过程挖掘中 MDP 状态的困难。
用于鲁棒性的缩放函数： 为 MDP 方法引入了基于频率的 Q 值缩放函数 ( $h$ )，有效缓解了对罕见转移的过拟合，显著提高了策略的稳定性。
全面比较： 系统地比较了经典的基于模型的 DP 方法与现代无模型的离线深度 RL (CQL) 在过程挖掘背景下的表现。
基于模拟的评估： 将 BPS 应用于评估多参与者设置下的下一活动选择策略，为学习到的策略提供了受控的 A/B 测试环境。

结果

评估涵盖了八个合成日志（变量包括规模和成功率）和两个真实世界日志（BPIC2012 和 BPIC2017）。

性能： 两种方法都成功学习到了能够持续提升目标 KPI（利润）的策略，其表现优于惯常策略。
- 在合成日志中，基于 MDP 的方法（特别是使用 $h_{sig}^{Q1}$ 和 $h_{step}^{Q1}$ 等缩放函数的版本）通常优于离线深度 RL 方法，在大多数情况下达到了与启发式信息策略相当的 KPI。
- 在真实世界日志中，两种方法都表现出了扎实的性能，其中基于 MDP 的方法显示出略微领先或持平于 CQL 的优势。
鲁棒性： 基于 MDP 的方法展现出更强的稳定性。朴素的 MDP 方法（未进行缩放）表现不稳定，而 CQL 方法在合成评估中从未进入表现最好的策略之列。
计算效率： 基于 MDP 的方法效率显著更高。基于 MDP 方法的训练时间从几秒钟到几分钟不等，而离线深度 RL 每个 epoch 大约需要 30 分钟（获得有效策略总计需数小时）。由于聚类的存在，MDP 的时间随日志规模增长，而深度 RL 的单 epoch 时间保持恒定但处于高位。

重要性与主张

本文声称，即使在智能体仅拥有部分控制权的复杂多参与者场景下，直接从事件数据中学习最优行为策略也是可行且有效的。

实用性： 结果表明，基于 MDP 的方法在简洁性、可解释性、计算效率和性能之间提供了理想的平衡。作者认为，对于数据结构化且决策点明确的过程挖掘场景，可能并不严格需要复杂的深度学习模型来实现高质量的策略。
数据驱动的发现： 本研究验证了仅凭历史数据即可发现有效的干预措施和策略，而无需预定义可能的动作集或依赖于对领域动态的广泛专家知识。
未来潜力： 作者将这些学习到的策略定位为更广泛优化框架的强大初始化工具，这些框架随后可以结合在线交互或反馈。他们也承认了在控制流信息依赖以及未来需要更丰富的状态表示（如数据属性）方面的局限性。

本文总结道，虽然两种范式都是可行的，但在所研究的语境下，经过适当的数据驱动状态抽象和正则化处理的经典基于模型的方法，目前提供了一个更高效且更稳健的解决方案，用于规范性过程监控。