🤖 machine learning

David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

本文通过对七个真实事件日志的系统性基准测试表明，在下一活动预测任务中，一个简单的基于计数的 argmax 基准模型往往能达到或接近复杂深度学习模型及数十亿参数大语言模型的性能，从而挑战了模型复杂度和预训练能够持续带来更优结果的假设。

原作者： Hans Weytjens, Ingo Weber

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Hans Weytjens, Ingo Weber

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大卫挑战歌利亚：下一环节预测中的大卫与歌利亚

这是一篇关于论文《下一环节预测中的大卫与歌利亚》的解释，使用了通俗易懂的语言和富有创意的类比。

核心问题：预测下一步真的需要超级计算机吗？

想象一下你正在看电影。你已经看了前半部分，现在想猜猜接下来会发生什么。

“歌利亚”（Goliath）式方法： 你雇佣了一支由 1,000 名专家组成的影评人团队，他们看过了有史以来所有的电影。他们利用其庞大的历史、文化和叙事知识来猜测结局。
“大卫”（David）式方法： 你只需观察最后一幕。如果英雄刚刚拿起一把剑，你就猜下一幕会有战斗；如果英雄刚刚坐下来吃晚饭，你就猜下一幕会涉及进食。

这篇论文在问：我们真的需要这 1,000 名专家（歌利亚），还是仅仅观察最后一幕（大卫）就足够了？

背景：业务流程预测

研究人员正在从事一个被称为**预测性流程监控（Predictive Process Monitoring）**的领域。可以将业务流程想象成一份食谱或一条工厂装配线。

目标： 给定一系列已经执行的步骤（例如：“收到订单”、“检查付款”、“包装物品”），预测紧接着的下一个步骤（例如：“运送物品”）。
竞争者：
1. Argmax（大卫）： 一个超级简单的规则。它只是统计过去某个特定步骤之后通常跟着哪个步骤。如果“运送”在 90% 的情况下都紧随“包装”之后，它就会预测为“运送”。
2. LSTM： 能够很好记忆序列的较旧的智能计算机。
3. Transformer 与 LLM（歌利亚）： 那些拥有数十亿参数的庞大 AI 模型（例如驱动聊天机器人的模型），它们在整个互联网上进行了“预训练”。其背后的逻辑是，因为它们了解大量的语言和模式，所以它们在预测业务步骤方面应该表现出色。

实验： “词汇量”问题

研究人员尝试将这些巨大的 AI 模型（LLM）用于业务任务。但业务数据并不是自然语言。它不是“猫坐在垫子上”，而是“事件 ID 405：发票已批准”。

为了让 AI 理解，他们必须将业务数据翻译成 AI 的语言。他们通过以下方式实现：

采用一个巨大的预训练模型（歌利亚）。
替换掉它的词典，使其理解业务术语而非英语单词。
教导它特定的业务规则（微调）。

然后，他们将这些“翻译过”的巨头与以下模型进行对比：

从零开始训练的小型模型（仅在业务数据上学习）。
简单的 “Argmax” 计数器。
旧的 LSTM 模型。

实验结果：巨人的踉跄

论文的研究结果令人惊讶，可以总结为 “大卫对阵歌利亚”，而大卫胜出或打平。

1. “预训练”的迷思
研究人员发现，巨大的 AI 模型从互联网学到的“知识”（预训练）并没有提供帮助。

类比： 想象一位厨师，他做过世界上所有的菜肴（预训练的 AI）。你请他只用三种食材做一份非常简单的三明治。这位厨师试图利用他深厚的法餐知识来制作这个三明治，但结果发现，一个只专门制作这种特定三明治的当地熟食店员工（从零开始训练的模型）做得反而更好。这位厨师博大精深的知识反而成了干扰。

2. 越大并不代表越好
他们测试了从极小到极其庞大（数十亿参数）的模型。

结果： 将模型规模扩大 1,000 倍并不会让它变得聪明 1,000 倍。事实上，较小、较简单的模型往往表现得和这些巨头一样好，甚至更好。

3. 简单的计数器胜出（大部分情况下）
在他们测试的大多数业务数据集上，简单的 “Argmax” 计数器（大卫）的表现与拥有数十亿参数的 AI（歌利亚）不相上下。

原因： 业务流程通常是重复性的。如果 90% 的情况下步骤 B 紧随步骤 A 之后，你不需要一台超级计算机来搞清楚这件事。你只需要一个计算器。复杂的 AI 显然是大材小用了。

4. 什么时候巨头会赢？
巨大的 AI（以及从零开始训练的模型）仅在两个特定的数据集（BPI12 和 BPI17）上显示出明显的优势。这是因为在这两个案例中，业务流程足够复杂，或者数据的变化足够多样，以至于需要比简单计数器更高级的“大脑”。

总结

论文的结论是，业务流程预测领域一直试图用“大锤”（大规模 AI 模型）来解决问题，而实际上只需要一把“弹弓”（简单的计数器或小型模型）就足够了。

不要在只需要弹弓的地方带上一位巨人。
在投入数百万美元训练大规模 AI 模型之前，从业者应该先尝试使用简单的频率计数器。
如果确实需要更复杂的模型，与其强行让一个巨大的、经过预训练的互联网模型来胜任这项工作，不如直接在特定数据上从零训练一个小模型。

简而言之： 在这项特定的工作中，那款“聪明”的 AI 并没有表现得比一个简单的计算器更聪明。研究人员建议我们停止把事情复杂化，转而使用更简单、更高效的工具。

技术摘要：下一活动预测中的大卫对阵歌利亚

问题陈述
下一活动预测（Next Activity Prediction, NAP）是预测性流程监控（Predictive Process Monitoring, PPM）中的一项基础任务，旨在根据给定的前缀预测业务流程轨迹中的后续活动。该领域已从经典的机器学习演进到深度学习架构，如 LSTM、Transformer，以及最近的大语言模型（LLM）。虽然近期的文献表明，经过词表适配和微调的 LLM 具有更优越的性能，但目前缺乏系统的基准测试来直接对比这些复杂的模型与更简单的基线模型及从头训练的架构。具体而言，在直接序列建模的 NAP 背景下，预训练和扩展 LLM 所带来的巨大计算成本和复杂性，是否能比规模较小、针对特定任务的模型或简单的统计基线带来一致的性能提升，这一点仍不明确。

方法论
作者针对来自 BPI 挑战赛（BPI12, BPI15, BPI17, BPI19, BPI20_PTC, BPI20_TPD, BPI20_RFP）的七个真实事件日志进行了系统性的基准测试。研究采用了“直接序列建模”方法，其中事件属性被表示为学习到的嵌入（embeddings），而不是将其转换为自然语言文本。

实验设置对比了四类模型：

预训练 LLM：GPT-2（Small, Medium, Large）和 Qwen-3（0.6B, 1.7B, 4B）的词表适配版本。这些过程包括替换输入/输出层以匹配数据集词表，同时保持骨干网络固定或通过参数高效微调（PEFT）进行极小程度的适配。
从头训练的 Transformer：不同规模（参数量从约 0.1M 到 85M 不等）的自定义“nanoGPT”模型，直接在 NAP 数据集上进行训练。
蒸馏模型：通过仅限 Logit 的知识蒸馏（logits-only knowledge distillation）从微调后的预训练“教师”模型中训练出的较小“学生”模型。
基线模型：
- LSTM：四种不同规模的 LSTM 模型。
- Argmax 基线：一种简单的阶一经验转移模型，仅根据当前活动的相对转移频率来预测下一个活动（ $a_{k+1} = \arg\max_a P(a | a_k)$ ）。

评估使用了两个指标：准确率（Accuracy）和 Macro-F1，并在前缀层面进行计算。研究控制了超参数、数据泄漏和预处理（包括生命周期增强和处理唯一前缀）。

核心贡献

系统性基准测试：本文首次对词表适配的 LLM、从头训练的 Transformer、蒸馏模型、LSTM 以及基于计数的 argmax 基线在多个数据集上进行了联合比较。
蒸馏方法论：引入了一种将微调后的 LLM 压缩到不存在预训练版本的较小架构中的方法，从而实现对知识迁移的受控研究。
基线包含：通过重新引入简单的基于计数的 argmax 基线（在许多近期关注深度学习的 NAP 论文中缺失），作者为报告的性能增益提供了关键的现实检验。
研究问题：研究明确探讨了关于预训练价值、蒸馏效果、模型规模、架构现代性以及复杂模型相对于基线必要性的五个问题。

结果
实验结果呈现了一个“大卫对阵歌利亚”的叙事，挑战了“更大的预训练模型本质上更优越”的假设：

预训练 (RQ1)：通用的 LLM 预训练并没有带来持续的附加价值。经过微调的 GPT-2 和 Q 训练的 Qwen-3 模型并未系统性地超越与其规模相当的从头训练（nanoGPT）模型。在某些情况下，从头训练的模型表现更好。
蒸馏 (RQ2)：从微调后的教师模型进行仅限 Logit 蒸馏，并未能提升较小学生架构相对于直接从头训练的性能。事实上，蒸馏模型的表现往往较差。
模型容量与现代性 (RQ3 & RQ4)：增加模型规模（从数百万到数十亿参数）并未带来一致的性能收益。同样，较新的架构（Qwen-3）并未一致地优于旧架构（GPT-2）。
复杂度 vs. 基线 (RQ5)：
- LSTM vs. LLM：LSTM 的表现与 LLM 相当，特别是在 Macro-F1 指标上，LLM 仅在 BPI12 数据集上显示出显著优势。
- LLM vs. Argmax：在大多数数据集（BPI15, BPI19, BPI20 各变体）上，简单的 argmax 基线达到了与数十亿参数 LLM 相当或接近的性能。仅在 BPI12 和 BPI17 上观察到相对于 argmax 基线的显著改进。
- 最优策略：对于具有高前缀方差、训练样本较少或高类别不平衡的数据集，argmax 基线通常是最有效的选择。然而，规模相对较小的从头训练的 Transformer 模型经常能取得最佳的整体预测性能，同时超越了基线和微调后的 LLM。

意义与主张
本文声称为 PPM 领域提供了一次“清醒的现实检验”。作者认为，该领域倾向于将先进模型与其它深度学习模型进行基准测试，而非与简单基线进行对比，这夸大了近期进展的实际相关性。

预训练并非万灵药：在通过词表适配的直接序列建模中，通用语言先验并不能有效地迁移到 NAP。大型模型的“失配先验”（mismatched priors）甚至可能阻碍其在特定过程分布上的表现。
简单性具有竞争力：对于许多过程日志，一个简单的基于频率的模型是非常有竞争力的选项。
从头训练更佳：当必须使用复杂模型时，从头训练小型 Transformer 模型比增加模型规模或依赖预训练/蒸馏架构更有利。
未来方向：研究结果表明，未来的研究应超越架构规模的扩张，转而关注更丰富的过程感知表示、迁移学习和多任务目标，并将建立好的基准和简单基线作为衡量真正进展的清晰起点。

作者总结道，从业者应当“不要在只需要投石索就能解决战斗的地方带上一尊巨神”，强调对于标准的 NAP 任务而言，数十亿参数模型的复杂性往往是不合理的。