🤖 AI

Assessing the Business Process Modeling Competences of Large Language Models

本文介绍了 BEF4LLM 框架，旨在从四个质量维度系统地评估大语言模型在 BPMN 生成方面的表现，研究表明，尽管大语言模型在语法和语用方面表现出色，但在语义质量和有效性方面仍略逊于人类专家，但已展现出在未来业务流程建模应用中的竞争潜力。

原作者： Chantale Lauer, Peter Pfeiffer, Alexander Rombach, Nijat Mehdiyev

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chantale Lauer, Peter Pfeiffer, Alexander Rombach, Nijat Mehdiyev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给一位非常聪明、但有点刻板的机器人厨师传达一份食谱。你希望这个机器人根据你的书面指令，绘制出一张业务运作图（比如工厂或银行的流程图）。这种地图被称为 BPMN 模型。

多年来，绘制这些地图一直是那些既懂业务又精通该绘图语言严格规则的昂贵专家的工作。但现在，我们有了 大语言模型（LLMs）——也就是那些能写邮件和故事的同类 AI。核心问题在于：这些 AI 厨师能否像人类专家一样，绘制出这些复杂的业务地图？

这篇论文是一场旨在寻找答案的大规模“烹饪比赛”。以下是他们所做的工作以及研究发现，我将用简单的语言进行解释。

竞赛机制：BEF4LLM 框架

研究人员构建了一个新的评分系统，称为 BEF4LLM。你可以把它想象成一个包含四个特定类别的裁判计分卡：

有效性（Validity，即“它是真实的吗？”检查）： AI 是否真的生成了一个计算机可以打开并读取的文件？如果 AI 写的是乱码或者破坏了文件格式，那么在此项得分为零。这是最基本的门槛。
句法质量（Syntactic Quality，即“语法”检查）： AI 是否遵循了绘图语言的严格规则？（例如：“每个循环必须有起点和终点”、“箭头必须指向正确的方向”）。
语用质量（Pragmatic Quality，即“可读性”检查）： 这张地图是否易于人类观察和理解？是否过于拥挤？线条是否到处交叉？一张语法完美但看起来像蜘蛛网一样的地图是毫无用处的。
语义质量（Semantic Quality，即“含义”检查）： 地图是否真的讲述了正确的故事？如果你说“客户付款，然后商品发货”，地图是否展示了那个顺序，还是 AI 搞混了并将它们颠倒了？

参赛者

他们测试了 17 种不同的开源 AI 模型，涵盖各种规模：

小型模型： 像一个聪明的计算器。
中型模型： 像一位博学多才的图书管理员。
大型模型： 像一台拥有庞大大脑的超级计算机。

他们给了这些 AI 105 种不同的业务描述（例如“客户订购披萨，付款，然后等待送货”），并要求它们绘制地图。

大惊喜（结果）

1. 越大并不一定越好。
你可能会认为最大的、最昂贵的 AI 每次都会获胜。但论文发现，更大的模型并不一定能做出更好的地图。

类比： 想象一位过度热情的大型 AI 厨师，他在食谱中加入了过多的额外食材和步骤，导致即使味道在技术上是正确的，菜肴也变得一团糟。有时，一个更专注的小型厨师（中型 AI）能做出更简洁、更易读的地图。
陷阱： 最大的模型在遵循严格规则（语法）和把握故事（含义）方面表现更好，但它们往往会让地图变得过于复杂而难以阅读（可读性）。

2. “有效文件”问题。
这是最大的障碍。许多 AI，尤其是较小的模型，无法生成计算机能够实际打开的文件。

类比： 这就像 AI 写了一封优美的信，但它忘了把信装进信封，或者信封是用胶水封死的，邮递员根本打不开。即使信件本身完美无缺，如果无法交付，它也是徒劳的。只有少数顶尖模型能够稳定地生成“可打开”的文件。

3. AI 对阵人类专家。
研究人员让人类专家针对相同的描述绘制了地图。

结果： AI 和人类在整体技能水平上表现得惊人地接近。
- AI 的优势： AI 在遵循严格的语法规则和使地图看起来整洁有序方面，实际上做得更好。
- 人类的优势： 人类在捕捉故事深层的含义和逻辑方面略胜一筹。
- 结论： AI 不再是一个笨拙的初学者；它已经达到了可以与人类专业人士竞争的水平，尽管在处理故事最深层的细微差别时仍有挑战。

4. “精炼”循环。
研究人员给了 AI 第二次机会。如果 AI 犯了错，他们会告诉它：“嘿，你的文件损坏了，请修复它”，并让它再次尝试。这很有帮助，但并不是万灵药。

底线

这篇论文告诉我们，AI 已经准备好协助进行业务流程建模，但我们在选择 AI 时必须谨慎。

不要只选最大的模型： 有时，中型模型才是那个“金发姑娘原则”下的最佳选择——恰到好处。
有效性是关键： 如果 AI 甚至无法生成一个可以打开的文件，那么它内部的地图有多聪明都毫无意义。
未来方向： 我们需要教导这些 AI 变得更加一致，并更好地理解业务流程背后的“故事”。

简而言之，AI 是一个非常有天赋的学徒，它精通规则且画线工整，但它仍然需要一位人类监督员，来确保它讲述的故事确实合乎逻辑。

技术摘要：评估大语言模型的业务流程建模能力

问题陈述

创建业务流程建模与标注（BPMN）模型是一项对认知要求极高的任务，需要同时具备领域知识和建模规范方面的专业能力。虽然大语言模型（LLMs）在从自然语言生成结构化人工制品方面已展现出潜力，但目前仍缺乏对其生成高质量 BPMN 模型能力的系统性评估。现有的评估方法往往依赖于“LLM 作为评判者”（LLM-as-a-judge）的方法，或者未能考虑到已建立的流程模型质量维度，例如语法、语用和语义正确性。此外，生成的 XML 文件（这是实际部署的关键要求）的有效性尚未在开源 LLM 中得到严格的基准测试。

研究方法

BEF4LLM 框架

作者引入了 BEF4LLM（BPMN LLM 评估框架），这是一个扩展了 SIQ（语法、语用和语义质量）框架的新型评估框架。与以往的方法不同，BEF4LLM 纳入了第四个维度：有效性（Validity）。该框架包含四个维度的 39 个指标：

有效性 ( $Q_{val}$ )：一个二元度量（0 或 1），检查生成的 BPMN-XML 文件是否可解析且符合 BPMN 2.0 XSD 模式。
语法质量 ( $Q_{syn}$ )：16 个指标，用于评估对 BPMN 建模规则的遵循程度（例如：起始/结束事件的存在性、正确的网关匹配、序列流规则）。
语用质量 ( $Q_{prag}$ )：15 个指标，用于评估可理解性和复杂度，包括规模、密度、连接器相互作用、可划分性和并发性。这些指标使用经验验证的阈值进行归一化处理。
语义质量 ( $Q_{sem}$ )：7 个指标，用于衡量生成的模型与地面真值（ground-truth）模型在自然语言（标签相似度）、图结构（编辑距离）和行为（因果足迹）方面的相似性。

每个维度的得分被聚合成总流程质量得分 ( $Q_{qual}$ ) 和包含有效性的总得分 ( $Q_{total}$ )。

实验设置

数据集：一个由 105 个“文本-BPMN 对”组成的精选数据集，这些对源自五个公共数据集（Camunda、LRE 等），确保了高质量的地面真值。
模型：17 个来自 Llama 3、Qwen 2.5/3、Deepseek R1、Phi 4 和 Falcon 3 等家族的开源 LLM。模型按规模进行分类（小型 $\le$ 7B，中型 7B–14B，大型 >14B）。
流程：
1. 提示词（Prompting）：使用一个系统提示词（单样本示例）和一个建模提示词来指示 LLM 生成 BPMN-XML。
2. 精炼（Refinement）：如果初始输出无效，则发送精炼提示词以纠正特定的 XML 错误。
3. 执行：每个样本进行五次运行，温度设定为 0.1，以允许微小的变化同时保持指令遵循度。
4. 过滤：平均生成有效 BPMN-XML 少于 30 个的 LLM 被排除在最终分析之外，以确保统计稳健性。
统计分析：研究采用了非参数检验（用于全局差异的 Skillings-Mack 检验，以及用于成对比较的 Wilcoxon 符号秩检验），并使用 Bonferroni 校正来处理缺失数据和序数得分。
人类基准：由 5 名人类专家对 9 个文本描述进行建模，以建立对比基准。

核心贡献

BEF4LLM 框架：第一个专门为评估 LLM 在 BPMN 建模方面设计的框架，将有效性作为除语法、语用和语义质量之外的一个关键维度整合在一起。
大规模基准测试：对 17 个开源 LLM 进行的涵盖 105 个文本-BPMN 对的广泛评估，提供了当前 LLM 在流程建模领域现状的首个全面视图。
统计洞察：对模型家族和规模之间的性能差异进行了详细分析，揭示了参数量并不与整体建模质量呈线性相关。
人类对比：将表现最好的 LLM 与人类建模专家进行直接基准测试，强调了收敛与分歧之处。

结果

比较性能

语法质量：LLM 的表现普遍较好，得分始终高于 0.75。Falcon 3 10b 获得了最高的语法得分（0.9082），但 Llama 3.3 70b 是在各维度中最一致的顶尖表现者。
语用质量：得分较高（大多 >0.8），表明生成的模型通常易于理解。Qwen 2.5 14b 得分最高（0.8907）。
语义质量：这仍然是所有模型最薄弱的维度（得分约为 0.5–0.57）。Qwen 2.5 32b 和 Llama 3.3 70b 在该类别中领先。
有效性：一个主要的瓶颈。只有 Llama 3.3 70b 实现了 90% 以上的有效率（97.33%）。许多较小的模型频繁出现无法生成有效 XML 的情况。
总体而言：在排除有效性后，Llama 3.3 70b 获得了最高的总流程质量（ $Q_{qual}$ = 0.8143）。在包含有效性时（ $Q_{total}$ ），它依然保持领先地位（0.8143），而其他模型则显著下降。

模型规模的影响

研究发现“并非越大越好”。

缩放效应：增加参数量通常会提高语法和语义质量（提升 3–5 个百分点），但往往会降低语用质量（下降约 2 个百分点）。较大的模型倾向于生成更复杂、组织性较差的流程。
架构依赖性：Qwen 3 系列显示出波动结果，即从 14B 增加到 30B 会损害语义质量，而跳跃到 235B 则恢复了语义质量，但进一步损害了语用质量。
结论：参数量是衡量 BPMN 质量的糟糕代理指标；较小的模型（如 Llama 3 8b、Qwen 2.5 14b）通常能在质量和计算成本之间提供更好的平衡。

与人类专家的比较

相当的得分：LLM 和人类专家在相似的范围内取得了得分。
优势/劣势：LLM 在语法和语用质量方面优于人类（结构错误更少，格式更好）。然而，人类在语义质量方面显著优于 LLM（0.5152 对比顶尖 LLM 的 ~0.50），这表明人类在理解文本意图方面具有更好的对齐度。
一致性：与 LLM 输出的高方差相比，人类模型的质量得分表现出较低的方差。

意义与主张

本文声称 BEF4LLM 提供了一种评估 LLM 在 BPMN 建模中表现的标准程序，超越了简单的“LLM 作为评判者”指标。研究结果表明，虽然目前的开源 LLM 在结构和可读性方面已达到与人类专家相当的水平，但它们在深度语义对齐方面仍面临困难，并且至关重要的是，在生成有效、可解析的 XML 文件方面仍存在挑战。

作者强调，有效性是实际部署的主要障碍。他们认为，指令微调版本对于这项任务至关重要，未来的开发应侧重于语义准确性的微调，并通过更紧凑的表示法来减少 Token 使用量。研究结论指出，AI 驱动的流程设计可以降低流程建模的门槛，但在实现由 LLM 驱动的完全自动化、上下文感知的 BPM 之前，仍存在重大挑战。