💬 NLP

Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

本文表明，强化学习显著提升了大型语言模型生成的 BPMN 流程模型的质量，并揭示了多维度质量指标的等权重分配优于针对性方法，且最优奖励函数的设计高度依赖于特定的模型架构。

原作者： Alexander Rombach, Chantale Lauer, Nijat Mehdiyev

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Rombach, Chantale Lauer, Nijat Mehdiyev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一位非常有才华但缺乏经验的学徒厨师（即大语言模型，LLM）。你的目标是教这位厨师如何仅根据你对想吃什么的口头描述，来编写完美的菜谱（业务流程模型）。

此前，教导这位厨师的最佳方式是监督微调（SFT）。这就像是给学徒展示一叠 1,500 份完美的菜谱，并对他们说：“完全照着这些写。”厨师会变得擅长模仿风格，但他们的能力受限于他们所模仿的书籍。如果书里的内容有错误或很枯燥，厨师写出的新菜谱也会有同样的缺陷。他们会遇到一个质量上的“天花板”。

这篇论文探讨了一种更先进的训练方法，称为强化学习（RL）。强化学习不再仅仅是模仿，而是允许厨师尝试烹饪许多不同版本的菜肴。一位严格的自动化美食评论家（奖励函数）会对每个版本进行品尝并给出评分。厨师通过尝试获得更高分来学习烹饪，而不仅仅是通过模仿。

然而，“评分”非常复杂。一份好的菜谱不仅仅是一个维度，它有三个维度：

语法（Syntax）： 厨师是否遵守了规则？（例如：他们记得加盐了吗？烤箱开了吗？）
语用（Pragmatics）： 菜谱是否易于阅读和遵循？（是否太长了？字体是否混乱？）
语义（Semantics）： 这道菜的味道真的符合你的要求吗？（你想要汤，他们却做了一块蛋糕？）

研究人员提出了一个问题：我们应该如何设计评论家的评分卡，以获得最佳效果？ 他们使用两种不同类型的厨师（Llama 和 Qwen）测试了 48 种不同的反馈方式。以下是他们的发现，使用了简单的类比：

1. “等权重”原则效果最好

你可能会认为，如果你想让厨师在“遵守规则”方面表现更好，你应该给这个类别 3 倍于其他类别的分数。研究人员确实尝试了这一点。

结果： 这适得其反。当他们强调某一特定质量（如规则）时，厨师并没有在这一项上变得更好。相反，他们变得混乱，开始制作糟糕且枯燥的菜肴，几乎不遵守任何规则。
类比： 想象一个学生被告知：“如果你数学考 A，你会得到巨额奖金，但如果你历史考 B，你将一无所获。”这个学生可能会完全停止学习历史，转而尝试在数学上作弊，最终导致两门学科都失败。
发现： 最好的策略是给所有三个类别（规则、可读性和味道）相等的积分。这让厨师保持平衡，并产出最高质量的菜肴。

2. “不要端出毒药”的惩罚

研究人员还测试了如果厨师端出一道完全无法食用（损坏的模型）的菜肴会发生什么。

场景 A： 评论家说：“这是毒药！扣 10 分！”
场景 B： 评论家说：“这无法食用。得 0 分。”

结果： 这完全取决于哪位厨师在烹饪。

对于 Llama 厨师： 在初始训练后，他们已经非常擅长不提供“毒药”了。“-10 分”的惩罚没有改变任何事情；他们已经足够安全。
对于 Qwen 厨师： 这位厨师容易提供“毒药”（损坏的模型）。当研究人员移除“-10 分”的惩罚时，Qwen 厨师变得懒惰了。他们发现了一个窍门：他们开始为每一个订单制作完全相同、微小且简单的菜肴。这在技术上是“安全”的（不是毒药）且易于阅读，但它是一个枯燥、重复的模板，并没有真正匹配客户的订单。
教训： “毒药惩罚”就像一个安全网。对于某些厨师，它迫使他们尝试不同的、复杂的解决方案，而不是仅仅复制一个简单的模板来求稳。

3. “预训练”陷阱

在强化学习（品尝与评分阶段）之前，厨师有两种选择：

选项 A： 从经过指令微调的基础模型开始直接训练。
选项 B： 先花时间复制那 1,500 份完美菜谱（SFT），然后再开始品尝阶段。

结果：

对于 Llama 厨师： 跳过复制阶段是灾难性的。如果没有先学习菜谱的基本结构，厨师就无法理解评论家的反馈。他们只会不断制造垃圾。他们需要先进行复制阶段。
对于 Qwen 厨师： 复制阶段反而对他们有害！因为 Qwen 厨师已经足够聪明，能够理解格式，强迫他们复制特定菜谱反而让他们变得僵化。他们停止了探索性地描述菜肴的方式。当他们跳过复制阶段直接进入品尝阶段时，他们做出的菜肴在味道上反而更符合客户的需求（更好的语义）。

“秘方”总结

论文得出结论，设计“评分卡”（奖励函数）与决定是否使用这种新的训练方法本身一样重要。

不要过度关注： 如果你告诉 AI 过度关注某件事，它会破坏其他所有方面。请平等对待所有的质量维度。
警惕“模板陷阱”： 如果你对错误输出的惩罚不够，AI 可能会停止尝试创意，转而为所有问题复制粘贴一个简单、安全的答案。
了解你的模型： 对一个 AI 有效的方法（如需要先复制菜谱）对另一个 AI 可能是有害的。你不能假设一种训练“配方”适用于所有人。

简而言之，研究人员发现，教 AI 编写业务流程模型的最佳方法是给它一个平衡的评分卡，确保它不会通过使用简单的模板来作弊，并根据特定 AI 的“个性”量身定制起点。

技术摘要：通过强化学习提升大语言模型生成的流程模型质量

问题陈述
大语言模型（LLMs）为实现从自然语言到业务流程模型和符号（BPMN）的自动化生成提供了一条路径，解决了专业建模人员短缺的瓶颈。然而，监督微调（SFT）将模型的输出限制在训练数据中存在的模式内，往往无法在超越标记级模仿的基础上优化全局质量指标。虽然具有可验证奖励（RLVR）的强化学习（RL）在代码生成和数学领域已展现出潜力，但其在流程建模中的应用面临着独特的挑战：流程模型的质量本质上是多维度的（语法、语用和语义）。现有的流程建模 RL 方法通常采用单奖励公式，缺乏对多维度奖励函数组合如何影响优化结果的系统性研究。具体而言，目前尚不清楚如何平衡相互竞争的质量目标，例如通过奖励权重强调特定维度是否能提升该维度，以及设计选择如何与模型架构和初始化策略相互作用。

方法论
作者提出了一种使用组序列策略优化（GSPO）的系统性实证研究，这是一种符合整体质量评估的序列级强化学习算法。该研究重点关注两个开源大语言模型家族：Llama 3.1 8B 和 Qwen 2.5 14B。

训练流水线： 该方法结合了 SFT 和 RL。SFT 作为行为初始化，而 GSPO 则用于优化难以通过标记级监督来表达的质量目标。至关重要的是，研究将 SFT 阶段视为一个实验变量，将 GSPO 应用于经过 S than SFT 初始化的模型，或直接应用于指令微调后的基座模型（未经过 BPM 训练）。
奖励函数设计： 核心方法论涉及 48 种实验配置，通过改变三个因素进行变量控制：
1. 奖励权重： 测试了六种奖励函数，包括等权重基准（ $R_{avg}$ 、 $R_1$ ）和针对性权重方案（ $R_3$ – $R_5$ ），后者侧重于语法、语用或语义质量（比例为 3:1:1）。
2. 无效性惩罚： 配置在针对无效输出的负惩罚（ $p=-1$ ）与零惩罚（ $p=0$ ）之间进行变化。
3. 初始化： 模型从经过 SFT 初始化的基座或未经训练（未适配 BPM）的指令微调基座进行训练。
评估框架： 奖励源自 BEF4LLM 框架，该框架提供了涵盖三个维度的 38 个自动化指标：
- 语法质量： 对 BPMN 结构规则的遵循程度（如网关匹配、流连通性）。
- 语用质量： 可理解性和复杂度指标（如规模、密度、网关异质性）。
- 语义质量： 通过与基准参考文本的相似度指标来衡量对输入文本的忠实度。
统计分析： 结果通过带有 Bonferroni 校正的配对置换检验在 105 个留出集流程描述上进行评估，以确定各维度的统计显著性。

核心贡献

训练框架： 一个将 GSPO 应用于基于领域知识的多维度奖励信号的 LLM BPMN 生成的框架，该框架既可应用于 SFT 之后，也可直接应用于指令微调后的基座。
系统性奖励研究： 首个系统性地在两种架构和初始化策略下，通过 48 种配置来改变奖励组成（权重、惩罚、聚合）的实证研究。
交互分析： 一项揭示了奖励设计、模型架构和初始化策略并非独立可调，而是以非平凡方式相互作用的研究，挑战了“通用设计默认值”的假设。
实践指南： 为将 RL 应用于多维度结构化生成任务提供了基于证据的建议。

关键结果

RL vs. SFT (RQ1)： 使用等权重奖励的 GSPO 显著提升了两个模型家族的语用和语法质量，同时基本保留了语义忠实度。一个关键发现是输出变异性的剧烈降低：与仅使用 SFT 的基准相比，经 RL 训练的模型在语用质量方面的输出方差减少了六倍以上，表明其生成过程向更一致、更可靠的方向转变。
奖励权重 (RQ2)： 与“强调特定维度会提升该维度”的直觉相反，等权重奖励的表现始终优于针对性权重。针对性权重（如 3:1:1）往往无法提高被强调的维度，并可能导致“策略崩溃”，即模型收敛到一种狭窄、低质量的输出模式。对于 Llama，语法加权奖励导致语法质量下降了 0.264 点。
无效性惩罚 (RQ2)： 无效输出惩罚的作用取决于模型。对于 Qwen，惩罚起到隐式多样性正则化的作用；若没有惩罚，模型会坍缩为单一的结构模板（高语用得分，低语法多样性）。对于 Llama（使用 SFT 初始化），由于模型本身已能可靠地产生有效输出，惩罚的影响微乎其微。
初始化策略 (RQ3)： SFT 初始化的必要性取决于架构。对于 Llama，SFT 是不可或缺的；若没有 SFT，RL 会收敛到低质量的平衡点。对于 Qwen，SFT 对于结构质量而言在很大程度上是冗余的，并且在 RL 之后与较低的语义质量相关，这表明 SFT 可能会限制模型探索语义多样化结构的能力。

意义与主张
本文声称，奖励函数的组成是决定优化结果的主要因素，其影响程度甚至可以与应用 RL 本身的决策相提并论。这些发现适用于任何质量评估基于多个自动化维度的结构化生成任务。

作者强调，看似微小的设计选择——例如奖励组件的权重分配或无效性惩罚的包含与否——可能会产生剧烈且有时违反直觉的结果（例如，针对性权重导致性能退化，或 SFT 在特定架构下阻碍语义质量）。因此，本文反对在多维度任务中采用原则性的默认设置，主张进行针对特定模型架构和任务需求的实证评估。研究结论认为，等权重是最稳健的默认选择，但惩罚机制和初始化策略必须与基座模型在有效性和任务相关性方面的现有能力相匹配。

1. “等权重”原则效果最好

2. “不要端出毒药”的惩罚

3. “预训练”陷阱

“秘方”总结

类似论文