Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

Technische Samenvatting: Verbeteren van de Kwaliteit van door LLM gegenereerde Procesmodellen door middel van Reinforcement Learning

Probleemstelling
Large Language Models (LLMs) bieden een pad naar de automatisering van Business Process Model and Notation (BPMN) generatie vanuit natuurlijke taal, wat de bottleneck van de beschikbaarheid van geschoolde modelleurs aanpakt. Echter, Supervised Fine-Tuning (SFT) beperkt de output van het model tot de patronen die aanwezig zijn in de trainingsdata, waardoor het vaak faalt in het optimaliseren voor globale kwaliteitsmetrieken die verder gaan dan token-niveau imitatie. Reinforcement Learning (RL) met Verifieerbare Beloningen (RLVR) heeft veelbelovend gebleken in domeinen zoals codegeneratie en wiskunde, maar de toepassing ervan op procesmodellering staat voor een unieke uitdaging: de kwaliteit van een procesmodel is inherent multidimensionaal (syntactisch, pragmatisch en semantisch). Bestaande RL-benaderingen voor procesmodellering maken doorgaans gebruik van single-reward formuleringen zonder systematisch te onderzoeken hoe de compositie van multidimensionale beloningsfuncties de optimalisatie-uitkomsten beïnvloedt. Specifiek blijft het onduidelijk hoe concurrerende kwaliteitsdoelstellingen gebalanceerd kunnen worden, of het benadrukken van specifieke dimensies via beloningsweging de kwaliteit van die dimensies verbetert, en hoe ontwerpkeuzes interageren met modelarchitectuur en initialisatiestrategieën.

Methodologie
De auteurs presenteren een systematische empirische investigatie met behulp van Group Sequence Policy Optimization (GSPO), een sequence-level RL-algoritme dat aansluit bij holistische kwaliteitsbeoordeling. De studie richt zich op twee open-source LLM-families: Llama 3.1 8B en Qwen 2.5 14B.

• Trainingspipeline: De aanpak combineert SFT en RL. SFT dient als gedragsinitialisatie, terwijl GSPO optimaliseert voor kwaliteitsdoelstellingen die moeilijk uit te drukken zijn via token-niveau supervisie. Cruciaal is dat de studie de SFT-fase behandelt als een experimentele variabele, waarbij GSPO ofwel wordt toegepast op Sвле-geinitialiseerde modellen, ofwel direct op instruction-tuned basismodellen (niet getraind in BPM).
• Ontwerp van de Beloningsfunctie: De kern van de methodologie omvat 48 experimentele configuraties die drie factoren variëren:
  1. Beloningsweging: Zes beloningsfuncties werden getest, inclusief een gelijk gewogen baseline ($R_{avg}$, $R_1$) en gerichte wegingsschema's ($R_3$–$R_5$) die de syntactische, pragmatische of semantische kwaliteit benadrukken (3:1:1 ratio).
  2. Ongeldigheidsstraf (Invalidity Penalty): Configuraties varieerden tussen een negatieve straf voor ongeldige outputs ($p=-1$) en een nul-straf ($p=0$).
  3. Initialisatie: Modellen werden getraind vanaf ofwel SFT-geinitialiseerde bases, ofwel ongetrainde (niet op BPM aangepaste) instruction-tuned bases.
• Evaluatiekader: Beloningen worden afgeleid van het BEF4LLM-framework, dat 38 geautomatiseerde metrieken biedt over drie dimensies:
  • Syntactische Kwaliteit: Naleving van BPMN-structuurregels (bijv. gateway matching, flow connectivity).
  • Pragmatische Kwaliteit: Begrijpelijkheid en complexiteitsmetrieken (bijv. grootte, dichtheid, gateway heterogeniteit).
  • Semantische Kwaliteit: Getrouwheid aan de inputtekst via gelijkenis-metrieken ten opzichte van ground-truth referenties.
• Statistische Analyse: Resultaten worden geëvalueerd op 105 held-out procesbeschrijvingen met behulp van gepaarde permutatietesten met Bonferroni-correctie om statistische significantie over dimensies te bepalen.

Belangrijkste Bijdragen

1. Trainingsframework: Een framework voor het toepassen van GSPO op LLM-gebaseerde BPMN-generatie met domeingebonden, multidimensionale beloningssignalen, toepasbaar zowel na SFT als direct op instruction-tuned bases.
2. Systematische Beloningsonderzoek: De eerste empirische studie die systematisch de beloningscompositie (weging, straf, aggregatie) varieert over twee architecturen en initialisatiestrategieën, waarbij 48 configuraties worden behandeld.
3. Interactie-analyse: Een analyse die aantoont dat beloningsontwerp, modelarchitectuur en initialisatiestrategie niet onafhankelijk instelbaar zijn, maar op niet-triviale wijze interageren, wat de assumptie van universele ontwerp-defaults uitdaagt.
4. Praktische Richtlijnen: Op bewijs gebaseerde aanbevelingen voor het toepassen van RL op multidimensionale gestructureerde generatietaken.

Belangrijkste Resultaten

• RL vs. SFT (RQ1): GSPO met gelijk gewogen beloningen verbetert de pragmatische en syntactische kwaliteit aanzienlijk voor beide modelfamilies, terwijl de semantische getrouwheid grotendeels behouden blijft. Een kritieke bevinding is de drastische vermindering in outputvariabiliteit; RL-getrainde modellen produceren outputs met meer dan zes keer minder variantie in pragmatische kwaliteit vergeleken met SFT-only baselines, wat wijst op een verschuiving naar meer consistente, betrouwbare generatie.
• Beloningsweging (RQ2): In tegenstelling tot de intuïtie dat het benadrukken van een specifieke dimensie deze verbetert, presteert gelijk gewogen beloning consequent beter dan gerichte weging. Gerichte weging (bijv. 3:1:1) faalt vaak in het verbeteren van de benadrukte dimensie en kan leiden tot "policy collapse", waarbij het model convergeert naar een smalle, kwalitatief lage output-modus. Voor Llama veroorzaakten syntaxis-gewogen beloningen een daling van 0,264 punten in syntactische kwaliteit.
• Ongeldigheidsstraf (RQ2): De rol van de straf voor ongeldige outputs is model-afhankelijk. Voor Qwen fungeert de straf als een impliciete diversiteitsregularisator; zonder deze stort het model in tot een enkele structurele template (hoge pragmatische score, lage syntactische diversiteit). Voor Llama (met SFT-initialisatie) heeft de straf een verwaarloosbaar effect, aangezien het model al betrouwbaar geldige outputs produceert.
• Initialisatiestrategie (RQ3): De noodzaak van SFT-initialisatie is architectuur-afhankelijk. Voor Llama is SFT onmisbaar; zonder SFT convergeert RL naar een kwalitatief laag evenwicht. Voor Qwen is SFT grotendeels redundant voor structurele kwaliteit en is het geassocieerd met een lagere semantische kwaliteit na RL, wat suggereert dat het de capaciteit van het model kan beperken om semantisch diverse structuren te verkennen.

Significantie en Claims
Het artikel claimt dat de compositie van de beloningsfunctie een primaire determinant is van optimalisatie-uitkomsten, met effecten die net zo groot zijn als de beslissing om RL zelf toe te passen. De bevindingen generaliseren naar elke gestructureerde generatietaak waarbij kwaliteit wordt beoordeeld langs meerdere geautomatiseerde dimensies.

De auteurs benadrukken dat ogenschijnlijk kleine ontwerpkeuzes — zoals de weging van beloningscomponenten of de inclusie van een straf voor ongeldigheid — drastische, soms contra-intuïtieve resultaten kunnen produceren (bijv. gerichte weging die prestaties degradeert, of SFT die de semantische kwaliteit belemmert in specifieke architecturen). Daarom pleit het artikel tegen geprincipeerde defaults in beloningsengineering voor multidimensionale taken, en adviseert het een empirische evaluatie die is afgestemd op de specifieke modelarchitectuur en taakeisen. De studie concludeert dat gelijk gewogen beloning de meest robuuste default is, maar dat het strafregime en de initialisatiestrategie moeten worden afgestemd op de bestaande capaciteiten van het basemodel met betrekking tot validiteit en taakrelevantie.