Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

Technische Zusammenfassung: Verbesserung der Qualität von LLM-generierten Prozessmodellen durch Reinforcement Learning

Problemstellung
Große Sprachmodelle (LLMs) bieten einen Weg zur Automatisierung der BPMN-Generierung (Business Process Model and Notation) aus natürlicher Sprache, was den Engpass bei der Verfügbarkeit qualifizierter Modellierer adressiert. Die überwachte Feinabstimmung (Supervised Fine-Tuning, SFT) beschränkt die Ausgaben des Modells jedoch auf die in den Trainingsdaten vorhandenen Muster und versäumt es oft, globale Qualitätsmetriken jenseits der Token-Ebene zu optimieren. Reinforcement Learning (RL) mit verifizierbaren Belohnungen (Verifiable Rewards, RLVR) hat sich in Bereichen wie der Codegenerierung und Mathematik als vielversprechend erwiesen, doch die Anwendung auf die Prozessmodellierung steht vor einer einzigartigen Herausforderung: Die Qualität von Prozessmodellen ist inhärent mehrdimensional (syntaktisch, pragmatisch und semantisch). Bestehende RL-Ansätze für die Prozessmodellierung nutzen typischerweise Single-Reward-Formulierungen, ohne systematisch zu untersuchen, wie die Komposition mehrdimensionaler Belohnungsfunktionen die Optimierungsergebnisse beeinflusst. Insbesondere bleibt unklar, wie konkurrierende Qualitätsziele ausbalanciert werden können, ob die Betonung spezifischer Dimensionen durch die Gewichtung der Belohnung deren Qualität verbessert und wie Designentscheidungen mit der Modellarchitektur und den Initialisierungsstrategien interagieren.

Methodik
Die Autoren präsentieren eine systematische empirische Untersuchung unter Verwendung von Group Sequence Policy Optimization (GSPO), einem RL-Algorithmus auf Sequenzebene, der mit einer ganzheitlichen Qualitätsbewertung korrespondiert. Die Studie konzentriert sich auf zwei Open-Source-LLM-Familien: Llama 3.1 8B und Qwen 2.5 14B.

• Trainings-Pipeline: Der Ansatz kombiniert SFT und RL. SFT dient als Verhalten-Initialisierung, während GSPO die Optimierung für Qualitätsziele übernimmt, die über eine Token-Ebene-Überwachung hinausgehen. Entscheidend ist, dass die Studie die SFT-Phase als experimentelle Variable behandelt, indem sie GSPO entweder auf Sft-initialisierte Modelle oder direkt auf instruktionsgestimmte Basismodelle (die nicht in BPM trainiert wurden) anwendet.
• Design der Belohnungsfunktion: Das Kernstück der Methodik ist die Untersuchung von 48 experimentellen Konfigurationen, die drei Faktoren variieren:
  1. Belohnungsgewichtung: Es wurden sechs Belohnungsfunktionen getestet, darunter eine Gleichgewicht-Baseline ($R_{avg}$, $R_1$) sowie gezielte Gewichtungsschemata ($R_3$–$R_5$), die syntaktische, pragmatische oder semantische Qualität betonen (Verhältnis 3:1:1).
  2. Ungültigkeitsstrafe (Invalidity Penalty): Die Konfigurationen variierten zwischen einer negativen Strafe für ungültige Ausgaben ($p=-1$) und einer Strafe von Null ($p=0$).
  3. Initialisierung: Die Modelle wurden entweder von SFT-initialisierten Basen oder von ungetrainierten (nicht an BPM angepassten) instruktionsgestimmten Basen trainiert.
• Evaluationsrahmen: Die Belohnungen werden aus dem BEF4LLM-Framework abgeleitet, das 38 automatisierte Metriken über drei Dimensionen hinweg bereitstellt:
  • Syntaktische Qualität: Einhaltung der BPMN-Strukturregeln (z. B. Gateway-Matching, Flusskonnektivität).
  • Pragmatische Qualität: Verständlichkeit und Komplexitätsmetriken (z. B. Größe, Dichte, Gateway-Heterogenität).
  • Semantische Qualität: Treue zum Eingabetext mittels Ähnlichkeitsmetriken gegenüber Ground-Truth-Referenzen.
• Statistische Analyse: Die Ergebnisse werden auf 105 gehaltenen Prozessbeschreibungen mittels gepaarter Permutationstests mit Bonferroni-Korrektur ausgewertet, um die statistische Signifikanz über die Dimensionen hinweg zu bestimmen.

Wesentliche Beiträge

1. Trainings-Framework: Ein Framework zur Anwendung von GSPO auf die LLM-basierte BPMN-Generierung unter Verwendung von domänengestützten, mehrdimensionalen Belohnungssignalen, das sowohl nach SFT als auch direkt auf instruktionsgestimmte Basen anwendbar ist.
2. Systematische Untersuchung der Belohnung: Die erste empirische Studie, die die Zusammensetzung der Belohnung (Gewichtung, Strafe, Aggregation) systematisch über zwei Architekturen und Initialisierungsstrategien hinweg variiert und dabei 48 Konfigurationen abdeckt.
3. Interaktionsanalyse: Eine Analyse, die zeigt, dass das Belohnungsdesign, die Modellarchitektur und die Initialisierungsstrategie nicht unabhängig voneinander abstimmbar sind, sondern auf nicht-triviale Weise interagieren, was die Annahme universeller Design-Defaults infrage stellt.
4. Praktische Leitlinien: Evidenzbasierte Empfehlungen für die Anwendung von RL auf mehrdimensionale strukturierte Generierungsaufgaben.

Wesentliche Ergebnisse

• RL vs. SFT (RQ1): GSPO mit gleichgewichteten Belohnungen verbessert die pragmatische und syntaktische Qualität für beide Modellfamilien signifikant, während die semantische Treue weitgehend erhalten bleibt. Ein entscheidender Befund ist die drastische Reduktion der Variabilität der Ausgaben; RL-trainierte Modelle produzieren Ausgaben mit einer über sechsmal geringeren Varianz in der pragmatischen Qualität im Vergleich zu SFT-only-Baselines, was auf einen Übergang zu konsistenterer, zuverlässigerer Generierung hindeutet.
• Belohnungsgewichtung (RQ2): Entgegen der Intuition, dass die Betonung einer spezifischen Dimension diese verbessert, schneidet eine Gleichgewicht-Gewichtung konsistent besser ab als eine gezielte Gewichtung. Gezielte Gewichtung (z. B. 3:1:1) führt oft nicht zur Verbesserung der betonten Dimension und kann zu einem „Policy Collapse“ führen, bei dem das Modell zu einem engen, qualitativ minderwertigen Ausgabemodus konvergiert. Für Llama verursachte eine syntaktisch gewichtete Belohnung einen Rückgang der syntaktischen Qualität um 0,264 Punkte.
• Ungültigkeitsstrafe (RQ2): Die Rolle der Strafe für ungültige Ausgaben ist modellabhängig. Für Qwen fungiert die Strafe als impliziter Diversitäts-Regularisierer; ohne sie konvergiert das Modell zu einem einzelnen strukturellen Template (hoher pragmatischer Score, geringe syntaktische Diversität). Für Llama (mit SFT-Initialisierung) hat die Strafe einen vernachlässigbaren Effekt, da das Modell bereits zuverlässig valide Ausgaben produziert.
• Initialisierungsstrategie (RQ3): Die Notwendigkeit einer SFT-Initialisierung ist architekturbedingt. Für Llama ist SFT unverzichtbar; ohne SFT konvergiert RL zu einem qualitativ minderwertigen Gleichgewicht. Für Qwen ist SFT für die strukturelle Qualität weitgehend redundant und wird nach RL mit einer geringeren semantischen Qualität assoziiert, was darauf hindeutet, dass es die Fähigkeit des Modells einschränken kann, semantisch diverse Strukturen zu explorieren.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Zusammensetzung der Belohnungsfunktion ein primärer Bestimmungsfaktor für die Optimierungsergebnisse ist, wobei die Effekte so groß sind wie die Entscheidung, RL überhaupt anzuwenden. Die Ergebnisse lassen sich auf jede strukturierte Generierungsaufgabe verallgemeinern, bei der die Qualität entlang mehrerer automatisierter Dimensionen bewertet wird.

Die Autoren betonen, dass scheinbar kleine Designentscheidungen – wie die Gewichtung von Belohnungskomponenten oder die Einbeziehung einer Ungültigkeitsstrafe – drastische, teils kontraintuitive Ergebnisse hervorrufen können (z. B. die Verschlechterung der Leistung durch gezielte Gewichtung oder die Tatsache, dass SFT in bestimmten Architekturen die semantische Qualität behindert). Infolgedessen argumentiert das Paper gegen prinzipielle Defaults im Reward-Engineering für mehrdimensionale Aufgaben und plädiert statsachend für eine empirische Evaluierung, die auf die spezifische Modellarchitektur und die Aufgabenanforderungen zugeschnitten ist. Die Studie kommt zu dem Schluss, dass eine Gleichgewicht-Gewichtung der robusteste Default ist, die Strafe-Regime und die Initialisierungsstrategie jedoch auf die bestehenden Fähigkeiten des Basismodells hinsichtlich Validität und Aufgabenrelevanz abgestimmt werden müssen.