Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

Sintesi Tecnica: Miglioramento della Qualità dei Modelli di Processo Generati da LLM tramite Reinforcement Learning

Problematica
I Large Language Models (LLM) offrono una via per automatizzare la generazione di modelli BPMN (Business Process Model and Notation) a partire dal linguaggio naturale, affrontando il collo di bottiglia rappresentato dalla scarsità di modellatori esperti. Tuttavia, il Supervised Fine-Tuning (SFT) limita l'output del modello ai pattern presenti nei dati di addestramento, fallendo spesso nell'ottimizzare metriche di qualità globale che vanno oltre l'imitazione a livello di token. Il Reinforcement Learning (RL) con Verifiable Rewards (RLVR) ha mostrato potenziale in domini come la generazione di codice e la matematica, ma la sua applicazione alla modellazione di processi affronta una sfida unica: la qualità di un modello di processo è intrinsecamente multidimensionale (sintattica, pragmatica e semantica). Gli approcci RL esistenti per la modellazione di processi utilizzano tipicamente formulazioni a ricompensa singola senza investigare sistematicamente come la composizione di funzioni di ricompensa multidimensionali influenzi gli esiti di ottimizzazione. Nello specifico, rimane poco chiaro come bilanciare obiettivi di qualità contrastanti, se l'enfasi su specifiche dimensioni attraverso il weighting delle ricompense migliori tali dimensioni, e come le scelte di design interagiscano con l'architettura del modello e le strategie di inizializzazione.

Metodologia
Gli autori presentano un'indagine empirica sistematica utilizzando il Group Sequence Policy Optimization (GSPO), un algoritmo di RL a livello di sequenza che si allinea a una valutazione della qualità olistica. Lo studio si concentra su due famiglie di LLM open-source: Llama 3.1 8B e Qwen 2.5 14B.

• Pipeline di Addestramento: L'approccio combina SFT e RL. L'SFT funge da inizializzazione comportamentale, mentre il GSPO ottimizza obiettivi di qualità difficili da esprimere tramite supervisione a livello di token. Fondamentalmente, lo studio tratta la fase di SFT come una variabile sperimentale, applicando il GSPO sia a modelli inizializzati tramite SFT, sia direttamente a modelli instruction-tuned di base (non addestrati in ambito BPM).
• Design della Funzione di Ricompensa: Il cuore della metodologia prevede 48 configurazioni sperimentali che variano tre fattori:
  1. Reward Weighting (Ponderazione della Ricompensa): Sono state testate sei funzioni di ricompensa, inclusi un baseline a peso uguale ($R_{avg}$, $R_1$) e schemi di ponderazione mirata ($R_3$–$R_5$) che enfatizzano la qualità sintattica, pragmatica o semantica (rapporto 3:1:1).
  2. Invalidity Penalty (Penalità per Invalidità): Le configurazioni variavano tra una penalità negativa per output invalidi ($p=-1$) e una penalità nulla ($p=0$).
  3. Inizializzazione: I modelli sono stati addestrati partendo da basi inizializzate con SFT o da basi instruction-tuned (non adattate al BPM) non addestrate.
• Framework di Valutazione: Le ricompense derivano dal framework BEF4LLM, che fornisce 38 metriche automatizzate attraverso tre dimensioni:
  • Qualità Sintattica: Adesione alle regole strutturali BPMN (es. corrispondenza dei gateway, connettività dei flussi).
  • Qualità Pragmatica: Metriche di comprensibilità e complessità (es. dimensione, densità, eterogeneità dei gateway).
  • Qualità Semantica: Fedeltà al testo di input tramite metriche di similarità rispetto ai riferimenti della ground-truth.
• Analisi Statistica: I risultati sono valutati su 105 descrizioni di processi tenute fuori dal training (held-out) utilizzando test di permutazione accoppiati con correzione di Bonferroni per determinare la significatività statistica tra le dimensioni.

Contributi Chiave

1. Framework di Addestramento: Un framework per applicare il GSPO alla generazione di BPMN basata su LLM utilizzando segnali di ricompensa multidimensionali radicati nel dominio, applicabile sia dopo l'SFT che direttamente a basi instruction-tuned.
2. Indagine Sistematica sulle Ricompense: Il primo studio empirico che varia sistematicamente la composizione della ricompensa (weighting, penalità, aggregazione) attraverso due architetture e strategie di inizializzazione, coprendo 48 configurazioni.
3. Analisi delle Interazioni: Un'analisi che rivela come il design della ricompensa, l'architettura del modello e la strategia di inizializzazione non siano sintonizzabili indipendentemente, ma interagiscano in modi non banali, sfidando l'assunto di default universali per il design.
4. Linee Guida Pratiche: Raccomandazioni basate sull'evidenza per l'applicazione del RL a compiti di generazione strutturata multidimensionale.

Risultati Chiave

• RL vs. SFT (RQ1): Il GSPO con ricompense a peso uguale migliora significativamente la qualità pragmatica e sintattica per entrambe le famiglie di modelli, preservando ampiamente la fedeltità semantica. Un risultato critico è la drastica riduzione della variabilità dell'output: i modelli addestrati con RL producono output con una varianza della qualità pragmatica oltre sei volte inferiore rispetto ai baseline SFT-only, indicando una transizione verso una generazione più consistente e affidabile.
• Reward Weighting (RQ2): Contrariamente all'intuizione secondo cui enfatizzare una specifica dimensione ne migliori la qualità, il weighting a peso uguale supera costantemente la ponderazione mirata. La ponderazione mirata (es. 3:1:1) spesso non riesce a migliorare la dimensione enfatizzata e può causare il "policy collapse", ovvero il modello converge verso un modo di output stretto e di bassa qualità. Per Llama, le ricompense pesate sulla sintassi hanno causato un calo della qualità sintattica di 0.264 punti.
• Invalidity Penalty (RQ2): Il ruolo della penalità per output invalidi dipende dal modello. Per Qwen, la penalità agisce come un regolarizzatore implicito della diversità; senza di essa, il modello collassa in un singolo template strutturale (alto punteggio pragmatico, bassa diversità sintattica). Per Llama (con inizializzazione SFT), la penalità ha un effetto trascurabile poiché il modello produce già output validi in modo affidabile.
• Strategia di Inizializzazione (RQ3): La necessità di un'inizializzazione SFT dipende dall'architettura. Per Llama, l'SFT è indispensabile; senza di esso, l'RL converge a un equilibrio di bassa qualità. Per Qwen, l'SFT è ampiamente ridondante per la qualità strutturale ed è associato a una minore qualità semantica dopo l'RL, suggerendo che possa limitare la capacità del modello di esplorare strutture semanticamente diverse.

Significatività e Asserzioni
L'articolo sostiene che la composizione della funzione di ricompensa sia un determinante primario degli esiti di ottimizzazione, con effetti paragonabili alla decisione stessa di applicare il RL. I risultati si generalizzano a qualsiasi compito di generazione strutturata in cui la qualità sia valutata lungo molteplici dimensioni automatizzate.

Gli autori sottolineano che scelte di design apparentemente minori — come il weighting delle componenti della ricompensa o l'inclusione di una penalità per l'invalidità — possono produrre risultati drastici e talvolta controintuitivi (es. il weighting mirato che degrada le performance, o l'SFT che ostacola la qualità semantica in specifiche architetture). Di conseguenza, il paper argomenta contro l'esistenza di default principiggiati nel reward engineering per compiti multidimensionali, promuovendo invece una valutazione empirica su misura per l'architettura del modello e i requisiti del compito. Lo studio conclude che il peso uguale è il default più robusto, ma il regime di penalità e la strategia di inizializzazione devono essere coordinati con le capacità preesistenti del modello base riguardo a validità e rilevanza del compito.