Sintesi Tecnica: Apprendimento di Politiche Ottimali da Log di Eventi tramite Reinforcement Learning

Definizione del Problema

Il documento affronta la sfida del Monitoraggio Prescrittivo dei Processi (PPM), concentrandosi specificamente sull'apprendimento di politiche comportamentali ottimali direttamente dai log storici degli eventi. A differenza degli approoli PPM esistenti, che raccomandano interventi predefiniti o specifiche attività successive basate su regole esperte, questo lavoro mira a scoprire strategie generali che determinino la migliore sequenza di azioni per massimizzare un determinato Indicatore Chiave di Prestazione (KPI).

Un vincolo critico del problema è l'ambiente multi-attore. In molti processi reali (ad esempio, le domande di prestito), il proprietario del processo (l'agente) controlla solo un sottoinsieme di attività, mentre altre sono guidate da attori esterni (ad esempio, i clienti) o fattori esogeni. L'obiettivo è apprendere una politica per l'agente che ottimizzi il KPI nonostante abbia un controllo parziale sull'esecuzione del processo.

Gli autori identificano due sfide primarie nell'applicare il Reinforcement Learning (RL) a questo dominio:

1. Apprendimento basato sui dati: Evitare la dipendenza da una vasta conoscenza del dominio per definire manualmente gli spazi di stato o gli insiemi di intervento.
2. Sicurezza della valutazione: L'impraticabilità di testare le politiche su sistemi live a causa del rischio di interruzioni. Pertanto, è richiesto un meccanismo di valutazione robusto prima del deployment.

Metodologia

Il documento propone e confronta due distinti approcci basati sull'IA per apprendere politiche ottimali dai dati di eventi, operando entrambi in un contesto multi-attore in cui l'agente controlla attività specifiche.

1. Approccio Model-Based (MDP-based RL)

Questo approccio costruisce un Processo Decisionale di Markov (MDP) esplicito a partire dal log degli eventi e lo risolve utilizzando il Dynamic Programming (DP).

• Costruzione dell'MDP:
  • Azioni: Definite come attività controllate dall'agente.
  • Stati: Costruiti codificando la cronologia delle tracce. Gli autori utilizzano il k-means clustering sui prefissi codificati (frequenze delle attività, posizioni e premi dei prefissi normalizzati) per gestire la dimensionalità dello spazio degli stati ed evitare l'esplosione. Uno stato è definito dalla coppia tra l'ultima attività eseguita e il cluster assegnato.
  • Transizioni e Premi: Costruiti riproducendo le tracce per stimare le probabilità di transizione e i premi medi.
• Apprendimento della Politica: La politica ottimale è derivata tramite Value Iteration.
• Gestione della Scarsità dei Dati: Per evitare che l'agente sfrutti transizioni rare ad alto rendimento (overfitting), gli autori introducono una funzione di scala $h(s, a)$ applicata al valore Q. Testano funzioni a gradino e funzioni sigmoidi parametrizzate dalla frequenza delle coppie stato-azione (utilizzando i quartili dei conteggi di occorrenza) per penalizzare le transizioni a bassa frequenza.

2. Approccio Model-Free (Offline Deep RL)

Questo approccio impiega il Conservative Q-Learning (CQL), una tecnica di Offline Deep RL allo stato dell'arte, che apprende direttamente dai dati storici senza interagire con l'ambiente.

• Architettura: Viene utilizzata una Rete Neurale Ricorrente (RNN) con celle Long Short-Term Memory (LSTM) per approssimare la funzione del valore stato-azione, gestendo la natura sequenziale dei log degli eventi.
• Preparazione dei Dati: Le transizioni vengono estratte dalle tracce. Fondamentalmente, le transizioni che coinvolgono azioni controllate dall'ambiente vengono rimosse, e i relativi premi vengono trasferiti alla precedente transizione valida dell'agente per allineare il dataset alla prospettiva dell'agente.
• Addestramento: Il modello è addestrato offline utilizzando l'algoritmo CQL per minimizzare il bias di sovrastima comune nell'offline RL.

Framework di Valutazione

Per valutare le politiche apprese senza rischiare le prestazioni dei sistemi live, gli autori utilizzano la Business Process Simulation (BPS).

• Log Sintetici: Generati da un modello BPMN per testare la robustezza attraverso diverse dimensioni dei log e tassi di successo.
• Log del Mondo Reale: Vengono utilizzati i dataset BPIC2012 e BPIC2017.
• Modelli di Simulazione: Sono impiegati due tipi di modelli di simulazione:
  1. Probabilità Fissa ($M_\pi$): Utilizza probabilità standard per i punti decisionali.
  2. Albero di Decisione ($M^\pi_{DT}$): Utilizza alberi di decisione addestrati sui dati storici per modellare le risposte dell'ambiente in modo più sensibile alla cronologia del processo.
• Baseline: I confronti sono effettuati contro la politica consueta (il comportamento inerente ai log originali) e un'euristica informata (una baseline forte che utilizza la conoscenza privilegiata della logica di simulazione, disponibile solo per i log sintetici).

Contributi Chiave

1. Apprendimento Diretto della Politica: Il documento dimostra un metodo per apprendere politiche comportamentali generali direttamente dai log degli eventi con un minimo sforzo di conoscenza del dominio, distinguendo tra attività controllabili e incontrollabili.
2. Costruzione dell'MDP dai Log: Propone una pipeline specifica per costruire un MDP dai log degli eventi utilizzando il clustering per gestire l'astrazione degli stati, superando la difficoltà di definire manualmente gli stati MDP per il process mining.
3. Funzione di Scaling per la Robustezza: L'introduzione di funzioni di scala basate sulla frequenza ($h$) per il valore Q nell'approccio MDP mitiga efficacemente l'overfitting sulle transizioni rare, migliorando significativamente la stabilità della politica.
4. Confronto Comprensivo: Fornisce un confronto sistematico tra un approccio classico model-based DP e il moderno model-free Offline Deep RL (CQL) nel contesto del process mining.
5. Valutazione Basata sulla Simulazione: Il lavoro adatta la BPS per valutare le politiche di selezione della successiva attività in scenari multi-attore, offrendo un ambiente controllato per l'A/B testing delle strategie apprese.

Risultati

La valutazione è stata condotta su otto log sintetici (variando in dimensione e tassi di successo) e due log del mondo reale (BPIC2012 e BPIC2017).

• Performance: Entrambi i metodi hanno appreso con successo politiche che hanno costantemente migliorato il KPI target (profitto) rispetto alla politica consueta.
  • Nei log sintetici, l'approccio basato su MDP (specificamente con funzioni di scala come $h_{sig}^{Q1}$ e $h_{step}^{Q1}$) ha generalmente superato l'approccio Offline Deep RL, raggiungendo KPI comparabili all'euristica informata nella maggior parte dei casi.
  • Nei log del mondo reale, entrambi i metodi hanno mostrato prestazioni solide, con l'approccio basato su MDP che mostrava un leggero vantaggio o prestazioni comparabili a CQL.
• Robustezza: L'approccio MDP ha dimostrato una maggiore stabilità attraverso diversi caratteri dei log. L'approccio MDP ingenuo (senza scaling) era instabile, mentre l'approccio CQL non è mai apparso tra le politiche con le migliori prestazioni nella valutazione sintetica.
• Efficienza Computazionale: L'approccio basato su MDP era significativamente più efficiente. I tempi di addestramento per i metodi basati su MDP variavano da secondi a pochi minuti, mentre l'Offline Deep RL richiedeva circa 30 minuti per epoca (per un totale di ore per ottenere politiche efficaci). Il tempo dell'approccio MDP scalava con la dimensione del log a causa del clustering, mentre il tempo per epoca del Deep RL rimaneva costante ma elevato.

Significato e Rivendicazioni

Il documento sostiene che l'apprendimento di politiche comportamentali ottimali direttamente dai dati di eventi è fattibile ed efficace, anche in scenari complessi multi-attore dove l'agente ha un controllo parziale.

• Praticità: I risultati suggeriscono che l'approccio basato su MDP offre un equilibrio favorevole tra semplicità, interpretabilità, efficienza computazionale e performance. Gli autori sostengono che per gli scenari di process mining, dove i dati sono strutturati e i punti decisionali sono ben definiti, modelli di deep learning complessi potrebbero non essere strettamente necessari per ottenere politiche di alta qualità.
• Scoperta Basata sui Dati: Il lavoro valida la possibilità di scoprire interventi e strategie efficaci esclusivamente dai dati storici, senza predefinire l'insieme delle possibili azioni o fare affidamento su una vasta conoscenza esperta delle dinamiche del dominio.
• Potenziale Futuro: Gli autori pongono queste politiche apprese come forti inizializzazioni per framework di ottimizzazione più ampi che potrebbero successivamente incorporare l'interazione online o il feedback. Riconoscono i limiti riguardanti la dipendenza dalle informazioni di controllo del flusso e la necessità di rappresentazioni di stato più ricche (ad esempio, attributi dei dati) per il lavoro futuro.

Il documento conclude che, sebbene entrambi i paradigmi siano validi, l'approccio classico model-based, quando integrato con un'appropriata astrazione degli stati basata sui dati e regolarizzazione, fornisce attualmente una soluzione più efficiente e robusta per il monitoraggio prescrittivo dei processi nei contesti studiati.