Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics

Riepilogo Tecnico: Colmare il Divario Sim-to-Real nella Programmazione Industriale tramite Semantica di Esecuzione

Enunciato del Problema

Il documento affronta il persistente divario "sim-to-real" nella programmazione industriale basata sull'Apprendimento per Rinforzo (RL), specificamente all'interno dei Problemi di Programmazione dei Lavori (JSSP). Sebbene il RL abbia mostrato promesse negli ambienti simulati, la sua adozione industriale è ostacolata da una discrepanza strutturale tra le assunzioni delle politiche e la realtà dell'esecuzione.

La letteratura corrente tenta principalmente di colmare questo divario aumentando la robustezza delle politiche (ad esempio, addestramento sotto disturbi, apprendimento per imitazione, meta-apprendimento). Tuttavia, questi approcci mantengono un'assunzione critica: che uno stato decisionale valido e sincronizzato e un'interfaccia di azione coerente siano disponibili al momento dell'inferenza. Negli ambienti industriali, ciò è raramente vero a causa di:

1. Osservazioni Asincrone: Le decisioni sono prese su stati ricostruiti derivanti da flussi di eventi eterogenei e ritardati (MES, ERP, sensori fisici), portando a ambienti parzialmente osservabili dove decisioni valide nell'osservazione possono essere non fattibili nella realtà.
2. Semantica di Esecuzione Non Definita: Non esiste una definizione esplicita dell'ammissibilità delle azioni o di come le decisioni si traducano in azioni di sistema attraverso sistemi eterogenei.
3. Attribuzione Ambigua degli Esiti: I fallimenti di esecuzione sono registrati come disturbi generici, confondendo errori delle politiche con vincoli fisici, incoerenze transazionali o interventi umani. Questa mancanza di differenziazione impedisce una valutazione strutturata e il raffinamento delle politiche.

Gli autori sostengono che il limite fondamentale non è meramente la qualità della politica, ma l'assenza di un livello mediatore che gestisca esplicitamente la semantica di esecuzione.

Metodologia

Il documento propone un livello di esecuzione e misurazione neutrale rispetto alla politica che agisce come middleware tra le politiche di programmazione e l'ambiente di esecuzione industriale. Questo livello non progetta la politica di programmazione, ma governa come le decisioni sono formulate, validate e registrate. L'architettura è composta da tre meccanismi fondamentali:

1. Isolamento dell'Istantanea dello Stato:

   • Per gestire dati asincroni, il livello accumula eventi fisici e transazionali in una cache di esecuzione.
   • Al verificarsi di un trigger di programmazione, isola un'istantanea in un punto temporale ($s_k$) che rappresenta lo stato del sistema. Questa istantanea è immutabile durante il processo decisionale per prevenire incoerenze temporali.
   • Invalidazione Pre-commit: Se aggiornamenti critici arrivano prima che un'azione venga confermata, la decisione viene abortita, l'istantanea scartata e avviato un nuovo step di isolamento. Ciò previene l'esecuzione di decisioni basate su informazioni obsolete.

2. Contratto di Esecuzione Neutrale rispetto alla Politica:

   • Il livello definisce una richiesta di decisione standardizzata $R_k = \langle s_k, m_k, J^{cand}_k \rangle$, dove $J^{cand}_k$ è l'insieme dei candidati.
   • L'insieme dei candidati è l'intersezione tra azioni fisicamente fattibili (realtà del reparto) e azioni transazionalmente ammissibili (vincoli MES/ERP).
   • Ciò garantisce che la politica riceva solo azioni valide sotto entrambi i vincoli fisici e transazionali, definendo esplicitamente l'ammissibilità delle azioni.

3. Rappresentazione della Divergenza e Attribuzione degli Esiti:

   • Invece di un singolo segnale di esito, il livello registra una tupla di divergenza $D_k = \langle a^{intent}_k, x^{sys}_k, x^{phys}_k, u_k \rangle$.
   • Questa tupla separa:
     • $a^{intent}_k$: L'azione intesa dalla politica.
     • $x^{sys}_k$: La risposta del sistema transazionale (ad esempio, rifiuto MES).
     • $x^{phys}_k$: Il risultato effettivo dell'esecuzione fisica.
     • $u_k$: Interventi/sostituzioni umani.
   • Questa struttura distingue tra divergenza visibile (errore della politica dovuto a conflitti osservabili) e divergenza nascosta (errori dovuti a stati di sistema non osservati), consentendo un'attribuzione strutturata dei fallimenti di esecuzione.

Valutazione Empirica

Il framework è stato valutato utilizzando una simulazione a eventi discreti (SimPy) con una singola macchina non preemptiva. Lo studio ha isolato gli effetti del livello di esecuzione dalla logica di programmazione testando euristiche standard (Data di Scadenza Più Precoce e Tempo di Elaborazione Più Breve) sotto tre regimi di ritardo di osservazione (Basso, Medio, Alto).

Risultati Chiave:

• Validità della Decisione: Sotto un ritardo di osservazione medio, il livello di esecuzione ha ridotto le programmazioni non valide dal 61,81% (esecuzione diretta) al 48,68%.
• Prestazioni Operative: Il livello ha ridotto significativamente la tardività media ponderata a ritardi bassi (1,08 vs baseline) e medi (6,43 vs 11,21). Ad alti ritardi, dove gli aggiornamenti arrivano dopo la finestra decisionale, il beneficio operativo si è attenuato, convergendo verso le prestazioni dell'esecuzione diretta.
• Ammissibilità delle Azioni: Il contratto di esecuzione ha ridotto la "divergenza visibile" (azioni confermate nonostante conflitti noti) a 0,00, mentre l'esecuzione diretta ha mostrato una divergenza visibile del 15,90%.
• Produttività: Non è stata osservata alcuna penalità misurabile nella produttività, indicando che il livello vincola quando le azioni vengono confermate senza alterare la capacità del sistema.
• Copertura di Attribuzione: A differenza dell'esecuzione diretta, che collassa i fallimenti in segnali generici, il livello proposto ha raggiunto una copertura di attribuzione del 100%, categorizzando i disturbi in tipi transazionali, fisici, combinati e di sovrascrittura umana.

Contributi Chiave e Significato

Il documento afferma che il suo contributo principale è metodologico e architetturale, spostando il focus dalla robustezza a livello di politica alla semantica di esecuzione esplicita al momento del dispiegamento.

1. Diagnosi Strutturale: Identifica che il divario sim-to-real è esacerbato dalla mancanza di rappresentazioni di stato valide per le decisioni e di definizioni esplicite di ammissibilità delle azioni, piuttosto che dalla sola subottimalità della politica.
2. Semantica di Esecuzione: Il livello proposto fornisce un'interfaccia standardizzata che rende gli errori di dispiegamento osservabili, riutilizzabili e confrontabili. Trasforma l'incertezza di esecuzione in dati di supervisione.
3. Attribuzione e Apprendimento: Separando l'intento della politica dagli esiti di esecuzione, il livello consente di distinguere tra errori della politica e limitazioni ambientali. Questi dati strutturati sono essenziali per attività a valle come l'apprendimento per rinforzo offline, la stima del valore consapevole dei disturbi e il riutilizzo sistematico degli interventi umani.

Gli autori concludono che, mentre i benefici operativi (riduzione della tardività) sono più pronunciati quando gli aggiornamenti arrivano all'interno della finestra decisionale, i benefici analitici (attribuzione strutturata e interpretabilità) persistono attraverso tutti i regimi di ritardo. Ciò rende il livello un prerequisito per sistemi di programmazione industriale basati su eventi e dispiegabili, facilitando la transizione da un'esecuzione "scatola nera" a un raffinamento delle politiche interpretabile e guidato dai dati.