Sintesi Tecnica: Apprendimento per Rinforzo Event-Driven per il Controllo a Lungo Orizzonte nella Fabbricazione di Semiconduttori

1. Definizione del Problema

Gli impianti di fabbricazione di semiconduttori (fab) rappresentano sistemi adattivi complessi caratterizzati da tempi di lavorazione stocastici, flussi di processo re-entrant, apparecchiature eterogenee e rigorosi vincoli tecnologici. Il processo decisionale in questo dominio, in particolare a livello di dispatching, coinvolge scelte sequenziali in cui le conseguenze di un'azione sono spesso ritardate e intrecciate con miglia di interazioni successive.

Gli approoli tradizionali di apprendimento per rinforzo (RL) affrontano sfide significative in questo contesto:

• Assegnazione del Credito a Lungo Orizzonte: I modelli di transizione standard a singolo step disallineano l'assegnazione del credito temporale perché gli indicatori chiave di prestazione (KPI) di sistema, come il throughput e l'utilizzo, sono esiti cumulativi di molte decisioni interdipendenti, non conseguenze immediate di singole azioni.
• Feedback Ritardato: I premi (rewards) sono sparsi e osservati solo su lunghi segmenti temporali, rendendo l'apprendimento instabile.
• Scalabilità e Generalizzazione: Molti studi esistenti semplificano il problema limitandolo al controllo locale o facendo affidamento su testbed su piccola scala, fallendo nel rispondere a politiche su scala di sistema sotto l'effettiva complessità industriale. Inoltre, vi è una mancanza di confronto sistematico tra gli algoritmi riguardo alla generalizzazione e alla trasferibilità nei regimi offline e online.

2. Metodologia

Gli autori propongono un framework di deep reinforcement learning modulare ed event-driven progettato per l'ottimizzazione della policy centralizzata in ambienti continui a orizzonte infinito.

Architettura Core

• Agente Centralizzato: Un singolo agente controlla l'intero sistema a livello di dispatching, selezionando i lotti di wafer candidati per le apparecchiature disponibili. Questo approccio utilizza la condivisione dei parametri (parameter sharing) per migliorare la scalabilità rispetto alle decomposizioni multi-agente che richiedono una coordinazione esplicita.
• Dinamiche Event-Driven: Il sistema è modellato come una sequenza di eventi discreti (ad esempio, un'apparecchiatura che diventa inattiva) piuttosto che come step temporali fissi. Le azioni innescano eventi temporalmente estesi e sovrapposti.
• Codifica di Stato e Azione:
  • Stato: Codifica le statistiche del carico di lavoro, lo stato delle apparecchiature e la distribuzione del WIP (Work-in-Progress) attraverso settori di flusso di processo e categorie di prodotto (rappresentazione a dimensione fissa >5000 dimensioni).
  • Azione: Codifica le caratteristiche del lotto candidato (tipo di prodotto, tempo di lavorazione, vincoli). La policy utilizza un meccanismo softmax basato sul punteggio per gestire set di azioni di dimensioni variabili (fino a migliaia di candidati).
• Policy Vincolata: Un bias induttivo rigido impone vincoli specifici del dominio (ad esempio, l'evitamento della corrosione) mascherando le azioni non ammissibili, mentre la funzione di reward incoraggia un comportamento conforme ai vincoli.

Costruzione del Reward

Per affrontare la scarsità del feedback, il reward viene scomposto in due componenti:

1. Reward a livello di Evento ($r_e$): Un reward denso e modellato (shaped) che fornisce un feedback locale immediato basato sul tempo di lavorazione, il tempo di inattività e le violazioni dei vincoli.
2. Reward a livello di Sistema ($r_g$): Un reward ritardato calcolato su una finestra temporale finita ($t_s$) basato su KPI come il numero cumulativo di movimenti di wafer (tasso di produzione) e l'utilizzo medio delle apparecchiature.
   Il reward totale è $r = r_e + r_g$.

Apprendimento Temporal-Difference (TD) Event-Group

Il documento introduce una nuova formulazione TD che rispetta la struttura temporale degli eventi sovrapposti:

• Aggregazione di Gruppo: Invece di aggiornare ogni evento indipendentemente, il framework campiona un segmento temporale $I_h$ e tratta tutti gli eventi al suo interno come un singolo gruppo $G$.
• Obiettivo di Gruppo: L'obiettivo di apprendimento minimizza la discrepanza tra gli errori TD aggregati a livello di evento e il reward di sistema per quel segmento. Ciò consente ai segnali di reward globale di propagarsi end-to-end attraverso eventi interdipendenti.
• Strategie di Aggregazione: Gli autori confrontano l'aggregazione media (smoothing) e l'aggregazione ponderata (tenendo conto della durata dell'evento) per stabilizzare l'ottimizzazione.

Integrazione Algoritmica

Il framework è agnostico rispetto all'algoritmo, integrandosi con varie basi model-free:

• Addestramento Offline: Utilizza dati storici (policy casuale) con metodi conservativi (CQL, IQL) per mitigare lo shift distributivo e la sovrastima.
• Addestramento Online: Impiega metodi off-policy (DQL, SAC) e on-policy (PPO) per l'affinamento (fine-tuning). SAC utilizza la regolarizzazione dell'entropia per l'esplorazione, mentre PPO utilizza un vantaggio surrogato relativo al gruppo per allinearsi con la struttura TD di gruppo.

3. Contributi Chiave

1. Framework RL Modulare Event-Driven: Un'architettura scalabile per l'interazione della policy e l'ottimizzazione in sistemi adattivi complessi, utilizzando la fabbricazione di semiconduttori come caso reale rappresentativo.
2. Formulazione Centralizzata: Un problema unificato di ottimizzazione della policy su dinamiche event-driven, che consente il decision-making a livello di sistema senza la complessità della coordinazione multi-agente.
3. Ottimizzazione Multi-Fase: Formulazioni su misura che supportano sia il pre-addestramento offline (efficiente nei dati, conservativo) che il fine-tuning online (adattivo, esplorazione vincolata).
4. Valutazione Focalizzata sulla Generalizzazione: Una valutazione completa attraverso 31 diversi scenari industriali, chiarendo i relativi punti di forza di diverse formulazioni RL e algoritmi in contesti a lungo orizzonte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando un simulatore ad alta fedeltà basato su dati industriali reali di STMicroelectronics, coprendo 31 scenari con diverse configurazioni di Work-in-Progress (WIP) e operative.

• Baseline: Le prestazioni sono state confrontate con First-In-First-Out (FIFO), Shortest Processing Time (SPT) e una policy Random.
• Performance Offline: Gli agenti addestrati su dati di policy casuale hanno ottenuto guadagni significativi rispetto alla baseline Random (fino a ~39% di throughput, ~28% di saturazione) e hanno superato FIFO. Tra gli algoritmi offline, le varianti di Double Q-Learning (DQL) e Conservative Q-Learning (CQL) hanno mostrato prestazioni robuste.
• Performance Online: Il fine-tuning online ha ulteriormente migliorato le prestazioni, raggiungendo fino a ~42% di throughput e ~30% di guadagni di saturazione rispetto all'impostazione senza controllo (Random). Soft Actor-Critic (SAC) con alta entropia target e DQL hanno dimostrato una forte efficienza campionaria.
• Studi di Ablazione:
  • Formulazione TD: Il proposto obiettivo TD aggregato per evento ha superato significativamente le sequenze scontate troncate standard e gli obiettivi per evento impilati, confermando l'importanza dell'assegnazione del credito a livello di gruppo.
  • Design del Reward: L'addestramento con soli reward di segmento di sistema si è rivelato efficace, sebbene la combinazione con il reward di shaping a livello di evento abbia accelerato la convergenza in alcuni casi.
  • Confronto Algoritmico: I metodi offline richiedevano conservatorismo (CQL/IQL) per evitare la sovrastima, mentre i metodi online beneficiavano della regolarizzazione dell'entropia (SAC) e di gradienti di policy stabili (PPO).

5. Significato e Rivendicazioni

Il documento afferma che il framework proposto affronta con successo le sfide principali dell'applicazione dell'RL a sistemi su larga scala, event-driven, con feedback ritardato. Decoupling (disaccoppiando) l'interazione con l'ambiente dall'ottimizzazione della policy e introducendo uno strato di differenza temporale su misura, il framework consente agli agenti di apprendere policy di sistema che ottimizzano simultaneamente molteplici KPI.

Gli autori sottolineano che:

• Scalabilità: L'approccio centralizzato basato sulle feature scala verso contesti ad alta dimensionalità senza l'overhead di coordinazione dei sistemi multi-agente.
• Trasferibilità: Il framework dimostra guadagni di prestazione coerenti attraverso diversi scenari operativi, suggerendo robustezza ai cambiamenti di WIP e mix di prodotti.
• Praticità: La capacità di pre-addestrare offline su dati storici e di effettuare il fine-tuning online con un'interazione limitata rende l'approccio praticabile per il deployment industriale dove l'esplorazione è costosa e rischiosa.

Lo studio conclude che la formulazione attenta del problema — specificamente l'allineamento della struttura temporale con la propagazione del reward — è critica quanto la scelta dell'algoritmo RL sottostante per ottenere un controllo efficace in sistemi adattivi complessi.