⚡ electrical engineering

Event-Driven Reinforcement Learning Enables Long-Horizon Control in Semiconductor Fabrication

Dit artikel stelt een schaalbaar, event-gestuurd deep reinforcement learning-framework voor dat effectief langetermijn, multi-objective controle optimaliseert in complexe halfgeleiderfabricagesystemen, waarbij significante verbeteringen in doorvoer en benutting over diverse industrieel-reële scenario's worden aangetoond.

Oorspronkelijke auteurs: Yavar Yeganeh, Mahsa Shekari, Nicla Frigerio, Daniele Pagano, Andrea Matta

Gepubliceerd 2026-06-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yavar Yeganeh, Mahsa Shekari, Nicla Frigerio, Daniele Pagano, Andrea Matta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een halfgeleiderfabriek (een "fab") voor als een enorme, chaotische keuken waar duizenden verschillende recepten tegelijkertijd worden bereid. De ingrediënten zijn siliciumwafers, en de chefs zijn honderden verschillende machines. Het probleem is dat de keuken ongelooflijk complex is: sommige recepten duren uren, sommige machines gaan kapot, sommige ingrediënten moeten in een specifieke volgorde worden gehouden, en de "chefs" (machines) moeten vaak op elkaar wachten.

Traditioneel gebruiken fabriekmanagers eenvoudige regels om te beslissen welke wafer als volgende naar welke machine gaat (zoals "First In, First Out" of "Shortest Job First"). Maar in deze chaotische keuken leiden eenvoudige regels vaak tot verkeersopstoppingen, verspilling van tijd en traag koken.

Dit artikel stelt een nieuwe manier voor om de keuken te runnen met behulp van Artificiële Intelligentie (AI) die leert door middel van vallen en opstaan, een methode die Reinforcement Learning (RL) wordt genoemd. Hier is de uiteenzetting van hun aanpak en wat ze hebben gevonden:

Het Kernprobleel: De "Lange Wachttijd"

In een normale videogame druk je op een knop en krijg je direct punten. In een halfgeleiderfabriek maak je vandaag een beslissing (zoals het sturen van een wafer naar Machine A) en je ziet het resultaat (zoals een eindproduct) misschien pas over enkele dagen. De beloning is vertraagd.

De Analogie: Stel je voor dat je een schaakspel speelt, maar je krijgt pas een score aan het einde van de wedstrijd. Als je in de eerste minuut een slechte zet doet, zul je niet weten dat dit de oorzaak was van de winst of het verlies totdat het spel voorbij is. Standaard AI heeft hier moeite mee omdat het niet weet welke specifieke zet tot de winst of het verlies heeft geleid.

De Oplossing: Een "Event-Driven" Dirigent

De onderzoekers bouwden een framework waarbij de AI fungeert als een centrale dirigent voor de hele orkest van machines, in plaats van slechts een solist.

Denken in "Events", niet in seconden: In plaats van de fabriek elke seconde te controleren, wordt de AI alleen wakker wanneer er iets gebeurt (een "event"), zoals een machine die klaar is met een taak of vrijkomt. Dit komt overeen met hoe de fabriek daadwerkelijk werkt.
Chaos groeperen: Omdat de resultaten vertraagd zijn, beoordeelt de AI een enkele beslissing niet in isolatie. In plaats daarvan kijkt het naar een groep events die gedurende een bepaalde tijdperiode (zoals een dienst van 6 uur) hebben plaatsgevonden. Het vraat: "Heeft deze hele groep beslissingen geleid tot een betere keuken in het algemeen?"
Het Beloningssysteem: De AI krijgt twee soorten feedback:
- Directe feedback: "Je hebt Machine A 5 minuten laten wachten; dat is een kleine straf."
- Groot plaatje feedback: "In de afgelopen 6 uur hebben we 20% meer wafers geproduceerd; dat is een enorme beloning."
  Door deze te combineren, leert de AI om kleine beslissingen te nemen die later leiden tot grote successen.

Hoe ze het hebben getest

Ze hebben niet alleen gegokt; ze hebben een digital twin (een supernauwkeurige video-game simulatie) gebouwd van een echte halfgeleiderfabriek. Ze hebben hun AI op twee manieren getest:

Offline Learning: De AI bestudeerde een bibliotheek van eerdere fabrieklogs (zoals het lezen van een geschiedenisboek) zonder de echte machines aan te raken. Dit is veilig omdat de AI niets per ongeluk kan kapotmaken tijdens het leren.
Online Learning: De AI oefende vervolgens in de simulatie, waarbij het realtime beslissingen nam en leerde van de resultaten, vergelijkbaar met een piloot die traint in een vluchtsimulator.

De Resultaten: Een Soepeler Verloop

Toen ze hun AI vergeleken met de standaardregels die vandaag de dag in fabrieken worden gebruikt:

Throughput (Kooksnelheid): De AI verhoogde het aantal afgewerkte wafers met wel 39% vergeleken met een willekeurige aanpak en presteerde aanzienlijk beter dan de standaardregels.
Utilisatie (Efficiëntie van de Chef): De machines bleven veel vaker bezig en productief, waardoor de stilstandtijd werd verminderd.
Consistentie: De AI presteerde goed in 31 verschillende fabrieksscenario's, wat aantoonde dat het niet alleen geluk had in één specifieke situatie.

Waarom dit ertoe doet

Het artikel beweert dat door te veranderen in hoe de AI leert (door te focussen op groepen events en vertraagde beloningen) in plaats van alleen het brein van de AI te veranderen, ze complexe, langetermijnproblemen in massale systemen kunnen oplossen.

Kortom: Ze hebben een AI geleerd om een meesterdirigent te zijn voor een chaotisch fabrieksorkest. Door naar de hele symfonie over een langere tijd te luisteren in plaats van naar slechts één noot, leerde de AI om de muziek soepel te laten spelen, wat resulteerde in de productie van meer producten in minder tijd en met minder verspilling.

Technische Samenvatting: Event-gestuurde Reinforcement Learning voor Long-Horizon Controle in de Halfgeleiderfabricage

1. Probleemstelling

Halfgeleiderproductiefaciliteiten (fabs) vertegenwoordigen complexe adaptieve systemen die worden gekenmerkt door stochastische verwerkingstijden, re-entrante processtromen, heterogene apparatuur en strikte technologische beperkingen. Besluitvorming in dit domein, met name op het niveau van de dispatching, betreft sequentiële keuzes waarbij de gevolgen van een actie vaak vertraagd zijn en verstrengeld raken met duizenden daaropvolgende interacties.

Traditionele reinforcement learning (RL) benaderingen staan voor aanzienlijke uitdagingen in deze setting:

Long-Horizon Credit Assignment: Standaard eenstaps-transitiemodellen leiden tot een mismatch in de temporele credit assignment, omdat systeembrede KPI's zoals throughput en benutting cumulatieve resultaten zijn van vele onderling afhankelijke beslissingen, en geen directe gevolgen van een enkele actie.
Vertraagde Feedback: Beloningen zijn schaars en worden pas over lange tijdssegmenten waargenomen, wat het leerproces instabiel maakt.
Schaalbaarheid en Generalisatie: Veel bestaande studies vereenvoudigen het probleem tot lokale controle of vertrouwen op kleinschalige testomgevingen, waardoor ze er niet in slagen om systeembrede policies te adresseren onder werkelijke industriële complexiteit. Bov�an is er een gebrek aan systematische vergelijking tussen algoritmen met betrekking tot generalisatie en overdraagbaarheid in zowel offline als online regimes.

2. Methodologie

De auteurs stellen een modulair, event-gestuurd deep reinforcement learning framework voor, ontworpen voor gecentraliseerde policy-optimalisatie in continue, oneindige horizon-omgevingen.

Kernarchitectuur

Gecentraliseerde Agent: Een enkele agent beheert het gehele systeem op het niveau van de dispatching, waarbij kandidaat-waferlots selecteert voor beschikbare apparatuur. Deze aanpak maakt gebruik van parameter sharing om de schaalbaarheid te verbeteren ten opzichte van multi-agent deconstructies die expliciete coördinatie vereisen.
Event-Gestuurde Dynamiek: Het systeem wordt gemodelleerd als een sequentie van discrete events (bijv. apparatuur die idle wordt) in plaats van vaste tijdstappen. Acties triggeren temporeel uitgebreide, overlappende events.
State en Action Encoding:
- State: Codeert workload statistieken, status van apparatuur en WIP-distributie over procesflow-sectoren en productcategorieën (vast formaat representatie >5000 dimensies).
- Action: Codeert kenmerken van kandidaat-lots (producttype, verwerkingstijd, restricties). De policy gebruikt een score-gebaseerd softmax-mechanisme om variabele groottes van de actieset (tot duizenden kandidaten) te verwerken.
Constrained Policy: Een harde inductieve bias dwingt domeinspecifieke restricties af (bijv. vermijden van corrosie) door onmogelijke acties te maskeren, terwijl de beloningsfunctie gedrag stimuleert dat aan de restricties voldoet.

Constructie van de Beloning

Om de schaarste aan feedback aan te pakken, wordt de beloning opgedeeld in twee componenten:

Event-Level Beloning ( $r_e$ ): Een dense, vormgegeven beloning die onmiddellijke lokale feedback geeft op basis van verwerkingstijd, idle-tijd en schendingen van restricties.
Systeem-Level Beloning ( $r_g$ ): Een vertraagde beloning die over een eindig tijdsvenster ( $t_s$ ) wordt berekend op basis van KPI's zoals cumulatieve waferbewegingen (productiesnelheid) en gemiddelde apparatuurbenutting.
De totale beloning is $r = r_e + r_g$ .

Event-Group Temporal-Difference (TD) Learning

Het artikel introduceert een nieuwe TD-formulering die de temporele structuur van overlappende events respecteert:

Groep-aggregatie: In plaats van elk event onafhankelijk bij te werken, samplet het framework een tijdsegment $I_h$ en behandelt het alle events binnen dit segment als één enkele groep $G$ .
Groep-gewijze Objectieve Functie: De leerdoelstelling minimaliseert de discrepantie tussen de geaggregeerde event-niveau TD-fouten en de systeem-niveau beloning voor dat segment. Dit stelt globale beloningssignalen in staat om end-to-end te propageren over onderling afhankelijke events.
Aggregatie Strategieën: De auteurs vergelijken gemiddelde aggregatie (smoothing) en gewogen aggregatie (rekening houdend met de duur van het event) om optimalisatie te stabiliseren.

Algoritmische Integratie

Het framework is algoritme-agnostisch en integreert met diverse model-vrije backbones:

Offline Training: Maakt gebruik van historische data (random policy) met conservatieve methoden (CQL, IQL) om distributieve verschuiving en overschatting te mitigeren.
Online Training: Gebruikt off-policy (DQL, SAC) en on-policy (PPO) methoden voor fijnafstelling. SAC maakt gebruik van entropie-regularisatie voor exploratie, terwijl PPO een groep-relatieve surrogate advantage gebruikt om aan te sluiten bij de gegroepeerde TD-structuur.

3. Belangrijkste Bijdragen

Modulair Event-Gestuurd RL Framework: Een schaalbare architectuur voor policy-interactie en optimalisatie in complexe adaptieve systemen, waarbij halfgeleiderfabricage als een representatieve real-world case dient.
Gecentraliseerde Formulering: Een verenigd policy-optimalisatieprobleem over event-gestuurde dynamiek, wat systeembrede besluitvorming mogelijk maakt zonder de complexiteit van multi-agent coördinatie.
Multi-Fase Optimalisatie: Op maat gemaakte formuleringen die zowel offline pre-training (data-efficiënt, conservatief) als online fine-tuning (adaptief, beperkte exploratie) ondersteunen.
Generalisatie-Georiënteerde Evaluatie: Een uitgebreide beoordeling over 31 diverse industriële scenario's, die de relatieve sterktes van verschillende RL-formuleringen en algoritmen in long-horizon settings verheldert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met een high-fidelity simulator gebaseerd op echte industriële data van STMicroelectronics, die 31 scenario's dekt met variërende Work-in-Progress (WIP) en operationele configuraties.

Baselines: Prestaties werden vergeleken met First-In-First-Out (FIFO), Shortest Processing Time (SPT) en een Random policy.
Offline Prestaties: Agents getraind op random-policy data behaalden significante winsten ten opzichte van de Random baseline (tot ~39% throughput, ~28% saturatie) en presteerden beter dan FIFO. Onder de offline algoritmen vertoonden Double Q-Learning (DQL) en varianten van Conservative Q-Learning (CQL) een robuuste prestatie.
Online Prestaties: Online fine-tuning verbeterde de prestaties verder, met een winst van tot wel ~42% throughput en ~30% saturatie ten opzichte van de no-control (Random) setting. Soft Actor-Critic (SAC) met hoge target entropie en DQL vertoonden een sterke sample-efficiëntie.
Ablatie-studies:
- TD Formulering: De voorgestelde event-geaggregeerde TD-doelstelling presteerde aanzienlijk beter dan standaard afgekapte gedisconteerde sequenties en gestapelde event-gewijze objectieven, wat het belang van credit assignment op groepsniveau bevestigt.
- Beloningsontwerp: Training met enkel systeem-niveau segmentbeloningen bleek effectief, hoewel het combineren met event-niveau shaping de convergentie in sommige gevallen versnelde.
- Algoritme Vergelijking: Offline methoden vereisten conservatisme (CQL/IQL) om overschatting te voorkomen, terwijl online methoden profiteerden van entropie-regularisatie (SAC) en stabiele policy gradients (PPO).

5. Betekenis en Claims

Het artikel claimt dat het voorgestelde framework succesvol de kernuitdagingen aanpakt bij het toepassen van RL op grootschalige, event-gestuurde systemen met vertraagde feedback. Door de interactie met de omgeving te ontkoppelen van de policy-optimalisatie en een op maat gemaakte temporal-difference laag te introduceren, stelt het framework agents in staat om systeembrede policies te leren die meerdere KPI's simultaan optimaliseren.

De auteurs benadrukken dat:

Schaalbaarheid: De gecentraliseerde, feature-gebaseerde aanpak schaalt naar hoog-dimensionale settings zonder de coördinatie-overhead van multi-agent systemen.
Overdraagbaarheid: Het framework vertoont consistente prestatiewinsten over diverse operationele scenario's, wat wijst op robuustheid tegen veranderingen in WIP en productmixen.
Praktische Bruikbaarheid: Het vermogen om offline voor te trainen op historische data en online bij te sturen met beperkte interactie maakt deze aanpak levensvatbaar voor industriële implementatie waar exploratie kostbaar en riskant is.

De studie concludeert dat een zorgvuldige probleemformulering — specifiek de afstemming van de temporele structuur met de beloningspropagatie — even cruciaal is als de keuze van het onderliggende RL-algoritme voor het bereiken van effectieve controle in complexe adaptieve systemen.