🤖 machine learning

Time-Lag-Aware Deep Reinforcement Learning for Flexible Job-Shop Scheduling in PPVC Module Factories

Dit artikel stelt een tijdvertraging-bewust deep reinforcement learning-framework voor dat traditionele dispatchingregels en metaheuristieken aanzienlijk overtreft bij het optimaliseren van flexibele job-shop planning voor prefab modulefabrieken door lange vertragingen na operaties expliciet te modelleren, waarbij bijna optimale maaktijdresultaten worden behaald zonder dat een externe solver vereist is.

Oorspronkelijke auteurs: Ziheng Zhang, Wei Zhang

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziheng Zhang, Wei Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme fabriek voor die geen auto's of speelgoed bouwt, maar hele kamers en appartementen. Dit zijn "Prefabricated Prefinished Volumetric Construction" (PPVC) modules. Denk aan deze als gigantische, volledig ingerichte LEGO-blokken die in een fabriek worden geassembleerd en vervolgens naar een bouwplaats worden verscheept om in een wolkenkrabber te worden gestapeld.

Binnen deze fabriek is de workflow een chaotische dans. Een module beweegt van station naar station: het beton wordt gestort, de leidingen worden geïnstalleerd, het wordt betegeld en tot slot wordt het geschilderd. Maar hier komt het lastige deel: na bepaalde stappen moet de module wachten.

Na het storten van het beton moet het 24 tot 48 uur uitharden.
Na het waterdicht maken moet het 24 tot 48 uur in een waterpoel liggen om lekken te controleren.
Na het schilderen moet het 12 tot 24 uur drogen.

Tijdens deze wachttijden zit de module in een "bufferzone" (zoals een wachtkamer), maar de machine die er net aan heeft gewerkt, is vrij om direct aan de volgende module te beginnen. Dit is het geheime ingrediënt van de fabriek: de machine wordt niet geblokkeerd door de wachttijd; alleen de module wordt dat.

Het Probleem: De "Blinde" Planner

Lange tijd probeerden fabriekmanagers deze modules te plannen met oude regels. Ze maakten een plan waarbij de wachttijden negeerden, en zodra het plan klaar was, duwden ze de starttijden simpelweg naar voren om het passend te maken.

De tekst laat zien dat dit een vreselijk idee is. Het is alsoal een roadtrip plannen zonder rekening te houden met files, en dan pas aan het einde een uur bij de aankomsttijd op te tellen. De auteurs voerden simulaties uit op een standaard fabriek opstelling en ontdekten dat als je deze wachttijden negeert, je plan er op papier geweldig uitziet, maar in de werkelijkheid in elkaar stort.

Toen ze de wachttijden eindelijk correct modelleerden, steeg de totale tijd om een batch modules af te ronden met gemiddeld 67%. In één specifieke testcase ging de best mogelijke tijd van 100,0 de uur naar 198,0 uur—bijna een verdubbeling van de tijd, puur vanwege de wachttijden. De oude "fix-het-later"-methode was zo slecht dat het zelfs slechter was dan gewoon een simpele "First-Come, First-Served"-regel gebruiken.

De Oplossing: Een "Time-Lag-Aware" AI

De onderzoekers bouwden een nieuw soort AI-planner met behulp van Deep Reinforcement Learning (DRL). Denk aan deze AI als een super slimme verkeersregelaar die niet alleen kijkt naar waar de auto's nu zijn, maar precies weet wanneer de weg later geblokkeerd zal zijn door een bouwploeg.

Ze namen een top-tier AI die bedoeld is voor reguliere fabrieken en gaven deze drie specifieke upgrades om met deze "wachtkamers" om te gaan:

De "Wachtlijst"-update: Ze leerden de AI dat wanneer een module een taak voltooit, de machine onmiddellijk vrij is, zelfs als de module nog aan het drogen is. De AI leerde om de volgende module direct naar die machine te sturen, in plaats van de machine ongebruikt te laten staan.
De Kristallen Bol: Ze gaven de AI twee extra "zintuigen". De AI kan nu zien hoe lang een wachttijd zal zijn voordat de klus überhaupt begint, en het kan bijhouden hoeveel wachttijd er nog over is voor een module die momenteel aan het drogen is. Dit stelt de AI in staat om vooruit te plannen, zoals een schaker die drie zetten vooruit denkt.
Het "Type"-embleem: De AI leerde herkennen dat een "betonstortstation" anders is dan een "schilderstation", en dat een "structurele" module anders is dan een "loodgietersmodule". Dit helpt de AI om slimmere keuzes te maken over welke machine voor welke klus gebruikt moet worden.

De Resultaten: Snel en Slim

Het team testte deze nieuwe AI op een reeks fabrieksscenario's gebaseerd op officiële overheidsrichtlijnen.

Snelheid: De AI neemt een beslissing in ongeveer 1,97 seconde. Het heeft geen supercomputer of een complexe wiskundige solver nodig die op de achtergrond draait; het is een lichtgewicht programma dat op standaard fabriekcomputers kan draaien.
Kwaliteit: Op een standaard testset produceerde de AI schema's die binnen 3,8% lagen van het absoluut beste mogelijke schema (berekend door een zeer trage, zware wiskundige solver).
Vergelijking: Het versloeg elke traditionele regel (zoals "Shortest Job First") en versloeg zelfs een Genetisch Algoritme (een methode die duizenden willekeurige oplossingen probeert) dat 60 seconden kreeg om na te denken, terwijl de AI slechts 2 seconden nodig had.

Wat het NIET is

De auteurs zijn zeer voorzichtig in wat ze zeggen dat deze AI niet is.

Het is geen toverstaf die een absolute wiskundige solver verslaat wanneer die solver de tijd krijgt om langdurig te rekenen. Als je een supercomputer hebt en 5 minuten de tijd hebt om te plannen, vindt de wiskundige solver nog steeds het perfecte antwoord. De AI is de kampioen van snelheid en reactievermogen.
Het is geen perfecte simulatie van elke enkele fabriek ter wereld. Het team bouwde een "benchmark generator" op basis van officiële gidsen, maar geeft toe dat sommige cijfers (zoals hoe lang het schilderen precies duurt) schattingen zijn. Ze testten hun AI tegen deze schattingen, en het won nog steeds, maar ze zijn duidelijk dat echte fabrieken mogelijk wat verfijning nodig hebben.
Het is geen vervanging voor menselijke experts die toegang hebben tot zware optimalisatietools. Als een fabriek het budget en de hardware heeft om een complexe solver te draaien, blijft die solver de "kwaliteitscel". De AI is de beste solver-vrije optie.

De "Real-Time" Superkracht

De echte magie gebeurt wanneer er dingen misgaan. In een fabriek gaan machines kapot, of een module duurt langer om te drogen dan verwacht.

De oude manier: Je neemt het kapotte plan, bevriest de onderdelen die al klaar zijn, en schuift de rest simpelweg naar achteren. Dit is traag en inefficiënt.
De AI-manier: De AI ziet de verstoring, berekent het hele schema onmiddellijk opnieuw in ongeveer 1 seconde, en stuurt de modules naar andere machines om de voortgang te bewaken.

In tests waarbij een machine uitviel, verminderde de AI de totale vertraging met 4,1% vergeleken met de oude "terugschuif"-methode. Het is het verschil tussen een verkeersregelaar die auto's gewoon door een file heen zwaait en een regelaar die het verkeer onmiddellijk omleidt via een zijstraat om de doorstroming te behouden.

De Kernboodschap

Dit paper bewijst dat je voor deze specifieke "wachtkamer-fabrieken" de wachttijden niet kunt negeren. De nieuwe AI van de auteurs is de snelste en slimste manier om deze klussen te plannen zonder een enorme supercomputer nodig te hebben. Het is niet perfect (het zit ongeveer 4% verwijderd van het theoretische optimum), maar het is snel genoeg om in real-time te reageren op incidenten, wat een gamechanger is voor het soepel laten draaien van deze modulaire fabrieken.

Technische Samenvatting: Tijdvertraging-bewuste Deep Reinforcement Learning voor Flexibele Job-Shop Planning in PPVC Modulaire Fabrieken

1. Probleemdefinitie: FJSP met Job-Blokkerende Tijdvertragingen

Het artikel behandelt de planning van Prefabricated Prefinished Volumetric Construction (PPVC) modulaire fabrieken. In tegenstelling tot klassieke Flexible Job-Shop Scheduling Problems (FJSP), wordt de PPVC-productie gekenmerkt door post-operatie tijdvertragingen (bijv. beton uitharden, waterdichtheid testen, verf drogen) die dominant zijn in het tijdsvolume en vaak de totale verwerkingstijd overstijgen.

De kerncomplexiteit is de job-blokkerende, machine-vrije semantiek:

Standaard FJSP: Een machine is bezet totdat de job volledig is verwerkt.
PPVC Realiteit: Zodra een module een fysieke operatie voltooit (bijv. gieten), is de werkstation direct vrij om de volgende module te verwerken. Echter, de module zelf is "geblokkeerd" in een bufferzone voor een verplichte vertragingsduur ( $\ell_{ij}$ ) voordat de volgende operatie kan beginnen.
Impact: Het negeren van deze vertragingen tijdens de besluitvorming en het achteraf proberen te repareren van de planning (right-shifting) resulteert in een catastrofale prestatieverslechtering (tot 137% inflatie in maaktijd vergeleken met vertragingsbewuste planning). Bovendien zijn bestaande Deep Reinforcement Learning (DRL) solvers voor FJSP uitgaan van onmiddellijke opvolger-gereedheid, wat ze ongeschikt maakt voor PPVC.

Het doel is om de fabrieksm maaktijd ( $C_{max}$ ) te minimaliseren, terwijl de routingsflexibiliteit, stationcompatibiliteit en de specifieke vertragingsrestricties worden gerespecteerd.

2. Methodologie: Vertragingsbewuste Adaptaties van DANIEL

De auteurs passen DANIEL aan, een state-of-the-art dual-attention DRL-solver voor FJSP, via drie minimaal invasieve, individueel ablateerbare extensies. Het ontwerpprincipe is om de probleemsemantiek te corrigeren waar vertragingen de dynamiek veranderen, terwijl de leerbackbone (PPO-training, netwerkarchitectuur) bewezen intact blijft.

A. Adaptatie 1: Vertragingsbewuste Dynamiek & Toelaatbare Beloning

Transitie Semantiek: De toestandsverandering van de omgeving wordt gewijzigd zodat een station vrij is bij voltooiingstijd ( $c_{ij}$ ), maar de job pas klaar is voor de volgende operatie bij $\rho_i = c_{ij} + \ell_{ij}$ .
Toelaatbare Grens: Een nieuwe ondergrens voor de maaktijd, $\hat{C}_{max}$ , wordt geïntroduceerd. Deze incorporeert de vertragings-geaugmenteerde voltooiingstijd:
$\hat{c}_{i,j} = \max(\hat{c}_{i,j-1} + \ell_{i,j-1}, t) + \min_{k \in M_{ij}} p_{ijk}$
Deze grens is toelaatbaar (overschat de ware maaktijd nooit) en strak bij terminatie. Dit zorgt ervoor dat de dichte PPO-beloning ( $r_t = \hat{C}_{max}(s_t) - \hat{C}_{max}(s_{t+1})$ ) een getrouwe, telescopische signaal blijft voor het werkelijke doel, waardoor voorkomt dat de policy een verkeerd gekalibreerd signaal optimaliseert.

B. Adaptatie 2: Anticipatieve Vertragingskenmerken

Om de policy in staat te stellen toekomstige vertragingen te anticiperen in plaats van er reactief op te reageren na toewijzing, zijn twee nieuwe feature-kanalen toegevoegd aan de operatie-node embeddings:

Statische Vertraging ( $\eta^{lag}_{ij}$ ): De vaste vertragingsduur $\ell_{ij}$ geassocieerd met de operatie.
Resterende Vertraging ( $\eta^{rem}_{ij}(t)$ ): Het deel van een lopende vertraging dat op het huidige besluitmoment $t$ nog rest.
Deze kanalen gaan onafhankelijk door de per-stap normalisatie van het netwerk, waardoor de oorspronkelijke 10 feature-kanalen numeriek ongewijzigd blijven.

C. Adaptatie 3: Type Embeddings met Liveness Masking

Operaties en stations bezitten categorische types (bijv. structureel, MEP, gieten, schilderen) die pure feature-vectoren niet kunnen exploiteren.

Uitdaging: Het naïef concateneren van type-indices verbreekt de invariant van de backbone waarbij "verwijderde" (voltooide) nodes op nul worden gezet en worden uitgesloten van pooling.
Oplossing: De auteurs injecteren leerbare type-embeddings ( $E_{op}, E_{mch}$ ), maar regelen deze met een liveness mask ( $\lambda_{ij}$ ). De embedding wordt alleen toegevoegd als de node actief is.
Garantie: Dit behoudt de "nonzero-averaging" pooling-semantiek van de oorspronkelijke DANIEL-backbone, waardoor wordt gegarandeerd dat de set nodes die voor pooling wordt geselecteerd identiek blijft aan de ongewijzigde solver.

3. Benchmark en Experimentele Opzet

BCA-Gegrond Generator: Er is een publieke instantie-generator gemaakt op basis van de officiële handleiding van de Building and Construction Authority (BCA) van Singapore. Deze definieert routingssequenties, station-taxonomieën (9 types) en vertragingsbereiken (uitharden, waterdichtheid testen, drogen) die geworteld zijn in industriële normen. Verwerkingstijden zijn gebaseerd op literatuurschattingen.
Baselines:
- Exacte Solver: CP-SAT (Constraint Programming) met een limiet van 300s.
- Dispatching Regels: FIFO, SPT, MWKR, MOR (allemaal vertragingsbewust).
- Metaheuristiek: Genetisch Algoritme (GA) gestart met dispatching regels.
- Ablatie-armen:
  - A0: Vertragingsblind (huidige industriële praktijk: plannen en dan recht-schuiven).
  - A1: Alleen vertragingsbewuste dynamiek.
  - A2: A1 + Anticipatieve kenmerken.
  - A3: A2 + Type embeddings (Volledige methode).

4. Belangrijkste Resultaten

A. Prestaties op Capaciteitsrijke Instanties (M-Class)

Superioriteit zonder Solver: De volledige methode (A3) bereikt een gemiddelde maaktijd van 210,9 uur, wat de kloof met de CP-SAT referentie verkleint van 6,4% (beste dispatching regel, SPT) naar 3,8%.
Vergelijking met Exacte Solver: Hoewel CP-SAT de kwaliteitsplafond is (bewezen optimaal in 86/100 gevallen), vereist het een optimalisatiemodel en een solver in de loop. A3 bereikt bijna-referentiekwaliteit in ~2 seconden per instantie zonder solver.
Ablatie: Op capaciteitsrijke instanties levert de vertragingsbewuste dynamiek (A1) het grootste deel van de winst op. De anticipatieve kenmerken (A2) en type-embeddings (A3) zijn hier statistisch neutraal maar essentieel voor andere regimes.

B. Prestaties Onder Capaciteitscongestie (M-Tight)

Wanneer de stationcapaciteit wordt gehalveerd (15 stations), wordt machine-congestie even dominant als de vertragingen.

Significante Winsten: De volledige methode (A3) verkleint de kloof met de CP-SAT referentie tot 6,6%, wat aanzienlijk beter is dan SPT (12,2% kloof).
Waarde van Adaptaties: Onder congestie worden de anticipatieve kenmerken en type-embeddings statistisch significant (p < 0,001), wat hun waarde bewijst in complexe, beperkte omgevingen waar vooruitkijken cruciaal is.
Metaheuristiek Vergelijking: A3 verslaat een 60-seconden Genetisch Algoritme met meer dan 10 uur, ondanks dat de GA ~30x meer inferentietijd nodig heeft.

C. Zero-Shot Generalisatie

Shell Systemen: De policy getraind op gemengde shells transfeert goed naar single-shell (RC of Staal) projecten en presteert beter dan dispatching regels.
Schaal: Een single-size policy degradeert bij ongeziene module-aantallen (5 of 20 modules). Echter, een size-mixed policy (getraind op 10, 20 en 30 modules) generaliseert effectief, presteert beter dan SPT in de 10–20 module range en komt binnen 0,4% overeen met SPT bij 30 modules.

D. Reactieve Herplanning

In scenario's met verstoringen (bijv. verdubbeling van de vertragingsduur of machinebreuk):

Solver-Vrij: A3 herplant in ~1,2 seconden, wat de maaktijd met ~5% vermindert vergeleken met de industriestandaard "right-shift" reparatie. Het bereikt dit door actief te herrouteren, niet enkel door te vertragen.
Stabiliteit vs. Kwaliteit: Hoewel een stabiliteitsbewuste CP-SAT (met een churn-penalty) de absolute beste afweging tussen maaktijd en de stabiliteit van het schema biedt, vereist dit de volledige solver-infrastructuur. A3 dient als de sterkste solver-vrije alternatief, dat de huidige praktijk verbetert zonder de computationele overhead van een constraint solver.

5. Betekenis en Claims

Het artikel claimt de eerste geleerde constructieve solver die expliciet is ontworpen voor flexibele job-shops met job-blokkerende, machine-vrije post-operatie tijdvertragingen.

Correctheid boven Tuning: De adaptaties zijn geen heuristische tuning-keuzes maar structurele correcties. De vertragingsbewuste dynamiek is een vereiste voor elke constructieve DRL-solver in dit domein, aangezien een vertragings-blinde besluitvorming fundamenteel slecht geformuleerd is.
Attributie: Door te garanderen dat de implementatie de originele DANIEL-solver bit-exact reproduceert wanneer de vlaggen uit staan, schrijven de auteurs alle prestatiewinsten toe aan de voorgestelde adaptaties.
Praktische Impact: Het werk overbrugt de kloof tussen hoogwaardige exacte solvers (die vaak te zwaar zijn voor edge-controllers of reactieve loops) en snelle maar suboptimale dispatching regels. Het biedt een snelle, solver-vrije, bijna-optimale scheduler die opereert binnen de real-time restricties van Manufacturing Execution Systems (seconden per herplanning).
Bescheidenheid: De auteurs geven expliciet aan dat waar een exacte solver en optimalisatie-expertise beschikbaar zijn, de solver de "kwaliteitsplafond" blijft. De niche van de geleerde policy is solver-vrije deployment, met name in reactieve scenario's waar snelheid en het ontbreken van licentiekosten of model-overhead cruciaal zijn.