Résumé technique : Apprentissage par renforcement profond sensible aux délais de latence pour l'ordonnancement flexible de la production de modules PPVC

1. Définition du problème : FJSP avec délais de blocage de jobs

Le document traite de l'ordonnancement des usines de modules PPVC (Prefabricated Prefinished Volumetric Construction). Contrairement au problème classique d'ordonnancement d'atelier flexible (FJSP), la production PPVC est caractérisée par des délais de latence post-opération (ex. : durcissement du béton, test d'étanchément à l'eau, séchage de la peinture) qui sont dominants en volume temporel, dépassant souvent le temps de traitement total.

La complication centrale est la sémantique de blocage de job, sans occupation de machine :

• FJSP Standard : Une machine est occupée jusqu'à ce que le job soit entièrement traité.
• Réalité PPVC : Une fois qu'un module termine une opération physique (ex. : coulage), la station est immédiatement libre pour traiter le module suivant. Cependant, le module lui-même est « bloqué » dans une zone tampon pour une durée de latence obligatoire ($\ell_{ij}$) avant que sa prochaine opération ne puisse commencer.
• Impact : Ignorer ces délais lors de la prise de décision et tenter de réparer l'ordonnancement plus tard (par décalage à droite) entraîne une dégradation catastrophique des performances (une inflation de l'étendue de la production [makespan] allant jusqu'à 137 % par rapport à une planification tenant compte des délais). De plus, les solveurs de DRL existants pour le FJSP supposent une disponibilité immédiate du successeur, ce qui les rend inappropriés pour le PPVC.

L'objectif est de minimiser l'étendue de la production ($C_{max}$) de l'usine tout en respectant la flexibilité du routage, la compatibilité des stations et les contraintes spécifiques de latence.

2. Méthodologie : Adaptations de DANIEL sensibles aux délais

Les auteurs adaptent DANIEL, un solveur DRL à double attention de pointe pour le FJSP, via trois extensions minimalement invasives et individuellement ablables. Le principe de conception est de corriger la sémantique du problème là où les délais altèrent la dynamique, tout en laissant l'architecture de base (entraînement PPO, architecture réseau) prouvablement intacte.

A. Adaptation 1 : Dynamique sensible aux délais et récompense admissible

• Sémantique de transition : La transition d'état de l'environnement est modifiée de sorte qu'une station devient libre au temps de fin ($c_{ij}$), mais que le job n'est prêt pour sa prochaine opération qu'au temps $\rho_i = c_{ij} + \ell_{ij}$.
• Borne admissible : Une nouvelle borne inférieure pour l'étendue de la production, $\hat{C}_{max}$, est introduite. Elle incorpore le temps de fin augmenté par le délai :
  $$\hat{c}_{i,j} = \max(\hat{c}_{i,j-1} + \ell_{i,j-1}, t) + \min_{k \in M_{ij}} p_{ijk}$$
  Cette borne est admissible (ne surestime jamais la véritable étendue de la production) et serrée à la terminaison. Cela garantit que le signal de récompense dense de PPO ($r_t = \hat{C}_{max}(s_t) - \hat{C}_{max}(s_{t+1})$) reste un signal télescopique fidèle à l'objectif réel, évitant que la politique n'optimise un signal mal calibré.

B. Adaptation 2 : Caractéristiques de latence anticipatrices

Pour permettre à la politique d'anticiper les retards futurs plutôt que d'y réagir après coup, deux nouveaux canaux de caractéristiques sont ajoutés aux plongements (embeddings) de nœuds d'opération :

1. Latence statique ($\eta^{lag}_{ij}$): La durée de latence fixe $\ell_{ij}$ associée à l'opération.
2. Latence résiduelle ($\eta^{rem}_{ij}(t)$): La partie de la latence en cours de parcours restant à la durée de décision actuelle $t$.
   Ces canaux passent par la normalisation par étape du réseau de manière indépendante, garantissant que les 10 canaux de caractéristiques originaux restent numériquement inchangés.

C. Adaptation 3 : Plongements de type avec masquage de vivacité

Les opérations et les stations possèdent des types catégoriels (ex. : structurel, MEP, coulage, peinture) que les vecteurs de caractéristiques purs ne peuvent exploiter.

• Défi : La concaténation naïve d'indices de type brise l'invariance du backbone où les nœuds « supprimés » (terminés) sont mis à zéro et exclus du pooling.
• Solution : Les auteurs injectent des plongements de type apprenables ($E_{op}, E_{mch}$), mais les contrôlent via un masque de vivacité ($\lambda_{ij}$). L'embedding n'est ajouté que si le nœud est actif.
• Garantie : Cela préserve la sémantique de pooling par « moyenne de valeurs non nulles » du backbone original de DANIEL, garantissant que l'ensemble des nœuds sélectionnés pour le pooling reste identique au solveur non modifié.

3. Benchmark et configuration expérimentale

• Générateur fondé sur la BCA : Un générateur d'instances public a été créé sur la base du guide officiel de la Building and Construction Authority (BCA) de Singapour. Il définit les séquences de routage, les taxonomies de stations (9 types) et les plages de latence (durcissement, test d'étanchément, séchage) fondées sur les normes industrielles. Les temps de traitement sont des estimations basées sur la littérature.
• Baselines :
  • Solveur exact : CP-SAT (Programmation par contraintes) avec une limite de temps de 300s.
  • Règles d'ordonnancement (Dispatching rules) : FIFO, SPT, MWKR, MOR (toutes sensibles aux délais).
  • Métaheuristique : Algorithme Génétique (GA) amorcé par les règles d'ordonnancement.
  • Bras d'ablation :
    • A0 : Aveugle aux délais (pratique industrielle actuelle : planifier puis effectuer un décalage à droite).
    • A1 : Dynamique sensible aux délais uniquement.
    • A2 : A1 + Caractéristiques anticipatrices.
    • A3 : A2 + Plongements de type (Méthode complète).

4. Résultats clés

A. Performance sur les instances riches en capacité (Classe M)

• Supériorité sans solveur : La méthode complète (A3) atteint une étendue de production moyenne de 210,9 heures, réduisant l'écart par rapport à la référence CP-SAT de 6,4 % (meilleure règle d'ordonnancement, SPT) à 3,8 %.
• Comparaison au solveur exact : Bien que CP-SAT soit le plafond de qualité (optimal prouvé dans 86/100 cas), il nécessite un modèle d'optimisation et un solveur en boucle. A3 atteint une qualité proche de la référence en ~2 secondes par instance sans solveur.
• Ablation : Sur les instances riches en capacité, la dynamique sensible aux délais (A1) fournit la majeure partie du gain. Les caractéristiques anticipatrices (A2) et les plongements de type (A3) sont statistiquement neutres ici, mais essentiels pour d'autres régimes.

B. Performance sous contention de capacité (M-Tight)

Lorsque la capacité de la station est réduite de moitié (15 stations), la contention des machines devient co-dominante avec les délais.

• Gains significatifs : La méthode complète (A3) réduit l'écart par rapport à la référence CP-SAT à 6,6 %, surpassant nettement SPT (écart de 12,2 %).
• Valeur des adaptations : Sous contention, les caractéristiques anticipatrices et les plongements de type deviennent statistiquement significatifs (p < 0,001), prouvant leur valeur dans les environnements complexes et contraints où l'anticipation est critique.
• Comparaison avec la métaheuristique : A3 bat un algorithme génétique de 60 secondes de plus de 10 heures, malgré le fait que le GA ait un temps d'inférence ~30 fois supérieur.

C. Généralisation Zero-Shot

• Systèmes de coques (Shell Systems) : La politique entraînée sur des coques mixtes se transfère proprement aux projets à coque unique (RC ou Acier), surpassant les règles d'ordonnancement.
• Échelle : Une politique de taille unique se dégrade sur des nombres de modules non vus (5 ou 20 modules). Cependant, une politique à taille mixte (entraînée sur 10, 20 et 30 modules) généralise efficacement, battant SPT sur la plage 10–20 modules et égalant SPT à 0,4 % près à 30 modules.

D. Rescheduling réactif

Dans des scénarios de perturbation (ex. : doublement de la durée de latence ou panne de machine) :

• Sans solveur : A3 ré-ordonnance en ~1,2 seconde, réduisant l'étendue de la production d'environ 5 % par rapport à la pratique industrielle du « décalage à droite ». Il y parvient en reroutant activement, et non en se contentant de retarder.
• Stabilité vs Qualité : Bien qu'un CP-SAT sensible à la stabilité (avec une pénalité de changement/churn) offre le meilleur compromis entre étendue de production et stabilité de l'ordonnancement, il nécessite toute l'infrastructure du solveur. A3 sert de la plus forte alternative sans solveur, améliorant la pratique actuelle sans l'overhead computationnel d'un solveur de contraintes.

5. Signification et affirmations

L'article affirme être le premier solveur constructif appris explicitement conçu pour les ateliers flexibles avec des délais de latence post-opération de type blocage de job, sans occupation de machine.

• Correction plutôt que réglage : Les adaptations ne sont pas des choix de réglage heuristique mais des corrections structurelles. La dynamique sensible aux délais est un prérequis pour tout solveur DRL constructif dans ce domaine, car un processus de décision aveugle aux délais est fondamentalement mal posé.
• Attribution : En garantissant que l'implémentation reproduit le solveur DANIEL original de manière bit-à-bit lorsque les drapeaux sont désactivés, les auteurs attribuent tous les gains de performance strictement aux adaptations proposées.
• Impact pratique : Ce travail comble le fossé entre les solveurs exacts de haute qualité (souvent trop lourds pour les contrôleurs de bord ou les boucles réactives) et les règles d'ordonnancement rapides mais sous-optimales. Il fournit un ordonnanceur rapide, sans solveur, quasi-optimal capable de fonctionner dans les contraintes de temps réel des systèmes d'exécution de fabrication (secondes par ré-ordonnancement).
• Modestie : Les auteurs déclarent explicitement que là où un solveur exact et une expertise en optimisation sont disponibles, le solveur reste le « plafond de qualité ». La niche de la politique apprise est le déploiement sans solveur, particulièrement dans les scénarios réactifs où la vitesse et l'absence de frais de licence ou de modèle sont critiques.