Resumen Técnico: Aprendizaje por Refuerzo Profundo Consciente de Retrasos de Tiempo para la Programación de Talleres de Trabajo Flexibles en Fábricas de Módulos PPVC

1. Definición del Problema: FJSP con Retrasos de Bloqueo de Trabajo

El artículo aborda la programación de fábricas de módulos de Construcción Volumétrica Prefabricada y Prefinida (PPVC). A diferencia de los problemas clásicos de Programación de Taller de Trabajo Flexible (FJSP), la producción de PPVC se caracteriza por retrasos de tiempo post-operación (por ejemplo, curado de concreto, estanqueidad de agua, secado de pintura) que son dominantes en volumen temporal, superando a menudo el tiempo de procesamiento total.

La complicación central es la semántica de bloqueo de trabajo, libre de máquina:

• FJSP Estándar: Una máquina está ocupada hasta que el trabajo se procesa completamente.
• Realidad de PPVC: Una vez que un módulo completa una operación física (por ejemplo, el colado), la estación queda libre inmediatamente para procesar el siguiente módulo. Sin embargo, el módulo en sí queda "bloqueado" en un área de buffer durante una duración de retraso obligatoria ($\ell_{ij}$) antes de que su siguiente operación pueda comenzar.
• Impacto: Ignorar estos retrasos durante la toma de decisiones e intentar reparar la programación posteriormente (desplazamiento a la derecha o right-shifting) resulta en una degradación catastrófica del rendimiento (una inflación de hasta el 137% en la fecha de finalización o makespan en comparación con la planificación consciente de los retrasos). Además, los solvers de Aprendizaje por Refuerzo Profundo (DRL) existentes para FJSP asumen la disponibilidad inmediata del sucesor, lo que los hace mal planteados para PPVC.

El objetivo es minimizar la fecha de finalización de la fábrica ($C_{max}$) respetando la flexibilidad de la ruta, la compatibilidad de las estaciones y las restricciones específicas de retraso.

2. Metodología: Adaptaciones de DANIEL Conscientes de Retrasos

Los autores adaptan DANIEL, un solver de DRL de atención dual de vanguardia para FJSP, a través de tres extensiones mínimamente invasivas e individualmente ablables. El principio de diseño es corregir la semántica del problema donde los retrasos alteran la dinámica, manteniendo el núcleo de aprendizaje (entrenamiento PPO, arquitectura de red) demostrablemente intacto.

A. Adaptación 1: Dinámica Consciente de Retrasos y Recompensa Admisible

• Semántica de Transición: La transición de estado del entorno se modifica para que una estación quede libre en el tiempo de finalización ($c_{ij}$), pero el trabajo esté listo para su siguiente operación solo en $\rho_i = c_{ij} + \ell_{ij}$.
• Límite Admisible: Se introduce un nuevo límite inferior para la fecha de finalización, $\hat{C}_{max}$. Este incorpora el tiempo de finalización aumentado por el retraso:
  $$\hat{c}_{i,j} = \max(\hat{c}_{i,j-1} + \ell_{i,j-1}, t) + \min_{k \in M_{ij}} p_{ijk}$$
  Este límite es admisible (nunca sobreestima la verdadera fecha de finalización) y es ajustado al término. Esto asegura que la recompensa densa de PPO ($r_t = \hat{C}_{max}(s_t) - \hat{C}_{max}(s_{t+1})$) siga siendo una señal telescópica fiel para el objetivo real, evitando que la política optimice una señal mal calibrada.

B. Adaptación 2: Características de Retraso Anticipatorias

Para permitir que la política anticipe futuros retrasos en lugar de reaccionar a ellos tras el compromiso, se añaden dos nuevos canales de características a los embeddings de los nodos de operación:

1. Retraso Estático ($\eta^{lag}_{ij}$): La duración fija del retraso $\ell_{ij}$ asociada con la operación.
2. Retraso Remanente ($\eta^{rem}_{ij}(t)$): La porción de un retraso en curso que resta en el tiempo de decisión actual $t$.
   Estos canales pasan a través de la normalización por paso de la red de forma independiente, asegurando que los 10 canales de características originales permanezcan numéricamente inalterados.

C. Adaptación 3: Embeddings de Tipo con Enmascaramiento de Vitalidad

Las operaciones y estaciones poseen tipos categóricos (por ejemplo, estructural, MEP, colado, pintura) que los vectores de características puros no pueden explotar.

• Desafío: La concatenación ingenua de índices de tipo rompe la invariancia del núcleo donde los nodos "eliminados" (finalizados) se anulan y se excluyen del agrupamiento (pooling).
• Solución: Los autores inyectan embeddings de tipo aprendibles ($E_{op}, E_{mch}$), pero los controlan mediante una máscara de vitalidad ($\lambda_{ij}$). El embedding solo se añade si el nodo está activo.
• Garantía: Esto preserva la semántica de agrupación de "promedio de no nulos" del núcleo DANIEL original, asegurando que el conjunto de nodos seleccionados para el agrupamiento sea idéntico al del solver sin modificar.

3. Benchmark y Configuración Experimental

• Generador Basado en BCA: Se creó un generador de instancias público basado en la guía oficial de la Autoridad de la Construcción y Edificación (BCA) de Singapur. Este define secuencias de rutas, taxonomías de estaciones (9 tipos) y rangos de retraso (curado, estanqueidad, secado) fundamentados en normas de la industria. Los tiempos de procesamiento son estimaciones basadas en la literatura.
• Baselines (Líneas Base):
  • Solver Exacto: CP-SAT (Programación de Restricciones) con un límite de 300s.
  • Reglas de Despacho: FIFO, SPT, MWKR, MOR (todas conscientes de los retrasos).
  • Metaheurística: Algoritmo Genético (GA) iniciado con reglas de despacho.
  • Brazos de Ablación:
    • A0: Ciego al retraso (práctica industrial actual: planificar y luego aplicar desplazamiento a la derecha).
    • A1: Solo dinámica consciente de retrasos.
    • A2: A1 + Características anticipatorias.
    • A3: A2 + Embeddings de tipo (Método completo).

4. Resultados Clave

A. Rendimiento en Instancias de Alta Capacidad (Clase M)

• Superioridad sin Solver: El método completo (A3) logra una fecha de finalización media de 210.9 horas, reduciendo la brecha respecto a la referencia de CP-SAT del 6.4% (mejor regla de despacho, SPT) al 3.8%.
• Comparación con el Solver Exacto: Aunque CP-SAT es el techo de calidad (óptimo probado en 86/100 casos), requiere un modelo de optimización y un solver en el bucle. A3 alcanza una calidad cercana a la referencia en ~2 segundos por instancia sin necesidad de un solver.
• Ablación: En instancias de alta capacidad, la dinámica consciente de retrasos (A1) proporciona la mayor parte de la ganancia. Las características anticipatorias (A2) y los embeddings de tipo (A3) son estadísticamente neutros aquí, pero esenciales en otros regímenes.

B. Rendimiento bajo Contención de Capacidad (M-Tight)

Cuando la capacidad de la estación se reduce a la mitad (15 estaciones), la contención de máquinas se vuelve co-dominante con los retrasos.

• Ganancias Significativas: El método completo (A3) reduce la brecha respecto a la referencia de CP-SAT al 6.6%, superando significativamente a SPT (brecha del 12.2%).
• Valor de las Adaptaciones: Bajo contención, las características anticipatorias y los embeddings de tipo se vuelven estadísticamente significativos (p < 0.001), demostrando su valor en entornos complejos y restringidos donde la anticipación es crítica.
• Comparación con Metaheurísticas: A3 vence a un Algoritmo Genético de 60 segundos por más de 10 horas, a pesar de que el GA tiene ~30 veces el tiempo de inferencia.

C. Generalización Zero-Shot

• Sistemas de Cáscara (Shell Systems): La política entrenada en cáscaras mixtas se transfiere limpiamente a proyectos de cáscara única (RC o Acero), superando a las reglas de despacho.
• Escala: Una política de un solo tamaño se degrada con números de módulos no vistos (5 o 20 módulos). Sin embargo, una política de tamaño mixto (entrenada con 10, 20 y 30 módulos) se generaliza eficazmente, superando a SPT en el rango de 10–20 módulos y igualándolo dentro de un 0.4% a los 30 módulos.

D. Reprogramación Reactiva

En escenarios de disrupción (por ejemplo, duplicación de la duración del retraso o avería de máquina):

• Sin Solver: A3 replanifica en ~1.2 segundos, reduciendo la fecha de finalización en ~5% comparado con el estándar industrial de reparación por "desplazamiento a la derecha". Logra esto mediante el re-enrutamiento activo, no solo mediante el retraso.
• Estabilidad vs. Calidad: Aunque un CP-SAT consciente de la estabilidad (con una penalización por cambio/churn) ofrece el mejor equilibrio entre fecha de finalización y estabilidad de la programación, requiere toda la infraestructura del solver. A3 sirve como la alternativa más fuerte sin solver, mejorando la práctica actual sin la sobrecarga computacional de un solver de restricciones.

5. Significado y Reivindicaciones

El artículo afirma ser el primer solver constructivo aprendido diseñado explícitamente para talleres de trabajo flexibles con retrasos de tiempo post-operación de bloqueo de trabajo y libres de máquina.

• Corrección sobre Ajuste: Las adaptaciones no son elecciones de ajuste heurístico, sino correcciones estructurales. La dinámica consciente de retrasos es un requisito previo para cualquier solver de DRL constructivo en este dominio, ya que un proceso de decisión ciego al retraso es fundamentalmente mal planteado.
• Atribución: Al asegurar que la implementación reproduce el solver DANIEL original bit a bit cuando los flags están desactivados, los autores atribuyen todas las ganancias de rendimiento estrictamente a las adaptaciones propuestas.
• Impacto Práctico: El trabajo cierra la brecha entre los solvers exactos de alta calidad (que suelen ser demasiado pesados para controladores de borde o bucles reactivos) y las reglas de despacho rápidas pero subóptimas. Proporciona un programador rápido, sin solver y casi óptimo que opera dentro de las restricciones de tiempo real de los sistemas de ejecución de manufactura (segundos por replanificación).
• Modestia: Los autores declaran explícitamente que donde existe un solver exacto y experiencia en optimización, el solver sigue siendo el "techo de calidad". El nicho de la política aprendida es el despliegue sin solver, particularmente en escenarios reactivos donde la velocidad y la falta de overhead de licencias o modelos son críticas.