Does Size Generalization Imply Disruption Robustness? A Pre-Registered Study of GNN–PPO Scheduling Policies for the Dynamic Flexible Job-Shop Problem

Resumen Técnico: ¿Implica la generalización de tamaño la robustez ante disrupciones?

Planteamiento del problema
Este estudio aborda el Problema de Taller Flexible (FJSP) Dinámico y Estocástico, un desafío de optimización combinatoria donde las operaciones deben asignarse a máquinas elegibles a lo largo del tiempo. A diferencia de las versiones estáticas deterministas, este problema incorpora tres fuentes de incertidumbre: llegadas dinámicas de trabajos (modeladas como un proceso de Poisson), tiempos de procesamiento estocásticos (multiplicadores log-normales) y averías de máquinas (tiempo hasta el fallo exponencial con tiempos de reparación log-normales). Aunque el Aprendizaje por Refuerzo Profundo (DRL) combinado con Redes de Grafos Neuronales (GNN) ha mostrado potencial para generalizar a tamaños de instancia mayores y manejar un solo tipo de disrupción, sigue sin probarse si una única política puede lograr simultáneamente la generalización de tamaño (funcionar bien en instancias más grandes que las vistas durante el entrenamiento) y la robustez ante múltiples disrupciones (manejar simultáneamente averías de máquinas, tiempos estocásticos y llegadas dinámicas).

Metodología
Los investigadores emplearon un protocolo pre-registrado y estadísticamente riguroso para evaluar un codificador de Red de Isomorfismo de Grafos (GIN) relacional emparejado con un agente de Optimización de Política Próxima (PPO).

• Arquitectura: La política utiliza un codificador GIN relacional que distingue tres tipos de aristas (precedencia intra-trabajo, competencia de máquinas y elegibilidad de operación-máquina) mediante transformaciones lineales separadas antes de la agregación. Este diseño se sitúa entre representaciones de grafos totalmente homogéneas y totalmente heterogéneas. La cabeza del actor produce logits para las operaciones candidatas independientemente del tamaño de la instancia, asegurando la independencia del recuento de parámetros respecto al número de operaciones.
• Entrenamiento y Recompensa: El agente fue entrenado utilizando MaskablePPO. Para probar la robustez, el estudio evaluó dos estructuras de recompensa: una recompensa base basada en el potencial que minimiza la rampa de finalización (makespan), y una versión extendida que incorpora una "penalización por inestabilidad" ($\kappa \cdot \Delta_{inst}$) para penalizar las desviaciones de los tiempos de inicio planificados tras las disrupciones.
• Diseño Experimental: El estudio pre-registró cinco hipótesis (H1–H5) con reglas de decisión congeladas para evitar el HARKing (hipotetizar después de conocer los resultados).
  • Líneas Base: La política se comparó contra nueve Reglas de Despacho de Prioridad (PDRs), un Algoritmo Genético (GA) ajustado y un resolvedor exacto de Programación por Restricciones (CP-SAT).
  • Benchmarks: La evaluación abarcó 43 instancias de las familias Fisher–Thompson y Lawrence (JSSP) y siete instancias de Brandimarte (FJSP), además de extensiones sintéticas.
  • Protocolo Estadístico: Las comparaciones utilizaron pruebas de rango de Wilcoxon para análisis de pares y pruebas de Friedman–Nemenyi con diagramas de diferencia crítica para el ranking de múltiples métodos. Se reportaron tamaños del efecto en todo momento.

Resultados Clave
Cuatro de las cinco hipótesis pre-registradas fueron rechazadas, mientras que una fue aceptada. Los hallazgos se resumen a continuación:

1. Competitividad Estática (H1 - Rechazada): La política GNN-PPO no superó a la mejor regla de despacho en instancias estáticas. El Desvío Porcentual Relativo Medio (RPD) de la política fue del 24.82%, frente al 18.96% de la mejor PDR (FIFO). Perdió en todas las instancias de FJSP y solo ganó en el 18.6% de las instancias de JSSP.
2. Generalización de Tamaño (H2 - Aceptada): La política generalizó con éxito a tamaños de instancia de 1.5× a 3.0× mayores que el conjunto de entrenamiento. Aunque su RPD absoluto no fue competitivo frente a la mejor PDR, su rango entre diez métodos no fue significativamente peor que el rango de la mejor PDR en ningún nivel de tamaño. Esto indica una transferencia de competitividad relativa en lugar de calidad de solución absoluta.
3. Robustez ante Múltiples Disrupciones (H3 - Rechazada): La política no logró ser robusta bajo nueve regímenes de disrupción distintos (combinaciones de averías, tiempos estocásticos y llegadas). En todos los regímenes, el Índice de Robustez (RI) de la política fue significativamente peor que el de las mejores PDRs. El eje de "llegadas dinámicas" fue particularmente perjudicial, ya que representó un cambio de distribución (inserciones de trabajos a mitad del episodio) no visto durante el entrenamiento.
4. Recompensa Consciente de la Disrupción (H4 - Rechazada): Aumentar la recompensa con una penalización por inestabilidad ($\kappa > 0$) no mejoró la robustez. En su lugar, causó un colapso en el rendimiento nominal (sin perturbaciones), aumentando el RPD entre 46.6 y 106.0 puntos porcentuales. El estudio diagnostica este fallo como resultado de entrenar exclusivamente sobre episodios de disrupción con aleatorización de dominio, sin exponer nunca al agente a episodios nominales (sin perturbaciones).
5. Latencia de Decisión (H5 - Rechazada bajo umbral estricto): Si bien la latencia de decisión de la política (4–11 ms) es órdenes de magnitud más rápida que la de CP-SAT en instancias grandes y complejas, falló el umbral estricto pre-registrado (ser <1% del tiempo de CP-SAT) en 42 de las 43 instancias. Este fallo fue impulsado principalmente por instancias pequeñas donde CP-SAT resolvió el problema casi instantáneamente, creando un artefacto matemático en la razón.

Significancia y Reivindicaciones
La contribución central del artículo no es un resultado positivo en términos de calidad de solución, sino una caracterización diagnosticada y estadísticamente rigurosa de los límites de las políticas de programación GNN-PPO. Los autores argumentan que la generalización de tamaño y la robustez ante múltiples disrupciones son propiedades separables, no un "paquete completo" que surge automáticamente de la misma arquitectura.

• Transferencia Arquitectónica vs. Competitividad: El estudio proporciona evidencia empírica de que las arquitecturas invariantes al tamaño pueden transferir competitividad relativa de rango (una política puede mantenerse "tan buena como" el mejor heurístico a medida que el tamaño aumenta) incluso si la política base no es competitivamente fuerte en términos absolutos.
• El Costo de los Objetivos Conjuntos: El rechazo de H3 y H4 sugiere que una política no puede optimizar simultáneamente la robustez ante múltiples tipos de disrupción y mantener el rendimiento nominal sin ajustes específicos en la arquitectura o el régimen de entrenamiento. La "penalización por inestabilidad" falló porque el régimen de entrenamiento (aleatorización de dominio sin exposición nominal) era incompatible con el diseño de la recompensa.
• Rigor Metodológico: Al pre-registrar hipótesis y reglas de decisión, el estudio ofrece un resultado negativo defendible, contrarrestando la tendencia de fallos inexplicados en la literatura de DRL aplicada a la programación. Identifica mecanismos concretos de fallo (por ejemplo, el impacto específico de excluir episodios nominales del entrenamiento) en lugar de atribuir el mal desempeño a vagos "cambios de distribución".

Los autores concluyen que los profesionales no deben inferir la robustez ante disrupciones basándose únicamente en las afirmaciones de generalización de tamaño. En su lugar, estas capacidades deben tratarse como ejes de diseño independientes que requieren evaluación e ingeniería por separado. El estudio sugiere una posible estrategia de despliegue híbrido donde una política GNN rápida y reactiva sirva como un respaldo inmediato durante las disrupciones, mientras que los resolvedores más lentos y de mayor calidad (GA o CP-SAT) corran en paralelo para generar programas optimizados.