Resumen Técnico: Programación de Taller Flexible Distribuida Multiobjetivo con Transferencia Basada en el Grafo de la Ruta Crítica mediante DRL

1. Definición del Problema

El artículo aborda el Problema de Programación de Taller Flexible Distribuida Multiobjetivo (MO-DFJSP). Este problema extiende el clásico Problema de Programación de Taller Flexible (FJSP) a un entorno de fabricación distribuido que involucra múltiples talleres geográficamente dispersos. El desafío central consiste en optimizar simultáneamente dos objetivos en conflicto:

1. Makespan ($Z_1$): Minimizar el tiempo de finalización máximo de todos los trabajos.
2. Consumo Total de Energía ($Z_2$): Minimizar la suma de la energía de procesamiento, la energía de inactividad y la energía de transporte (tanto inter-taller como intra-taller).

El problema se caracteriza por una complejidad NP-hard, donde las decisiones relativas a la asignación de máquinas, la secuenciación de operaciones y las transferencias de piezas entre talleres están estrechamente acopladas. El artículo señala que los algoritmos evolutivos existentes suelen sufrir dos deficiencias sistémicas:

• Intra-generacional: Los operadores de mutación carecen de la capacidad de percibir la estructura de programación (por ejemplo, rutas críticas y cuellos de botella), lo que conduce a perturbaciones aleatorias que desperdician recursos computacionales en operaciones que no son cuellos de botella.
• Cross-generacional: El estancamiento de la población se aborda a menudo con reglas de umbral fijo, careciendo de un mecanismo de respuesta jerárquico basado en indicadores multidimensionales.

2. Metodología: HENSGA-DRL

Los autores proponen HENSGA-DRL, un algoritmo híbrido que integra el marco NSGA-II con dos componentes novedosos: un operador de Aprendizaje por Refuerzo Profundo guiado por el Grafo de la Ruta Crítica (CGDRL) y una estrategia de Intervención Jerárquica Sensible a Métricas Múltiples (MSHI).

2.1 Marco Base: NSGA-II

El algoritmo utiliza NSGA-II como su columna vertebral evolutiva, empleando una clasificación no dominada rápida y un mecanismo de distancia de crowding normalizado para mantener la convergencia y la diversidad. La codificación del cromosoma utiliza un vector de dos capas: una Secuencia de Máquinas (MS) y una Secuencia de Operaciones (OS).

2.2 Componente Central 1: Operador CGDRL

El operador CGDRL se integra en la etapa de mutación para reemplazar las perturbaciones aleatorias con una optimización dirigida y guiada por la estructura.

• Construcción del Grafo Disyuntivo: Los cromosomas se convierten en grafos disyuntivos donde los nodos representan operaciones y las aristas representan la precedencia tecnológica (estática) y la contención de recursos de máquina (dinámica).
• Extracción de Características: Una Red Convolucional de Grafos (GCN) codifica el grafo para extraer características a nivel de nodo, capturando tanto las cargas locales de las máquinas como la disposición global de la ruta crítica.
• Detección de Cuellos de Botella: Un mecanismo de atención de múltiples cabezales identifica las operaciones "cuello de botella" (aquellas con el mayor potencial de mejora) basándose en su asociación con el estado global de la programación.
• Red de Política: Un agente de Optimización de Política Próxima (PPO) toma el estado de la operación cuello de botella (incrustación de nodo + cargas de máquina normalizadas) y genera una decisión dirigida de reasignación de máquina.
• Función de Recompensa: El agente es entrenado utilizando una señal de recompensa definida como la suma ponderada de las tasas de mejora normalizadas para tanto el makespan como el consumo de energía, fomentando los compromisos (trade-offs) en lugar del sesgo de un solo objetivo.

2.3 Componente Central 2: Estrategia MSHI

La estrategia MSHI gestiona la salud de la población a través de las generaciones para prevenir el estancamiento.

• Archivo de Soluciones Élite (ESA): Mantiene un historial de soluciones no dominadas para servir como fuente de intervenciones de alta calidad.
• Rastreador de Rendimiento de Métricas Múltiples (MPT): Calcula un puntaje de salud integral ($\Phi_t$) basado en la tasa de cambio del hipervolumen y la diversidad del espacio de objetivos.
• Mecanismo de Intervención Adaptativo (AIM): Activa un sistema de intervención de tres niveles basado en la severidad del estancamiento:
  1. Nivel 1 (Fondo): Programación de la tasa de mutación dinámica que decae linealmente para pasar de la exploración a la explotación.
  2. Nivel 2 (Inyección de Élite): Se activa ante un estancamiento moderado; reemplaza a los peores individuos de la población actual con soluciones élite diversas del ESA.
  3. Nivel 3 (Escape de Trampa): Se activa ante un estancamiento severo; eleva forzosamente la tasa de mutación para escapar de los óptimos locales durante un periodo fijo.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Modelado Matemático: Establecimiento de un modelo matemático multiobjetivo completo para el MO-DFJSP que contabiliza explícitamente el consumo de energía de procesamiento, inactividad y transporte, proporcionando una base formal unificada para el diseño del algoritmo.
2. Diseño del Operador CGDRL: La integración de la percepción de la estructura del grafo disyuntivo y las redes de política PPO directamente en el operador de mutación evolutiva. Esto permite que el algoritmo perciba los cuellos de botella de la topología de programación y tome decisiones direccionales durante la modificación de genes, en lugar de depender de perturbaciones aleatorias.
3. Estrategia MSHI: La propuesta de un mecanismo de intervención jerárquico impulsado por indicadores multidimensionales (hipervolumen y diversidad) para abordar el estancamiento de la población entre generaciones, creando una sinergia entre la manipulación de genes intra-generacional y la regulación del estado cross-generacional.

4. Resultados Experimentales

El algoritmo fue evaluado en un conjunto de datos de referencia autoconstruido (DLA), que extiende las instancias estándar de LA para incluir talleres distribuidos, tiempos de transferencia y parámetros de energía (20 instancias que van de 10 a 20 trabajos).

• Estudio de Ablación: Las comparaciones entre el HENSGA-DRL completo y sus variantes (eliminando CGDRL o MSHI) demostraron que el operador CGDRL es el principal motor de la precisión de la convergencia (mejorando el makespan en aproximadamente un 6.4% y la energía en un 5.5% sobre la variante sin él), mientras que el MSHI proporciona un soporte esencial para mantener las capacidades de exploración.
• Estudio Comparativo: HENSGA-DRL se comparó con algoritmos de vanguardia: MOEA/D, SPEA-II y HMOMA.
  • Rendimiento: HENSGA-DRL logró resultados superiores tanto en makespan como en consumo total de energía en la gran mayoría de las instancias.
  • Métricas: Obtuvo consistentemente los valores de Hipervolumen (HV) más altos, indicando una mejor convergencia y diversidad.
  • Significancia: Las pruebas de suma de rangos de Wilcoxon confirmaron que las mejoras fueron estadísticamente significativas ($p < 0.05$) en comparación con los tres modelos base. La brecha de rendimiento fue más pronunciada contra HMOMA (mejoras promedio del 14.8% en makespan y 13.1% en energía).

5. Significado y Reivindicaciones

El artículo afirma que HENSGA-DRL representa un avance significativo en la resolución de MO-DFJSP al abordar las limitaciones específicas de los métodos evolutivos existentes.

• Percepción Estructural: A diferencia de trabajos previos donde el aprendizaje por refuerzo se limita al ajuste de hiperparámetros, este trabajo logra integrar con éxito la percepción estructural (vía GCNs) directamente en el proceso de manipulación de genes. Esto permite que el algoritmo enfoque activamente la presión de búsqueda en las dimensiones de decisión con el mayor potencial de mejora.
• Respuesta Jerárquica: La estrategia MSHI ofrece un enfoque más sofisticado para el estancamiento de la población que las reglas de umbral fijo, utilizando el monitoreo de salud en tiempo real para activar los niveles de intervención apropiados.
• Fabricación Verde: Al modelar y optimizar explícitamente el consumo de energía junto con el makespan en un entorno distribuido, este trabajo apoya la transición hacia sistemas de fabricación sostenibles y verdes.

Los autores concluyen que laขับเคลื่อน colaborativa del operador CGDRL y la estrategia MSHI permite al algoritmo aproximar eficientemente frentes de Pareto de alta calidad en el complejo espacio de búsqueda de problemas de programación distribuidos y multiobjetivo.