Resumo Técnico: Escalonamento de Job Shop Flexível Distribuído com Múltiplos Objetivos Baseado em Transferência via DRL Guiado por Grafo de Caminho Crítico

1. Definição do Problema

O artigo aborda o Problema de Escalonamento de Job Shop Flexível Distribuído com Múltiplos Objetivos (MO-DFJSP). Este problema estende o clássico Problema de Escalonamento de Job Shop Flexível (FJSP) para um ambiente de manufatura distribuída envolvendo múltiplas oficinas geograficamente dispersas. O desafio central envolve a otimização simultânea de dois objetivos conflitantes:

1. Makespan ($Z_1$): Minimizar o tempo de conclusão máximo de todos os trabalhos.
2. Consumo Total de Energia ($Z_2$): Minimizar a soma da energia de processamento, energia ociosa e energia de transporte (tanto inter-oficina quanto intra-oficina).

O problema é caracterizado pela complexidade NP-difícil, onde as decisões relativas à alocação de máquinas, sequenciamento de operações e transferências de peças entre oficinas estão fortemente acopladas. O artigo observa que os algoritmos evolutivos existentes frequentemente sofrem de duas deficiências sistêmicas:

• Intra-geracional: Operadores de mutação carecem da capacidade de perceber a estrutura de escalonamento (ex: caminhos críticos e gargalos), levando a perturbações aleatórias que desperdiçam recursos computacionais em operações que não são gargalos.
• Cross-geracional: O estancamento da população é frequentemente tratado com regras de limiar fixas, carecendo de um mecanismo de resposta hierárquico baseado em indicadores multidimensionais.

2. Metodologia: HENSGA-DRL

Os autores propõem o HENSGA-DRL, um algoritmo híbrido que integra o framework NSGA-II com dois componentes inovadores: um operador de Aprendizado por Reforço Profundo (DRL) guiado por Grafo de Caminho Crítico (CGDRL) e uma estratégia de Intervenção Hierárquica Sensível a Múltiplos Métricas (MSHI).

2.1 Framework Base: NSGA-II

O algoritmo utiliza o NSGA-II como sua espinha dorsal evolutiva, empregando ordenação não dominada rápida e um mecanismo de distância de crowding normalizada para manter a convergência e a diversidade. A codificação do cromossomo utiliza um vetor de duas camadas: uma Sequência de Máquinas (MS) e uma Sequência de Operações (OS).

2.2 Componente Central 1: Operador CGDRL

O operador CGDRL é incorporado na etapa de mutação para substituir perturbações aleatórias por uma otimização direcionada e guiada pela estrutura.

• Construção do Grafo Disjuntivo: Os cromossomos são convertidos em grafos disjuntivos onde os nós representam operações e as arestas representam precedência tecnológica (estática) e contenção de recurso de máquina (dinâmica).
• Extração de Características: Uma Rede Neural Convolucional de Grafos (GCN) codifica o grafo para extrair características ao nível do nó, capturando tanto as cargas locais das máquinas quanto os layouts globais de caminhos críticos.
• Detecção de Gargalo: Um mecanismo de atenção multi-cabeça identifica operações "gargalo" (aquelas com maior potencial de melhoria) com base em sua associação com o estado global de escalonamento.
• Rede de Política: Um agente de Otimização de Política Próxima (PPO) recebe o estado da operação gargalo (incorporação do nó + cargas de máquina normalizadas) e gera uma decisão direcionada de reatribuição de máquina.
• Função de Recompensa: O agente é treinado usando um sinal de recompensa definido como a soma ponderada das taxas de melhoria normalizadas para ambos o makespan e o consumo de energia, incentivando o equilíbrio (trade-off) em vez do viés de objetivo único.

2.3 Componente Central 2: Estratégia MSHI

A estratégia MSHI gerencia a saúde da população através das gerações para evitar o estancamento.

• Arquivo de Soluções de Elite (ESA): Mantém um histórico de soluções não dominadas para servir como fonte de intervenções de alta qualidade.
• Rastreador de Desempenho de Múltiplas Métricas (MPT): Calcula uma pontuação de saúde abrangente ($\Phi_t$) baseada na taxa de variação do hipervolume e na diversidade do espaço de objetivos.
• Mecanismo de Intervenção Adaptativa (AIM): Ativa um sistema de intervenção de três níveis baseado na severidade do estancamento:
  1. Nível 1 (Segundo Plano): Agendamento de taxa de mutação dinâmica que decai linearmente para mudar da exploração para a explotação.
  2. Nível 2 (Injeção de Elite): Acionado por estancamento moderado; substitui os indivíduos piores da população atual por soluções de elite diversas do ESA.
  3. Nível 3 (Escape de Armadilha): Acionado por estancamento severo; eleva forçadamente a taxa de mutação para escapar de ótimos locais por um período fixo.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Modelagem Matemática: Estabelecimento de um modelo matemático multi-objetivo completo para o MO-DFJSP que contabiliza explicitamente o consumo de energia de processamento, ociosa e de transporte, fornecendo uma base formal unificada para o design do algoritmo.
2. Design do Operador CGDRL: A integração da percepção de estrutura de grafo disjuntivo e redes de política PPO diretamente no operador de mutação evolutiva. Isso permite que o algoritmo perceba os gargalos da topologia de escalonamento e tome decisões direcionadas durante a modificação gênica, em vez de depender de perturbações aleatórias.
3. Estratégia MSHI: A proposta de um mecanismo de intervenção hierárquico impulsionado por indicadores multidimensionais (hipervolume e diversidade) para abordar o estancamento da população cross-geracional, criando uma sinergia entre a manipulação gênica intra-geracional e a regulação de estado cross-geracional.

4. Resultados Experimentais

O algoritmo foi avaliado em um conjunto de dados de benchmark autoconstruído (DLA), que estende as instâncias padrão LA para incluir oficinas distribuídas, tempos de transferência e parâmetros de energia (20 instâncias variando de 10 a 20 trabalhos).

• Estudo de Ablação: Comparações entre o HENSGA-DRL completo e variantes (removendo CGDRL ou MSHI) demonstraram que o operador CGDRL é o principal motor da precisão de convergência (melhorando o makespan em ~6,4% e a energia em ~5,5% sobre a variante sem ele), enquanto o MSHI fornece suporte essencial para manter as capacidades de exploração.
• Estudo Comparativo: O HENSGA-DRL foi comparado com algoritmos de última geração: MOEA/D, SPEA-II e HMOMA.
  • Desempenho: O HENSGA-DRL alcançou resultados superiores tanto no makespan quanto no consumo total de energia na vasta maioria das instâncias.
  • Métricas: Obteve consistentemente os maiores valores de Hipervolume (HV), indicando melhor convergência e diversidade.
  • Significância: Testes de soma de postos de Wilcoxon confirmaram que as melhorias foram estatisticamente significativas ($p < 0,05$) em relação aos três baselines. A lacuna de desempenho foi mais pronunciada contra o HMOMA (melhorias médias de 14,8% no makespan e 13,1% na energia).

5. Significância e Alegações

O artigo afirma que o HENSGA-DRL representa um avanço significativo na resolução do MO-DFJSP ao abordar as limitações específicas dos métodos evolutivos existentes.

• Percepção Estrutural: Ao contrário de trabalhos anteriores onde o aprendizado por reforço é limitado ao ajuste de hiperparâmetros, este trabalho integra com sucesso a percepção estrutural (via GCNs) diretamente no processo de manipulação gênica. Isso permite que o algoritmo foque ativamente a pressão de busca nas dimensões de decisão com maior potencial de melhoria.
• Resposta Hierárquica: A estratégia MSHI oferece uma abordagem mais sofisticada ao estancamento da população do que as regras de limiar fixo, utilizando o monitoramento de saúde em tempo real para acionar os níveis de intervenção apropriados.
• Manufatura Verde: Ao modelar e otimizar explicitamente o consumo de energia juntamente com o makespan em um cenário distribuído, o trabalho apoia a transição para sistemas de manufatura sustentáveis e verdes.

Os autores concluem que o impulso colaborativo do operador CGDRL e da estratégia MSHI permite que o algoritmo aproxime eficientemente frentes de Pareto de alta qualidade no complexo espaço de busca de problemas de escalonamento multi-objetivo distribuídos.