Resumo Técnico: Aprendizado por Reforço Profundo Sensível ao Atraso Temporal para Escalonamento de Trabalho Flexível em Fábricas de Módulos PPVC

1. Definição do Problema: FJSP com Atrasos de Bloqueio de Trabalho (Job-Blocking)

O artigo aborda o escalonamento de fábricas de Construção Volumétrica Pré-fabricada e Pré-acabada (PPVC). Diferente do Problema de Escalonamento de Trabalho Flexível (FJSP) clássico, a produção de PPVC é caracterizada por atrasos de tempo pós-operação (ex: cura do concreto, teste de estanqueidade, secagem de tinta) que são dominantes no volume temporal, frequentemente excedendo o tempo de processamento total.

A complicação central é a semântica de bloqueio de trabalho, máquina livre (job-blocking, machine-free):

• FJSP Padrão: Uma máquina é ocupada até que o trabalho seja totalmente processado.
• Realidade da PPVC: Assim que um módulo completa uma operação física (ex: fundição), a estação fica imediatamente livre para processar o próximo módulo. No entanto, o próprio módulo está "bloqueado" em uma área de buffer por uma duração de atraso obrigatória ($\ell_{ij}$) antes que sua próxima operação possa começar.
• Impacto: Ignorar esses atrasos durante a tomada de decisão e tentar reparar o cronograma posteriormente (deslocamento à direita/right-shifting) resulta em uma degradação catastrófica de desempenho (inflação de até 137% no makespan em comparação ao planejamento consciente do atraso). Além disso, os solvers de Aprendizado por Reforço Profundo (DRL) existentes para FJSP assumem prontidão imediata do sucessor, tornando-os mal formulados para PPVC.

O objetivo é minimizar o makespan da fábrica ($C_{max}$) respeitando a flexibilidade de roteamento, a compatibilidade de estações e as restrições específicas de atraso.

2. Metodologia: Adaptações de DANIEL Sensíveis ao Atraso

Os autores adaptam o DANIEL, um solver de DRL de atenção dupla de última geração para FJSP, através de três extensões minimamente invasivas e individualmente ablatáveis. O princípio de design é corrigir a semântica do problema onde os atrasos alteram a dinâmica, mantendo a estrutura de aprendizado (treinamento PPO, arquitetura de rede) comprovadamente intacta.

A. Adaptação 1: Dinâmica Sensível ao Atraso e Recompensa Admissível

• Semântica de Transição: A transição de estado do ambiente é modificada para que uma estação fique livre no tempo de conclusão ($c_{ij}$), mas o trabalho torne-se pronto para sua próxima operação apenas em $\rho_i = c_{ij} + \ell_{ij}$.
• Limite Admissível: Um novo limite inferior para o makespan, $\hat{C}_{max}$, é introduzido. Ele incorpora o tempo de conclusão aumentado pelo atraso:
  $$\hat{c}_{i,j} = \max(\hat{c}_{i,j-1} + \ell_{i,j-1}, t) + \min_{k \in M_{ij}} p_{ijk}$$
  Este limite é admissível (nunca superestima o makespan real) e estreito na terminação. Isso garante que o sinal de recompensa denso do PPO ($r_t = \hat{C}_{max}(s_t) - \hat{C}_{max}(s_{t+1})$) permaneça um sinal telescópico fiel para o objetivo real, evitando que a política otimize um sinal mal calibrado.

B. Adaptação 2: Recursos de Atraso Antecipatórios

Para permitir que a política antecipe atrasos futuros em vez de apenas reagir a eles após o compromisso, dois novos canais de características são adicionados aos embeddings dos nós de operação:

1. Atraso Estático ($\eta^{lag}_{ij}$): A duração fixa do atraso $\ell_{ij}$ associada à operação.
2. Atraso Remanescente ($\eta^{rem}_{ij}(t)$): A parte de um atraso em curso que resta no tempo de decisão atual $t$.
   Esses canais passam pela normalização por passo da rede de forma independente, garantindo que os 10 canais de características originais permaneçam numericamente inalterados.

C. Adaptação 3: Embeddings de Tipo com Máscara de Vitalidade (Liveness Masking)

Operações e estações possuem tipos categóricos (ex: estrutural, MEP, fundição, pintura) que vetores de características puros não conseguem explorar.

• Desafio: Concatenar índices de tipo de forma ingênua quebra a invariância da estrutura onde nós "deletados" (finalizados) são zerados e excluídos do pooling.
• Solução: Os autores injetam embeddings de tipo treináveis ($E_{op}, E_{mch}$), mas os controlam com uma máscara de vitalidade ($\lambda_{ij}$). O embedding é apenas adicionado se o nó estiver ativo.
• Garantia: Isso preserva a semântica de "média de não-zero" do pooling da estrutura original do DANIEL, garantindo que o conjunto de nós selecionados para o pooling permaneça idêntico ao do solver não modificado.

3. Benchmark e Configuração Experimental

• Gerador Baseado na BCA: Um gerador de instâncias público foi criado com base no guia oficial da Autoridade de Construção e Construção (BCA) de Singapura. Ele define sequências de roteamento, taxonomias de estações (9 tipos) e intervalos de atraso (cura, estanqueidade, secagem) fundamentados em normas da indústria. Os tempos de processamento são estimativas baseadas na literatura.
• Baselines:
  • Solver Exato: CP-SAT (Programação de Restrições) com um limite de tempo de 300s.
  • Regras de Escalonamento (Dispatching Rules): FIFO, SPT, MWKR, MOR (todos sensíveis ao atraso).
  • Metaheurística: Algoritmo Genético (GA) iniciado com regras de despacho.
  • Braços de Ablação:
    • A0: Cego ao atraso (prática industrial atual: planejar e depois realizar o deslocamento à direita).
    • A1: Apenas dinâmica sensível ao atraso.
    • A2: A1 + Recursos antecipatórios.
    • A3: A2 + Embeddings de tipo (Método completo).

4. Principais Resultados

A. Desempenho em Instâncias Ricas em Capacidade (Classe M)

• Superioridade sem Solver: O método completo (A3) alcança um makespan médio de 210,9 horas, reduzindo a lacuna em relação à referência CP-SAT de 6,4% (melhor regra de despacho, SPT) para 3,8%.
• Comparação com o Solver Exato: Embora o CP-SAT seja o teto de qualidade (provado ótimo em 86/100 casos), ele requer um modelo de otimização e um solver em loop. O A3 atinge uma qualidade próxima à referência em ~2 segundos por instância, sem necessidade de um solver.
• Ablação: Em instâncias ricas em capacidade, a dinâmica sensível ao atraso (A1) fornece a maior parte do ganho. Os recursos antecipatórios (A2) e os embeddings de tipo (A3) são estatisticamente neutros aqui, mas essenciais para outros regimes.

B. Desempenho sob Contenção de Capacidade (Classe M-Tight)

Quando a capacidade da estação é reduzida pela metade (15 estações), a contenção de máquinas torna-se co-dominante com os atrasos.

• Ganhos Significativos: O método completo (A3) reduz a lacuna em relação à referência CP-SAT para 6,6%, superando significativamente o SPT (lacuna de 12,2%).
• Valor das Adaptações: Sob contenção, os recursos antecipatórios e os embeddings de tipo tornam-se estatisticamente significativos (p < 0,001), provando seu valor em ambientes complexos e restritos onde a antecipação é crítica.
• Comparação com Metaheurística: O A3 vence um Algoritmo Genético de 60 segundos por mais de 10 horas, apesar de o GA ter um tempo de inferência ~30x maior.

C. Generalização Zero-Shot

• Sistemas de Casca (Shell Systems): A política treinada em cascas mistas transfere-se limpa para projetos de casca única (RC ou Aço), superando as regras de despacho.
• Escala: Uma política de tamanho único degrada-se em contagens de módulos não vistas (5 ou 20 módulos). No entanto, uma política de tamanho misto (treinada com 10, 20 e 30 módulos) generaliza efetivamente, superando o SPT na faixa de 10–20 módulos e igualando-o em 0,4% aos 30 módulos.

D. Reescalonamento Reativo

Em cenários de disrupção (ex: duplicação da duração do atraso ou quebra de máquina):

• Sem Solver: O A3 replaneja em ~1,2 segundos, reduzindo o makespan em ~5% comparado ao padrão industrial de reparo por "deslocamento à direita". Ele consegue isso através do reroteamento ativo, não apenas do adiamento.
• Estabilidade vs. Qualidade: Embora um CP-SAT sensível à estabilidade (com penalidade de churn) ofereça o melhor equilíbrio entre makescan e estabilidade do cronograma, ele exige toda a infraestrutura de um solver. O A3 serve como a alternativa mais forte sem solver, melhorando a prática atual sem o overhead computacional de um solver de restrições.

5. Significância e Alegações

O artigo alega ser o primeiro solver construtivo aprendido explicitamente projetado para job-shops flexíveis com atrasos de tempo pós-operação de bloqueio de trabalho e máquina livre.

• Correção sobre Ajuste (Tuning): As adaptações não são escolhas de ajuste heurístico, mas correções estruturais. As dinâmicas sensíveis ao atraso são um pré-requisito para qualquer solver de DRL construtivo neste domínio, pois um processo de decisão cego ao atraso é fundamentalmente mal formulado.
• Atribuição: Ao garantir que a implementação reproduza o solver DANIEL original bit a bit quando as flags estão desligadas, os autores atribuem todos os ganhos de desempenho estritamente às adaptações propostas.
• Impacto Prático: O trabalho preenche a lacuna entre solvers exatos de alta qualidade (que são frequentemente pesados demais para controladores de borda ou loops reativos) e regras de despacho rápidas, porém subótimas. Ele fornece um escalonador rápido, sem solver e quase ótimo, que opera dentro das restrições de tempo real de sistemas de execução de manufatura (segundos por replanejamento).
• Modéstia: Os autores afirmam explicitamente que, onde um solver exato e expertise em otimização estão disponíveis, o solver permanece o "teto de qualidade". O nicho da política aprendida é o implante sem solver, particularmente em cenários reativos onde a velocidade e a ausência de licenciamento/overhead de modelo são críticas.