💻 computer science

Modelling Reinforcement Learning Scheduling Agents: Action spaces, reward designs, and expert demonstrations

Este artigo investiga como as escolhas de modelagem em Aprendizado por Reforço Profundo afetam as políticas de escalonamento para o Problema de Escalonamento de Job-shop Flexível, demonstrando que a integração de limites de otimalidade derivados de Programação por Restrições e demonstrações de especialistas em um framework multiagente melhora significativamente o design de recompensa e acelera a convergência para alcançar um desempenho de escalonamento superior e em tempo real.

Autores originais: Alexandre Jesus, Arthur Corrêa, Miguel Vieira, Catarina Marques, Cristóvão Silva, Samuel Moniz

Publicado 2026-09-07

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexandre Jesus, Arthur Corrêa, Miguel Vieira, Catarina Marques, Cristóvão Silva, Samuel Moniz

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No coração da manufatura moderna, um quebra-cabeça silencioso e complexo desenrola-se a cada segundo. As fábricas devem decidir a ordem em que milhares de tarefas serão realizadas num número limitado de máquinas. Algumas tarefas só podem ser feitas numa máquina específica, enquanto outras podem ser tratadas por várias máquinas diferentes, cada uma levando um tempo ligeiramente distinto. O objetivo é simples de enunciar, mas incrivelmente difícil de resolver: terminar todo o trabalho o mais rápido possível. Este desafio, conhecido como o problema de escalonamento de oficina flexível (flexible job-shop scheduling problem), é um teste clássico de eficiência. Durante décadas, os especialistas confiaram em regras matemáticas rígidas ou métodos de tentativa e erro para encontrar boas soluções. No entanto, estes métodos tradicionais muitas vezes têm dificuldade quando o chão de fábrica muda ou quando o número de possibilidades se torna demasiado vasto para calcular rapidamente. Nos últimos anos, surgiu uma nova abordagem: ensinar computadores a aprender fazendo. Este método, chamado aprendizagem por reforço, permite que uma inteligência artificial explore milhões de cenários e descubra as suas próprias estratégias para organizar o trabalho, prometendo tomar decisões de forma mais rápida e adaptável do que nunca.

Uma equipa de investigadores de universidades de Portugal analisou agora mais de perto como estas máquinas de aprendizagem são construídas, fazendo uma pergunta fundamental: será que a forma como as ensinamos importa mais do que a própria inteligência da máquina? Eles focaram-se em duas escolhas específicas que os designers fazem ao criar estes agentes de escalonamento. A primeira escolha é o nível de detalhe que o agente vê. Será que ele observa o trabalho como um todo e decide qual o próximo a iniciar, ou fará um zoom para ver cada passo individual de cada trabalho e decidir exatamente qual passo realizar? A segunda escolha é o sistema de recompensa, o ciclo de feedback que diz ao agente se está a fazer um bom trabalho. O agente é elogiado por simplesmente terminar uma tarefa rapidamente, ou é recompensado por como essa tarefa se encaixa no quadro geral da fábrica? Para encontrar as respostas, os investigadores não se limitaram a deixar os seus agentes adivinharem. Em vez disso, utilizaram um poderoso resolvedor matemático tradicional para gerar cronogramas perfeitos ou quase perfeitos para uma grande variedade de cenários de fábrica. Utilizaram então estas soluções especialistas como um ponto de referência, um padrão de ouro, para medir o quão bem os seus agentes de aprendizagem estavam realmente a desempenhar.

Os investigadores descobriram que a melhor abordagem depende inteiramente da natureza do chão de fábrica. Quando os trabalhos são todos muito semelhantes entre si, uma visão mais simples funciona melhor. Nestes casos, ter o agente a observar o trabalho completo e a escolher o próximo a executar é eficiente e eficaz. No entanto, quando a fábrica é cheia de variedade — onde alguns trabalhos são longos e complexos enquanto outros são curtos, e onde as máquinas têm velocidades muito diferentes — a visão simples falha. Nestes ambientes caóticos, o agente precisa de ver os detalhes minuciosos. Ele deve observar cada operação individual e decidir exatamente qual a máquina que deve tratá-la. O estudo mostrou que ignorar estes detalhes numa fábrica complexa leva a resultados significativamente piores, provando que não existe uma forma única de "tamanho único" para desenhar estes agentes de aprendizagem.

A equipa também descobriu que a forma como recompensavam os agentes era ainda mais crítica do que o nível de detalhe que viam. Muitos estudos anteriores basearam-se numa recompensa global, onde o agente apenas recebia feedback quando o tempo total para terminar todos os trabalhos mudava. Isto é como um treinador que só fala quando o marcador final muda, deixando o jogador a adivinhar o que fez bem ou mal a meio do jogo. Os investigadores descobriram que esta abordagem frequentemente deixava os agentes confusos, especialmente em contextos complexos. Em vez disso, desenharam um novo sistema de recompensa que dava feedback imediato e local. O agente era recompensado com base na eficiência com que utilizava a máquina específica em que estava a trabalhar, comparativamente às outras máquinas disponíveis para aquela tarefa específica. Este feedback constante e imediato agiu como uma mão firme no ombro, guiando o agente passo a passo. Quando combinaram esta orientação local com o quadro global, os agentes aprenderam muito mais rápido e produziram cronogramas muito mais próximos das soluções perfeitas encontradas pelo resolvedor matemático tradicional.

Para levar o desempenho ainda mais longe, os investigadores introduziram um método híbrido. Eles perceberam que deixar um agente começar do zero é ineficiente. Assim, antes de o agente iniciar a sua própria jornada de aprendizagem, mostraram-lhe mil exemplos de cronogramas perfeitos criados pelo resolvedor matemático especialista. Este processo, conhecido como aprendizagem por demonstração, deu ao agente uma vantagem inicial, permitindo-lhe saltar a fase inicial desajeitada de adivinhação aleatória. O resultado foi um sistema que não só aprendeu mais rápido, como também se tornou mais estável e fiável. Nos seus testes, esta abordagem híbrida reduziu a lacuna entre o cronograma do agente e o cronograma perfeito em cerca de cinco por cento em comparação com os métodos de aprendizagem padrão. Talvez o mais importante seja que este alto nível de desempenho ocorreu sem a necessidade de arquiteturas de computador complexas e pesadas. O sistema permaneceu leve e rápido, capaz de tomar decisões em menos de um segundo.

O estudo conclui que o segredo para construir agentes de escalonamento eficazes reside não apenas no algoritmo em si, mas em ajustar cuidadosamente o design ao problema específico em questão. Ao utilizar soluções especialistas para guiar o processo de aprendizagem e ao adaptar os sinais de recompensa para a mistura específica de máquinas e trabalhos, é possível criar sistemas inteligentes que são simultaneamente poderosos e práticos. Estas descobertas sugerem que o futuro da gestão de fábricas não requer uma IA impossivelmente complexa, mas sim uma combinação ponderada de precisão matemática tradicional e técnicas de aprendizagem modernas. O resultado é uma ferramenta que pode ajudar as fábricas a adaptar-se às mudanças em tempo real, garantindo que o fluxo de produção permaneça suave mesmo quando o mundo ao seu redor é tudo menos estável.

Resumo Técnico: Modelagem de Agentes de Aprendizado por Reforço para Escalonamento

Definição do Problema

Esta pesquisa aborda o Problema de Escalonamento de Job-shop Flexível (FJSP), um problema de otimização combinatória central na manufatura moderna. O FJSP estende o clássico Problema de Escalonamento de Job-shop (JSP) ao permitir que as operações sejam processadas em múltiplas máquinas candidatas, introduzindo duas camadas de decisão: alocação de operação (seleção da máquina) e sequenciamento de máquina (determinação da ordem). O objetivo é minimizar o makespan ( $C_{max}$ ), definido como o tempo de conclusão da última operação.

Embora métodos exatos como Programação Linear Inteira Mista (MILP) e Programação por Restrições (CP) possam encontrar soluções ótimas, eles frequentemente enfrentam altos custos computacionais em ambientes de larga escala ou dinâmicos. Por outro lado, o Aprendizado por Reforço Profundo (DRL) oferece tempos de inferência baixos e adaptabilidade, mas sofre com a falta de uma compreensão sistemática sobre como as escolhas de modelagem (espaços de ação, funções de recompensa) interagem com estruturas de problemas específicas (ex: heterogeneidade de jobs, flexibilidade de máquinas). Estudos de DRL existentes frequentemente dependem de design por tentativa e erro ou baselines heurísticas, carecendo de uma conexão rigorosa com limites de otimalidade.

Metodologia

Os autores propõem um framework de Aprendizado por Reforço Profundo de Q-Learning Multiagente (DQL) operando sob um paradigma de Aprendizado Centralizado com Execução Descentralizada (CLDE). Cada agente representa uma máquina no chão de fábrica, tomando decisões locais baseadas em observações parciais.

1. Integração com Programação por Restrições (CP)

Um modelo de CP baseado em intervalos de última geração (usando IBM CP Optimizer) serve dois papéis distintos:

Baseline Analítica: A CP é utilizada para calcular limites de otimalidade (limites inferiores) e soluções de alta qualidade para instâncias de benchmark. Estas servem como a verdade fundamental (ground truth) para avaliar o gap de otimalidade das políticas de DRL.
Demonstrações de Especialistas: As soluções de CP são decompostas em transições estado-ação para pré-treinar o agente de DRL, atuando como "demonstrações de especialistas".

2. Arquitetura Multiagente DQL

O framework utiliza uma abordagem baseada em valor onde os agentes compartilam uma única política de Deep Q-Network (DQN).

Representação de Estado: Os agentes observam estados parciais do sistema, incluindo operações em espera, tempos de processamento, histórico de ações, operações restantes, utilização de máquinas e densidade de filas.
Espaços de Ação: Duas granularidades são avaliadas:
- Nível de Operação ( $L_O$ ): Agentes selecionam operações específicas da fila.
- Nível de Job ( $L_J$ ): Agentes selecionam um job, e o ambiente agenda a próxima operação.
Design de Recompensa: O estudo avalia sistematicamente várias funções de recompensa, incluindo:
- Sinais globais: Penalização de incrementos no makespan ( $r_{MI}$ ).
- Sinais locais: Penalização do tempo total entre ações ( $r_{TBA}$ ) ou tempo de ociosidade ( $r_{IT}$ ).
- Sinais Híbridos Propostos: Novas recompensas ( $r_Q$ , $r_{OE}$ ) que penalizam a seleção ineficiente de máquinas ao comparar o tempo de processamento escolhido contra o candidato mais rápido disponível para aquela operação.

3. Estratégia de Aprendizado Híbrido (DQL-D)

Os autores introduzem o DQL-D, um método híbrido que incorpora Deep Q-Learning de Demonstrações (DQLfD).

Pré-treinamento: O DQN é inicializado usando transições derivadas de soluções de CP (os 5 melhores soluções por instância).
Replay de Experiência Priorizado: O buffer de replay contém tanto demonstrações de especialistas quanto transições de RL geradas pelo próprio agente. As transições são amostradas com base na perda, priorizando estados onde o agente ainda não dominou o comportamento do especialista.
Treinamento: O agente continua aprendendo via DQL padrão, permitindo que explore além da política do especialista enquanto se beneficia da estabilidade da orientação inicial.

Principais Contribuições

Análise Sistemática de Escolhas de Modelagem: O artigo fornece uma avaliação rigorosa de como a granularidade de ação e o escopo da recompensa interagem com as propriedades estruturais da instância (heterogeneidade de jobs, flexibilidade de máquinas e variabilidade do tempo de processamento).
Novas Funções de Recompensa: Os autores projetam funções de recompensa ( $r_Q$ e $r_{OE}$ ) que consideram explicitamente a heterogeneidade de máquinas. Esses sinais superam recompensas globais ou puramente locais, reduzindo o gap de otimalidade em aproximadamente 10% em cenários de alta heterogeneidade.
Framework Híbrido DQL-D: A integração de demonstrações derivadas de CP em uma arquitetura multiagente DQL acelera a convergência e melhora a estabilidade sem exigir codificadores de grafos complexos ou mecanismos de atenção.

Resultados Experimentais

A metodologia foi testada em três conjuntos de dados de benchmark padrão de FJSP (FMJdata, BRdata, DPdata) com diferentes escalas e níveis de flexibilidade.

Granularidade de Ação: Em instâncias com estruturas de jobs homogêneas, ações de nível de job ( $L_J$ ) tiveram desempenho comparável às ações de nível de operação ( $L_O$ ). No entanto, em estruturas de jobs heterogêneas (comuns em BRdata e DPdata), as ações de nível de operação ( $L_O$ ) resultaram em gaps de otimalidade significativamente menores (melhoria de aprox. 5% no erro mediano).
Design de Recompensa:
- Recompensas globais padrão ( $r_{MI}$ ) e recompensas de tempo total ( $r_{TBA}$ ) frequentemente levaram a gaps de otimalidade mais altos.
- A recompensa de eficiência local ( $r_Q$ ) proposta superou consistentemente as demais, alcançando um gap médio em relação à CP de 13,62% em todas as instâncias e reduzindo o gap de otimalidade em cerca de 10% em cenários de alta heterogeneidade em comparação com as baselines padrão. Esta recompensa normaliza efetivamente a qualidade da ação entre agentes com diferentes cargas de trabalho.
Desempenho do DQL-D:
- Convergência: O DQL-D alcançou convergência mais rápida e menor variância do que o DQL padrão. Reduziu o gap de otimalidade em aproximadamente 5% em relação à baseline de DQL padrão.
- Comparação: O DQL-D obteve desempenho competitivo contra métodos de DRL baseados em grafos de última geração (HGNN e MPGN, muitas vezes superando-os em instâncias onde esses métodos eram menos adequados.
- Eficiência: O framework leve DQL-D alcançou tempos de inferência 3 a 9 vezes mais rápidos (sub-segundo) do que arquiteturas complexas baseadas em grafos, tornando-o altamente adequado para escalonamento em tempo real.

Significância e Alegações

O artigo afirma que a modelagem de DRL guiada pela otimalidade, combinada com demonstrações de especialistas, permite a criação de agentes de escalonamento leves, rápidos e confiáveis.

Insights de Modelagem: O estudo demonstra que uma abordagem de "tamanho único" para DRL é insuficiente; espaços de ação e funções de recompensa devem ser adaptados às propriedades estruturais específicas da instância de escalonamento (ex: usar ações de nível de operação para jobs heterogêneos e recompensas de eficiência local para máquinas heterogêneas).
Viabilidade Prática: Ao utilizar CP para pré-treinamento e uma arquitetura simples baseada em valor, os autores mostram que o aprendizado de representação complexo (como Redes Neurais de Grafos) não é estritamente necessário para alcançar o desempenho de última geração. Isso oferece uma solução prática para sistemas de manufatura que exigem suporte de decisão descentralizado com restrições rigorosas de tempo real.
Direção Futura: O trabalho sugere que frameworks híbridos combinando métodos exatos (CP) com DRL podem reduzir a lacuna entre a otimalidade teórica e a implementação prática, pavimentando o caminho para variantes de escalonamento dinâmicas e online.