Resumo Técnico: RACE-Sched

Declaração do Problema

O Problema de Programação Dinâmica de Oficina Flexível (DFJSP) é um desafio crítico de tomada de decisão online na manufatura moderna. Ele exige a atribuição de operações a máquinas heterogêneas sob flexibilidade de roteamento e restrições de precedência, ao mesmo tempo que reage a perturbações estocásticas, como falhas de máquinas, chegadas urgentes de trabalhos e variações nos tempos de processamento.

As abordagens atuais enfrentam um trade-off fundamental:

• Regras de Despacho por Prioridade (PDRs) são interpretáveis e rápidas, mas carecem da flexibilidade para se adaptar quando os gargalos se deslocam.
• Aprendizado por Reforço Profundo (DRL) captura dinâmicas complexas, mas frequentemente carece de interpretabilidade e luta com a generalização em diferentes escalas de problemas.
• Modelos de Linguagem Grandes (LLMs) oferecem capacidades avançadas de raciocínio e geração de código (Código-como-Política), mas sua latência de inferência (segundos) é incompatível com os ciclos de decisão em nível de milissegundos exigidos pelos sistemas de controle industrial.

Frameworks híbridos existentes frequentemente separam o aprendizado da execução, dependendo de treinamento offline que não pode se adaptar a perturbações não vistas em tempo real, ou exigem interações síncronas que interrompem a linha de produção.

Metodologia: RACE-Sched

Para resolver o conflito entre restrições de tempo real e raciocínio de longo horizonte, os autores propõem o RACE-Sched, um framework baseado em agentes assíncronos. Ele desacopla a execução da política do raciocínio lógico usando uma arquitetura de duplo fluxo:

1. Arquitetura de Duplo Fluxo Assíncrono

• Fluxo Reativo (Execução): Opera dentro do laço de controle crítico. Ele executa uma regra simbólica de prioridade compilada de baixa latência (função Python) para tomar decisões de despacho. Este fluxo é determinístico e opera em tempo sub-milissegundo, garantindo que nunca espere pelo processo de raciocínio.
• Fluxo Deliberativo (Raciocínio): Opera fora do caminho crítico. Ele aproveita um LLM para analisar estatísticas resumidas de decisões recentes, gerar heurísticas candidatas em Python e validá-las em um ambiente isolado (sandbox). Este fluxo opera em uma escala de tempo mais lenta (segundos a minutos) e não bloqueia a linha de produção.

2. O Loop Agêntico (Evolução Constrained por Segurança)

O Fluxo Deliberativo funciona através de um ciclo de quatro estágios:

• Planejador Estratégico: Resume o estado atual do sistema (por exemplo, identificação de gargalos) para formular uma diretiva de alto nível.
• Executor Sintático: Converte a diretiva em código Python executável. Ele impõe restrições de segurança, limita a complexidade do código e garante que o código seja compilado dentro de um contexto de execução restrito.
• Validador de Simulação: Avalia regras candidatas em um ambiente sandbox usando um conjunto representativo de instâncias. Ele compara o candidato contra a regra atual usando testes estatísticos (por exemplo, testes t) e limiares de melhoria predefinidos.
• Refletor Semântico: Sintetiza feedback diagnóstico dos resultados do sandbox para justificar a aceitação ou rejeição, registrando o raciocínio para iterações futuras.

3. Protocolo de Acionamento e Implantação

Atualizações são acionadas periodicamente ou quando as métricas de desempenho degradam em relação a uma janela deslizante. Crucialmente, a implantação ocorre via troca atômica de ponteiro. Apenas regras que passam pela validação no sandbox são promovidas ao conjunto de regras ativo, garantindo que o laço de controle permaneça seguro e responsivo.

4. Repositório de Conhecimento Semântico

Para aumentar a transferibilidade e reduzir ineficiências de "início frio", o sistema mantém um repositório indexado de heurísticas validadas. Cada entrada inclui o código da política, métricas de desempenho e metadados leves (por exemplo, número de trabalhos/máquinas). Quando uma nova instância de problema surge, o sistema recupera regras semelhantes para iniciar a quente o processo de geração de candidatos, reduzindo o consumo de tokens e melhorando a robustez em diferentes escalas.

Contribuições Principais

1. Framework de Evução Simbólica Assíncrona: Uma arquitetura inovadora que desacopla o despacho em tempo real da síntese de heurísticas impulsionada por LLM, garantindo que o laço de controle permaneça responsivo enquanto permite a evolução contínua da política.
2. Mecanismo de Implantação Segura: Um protocolo de validação baseado em sandbox onde heurísticas candidatas são rigorosamente testadas offline. Atualizações são implantadas apenas via trocas atômicas de ponteiro se atenderem a critérios estritos de aceitação, impedindo que regras não verificadas interrompam as operações.
3. Repositório de Regras Semânticas: Um mecanismo para aprendizado ao longo da vida que indexa heurísticas validadas com metadados de instância, permitindo inicialização baseada em recuperação e melhorando a transferibilidade entre diferentes benchmarks e escalas de problemas.
4. Avaliação Abrangente: Testes extensivos no GEN-Bench, MK-Bench e JMS-Bench, incluindo testes de estresse para falhas de máquinas, demonstrando desempenho superior em relação às linhas de base DRL e LLM diretas.

Resultados Experimentais

• Desempenho: No GEN-Bench (escala Normal), a variante RACE-Sched usando Qwen3-8B alcançou um Desvio Percentual Relativo (RPD) de 5,33%, superando significativamente a principal linha de base DRL (IDDQN em 9,82%) e outros métodos baseados em LLM. Consistentemente alcançou RPD mais baixo e melhores classificações médias em todos os benchmarks.
• Eficiência: O framework reduziu o consumo de tokens de entrada em aproximadamente 60% em comparação com linhas de base LLM diretas, utilizando o repositório para inícios a quente e mudando da geração de ações por passo para síntese compacta de políticas.
• Latência: O Fluxo Reativo manteve latência sub-milissegundo (por exemplo, ~0,05–0,09 ms), satisfazendo restrições industriais de tempo real. Em contraste, o Fluxo Deliberativo operou com latências de 77–114 segundos por atualização, uma lacuna mitigada pelo design assíncrono.
• Resiliência: Em testes de estresse de falha de máquina (JMS-Bench), o RACE-Sched demonstrou adaptabilidade superior, restaurando a taxa de produção aos níveis pré-falha e alcançando o makespan final mínimo (29,6) em comparação com linhas de base que sofreram com heurísticas estáticas ou alta variância.
• Ablação: Remover o repositório ("w/o Repo") aumentou significativamente o RPD (por exemplo, de 10,41% para 26,19% no GEN-Small), confirmando o valor da recuperação de conhecimento. Remover o loop iterativo ("w/o Loop") também degradou o desempenho em tarefas complexas, validando a necessidade de refinamento recursivo.

Significado e Alegações

O artigo afirma que o RACE-Sched harmoniza com sucesso restrições de tempo real com raciocínio de longo horizonte. Ao confinar a deliberação lenta do LLM, a validação em sandbox e a melhoria de políticas ao fundo, o framework permite que a lógica de controle melhore continuamente sem impedir a responsividade em tempo real das máquinas físicas.

Os autores posicionam essa abordagem como uma solução para o "descompasso de frequência" entre ciclos cognitivos (LLMs) e ciclos físicos (manufatura). Eles afirmam que seu método alcança qualidade de solução superior e adaptação robusta a eventos dinâmicos em comparação com DRL de última geração e controle direto por LLM, mantendo ao mesmo tempo a interpretabilidade e a segurança necessárias para implantação industrial.

Limitações Reconhecidas:
Os autores observam que a qualidade da evolução das regras depende da capacidade do LLM de fundo; modelos mais fracos podem gerar candidatos inválidos que são rejeitados. Além disso, a construção de cenários de sandbox representativos exige esforço de engenharia, e a reação a tipos de perturbação totalmente novos pode ainda ser atrasada se múltiplos ciclos de deliberação forem necessários.