Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics

Resumo Técnico: Ponte para a Lacuna Sim-Real no Despacho Industrial via Semântica de Execução

Declaração do Problema

O artigo aborda a persistente lacuna "sim-para-real" no despacho industrial baseado em Aprendizado por Reforço (RL), especificamente dentro de Problemas de Programação de Job-Shop (JSSP). Embora o RL tenha demonstrado promessa em ambientes simulados, sua adoção industrial é impedida por uma incompatibilidade estrutural entre as suposições da política e a realidade da execução.

A literatura atual tenta principalmente preencher essa lacuna aumentando a robustez da política (por exemplo, treinamento sob perturbações, aprendizado por imitação, meta-aprendizado). No entanto, essas abordagens mantêm uma suposição crítica: que um estado de decisão válido e sincronizado e uma interface de ação consistente estão disponíveis no momento da inferência. Em ambientes industriais, isso raramente é verdade devido a:

1. Observações Assíncronas: As decisões são tomadas com base em estados reconstruídos derivados de fluxos de eventos heterogêneos e atrasados (MES, ERP, sensores físicos), levando a ambientes parcialmente observáveis onde decisões válidas na observação podem ser inviáveis na realidade.
2. Semântica de Execução Não Definida: Não há uma definição explícita de admissibilidade de ação ou de como as decisões se traduzem em ações do sistema através de sistemas heterogêneos.
3. Atribuição Ambígua de Resultados: Falhas de execução são registradas como perturbações genéricas, confundindo erros de política com restrições físicas, inconsistências transacionais ou intervenções humanas. Essa falta de diferenciação impede a avaliação estruturada e o refinamento da política.

Os autores argumentam que a limitação central não é meramente a qualidade da política, mas a ausência de uma camada mediadora que gerencie explicitamente as semânticas de execução.

Metodologia

O artigo propõe uma camada de execução e medição neutra em relação à política que atua como middleware entre as políticas de despacho e o ambiente de execução industrial. Esta camada não desenha a política de programação, mas governa como as decisões são formadas, validadas e registradas. A arquitetura consiste em três mecanismos principais:

1. Isolamento de Instantâneo de Estado:

   • Para lidar com dados assíncronos, a camada acumula eventos físicos e transacionais em um cache de execução.
   • Ao disparar um despacho, isola um instantâneo de um ponto no tempo ($s_k$) representando o estado do sistema. Este instantâneo é imutável durante o processo de decisão para prevenir inconsistências temporais.
   • Invalidação Pré-compromisso: Se atualizações críticas chegarem antes que uma ação seja comprometida, a decisão é abortada, o instantâneo descartado e um novo passo de isolamento iniciado. Isso previne a execução de decisões baseadas em informações desatualizadas.

2. Contrato de Execução Neutro em Relação à Política:

   • A camada define uma solicitação de decisão padronizada $R_k = \langle s_k, m_k, J^{cand}_k \rangle$, onde $J^{cand}_k$ é o conjunto de candidatos.
   • O conjunto de candidatos é a interseção de ações fisicamente viáveis (realidade do chão de fábrica) e ações transacionalmente admissíveis (restrições MES/ERP).
   • Isso garante que a política receba apenas ações que sejam válidas sob restrições físicas e transacionais, definindo explicitamente a admissibilidade de ação.

3. Representação de Divergência e Atribuição de Resultados:

   • Em vez de um único sinal de resultado, a camada registra uma tupla de divergência $D_k = \langle a^{intent}_k, x^{sys}_k, x^{phys}_k, u_k \rangle$.
   • Esta tupla separa:
     • $a^{intent}_k$: A ação pretendida pela política.
     • $x^{sys}_k$: A resposta do sistema transacional (por exemplo, rejeição do MES).
     • $x^{phys}_k$: O resultado real da execução física.
     • $u_k$: Intervenções/impedimentos humanos.
   • Esta estrutura distingue entre divergência visível (erro de política devido a conflitos observáveis) e divergência oculta (erros devido a estados do sistema não observados), permitindo uma atribuição estruturada de falhas de execução.

Avaliação Empírica

O framework foi avaliado usando uma simulação de eventos discretos (SimPy) com uma única máquina não preemptiva. O estudo isolou os efeitos da camada de execução da lógica de despacho, testando heurísticas padrão (Data de Entrega Mais Cedo e Tempo de Processamento Mais Curto) sob três regimes de atraso de observação (Baixo, Médio, Alto).

Resultados Principais:

• Validade da Decisão: Sob atraso de observação médio, a camada de execução reduziu despachos inválidos de 61,81% (execução direta) para 48,68%.
• Desempenho Operacional: A camada reduziu significativamente o atraso ponderado médio em regimes de atraso baixo (1,08 vs. linha de base) e médio (6,43 vs. 11,21). Em atraso alto, onde as atualizações chegam após a janela de decisão, o benefício operacional diminuiu, convergindo para o desempenho de execução direta.
• Admissibilidade de Ação: O contrato de execução reduziu a "divergência visível" (ações comprometidas apesar de conflitos conhecidos) para 0,00, enquanto a execução direta exibiu 15,90% de divergência visível.
• Taxa de Produção: Nenhuma penalidade mensurável na taxa de produção foi observada, indicando que a camada restringe quando as ações são comprometidas sem alterar a capacidade do sistema.
• Cobertura de Atribuição: Diferentemente da execução direta, que colapsa falhas em sinais genéricos, a camada proposta alcançou 100% de cobertura de atribuição, categorizando perturbações em tipos transacionais, físicos, combinados e de anulação humana.

Contribuições Principais e Significado

O artigo afirma que sua contribuição primária é metodológica e arquitetônica, deslocando o foco da robustez no nível da política para semânticas de execução explícitas no momento da implantação.

1. Diagnóstico Estrutural: Identifica que a lacuna sim-para-real é exacerbada pela falta de representações de estado válidas para decisão e definições explícitas de admissibilidade de ação, e não apenas pela subotimalidade da política.
2. Semântica de Execução: A camada proposta fornece uma interface padronizada que torna as incompatibilidades de implantação observáveis, reutilizáveis e comparáveis. Transforma a incerteza de execução em dados de supervisão.
3. Atribuição e Aprendizado: Ao separar a intenção da política dos resultados de execução, a camada permite a distinção entre erros de política e limitações ambientais. Esses dados estruturados são essenciais para tarefas a jusante, como aprendizado por reforço offline, estimativa de valor consciente de perturbações e a reutilização sistemática de intervenções humanas.

Os autores concluem que, embora os benefícios operacionais (redução do atraso) sejam mais pronunciados quando as atualizações chegam dentro da janela de decisão, os benefícios analíticos (atribuição estruturada e interpretabilidade) persistem em todos os regimes de atraso. Isso torna a camada um pré-requisito para sistemas de despacho industrial acionados por eventos e implantáveis, facilitando a transição da execução "caixa preta" para o refinamento de políticas interpretável e baseado em dados.