Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics

Resumen Técnico: Cerrando la Brecha Simulación-Realidad en la Programación Industrial mediante Semántica de Ejecución

Enunciado del Problema

El artículo aborda la persistente brecha "simulación-realidad" en la programación industrial basada en Aprendizaje por Refuerzo (RL), específicamente dentro de los Problemas de Programación de Tareas en Taller (JSSP). Si bien el RL ha demostrado ser prometedor en entornos simulados, su adopción industrial se ve obstaculizada por una discrepancia estructural entre las suposiciones de la política y la realidad de la ejecución.

La literatura actual intenta principalmente cerrar esta brecha aumentando la robustez de la política (por ejemplo, entrenamiento bajo perturbaciones, aprendizaje por imitación, meta-aprendizaje). Sin embargo, estos enfoques retienen una suposición crítica: que existe un estado de decisión válido y sincronizado y una interfaz de acción consistente disponibles en el momento de la inferencia. En entornos industriales, esto rara vez es cierto debido a:

1. Observaciones Asíncronas: Las decisiones se toman sobre estados reconstruidos derivados de flujos de eventos heterogéneos y retrasados (MES, ERP, sensores físicos), lo que conduce a entornos parcialmente observables donde las decisiones válidas en la observación pueden ser inviables en la realidad.
2. Semántica de Ejecución No Definida: No existe una definición explícita de la admisibilidad de las acciones ni de cómo las decisiones se traducen en acciones del sistema a través de sistemas heterogéneos.
3. Atribución Ambigua de Resultados: Los fallos de ejecución se registran como perturbaciones genéricas, confundiendo errores de la política con restricciones físicas, inconsistencias transaccionales o intervenciones humanas. Esta falta de diferenciación impide una evaluación estructurada y el refinamiento de la política.

Los autores argumentan que la limitación central no es meramente la calidad de la política, sino la ausencia de una capa mediadora que gestione explícitamente la semántica de ejecución.

Metodología

El artículo propone una capa de ejecución y medición neutral para la política que actúa como middleware entre las políticas de programación y el entorno de ejecución industrial. Esta capa no diseña la política de programación, sino que gobierna cómo se forman, validan y registran las decisiones. La arquitectura consta de tres mecanismos centrales:

1. Aislamiento de Instantáneas de Estado:

   • Para manejar datos asíncronos, la capa acumula eventos físicos y transaccionales en una memoria caché de ejecución.
   • Al producirse un disparador de programación, aísla una instantánea en un momento dado ($s_k$) que representa el estado del sistema. Esta instantánea es inmutable durante el proceso de decisión para prevenir inconsistencias temporales.
   • Invalidación Pre-compromiso: Si llegan actualizaciones críticas antes de que se comprometa una acción, la decisión se aborta, la instantánea se descarta y se inicia un nuevo paso de aislamiento. Esto previene la ejecución de decisiones basadas en información obsoleta.

2. Contrato de Ejecución Neutral para la Política:

   • La capa define una solicitud de decisión estandarizada $R_k = \langle s_k, m_k, J^{cand}_k \rangle$, donde $J^{cand}_k$ es el conjunto de candidatos.
   • El conjunto de candidatos es la intersección de acciones físicamente factibles (realidad del taller) y acciones transaccionalmente admisibles (restricciones MES/ERP).
   • Esto asegura que la política solo reciba acciones que sean válidas bajo restricciones físicas y transaccionales, definiendo explícitamente la admisibilidad de las acciones.

3. Representación de Divergencia y Atribución de Resultados:

   • En lugar de una única señal de resultado, la capa registra una tupla de divergencia $D_k = \langle a^{intent}_k, x^{sys}_k, x^{phys}_k, u_k \rangle$.
   • Esta tupla separa:
     • $a^{intent}_k$: La acción intencionada por la política.
     • $x^{sys}_k$: La respuesta transaccional del sistema (por ejemplo, rechazo del MES).
     • $x^{phys}_k$: El resultado real de la ejecución física.
     • $u_k$: Intervenciones/anulaciones humanas.
   • Esta estructura distingue entre divergencia visible (error de la política debido a conflictos observables) y divergencia oculta (errores debidos a estados del sistema no observados), permitiendo una atribución estructurada de los fallos de ejecución.

Evaluación Empírica

El marco fue evaluado utilizando una simulación de eventos discretos (SimPy) con una única máquina no preemptiva. El estudio aisló los efectos de la capa de ejecución de la lógica de programación probando heurísticas estándar (Fecha de Entrega Más Temprana y Tiempo de Procesamiento Más Corto) bajo tres regímenes de retraso en la observación (Bajo, Medio, Alto).

Resultados Clave:

• Validez de la Decisión: Bajo un retraso de observación medio, la capa de ejecución redujo las programaciones inválidas del 61,81% (ejecución directa) al 48,68%.
• Rendimiento Operativo: La capa redujo significativamente el retraso ponderado medio en regímenes de retraso bajo (1,08 frente a la línea base) y medio (6,43 frente a 11,21). En el retraso alto, donde las actualizaciones llegan después de la ventana de decisión, el beneficio operativo disminuyó, convergiendo hacia el rendimiento de la ejecución directa.
• Admisibilidad de la Acción: El contrato de ejecución redujo la "divergencia visible" (acciones comprometidas a pesar de conflictos conocidos) a 0,00, mientras que la ejecución directa exhibió un 15,90% de divergencia visible.
• Rendimiento: No se observó ninguna penalización medible en el rendimiento, lo que indica que la capa restringe cuándo se comprometen las acciones sin alterar la capacidad del sistema.
• Cobertura de Atribución: A diferencia de la ejecución directa, que colapsa los fallos en señales genéricas, la capa propuesta logró una cobertura de atribución del 100%, categorizando las perturbaciones en tipos transaccionales, físicos, combinados y de anulación humana.

Contribuciones Clave y Significado

El artículo afirma que su contribución principal es metodológica y arquitectónica, desplazando el enfoque desde la robustez a nivel de política hacia la semántica de ejecución explícita en el momento del despliegue.

1. Diagnóstico Estructural: Identifica que la brecha simulación-realidad se ve exacerbada por la falta de representaciones de estado válidas para la decisión y definiciones explícitas de admisibilidad de acciones, en lugar de ser solo una suboptimización de la política.
2. Semántica de Ejecución: La capa propuesta proporciona una interfaz estandarizada que hace que las discrepancias de despliegue sean observables, reutilizables y comparables. Transforma la incertidumbre de ejecución en datos de supervisión.
3. Atribución y Aprendizaje: Al separar la intención de la política de los resultados de ejecución, la capa permite distinguir entre errores de la política y limitaciones ambientales. Estos datos estructurados son esenciales para tareas posteriores como el aprendizaje por refuerzo offline, la estimación de valor consciente de perturbaciones y la reutilización sistemática de intervenciones humanas.

Los autores concluyen que, si bien los beneficios operativos (reducción del retraso) son más pronunciados cuando las actualizaciones llegan dentro de la ventana de decisión, los beneficios analíticos (atribución estructurada e interpretabilidad) persisten en todos los regímenes de retraso. Esto convierte a la capa en un prerrequisito para sistemas de programación industrial impulsados por eventos y desplegable, facilitando la transición de una ejecución de "caja negra" a un refinamiento de políticas interpretable y basado en datos.