Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics

기술 요약: 실행 의미론을 통한 산업용 배차의 시뮬레이션 - 현실 간극 해소

문제 제기

본 논문은 작업장 스케줄링 문제 (JSSP) 를 특히 대상으로 한 강화 학습 (RL) 기반 산업용 배차에서 지속되는 "시뮬레이션 - 현실 (sim-to-real)" 간극을 다룹니다. RL 은 시뮬레이션 환경에서 유망한 성과를 보여왔으나, 정책 가정과 실행 현실 간의 구조적 불일치로 인해 산업 현장에서의 채택이 저해받고 있습니다.

현재 문헌은 주로 정책의 견고성을 높임으로써 (예: 교란 하에서의 훈련, 모방 학습, 메타 학습) 이 간극을 해소하려 시도합니다. 그러나 이러한 접근법들은 추론 시 유효하고 동기화된 결정 상태와 일관된 작업 인터페이스가 이용 가능하다는 중요한 가정을 유지합니다. 산업 환경에서는 다음과 같은 이유로 이 가정이 거의 성립하지 않습니다:

1. 비동기적 관찰: 배차는 MES, ERP, 물리적 센서 등 이질적이고 지연된 이벤트 스트림에서 파생된 재구성된 상태를 기반으로 이루어집니다. 이로 인해 관찰 내에서는 유효한 결정이 현실에서는 실행 불가능할 수 있는 부분 관찰 가능 환경이 발생합니다.
2. 정의되지 않은 실행 의미론: 이질적인 시스템 간에 작업 허용 가능성에 대한 명시적 정의나 결정이 시스템 작업으로 어떻게 변환되는지에 대한 정의가 부재합니다.
3. 모호한 결과 귀속: 실행 실패는 일반적인 교란으로 기록되어 정책 오류를 물리적 제약, 트랜잭션 불일치, 또는 인간 개입과 혼동시킵니다. 이러한 구별 부재는 구조화된 평가와 정책 정제를 방해합니다.

저자들은 핵심 한계가 단순히 정책의 질이 아니라, 실행 의미론을 명시적으로 관리하는 중재 계층의 부재에 있다고 주장합니다.

방법론

본 논문은 배차 정책과 산업 실행 환경 사이에 미들웨어 역할을 하는 정책 중립적 실행 및 측정 계층을 제안합니다. 이 계층은 스케줄링 정책을 설계하지는 않지만, 결정이 어떻게 형성, 검증, 기록되는지를 지배합니다. 아키텍처는 세 가지 핵심 메커니즘으로 구성됩니다:

1. 상태 스냅샷 격리:

   • 비동기 데이터를 처리하기 위해 이 계층은 실행 캐시에 물리적 및 트랜잭션 이벤트를 누적합니다.
   • 배차 트리거 발생 시, 시스템 상태를 나타내는 시점 스냅샷 ($s_k$) 을 격리합니다. 이 스냅샷은 결정 과정에서 불변으로 유지되어 시간적 불일치를 방지합니다.
   • 사전 제출 무효화: 작업이 제출되기 전에 중요한 업데이트가 도착하면 결정은 중단되고, 스냅샷은 폐기되며 새로운 격리 단계가 시작됩니다. 이는 노후화된 정보를 기반으로 한 결정 실행을 방지합니다.

2. 정책 중립적 실행 계약:

   • 계층은 표준화된 결정 요청 $R_k = \langle s_k, m_k, J^{cand}_k \rangle$을 정의하며, 여기서 $J^{cand}_k$는 후보 집합입니다.
   • 후보 집합은 물리적으로 실행 가능한 작업 (현장 현실) 과 트랜잭션적으로 허용 가능한 작업 (MES/ERP 제약) 의 교집합입니다.
   • 이를 통해 정책은 물리적 및 트랜잭션 제약 하에서 모두 유효한 작업만 수신하도록 보장되며, 작업 허용 가능성이 명시적으로 정의됩니다.

3. 발산 표현 및 결과 귀속:

   • 단일 결과 신호 대신 계층은 발산 튜플 $D_k = \langle a^{intent}_k, x^{sys}_k, x^{phys}_k, u_k \rangle$을 기록합니다.
   • 이 튜플은 다음을 분리합니다:
     • $a^{intent}_k$: 정책의 의도된 작업.
     • $x^{sys}_k$: 트랜잭션 시스템 응답 (예: MES 거부).
     • $x^{phys}_k$: 실제 물리적 실행 결과.
     • $u_k$: 인간 개입/오버라이드.
   • 이 구조는 가시적 발산 (관찰 가능한 충돌로 인한 정책 오류) 과 비가시적 발산 (관찰되지 않은 시스템 상태로 인한 오류) 을 구분하여 실행 실패의 구조화된 귀속을 가능하게 합니다.

경험적 평가

본 프레임워크는 단일 비선점 (non-preemptive) 머신을 사용한 이산 이벤트 시뮬레이션 (SimPy) 을 통해 평가되었습니다. 연구는 세 가지 관찰 지연 regime(낮음, 중간, 높음) 하에서 표준 휴리스틱 (최조 기한 우선, 최단 처리 시간) 을 테스트함으로써 실행 계층의 효과를 배차 로직과 분리하여 검증했습니다.

주요 결과:

• 결정 유효성: 중간 관찰 지연 하에서 실행 계층은 직접 실행 시 61.81% 였던 유효하지 않은 배차를 48.68% 로 감소시켰습니다.
• 운영 성과: 계층은 낮은 지연 (1.08 vs 기준) 과 중간 지연 (6.43 vs 11.21) regime 에서 평균 가중 지연 시간을 현저히 감소시켰습니다. 결정 창 이후에 업데이트가 도착하는 높은 지연 regime 에서는 운영상 이점이 감소하여 직접 실행 성능과 수렴했습니다.
• 작업 허용 가능성: 실행 계약은 알려진 충돌에도 불구하고 제출된 작업인 "가시적 발산"을 0.00 으로 줄인 반면, 직접 실행은 15.90% 의 가시적 발산을 보였습니다.
• 처리량: 측정 가능한 처리량 패널티는 관찰되지 않았으며, 이는 계층이 시스템 용량을 변경하지 않고 작업이 제출되는 시점을 제약함을 나타냅니다.
• 귀속 범위: 일반적인 신호로 실패를 축소하는 직접 실행과 달리, 제안된 계층은 100% 의 귀속 범위를 달성하여 교란을 트랜잭션, 물리적, 복합, 인간 오버라이드 유형으로 분류했습니다.

주요 기여 및 의의

본 논문은 주요 기여가 방법론적 및 아키텍처적이며, 배포 시 정책 수준의 견고성에서 명시적 실행 의미론으로 초점을 이동시켰다고 주장합니다.

1. 구조적 진단: 시뮬레이션 - 현실 간극은 정책의 비최적성뿐만 아니라 결정 유효 상태 표현의 부재와 명시적 작업 허용 가능성 정의의 부재로 인해 악화됨을 규명합니다.
2. 실행 의미론: 제안된 계층은 배포 불일치를 관찰 가능, 재사용 가능, 비교 가능하게 만드는 표준화된 인터페이스를 제공합니다. 이는 실행 불확실성을 감독 데이터로 변환합니다.
3. 귀속 및 학습: 정책 의도와 실행 결과를 분리함으로써 계층은 정책 오류와 환경적 한계를 구분할 수 있게 합니다. 이러한 구조화된 데이터는 오프라인 강화 학습, 교란 인식 가치 추정, 인간 개입의 체계적 재사용과 같은 하류 작업에 필수적입니다.

저자들은 운영상 이점 (지연 시간 감소) 은 업데이트가 결정 창 내에 도착할 때 가장 두드러지지만, 분석적 이점 (구조화된 귀속 및 해석 가능성) 은 모든 지연 regime 에서 지속된다고 결론지었습니다. 이는 계층을 배포 가능한 이벤트 기반 산업용 배차 시스템의 전제 조건으로 만들며, "블랙박스" 실행에서 해석 가능하고 데이터 기반의 정책 정제로의 전환을 용이하게 합니다.