기술 요약: PPVC 모듈 공장을 위한 시차 인지형 딥 강화 학습 기반 유연 직무 숍 스케줄링

1. 문제 정의: 작업 차단 시간 지연(Job-Blocking Time-Lags)이 존재하는 FJSP

본 논문은 PPVC(Prefabricated Prefinished Volumetric Construction) 모듈 공장의 스케줄링 문제를 다룹다. 전통적인 유연 직무 숍 스케줄링 문제(FJSP)와 달리, PPVC 생산는 후속 공정 시간 지연(예: 콘크리트 양생, 수밀성 테스트, 페인트 건조 등)의 특징을 가지며, 이는 전체 공정 시간보다 더 큰 비중을 차지하기도 한다.

핵심적인 복잡성은 작업 차단, 기계 자유(job-blocking, machine-free) 의미론에 있다:

• 표준 FJSP: 기계는 작업이 완전히 완료될 때까지 점유된다.
• PPVC의 현실: 모듈이 물리적 작업(예: 캐스팅)을 완료하면 스테이션은 즉시 다음 모듈을 처리할 수 있도록 자유로워진다. 그러나 모듈 자체는 다음 작업을 시작하기 전까지 의무적인 지연 시간($\ell_{ij}$) 동안 버퍼 구역에 "차단(blocked)"된 상태로 머문다.
• 영향: 의사결정 과정에서 이러한 지연을 무시하고 나중에 스케줄을 수정(right-shifting)하려고 시도하면, 성능이 극도로 저하된다(지연을 고려한 계획 대비 메이크스팬이 최대 137% 증가). 또한, 기존의 FJSP용 딥 강화 학습(DRL) 솔버들은 후속 작업이 즉시 준비된다고 가정하므로, PPVC에는 적합하지 않다.

목표는 라우팅 유연성, 스테이션 호환성 및 특정 지연 제약을 준수하면서 공장 메이크스팬($C_{max}$)을 최소화하는 것이다.

2. 방법론: DANIEL의 지연 인지형 적응(Lag-Aware Adaptations)

저자들은 최첨단 이중 어텐션 DRL 솔버인 DANIEL을 세 가지의 최소 침습적이고 개별적으로 절제 가능한(ablatable) 확장을 통해 적응시켰다. 설계 원칙은 지연이 역학을 변화시키는 부분에서 문제의 의미론을 교정하되, 학습 백본(PPO 훈련, 네트워크 구조)은 검증된 대로 온전히 유지하는 것이다.

A. 적응 1: 지연 인지 역학 및 허용 가능한 보상

• 전이 의미론(Transition Semantics): 환경 상태 전이를 수정하여, 스테이션은 완료 시간($c_{ij}$)에 자유로워지지만, 작업은 $c_{ij} + \ell_{ij} = \rho_i$ 시점에 다음 작업을 위해 준비된다.
• 허용 가능한 경계(Admissible Bound): 지연이 추가된 완료 시간을 포함하는 새로운 메이크스팬 하한선 $\hat{C}_{max}$를 도입한다:
  $$\hat{c}_{i,j} = \max(\hat{c}_{i,j-1} + \ell_{i,j-1}, t) + \min_{k \in M_{ij}} p_{ijk}$$
  이 경계는 허용 가능(true makespan을 과대평가하지 않음)하며 종료 시점에 타이트하다. 이를 통해 밀집된 PPO 보상($r_t = \hat{C}_{max}(s_t) - \hat{C}_{max}(s_{t+1})$)이 실제 목적 함수에 대한 충실하고 텔레스코핑(telescoping)되는 신호가 되도록 하여, 정책이 잘못 보정된 신호를 최적화하는 것을 방지한다.

B. 적응 2: 예측적 지연 특징(Anticipatory Lag Features)

정책이 지연에 사후 대응하는 것이 아니라 미래의 지연을 예측할 수 있도록, 작업 노드 임베딩에 두 가지 새로운 특징 채널을 추가하였다:

1. 정적 지연 ($\eta^{lag}_{ij}$): 해당 작업과 관련된 고정된 지연 시간 $\ell_{ij}$.
2. 잔여 지연 ($\eta^{rem}_{ij}(t)$): 현재 결정 시점 $t$에서 남아 있는 진행 중인 지연의 부분.
   이 채널들은 네트워크의 단계별 정규화(per-step normalization)를 독립적으로 통과하므로, 기존의 10개 특징 채널의 수치적 변화를 일으키지 않는다.

C. 적응 3: 라이브니스 마스킹을 적용한 타입 임베딩

작업과 스테이션은 순수 특징 벡터가 활용할 수 없는 범주형 타입(예: 구조, MEP, 캐스팅, 페인팅)을 가진다.

• 과제: 유형 인덱스를 단순히 결합하면, "삭제된"(완료된) 노드를 제로(zero) 처리하고 풀링(pooling)에서 제외하는 기존의 불변성을 깨뜨린다.
• 해결책: 저자들은 학습 가능한 타입 임베딩($E_{op}, E_{mch}$)을 주입하되, 이를 라이브니스 마스크($\lambda_{ij}$)로 게이팅(gate)한다. 임베딩은 노드가 활성화되어 있을 때만 추가된다.
• 보장: 이는 DANIEL 백본의 "비제로 평균(nonzero-averaging)" 풀링 의미론을 보존하여, 풀링을 위해 선택된 노드 집합이 수정되지 않은 솔버와 동일하게 유지되도록 보장한다.

3. 벤치마크 및 실험 설정

• BCA 기반 생성기: 싱가포르 건설청(BCA)의 공식 가이드북을 기반으로 한 공개 인스턴스 생성기를 제작하였다. 이는 라우팅 시퀀스, 스테이션 분류(9개 유형), 지연 범위(양생, 수밀성 테스트, 건조)를 산업 표준에 근거하여 정의한다. 공정 시간은 문헌 기반의 추정치를 사용한다.
• 베이스라인:
  • 정밀 솔버(Exact Solver): 300초 시간 제한을 둔 CP-SAT (제약 프로그래밍).
  • 디스패칭 규칙(Dispatching Rules): FIFO, SPT, MWKR, MOR (모두 지연 인지형).
  • 메타휴리스틱: 디스패칭 규칙으로 초기화된 유전 알고리즘(GA).
  • 절제 실험 그룹(Ablation Arms):
    • A0: 지연 미인지(현재 산업계 관행: 계획 후 우측 이동/right-shift).
    • A1: 지연 인지 역학만 적용.
    • A2: A1 + 예측적 특징.
    • A3: A2 + 타입 임베딩 (전체 방법론).

4. 주요 결과

A. 용량 풍부 인스턴스에서의 성능 (M-Class)

• 솔버 프리(Solver-Free) 우위: 전체 방법(A3)은 평균 메이크스팬 210.9시간을 달성하였으며, 이는 CP-SAT 참조값과의 격차를 최적 디스패칭 규칙(SPT)의 6.4%에서 **3.8%**로 줄인 결과이다.
• 정밀 솔버와의 비교: CP-SAT가 품질의 상한선(100건 중 86건에서 최적해 증명)이지만, A3는 솔버 없이도 약 2초 내에 참조값에 근접한 품질에 도달한다.
• 절제 실험: 용량 풍부 인스턴스에서는 지연 인지 역학(A1)이 대부분의 이득을 제공한다. 예측적 특징(A2)과 타입 임베딩(A3)은 이 환경에서 통계적으로 중립적이지만 다른 영역에서는 필수적이다.

B. 용량 경합 상황에서의 성능 (M-Tight)

스테이션 용량이 절반으로 줄어들 때(15개 스테이션), 기계 경합이 지연과 함께 지배적인 요소가 된다.

• 유의미한 이득: 전체 방법(A3)은 CP-SAT 참조값과의 격차를 SPT(12.2% 격차)보다 훨씬 낮은 **6.6%**로 좁혔다.
• 적응의 가치: 경합 상황에서 예측적 특징과 타입 임베딩은 통계적으로 유의미해지며(p < 0.001), 이는 예측(look-ahead)이 중요한 복잡하고 제약이 많은 환경에서 이들의 가치를 입증한다.
• 메타휴리스틱 비교: A3는 약 30배 긴 추론 시간을 갖는 60초짜리 유전 알고리즘(GA)보다 10시간 이상 우수한 성능을 보인다.

C. 제로샷 일반화 (Zero-Shot Generalization)

• 쉘 시스템(Shell Systems): 혼합 쉘(mixed shells)로 훈련된 정책은 단일 쉘(RC 또는 강철) 프로젝트로 깔끔하게 전이되며, 디스패칭 규칙보다 우수한 성능을 보인다.
• 규모(Scale): 단일 크기 정책은 보지 못한 모듈 수(5개 또는 20개)에서 성능이 저하된다. 그러나 사이즈 혼합 정책(10, 20, 30개 모듈로 훈련)은 10~20개 모듈 범위에서 SPT를 능가하며, 30개 모듈에서도 0.4% 이내의 차이로 SPT와 대등한 성능을 보인다.

D. 반응형 재스케줄링 (Reactive Rescheduling)

중단 시나리오(예: 지연 시간 두 배 증가 또는 기계 고장)에서:

• 솔버 프리: A3는 약 1.2초 만에 재계획을 수행하여, 산업 표준인 "우측 이동(right-shift)" 방식보다 메이크스팬을 약 5% 줄인다. 이는 단순히 지연시키는 것이 아니라 능동적으로 경로를 재설정함으로써 가능하다.
• 안정성 vs 품질: 안정성 인지형 CP-SAT(변동 패널티 포함)가 메이크스팬과 스케줄 안정성 사이의 최적의 트레이드오프를 제공하지만, 이는 전체 솔버 인프라를 필요로 한다. A3는 강력한 솔버 프리(solver-free) 대안으로서, 솔버의 계산 오버헤드 없이 현재의 관행을 개선하는 역할을 한다.

5. 의의 및 주장

본 논문은 지연에 의한 작업 차단 및 기계 자유 후속 공정 시간 지연이 존재하는 유연 직무 숍을 위해 명시적으로 설계된 **최초의 학습된 구성적 솔버(learned constructive solver)**라고 주장한다.

• 튜닝이 아닌 정확성: 이 적응 방식들은 단순한 휴리스틱 튜닝이 아니라 구조적 교정이다. 지연 인지 역학은 이 도메인에서 모든 구성적 DRL 솔버의 전제 조건이며, 지연을 무시한 결정 프로세스는 근본적으로 잘못 설정된(ill-posed) 것이기 때문이다.
• 속성(Attribution): 플래그를 껐을 때 구현이 원래의 DANIEL 솔버와 비트 단위로 동일하게 재현됨을 보임으로써, 저자들은 모든 성능 향상이 제안된 적응 방식에 기인함을 입증하였다.
• 실질적 영향: 본 연구는 고품질의 정밀 솔버(엣지 컨트롤러나 반응형 루프에 너무 무거운 경우가 많음)와 빠르지만 최적이 아닌 디스패칭 규칙 사이의 간극을 메운다. 이는 빠르고, 솔버가 필요 없으며, 최적에 근접한 스케줄러를 제공하여, 실시간 제약(재계획당 몇 초) 내에서 제조 실행 시스템(MES)에서 작동할 수 있게 한다.
• 겸손한 태도: 저자들은 정밀 솔버와 최적화 전문 지식이 있는 경우, 해당 솔버가 여전히 "품질의 상한선"임을 명시적으로 밝힌다. 학습된 정책의 틈새 시장은 솔버 프리 배포, 특히 속도와 라이선스/모델 오버헤드 없이 실시간 반응이 중요한 시나리오에서의 활용이다.