기술 요약: 반도체 제조 공정의 장기 호라이즌 제어를 위한 이벤트 기반 강화 학습

1. 문제 정의

반도체 제조 시설(fab)은 확률적인 처리 시간, 재진입(re-entrant) 공정 흐름, 이질적인 장비, 엄격한 기술적 제약 조건을 특징으로 하는 복잡한 적응형 시스템이다. 이 도메인에서의 의사결정, 특히 디스패칭(dispatching) 단계는 결정의 결과가 지연되고 수천 개의 후속 상호작용과 얽혀 있는 순차적 선택을 포함한다.

전통적인 강화 학습(RL) 접근 방식은 다음과 같은 중대한 과제에 직면한다:

• 장기 호라이즌 신용 할당(Long-Horizon Credit Assignment): 표준적인 1단계 전이 모델은 시간적 신용 할당의 불일치를 초래한다. 처리량(throughput)이나 가동률(utilization)과 같은 시스템 수준의 핵심 성과 지표(KPI)는 단일 행동의 즉각적인 결과가 아니라, 수많은 상호 의존적인 결정들의 누적된 결과이기 때문이다.
• 지연된 피드백: 보상은 희소하며 긴 시간 구간에 걸쳐 관찰되므로 학습을 불안정하게 만든다.
• 확장성 및 일반화: 기존 연구의 상당수는 문제를 국부적인 제어로 단순화하거나 소규모 테스트베드에 의존하여, 실제 산업적 복잡성 하에서의 시스템 전체 정책을 다루는 데 실패한다. 또한, 오프라인 및 온라인 환경에서의 일반화와 전이 가능성에 대한 알고리즘 간의 체계적인 비교가 부족하다.

2. 방법론

저자들은 연속적이고 무한한 호라이즌을 가진 환경에서 중앙 집중식 정책 최적화를 위해 설계된 모듈형 이벤트 기반 딥 강화 학습 프레임워크를 제안한다.

핵심 아키텍처

• 중앙 집중형 에이전트: 단일 에이전트가 디스패칭 단계에서 전체 시스템을 제어하며, 가용 장비에 대해 후보 웨이퍼 로트(wafer lots)를 선택한다. 이 접근 방식은 명시적인 조정이 필요한 다중 에이전트 분해 방식에 비해 확장성을 개선하기 위해 파라미터 공유를 활용한다.
• 이벤트 기반 역학: 시스템은 고정된 타임 스텝(time step)이 아닌, 일련의 이산적 이벤트(예: 장비가 유휴 상태가 됨)로 모델링된다. 행동은 시간적으로 확장되고 중첩되는 이벤트를 트리거한다.
• 상태 및 행동 인코딩:
  • 상태(State): 워크로드 통계, 장비 상태, 그리고 공정 흐름 섹션 및 제품 카테고리별 WIP(재공품) 분포를 인코딩한다(5,000차원 이상의 고정 크기 표현).
  • 행동(Action): 후보 로트의 특징(제품 유형, 처리 시간, 제약 조건)을 인코딩한다. 정책은 가변적인 행동 집합 크기(최대 수천 개의 후보)를 처리하기 위해 점수 기반 소프트맥스(softmax) 메커니즘을 사용한다.
• 제약 조건이 있는 정책: 불가능한 행동을 마스킹함으로써 도메인 특화 제약(예: 부식 방지)을 강제하는 강력한 귀납적 편향(inductive bias)을 적용하는 한편, 보상 함수는 제약 조건을 준수하는 행동을 장려한다.

보상 구성

피드백 희소성 문제를 해결하기 위해 보상은 두 가지 구성 요소로 분해된다:

1. 이벤트 수준 보상 ($r_e$): 처리 시간, 유휴 시간 및 제약 위반에 기초하여 즉각적인 국부 피드백을 제공하는 조밀하고 형태가 갖춰진(shaped) 보상.
2. 시스템 수준 보상 ($r_g$): 누적 웨이퍼 이동(생산율) 및 평균 장비 가동률과 같은 KPI를 바탕으로 유한한 시간 창($t_s$) 동안 계산되는 지연된 보상.
   전체 보상은 $r = r_e + r_g$이다.

이벤트 그룹 시간 차분(Event-Group TD) 학습

본 논문은 중첩된 이벤트의 시간적 구조를 존중하는 새로운 TD 정식화를 도입한다:

• 그룹 집계: 각 이벤트를 독립적으로 업데이트하는 대신, 프레임워크는 시간 세그먼트 $I_h$를 샘플링하고 해당 세그먼트 내의 모든 이벤트를 하나의 그룹 $G$로 취급한다.
• 그룹 단위 목적 함수: 학습 목적 함수는 집계된 이벤트 수준의 TD 오차와 해당 세그먼트에 대한 시스템 수준 보상 사이의 불일치를 최소화한다. 이를 통해 글로벌 보상 신호가 상호 의존적인 이벤트 전반에 걸쳐 엔드 투 엔드로 전파될 수 있다.
• 집계 전략: 최적화를 안정화하기 위해 평균 집계(평활화)와 가중 집계(이벤트 지속 시간 고려)를 비교한다.

알고리즘 통합

이 프레임워크는 모델 프리(model-free) 백본과 통합 가능한 알고리즘 불가지론적(algorithm-agnostic) 구조를 가진다:

• 오프라인 학습: 분포 변화(distributional shift)와 과대평가를 완화하기 위해 역사적 데이터(무작위 정책)와 보수적인 방법(CQL, IQL)을 활용한다.
• 온라인 학습: 미세 조정을 위해 오프-폴리시(DQL, SAC) 및 온-폴리시(PPO) 방법을 채택한다. SAC는 탐사를 위해 엔트로피 정규화를 사용하며, PPO는 그룹 상대적 대리 이득(group-relative surrogate advantage)을 사용하여 그룹화된 TD 구조와 정렬한다.

3. 주요 기여

1. 모듈형 이벤트 기반 RL 프레임워크: 반도체 제조를 대표적인 실제 사례로 사용하여, 복잡한 적응형 시스템에서의 정책 상호작용 및 최적화를 위한 확장 가능한 아키텍처를 제시한다.
2. 중앙 집중식 정식화: 이벤트 기반 역학에 대한 통합된 정책 최적화 문제를 통해, 다중 에이전트 조정의 복잡성 없이 시스템 전체의 의사결정을 가능하게 한다.
3. 다단계 최적화: 오프라인 사전 학습(데이터 효율적, 보수적)과 온라인 미세 조정(적응형, 제약적 탐사)을 모두 지원하는 맞춤형 정식화를 제공한다.
4. 일반화 중심 평가: 31개의 다양한 산업 시나리오에 대한 포괄적인 평가를 통해, 장기 호라이즌 설정에서 서로 다른 RL 정식화 및 알고리즘의 상대적 강점을 명확히 한다.

4. 실험 결과

실험은 STMicroelectronics의 실제 산업 데이터를 기반으로 한 고충실도 시뮬레이터를 사용하여 진행되었으며, 다양한 WIP 및 운영 구성을 포함한 31개 시나리오를 다루었다.

• 베이스라인: 성능을 FIFO(선입선출), SPT(최단 처리 시간), Random 정책과 비교하였다.
• 오프라인 성능: 무작위 정책 데이터로 학습된 에이전트는 Random 베이스라인 대비 상당한 이득(처리량 최대 ~39%, 포화도 ~28%)을 달였으며, FIFO보다 우수한 성능을 보였다. 오프라인 알고리즘 중에서는 Double Q-Learning(DQL)과 Conservative Q-Learning(CQL) 변형이 견고한 성능을 보였다.
• 온라인 성능: 온라인 미세 조정을 통해 성능이 더욱 향축되어, 무제어(Random) 설정 대비 최대 ~42%의 처리량 및 ~30%의 포화도 이득을 달고서야 했다. 높은 타겟 엔트로피를 가진 Soft Actor-Critic(SAC)과 DQL이 강력한 샘플 효율성을 입증했다.
• 절제 연구(Ablation Studies):
  • TD 정식화: 제안된 이벤트 집계 TD 목적 함수가 표준적인 절단된 할인 시퀀스(truncated discounted sequences) 및 스택된 이벤트별 목적 함수를 크게 상회하였으며, 이는 그룹 수준의 신용 할당의 중요성을 확인시켜 준다.
  • 보상 설계: 시스템 수준의 세그먼트 보상만으로 학습하는 것도 효과적이었으나, 이벤트 수준의 셰이핑을 결합하는 것이 일부 경우에서 수렴을 가속화했다.
  • 알고리즘 비교: 오프라인 방법은 과대평가를 피하기 위해 보수성(CQL/IQL)이 필요했던 반면, 온라인 방법은 엔트로피 정규화(SAC)와 안정적인 정책 경사(PPO)의 혜택을 받았다.

5. 의의 및 주장

본 논문은 제안된 프레임워크가 지연된 피드백이 존재하는 대규모 이벤트 기반 시스템에 RL를 적용할 때 발생하는 핵심 과제들을 성공적으로 해결한다고 주장한다. 환경 상호작용과 정책 최적화를 분리하고 맞춤형 시간 차분 레이어를 도입함으로써, 에이전트가 여러 KPI를 동시에 최적화하는 시스템 전체 정책을 학습할 수 있도록 한다.

저자들은 다음을 강조한다:

• 확장성: 중앙 집중식 특징 기반 접근 방식은 다중 에이전트 시스템의 조정 오버헤드 없이 고차원 설정으로 확장 가능하다.
• 전이 가능성: 프레임워크는 다양한 운영 시나리오에서 일관된 성능 향상을 보여주며, 이는 WIP 및 제품 믹스의 변화에 대한 견고성을 시사한다.
• 실용성: 역사적 데이터로 오프라인 사전 학습을 수행하고 제한된 상호작용을 통해 온라인으로 미세 조정할 수 있는 능력은, 탐사 비용과 리스크가 큰 산업 현장에서의 적용 가능성을 높인다.

결론적으로, 본 연구는 복잡한 적응형 시스템에서 효과적인 제어를 달성하기 위해서는 문제의 정교한 정식화, 특히 시간적 구조와 보상 전파 사이의 정렬이 기초적인 RL 알고리즘의 선택만큼이나 중요하다는 점을 시사한다.