기술 요약: RACE-Sched

문제 정의

**동적 유연 작업장 스케줄링 문제 (DFJSP)**는 현대 제조업에서 중요한 온라인 의사결정 과제입니다. 이는 라우팅 유연성과 선행 제약 조건 하에서 이질적인 기계에 작업을 할당하면서, 기계 고장, 긴급 작업 도착, 처리 시간 변동과 같은 확률적 교란에 대응해야 합니다.

현재 접근 방식은 근본적인 트레이드오프에 직면해 있습니다:

• **우선순위 배정 규칙 (PDRs)**은 해석 가능하고 빠르지만, 병목 현상이 이동할 때 적응할 유연성이 부족합니다.
• **심층 강화 학습 (DRL)**은 복잡한 동역학을 포착하지만, 종종 해석 가능성이 부족하고 다양한 문제 규모에 대한 일반화에 어려움을 겪습니다.
• **대규모 언어 모델 (LLM)**은 고급 추론과 코드 생성 기능 (코드 기반 정책) 을 제공하지만, 산업 제어 시스템이 요구하는 밀리초 단위의 의사결정 주기에는 수초에 걸친 추론 지연이 호환되지 않습니다.

기존 하이브리드 프레임워크는 종종 학습과 실행을 분리하여, 실시간으로 보이지 않는 교란에 적응할 수 없는 오프라인 학습에 의존하거나 생산 라인을 방해하는 동기식 상호작용을 요구합니다.

방법론: RACE-Sched

실시간 제약과 장기적 추론 사이의 갈등을 해결하기 위해, 저자들은 RACE-Sched를 제안합니다. 이는 비동기 에이전트 기반 프레임워크로, 이중 스트림 아키텍처를 사용하여 정책 실행과 논리적 추론을 분리합니다:

1. 비동기 이중 스트림 아키텍처

• 반응형 스트림 (실행): 핵심 제어 루프 내에서 작동합니다. 배정 의사결정을 내리기 위해 저지연으로 컴파일된 기호적 우선순위 규칙 (Python 함수) 을 실행합니다. 이 스트림은 결정론적이며 서브밀리초 시간으로 작동하여 추론 프로세스를 기다리는 일이 없도록 보장합니다.
• 의사결정형 스트림 (추론): 핵심 경로 밖에서 작동합니다. 최근 결정의 요약 통계를 분석하고, 후보 Python 휴리스틱을 생성하며, 샌드박스에서 이를 검증하기 위해 LLM 을 활용합니다. 이 스트림은 더 느린 시간 규모 (수초에서 수분) 로 실행되며 생산 라인을 차단하지 않습니다.

2. 에이전트 루프 (안전 제약 진화)

의사결정형 스트림은 4 단계 사이클을 통해 작동합니다:

• 전략적 계획자: 현재 시스템 상태 (예: 병목 식별) 를 요약하여 고수준 지시를 수립합니다.
• 구문 강제자: 지시를 실행 가능한 Python 코드로 변환합니다. 안전 제약 조건을 강제하고, 코드 복잡성을 제한하며, 제한된 실행 컨텍스트 내에서 코드가 컴파일되도록 보장합니다.
• 시뮬레이션 검증자: 대표성 있는 인스턴스 풀을 사용하여 샌드박스 환경에서 후보 규칙을 평가합니다. 통계적 검정 (예: t-검정) 과 미리 정의된 개선 임계값을 사용하여 후보 규칙을 기존 규칙과 비교합니다.
• 의미적 반성자: 샌드박스 결과에서 진단 피드백을 종합하여 수용 또는 거부를 정당화하고, 향후 반복을 위해 추론을 기록합니다.

3. 트리거 및 배포 프로토콜

업데이트는 주기적으로 또는 성능 지표가 슬라이딩 윈도우에 비해 저하될 때 트리거됩니다. 중요하게도, 배포는 원자적 포인터 스왑을 통해 이루어집니다. 샌드박스 검증을 통과한 규칙만 활성 규칙 세트로 승격되어 제어 루프가 안전하고 반응적으로 유지되도록 보장합니다.

4. 의미 지식 저장소

전송성을 향상시키고 "콜드 스타트" 비효율을 줄이기 위해, 시스템은 검증된 휴리스틱의 인덱싱된 저장소를 유지합니다. 각 항목에는 정책 코드, 성능 지표, 그리고 경량 메타데이터 (예: 작업/기계 수) 가 포함됩니다. 새로운 문제 인스턴스가 발생하면, 시스템은 유사한 규칙을 검색하여 후보 생성 프로세스를 웜스타트하여 토큰 소비를 줄이고 다양한 규모에서의 견고성을 향상시킵니다.

주요 기여

1. 비동기 기호적 진화 프레임워크: 실시간 배정을 LLM 기반 휴리스틱 합성에서 분리하여 제어 루프가 반응성을 유지하면서도 지속적인 정책 진화를 가능하게 하는 새로운 아키텍처.
2. 안전 배포 메커니즘: 후보 휴리스틱을 오프라인에서 엄격하게 테스트하는 샌드박스 기반 검증 프로토콜. 업데이트는 엄격한 수용 기준을 충족하는 경우에만 원자적 포인터 스왑을 통해 배포되어 검증되지 않은 규칙이 운영을 방해하는 것을 방지합니다.
3. 의미 규칙 저장소: 검증된 휴리스틱을 인스턴스 메타데이터와 함께 인덱싱하여 평생 학습을 가능하게 하는 메커니즘으로, 검색 기반 초기화를 지원하고 다양한 벤치마크 및 문제 규모 간 전송성을 향상시킵니다.
4. 종합 평가: GEN-Bench, MK-Bench, JMS-Bench에서의 광범위한 테스트를 포함하며, 기계 고장에 대한 스트레스 테스트를 통해 DRL 및 직접 LLM 베이스라인보다 우수한 성능을 입증했습니다.

실험 결과

• 성능: GEN-Bench (일반 규모) 에서 Qwen3-8B 를 사용한 RACE-Sched 변형은 상대 백분율 편차 (RPD) 가 **5.33%**로, 선도적인 DRL 베이스라인 (IDDQN, 9.82%) 및 기타 LLM 기반 방법을 크게 능가했습니다. 모든 벤치마크에서 일관되게 더 낮은 RPD 와 더 나은 평균 순위를 달성했습니다.
• 효율성: 저장소를 활용한 웜스타트와 단계별 행동 생성에서 컴팩트한 정책 합성으로 전환함으로써, 직접 LLM 베이스라인 대비 입력 토큰 소비를 약 60% 감소시켰습니다.
• 지연 시간: 반응형 스트림은 서브밀리초 지연 시간 (예: 약 0.050.09 ms) 을 유지하여 산업 실시간 제약을 충족했습니다. 반면, 의사결정형 스트림은 업데이트당 77114 초의 지연 시간을 보였으며, 이는 비동기 설계로 완화되었습니다.
• 회복탄력성: 기계 고장 스트레스 테스트 (JMS-Bench) 에서 RACE-Sched 는 우수한 적응력을 보여주어, 정적 휴리스틱이나 높은 분산을 겪은 베이스라인과 비교하여 고장 전 처리 수준으로 처리량을 복원하고 최소 최종 완료 시간 (29.6) 을 달성했습니다.
• 절제 실험: 저장소를 제거 ("w/o Repo") 하면 RPD 가 크게 증가했습니다 (예: GEN-Small 에서 10.41% 에서 26.19% 로). 이는 지식 검색의 가치를 확인해 줍니다. 반복 루프를 제거 ("w/o Loop") 하는 것도 복잡한 작업에서 성능을 저하시켜, 재귀적 정제의 필요성을 입증했습니다.

의의 및 주장

이 논문은 RACE-Sched 가 실시간 제약과 장기적 추론을 성공적으로 조화시켰다고 주장합니다. 느린 LLM 의사결정, 샌드박스 검증, 정책 개선을 백그라운드로 제한함으로써, 이 프레임워크는 물리적 기계의 실시간 반응성을 방해하지 않으면서 제어 로직이 지속적으로 개선되도록 합니다.

저자들은 이 접근 방식을 인지 사이클 (LLM) 과 물리적 사이클 (제조) 사이의 "주파수 불일치"에 대한 해결책으로 위치시킵니다. 그들은 이 방법이 최첨단 DRL 및 직접 LLM 제어에 비해 우수한 해결책 품질과 동적 사건에 대한 견고한 적응을 달성하면서도 산업 배포에 필요한 해석 가능성과 안전성을 유지한다고 주장합니다.

인정된 한계:
저자들은 규칙 진화의 품질이 배경 LLM 의 능력에 의존한다고 지적합니다. 약한 모델은 거부되는 무효 후보를 생성할 수 있습니다. 또한, 대표성 있는 샌드박스 시나리오를 구축하는 데는 엔지니어링 노력이 필요하며, 여러 번의 의사결정 사이클이 필요한 경우 완전히 새로운 교란 유형에 대한 반응은 여전히 지연될 수 있습니다.