기술 요약: 토틀 처리 로봇 시스템의 주문 이행용 오미-스케일 학습 기반 순차적 의사결정 프레임워크 (OLSF-TRS)

1. 문제 정의

전자상거래의 급속한 확장과 유연한 소량 생산 방식은 팔레트 기반에서 토틀 기반의 인트라물류로의 전환을 주도했습니다. 토틀 처리 로봇 시스템 (예: Hairobotics, Exotec, AirRob) 은 자동화된 이행 센터에서 지배적인 위치를 차지하게 되었습니다. 그러나 이러한 시스템에서의 주문 이행은 세 가지 상호 의존적인 계층을 포함하는 복잡하고 순차적인 의사결정 과정을 수반합니다: 주문 할당(작업 스테이션에 주문 할당), 토틀 매칭(토틀 선택 및 순서 결정), 그리고 로봇 스케줄링(작업 할당 및 로봇 경로 설정).

기존 문헌은 두 가지 주요 한계에 직면해 있습니다:

1. 시스템 특이성: 대부분의 의사결정 메커니즘은 특정 로봇 아키텍처 (예: 2D 멀티 토틀 대 3D 랙 클라이밍) 에 맞춰 설계되어, 상당한 재설계 없이는 다른 시스템 유형으로 일반화하거나 이전하기 어렵습니다.
2. 규모 및 결합 한계: 기존의 규칙 기반 휴리스틱은 다양한 조건 하에서 동적인 계층 간 종속성을 포착하지 못합니다. 정확한 최적화 방법은 대규모 확률적 인스턴스에 대해 계산적으로 처리 불가능합니다. 최근 학습 기반 접근법이 존재하지만, 종종 전체 순차적 의사결정 파이프라인이 아닌 고립된 하위 문제를 다루며, "주문 - 토틀 - 로봇" 루프를 효과적으로 조정하지 못합니다.

핵심적인 도전 과제는 각 단계가 NP-난제 (NP-hard) 이고 단계들이 강하게 결합된 다단계 결합 조합 최적화 문제입니다. 주문 수준의 의사결정은 토틀 수요와 혼잡도에 영향을 미치고, 이는 다시 로봇 경로 설정에 영향을 주어, 단편적인 접근법으로는 해결할 수 없는 피드백 루프를 생성합니다.

2. 방법론: OLSF-TRS

저자들은 구조화된 신경 조합 최적화와 다중 에이전트 강화 학습 (MARL) 을 통합한 일반화되고 확장 가능한 순차적 의사결정 프레임워크인 OLSF-TRS를 제안합니다. 이 프레임워크는 이질적인 로봇 시스템을 통합된 데이터 기반 패러다임으로 추상화합니다.

2.1. 비시뮬레이션 몫 (Bisimulation Quotienting) 을 통한 상태 공간 추상화 (BQ-MDP)

대규모 창고에서의 지수적 상태 공간 성장을 해결하기 위해, 이 프레임워크는 **비시뮬레이션 몫 (bisimulation quotienting)**을 사용합니다.

• 메커니즘: 원래 상태들은 비시뮬레이션 동등 (bisimulation equivalent) 인 경우, 즉 모든 행동에 대해 동일한 전이 분포와 기대 보상을 산출하는 경우, 추상 상태들로 그룹화됩니다.
• 적용: 예를 들어, 작업 스테이션에 대해 대칭된 위치에 있는 두 로봇이나 동일한 SKU 를 포함하는 두 토틀은 동등한 것으로 간주됩니다. 이는 방대한 저장 구성 (예: 50,000 개 이상의 위치) 을 작고 행동적으로 동등한 클래스로 축소하여, 최적 정책 구조를 보존하면서도 계산적 처리 가능성을 보장합니다.

2.2. 신경 조합 최적화 (BQ-NCO)

이 프레임워크는 기본 조합 하위 문제 (주문 배칭, 토틀 순서 결정, 작업 할당) 를 해결하기 위해 BQ-NCO를 활용합니다.

• 아키텍처: 공유된 Transformer 인코더가 주문, 토틀, 로봇에 대한 통합된 특징 - 행동 표현을 처리합니다.
• 학습: 정책은 소규모 인스턴스에서 정확한 솔버 (예: Gurobi) 가 생성한 전문가 궤적을 사용하여 모방 학습 (imitation learning) 을 통해 사전 훈련됩니다.
• 소프트 커플링: 순차적 파이프라인 내의 오류 전파를 방지하기 위해, 소프트 커플링 메커니즘은 한 단계의 예측 행동 벡터를 후속 단계의 실제 입력과 정렬시켜 엔드 - 투 - 엔드 성능을 안정화합니다.

2.3. MAPPO 를 통한 다중 에이전트 조정

대규모 및 고동시성 시나리오에서, 이 프레임워크는 중앙 집중식 훈련과 분산 실행 (CTDE) 패러다임을 갖춘 **다중 에이전트 근접 정책 최적화 (MAPPO)**를 사용합니다.

• 에이전트: 세 가지 협력 에이전트 (주문, 토틀, 로봇) 는 고유한 역할을 수행하지만 글로벌 목표를 공유합니다.
• 중앙 집중식 크리틱: 순환 신경망 (RNN) 크리틱은 통합된 운영 목표인 토틀 이동 총수 ($Z_{Final}$, 검색 및 반송 포함) 최소화를 기반으로 결합된 상태와 행동을 평가합니다.
• 보상 형성: 에이전트들은 $Z_{Final}$의 감소에서 파생된 글로벌 보상을 받으며, 이는 BQ-NCO 사전 훈련에서 파생된 고유 목표와 에이전트 간 조정 항 (한 에이전트의 행동이 다른 에이전트에 미치는 영향을 정량화) 을 포함하는 형성된 지역 보상으로 보완됩니다.

3. 주요 기여

1. 일반화된 순차적 의사결정 프레임워크: OLSF-TRS 는 주문, 토틀, 로봇 수준에 걸친 상호 의존적인 의사결정의 구조화된 순서로 주문 이행을 재정의합니다. 이질적인 아키텍처를 통합된 표현으로 추상화함으로써, 플랫폼별 재설계 없이 다양한 토틀 처리 플랫폼을 지원합니다.
2. 종속성 인식 모듈식 패러다임: 고립된 계층 최적화 또는 모놀리식 엔드 - 투 - 엔드 모델과 달리, OLSF-TRS 는 하위 문제를 일관된 파이프라인으로 연결함으로써 계층 간 종속성을 명시적으로 보존합니다. 이는 시스템 수준의 일관성을 유지하면서 모듈식 학습을 가능하게 합니다.
3. 확장 가능한 알고리즘적 구현: 상태 추상화를 위한 BQ-MDP, 구조화된 조합 의사결정을 위한 BQ-NCO, 협력적 제어를 위한 MAPPO 의 통합을 통해 이 프레임워크는 정확한 방법으로 해결 가능한 소규모 인스턴스부터 수백 개의 주문과 수십 개의 로봇이 포함된 대규모 확률적 시나리오에 이르기까지 배포 크기의 전체 스펙트럼에서 효과적으로 작동할 수 있습니다.

4. 실험 결과

이 프레임워크는 2D 멀티 토틀 처리 (Hairobotics) 와 3D 랙 클라이밍 (Exotec) 의 두 가지 서로 다른 시스템 유형에서 테스트된 소규모 (S-1S-9) 및 대규모 (L-1L-15) 시나리오를 포함하는 18 개의 구조화된 인스턴스 그룹에 대해 평가되었습니다.

4.1. 소규모 성능

• 최적성: OLSF-TRS 는 Gurobi 정확한 솔루션 대비 평균 최적성 격차가 3.5% 미만인 준최적 (near-optimal) 성능을 달성했습니다.
• 효율성: 추론 시간은 밀리초 범위 (38~59 ms) 로, 실시간 제어에 적합한 계산 효율성을 확인했습니다.

4.2. 대규모 성능

고동시성 및 자원 제약 시나리오 (최대 600 SKU, 350 개 주문, 70 개 로봇) 에서:

• 토틀 이동 감소: OLSF-TRS 는 휴리스틱 베이스라인을 일관되게 능가했습니다. 최첨단 규칙 기반 접근법 (R3, G3) 과 비교할 때, 총 토틀 이동을 Exotec 의 경우 최대 43.4%, Hairobotics 의 경우 42.1% 감소시켰습니다. 협력형 SKU 그룹 휴리스틱 (C-SGH) 과 비교할 때 감소율은 **14.9%**에 달했습니다.
• 확장성: 휴리스틱 베이스라인은 시스템 부하가 증가함에 따라 토틀 이동이 초선형적으로 증가하는 반면, OLSF-TRS 는 거의 선형적인 성장 프로파일을 유지했습니다.
• 강건성: 자원 부족 (낮은 로봇 - 주문 비율) 하에서 분산형 방법 (IPPO) 과 정적 휴리스틱은 크레딧 할당 문제와 혼잡으로 고통받은 반면, OLSF-TRS 는 글로벌 조정 충돌을 해결할 수 있는 중앙 집중식 크리틱의 능력으로 인해 안정적인 성능을 유지했습니다.
• 런타임: 시뮬레이션 런타임은 경량 휴리스틱보다 높았으나, 이는 고충실도 환경 시뮬레이션에 의해 지배되었습니다. 정책 추론은 의사결정 단계당 15 ms 미만으로 유지되어 배포 시 실시간 응답성을 보장했습니다.

5. 중요성 및 주장

이 논문은 OLSF-TRS 가 동적 환경에서 조합 최적화 모델과 시스템 수준 실행 간의 간극을 연결하는 통합되고 이전 가능한 의사결정 프레임워크를 제공한다고 주장합니다.

• 운영적 영향: 토틀 이동 감소는 에너지 소비 감소, 기계적 마모 감소, 처리량 안정성 향상과 같은 직접적인 산업적 이점으로 이어집니다.
• 방법론적 진보: 이 연구는 고품질 시스템 수준 성능을 위해 전체 결합 최적화 문제를 명시적으로 해결할 필요가 없음을 보여줍니다. 대신, 구조적으로 의미 있는 하위 문제로 문제를 분해 (BQ-NCO 를 통해) 하고 중앙 집중식 조정 (MAPPO 를 통해) 을 통해 글로벌 커플링을 해결하는 것이 더 효과적인 전략입니다.
• 실용적 적용성: 이 프레임워크는 현재 문헌의 "규모 제한" 및 "시스템 특이성" 격차를 해결하여, 재설계 없이 다양한 시스템 아키텍처와 운영 규모에 적응할 수 있는 솔루션을 제공합니다.

저자들은 동질적인 로봇 함대에 대한 현재 초점과 저수준 운동 계획의 추상화 (혼잡 인식 이동 시간을 통해 암시적으로 처리됨) 를 포함한 한계를 지적합니다. 향후 연구는 이질적인 함대, 명시적 경로 계획, 실시간 감각 피드백과의 통합을 위해 제안됩니다.