기술 요약: 강화 학습을 통한 컨테이너 하역

문제 정의

커리어, 익스프레스, 파셀 (CEP) 산업에서의 컨테이너 하역은 현재 수작업에 크게 의존하는 노동 집약적 작업입니다. 중요한 하위 문제는 운송 컨테이너에서 물품을 픽업하는 최적의 순서를 결정하는 것입니다. 전통적인 접근 방식은 "항상 최상단 물품을 픽업한다"와 같은 규칙 기반 휴리스틱에 의존하는데, 이는 광범위한 전문가 지식을 정의해야 하며 문제의 복잡성이 증가하거나 최적화되지 않은 적재 구성이 발생할 경우 확장성에 실패하는 경우가 많습니다. 본 연구는 환경 상호작용으로부터 직접 학습함으로써 명시적인 전문가 규칙에서 의사결정 성능을 분리하는 것을 목표로, 운송 컨테이너 내 하역 가능한 물품 선택을 자동화하기 위한 강화 학습 (RL) 의 잠재력을 조사합니다.

방법론

시뮬레이션 환경

저자들은 RL 에이전트의 훈련 장으로 활용하기 위해 물리 기반 시뮬레이션 환경을 개발했습니다. 환경의 주요 특징은 다음과 같습니다:

• 시나리오: CEP 산업에서 전형적인 정렬된 벽과 같은 구조로 적재된 물품을 픽업하는 이상화된 "단일 픽업 (single-pick)" 작업.
• 물리: 패키지는 질량과 마찰 특성이 동일한 강체 (rigid bodies) 로 모델링됩니다. 하역은 선택된 물품에 수직 힘 ($20\text{ N}$) 을 가하여 시뮬레이션합니다. 물품이 $\ge 0.2\text{ m}$ 이동하면 성공적으로 하역되어 제거된 것으로 간주됩니다.
• 규모: 각 컨테이너는 800~1,000 개의 물품을 수용합니다. 관찰 및 행동 공간 크기를 일정하게 유지하기 위해 에이전트는 에피소드당 500 회 행동으로 제한되며, 컨테이너 입구에 가장 가까운 128 개의 물품만 관찰 가능합니다.
• 병렬화: 경험 수집을 가속화하기 위해 64 개의 환경을 병렬로 시뮬레이션합니다.

관찰 및 특징 공학

• 관찰 벡터: 에이전트는 128 개의 가장 가까운 물품의 3D 좌표를 $[-1, 1]$로 정규화하여 관찰합니다.
• 히스토그램 평활화: 격자형 적재 구조로 인해 발생하는 관찰 공간의 희소성 문제를 해결하기 위해 저자들은 위치 특징에 히스토그램 평활화를 적용했습니다. 이 전처리 기술은 물품 위치의 비균일 분포를 더 균일한 형태로 분산시켜, 이론적으로 신경망이 데이터로부터 학습하는 능력을 향상시킵니다.

행동 공간 및 교착 상태 방지

• 행동 공간: 행동 공간은 관찰 가능한 물품에 해당하는 인덱스 $0$부터$127$까지로 구성된 이산적입니다.
• 마스크된 DQN: 중요한 적응 사항으로 "행동 마스킹 (action masking)"이 포함됩니다. 에이전트가 이동할 수 없는 물품 (픽업 실패로 이어지는) 을 선택하면 관찰 벡터는 변경되지 않습니다. 개입하지 않으면 결정론적 DQN 은 동일한 무효 물품을 반복적으로 선택하여 교착 상태를 초래합니다. 제안된 해결책은 실패한 행동을 명시적으로 마스킹하여, 에이전트가 유효한 픽업이 이루어질 때까지 다음 최선의 사용 가능한 옵션을 선택하도록 강제합니다.

신경망 아키텍처

저자들은 **치환 동치성 (Permutation Equivalence, PEQ)**을 갖춘 딥 Q-네트워크 (DQN) 를 설계했습니다. 관찰 벡터 내 물품의 순서는 (거리 정렬에 기반하여) 임의적이지만 상대적인 공간적 관계가 중요하므로, 네트워크는 입력 물품의 치환에 관계없이 일관된 Q-값을 생성해야 합니다.

• 아키텍처: 네트워크는 1D 컨볼루션을 사용하는 학습 가능한 특징 추출기 (LFE), 치환 불변 연산 (최소, 최대, 평균) 을 사용하는 글로벌 관계 추출기 (GRE), 그리고 관계 점수판 (RS) 으로 구성됩니다.
• 손실 함수: 훈련은 이상치에 대한 안정성을 향상시키기 위해 표준 평균 제곱 오차 대신 Smooth-L1 손실을 사용합니다.
• 할인 계수: 할인 계수 $\gamma$는 $0$으로 설정됩니다. 이 단순화된 시나리오에서는 미래 보상이 즉각적인 행동 순서에 결정적으로 의존하지 않으므로, 작업은 1 단계 의사결정 문제로 간주됩니다.

주요 기여

본 논문은 다섯 가지 주요 기여를 제시합니다:

1. 시뮬레이션 프레임워크: 컨테이너 하역 작업을 위해 특별히 개발된 물리 기반 시뮬레이션 환경.
2. 마스크된 DQN: 픽업 불가능한 물품을 선택하여 발생하는 교착 상태를 방지하기 위해 행동 마스킹을 통합한 향상된 DQN 접근법 구현.
3. 특징 공학: 희소한 관찰 공간을 처리하기 위해 히스토그램 평활화를 포함한 특징 공학 기법의 설계 및 구현.
4. 치환 불변 아키텍처: 에이전트가 물품 순서를 무관하게 처리하도록 보장하는 치환 불변 특징 표현에 특화된 신경망 아키텍처 설계.
5. 실험적 검증: 특정 하역 문제에 RL 을 적용할 수 있음을 실증적으로 입증.

결과

에이전트는 물리 기반 시뮬레이션을 사용하여 $20 \times 10^6$ 스텝 동안 훈련되었습니다.

• 성능: 훈련된 에이전트는 평균 성공률 (Mean Success Rate, MSR) **60%**를 달성했습니다.
• 비교: 이 성능은 무작위 정책 (적재 알고리즘에 따라 약 20% 의 물품만 상단에 물품이 없음) 의 이론적 성공률인 약 **20%**보다 훨씬 뛰어납니다.
• 훈련 역학: 훈련 손실은 초기에 감소했다가, 에이전트가 픽업 가능 및 불가능 물품을 구별하도록 학습함에 따라 (모든 물품이 나쁘다는 단순한 휴리스틱에서 벗어나) 증가했다가, 정책이 개선됨에 따라 다시 감소했습니다.
• 한계: 저자들은 에이전트가 완벽한 정책 (100% 성공률) 에 도달하지 못했다고 지적하며, 이 접근 방식은 실행 가능하지만 아직 최적은 아니라고 언급합니다.

중요성 및 전망

본 논문은 물품 하역 작업이 강화 학습 방법을 통해 원칙적으로 학습 가능하다고 결론 내립니다. 결과는 RL 이 수작업 휴리스틱 정의에서 성능을 분리하는 경로를 제공하며, 물품 하역 자동화를 위한 유망한 접근법임을 시사합니다.

그러나 저자들은 현재 솔루션이 이상화된 시나리오에서의 "개념 증명 (proof-of-concept)"임을 인정하며 겸손한 입장을 유지합니다. 효과적인 솔루션 개발에는 여전히 특징 공학, 네트워크 설계, 보상 설계 분야에서 상당한 전문가 지식이 필요하다고 강조합니다. 저자들이 제안한 향후 작업은 다음과 같습니다:

• 더 복잡하고 순서가 없는 "벌크 픽업 (bulk-pick)" 작업으로 시나리오 확장.
• 실제 세계 감지 시스템 (카메라, 인식 파이프라인) 및 로봇 매니퓰레이터 통합.
• Sim-to-Real 전이 (transfer) 조사.
• 더 표현력 있는 네트워크 아키텍처 및 체계적인 하이퍼파라미터 최적화 탐색.
• 즉시 픽업 가능하지는 않지만 필수적인 순서의 일부인 물품에 대한 중간 지침을 제공하기 위해 보상 함수 정교화.