Designing a double deep reinforcement learning selection tool for resilient demand prediction

기술 요약: 회복력 있는 수요 예측을 위한 이중 심층 강화 학습 선택 도구 설계

문제 제기
본 논문은 팬데믹 및 지역 분쟁과 같은 사건으로 특징지어지는 변동성이 큰 환경에서 특히 중요한 공급망 관리의 수요 예측이라는 핵심 과제를 다룹니다. 수많은 인공지능 (AI) 예측 아키텍처가 존재하지만, 계절성, 노이즈, 변동성, 간헐성 등 다양한 데이터 특성으로 인해 단일 방법이 모든 데이터셋에서 일관되게 최적의 성능을 발휘하지는 못합니다. 전통적인 접근 방식은 종종 수동 전문가 선정이나 하이퍼파라미터의 정적 최적화에 의존하는데, 이는 시간이 많이 소요되고 오류 발생 가능성이 높으며 데이터 역학의 실시간 변화에 적응하지 못합니다. furthermore, 기존 앙상블 방법은 적절한 솔루션 선택을 자주 검토하지 않아 시간이 지남에 따라 오류가 누적될 수 있습니다. 핵심 문제는 데이터의 특정 상태에 따라 후보군 중 가장 적합한 예측 모델을 동적으로 선택할 수 있는 민첩하고 자동화된 메커니즘이 부재하다는 점입니다.

방법론
저자들은 CRFFNN-ARIRBES라는 새로운 아키텍처를 제안하며, 이는 모델 선택을 자동화하는 이중 심층 강화 학습 (DDRL) 에이전트로 기능합니다.

1. 이중 심층 강화 학습 (DDRL) 에이전트:

   • 이 시스템은 마르코프 의사결정 과정 (MDP) 내의 Q-학습 프레임워크를 활용하여 6 개의 신경망 기반 후보 (FFNN, LSTM, GRU, BiLSTM, CNN, 그리고 CNN-LSTM 하이브리드) 로 구성된 '위원회'에서 예측 모델을 선택합니다.
   • 표준 심층 Q-네트워크에서 흔히 발생하는 Q-값의 과대평가를 완화하기 위해, 저자들은 이중 심층 Q-네트워크 (DDQN) 아키텍처를 채택합니다. 여기에는 자주 업데이트되는 온라인 Q-네트워크와 주기적으로 업데이트되는 목표 Q-네트워크라는 두 개의 별도 네트워크가 포함되어 행동 선택을 위한 안정적인 기준을 제공합니다.
   • 상태 표현: 에이전트의 상태 ($s$) 는 이전 35 일간의 역사적 수요 ($d_{t-35} \dots d_{t-1}$) 와 모든 6 개 위원회 구성원의 예측 출력 ($f_{t1} \dots f_{t6}$) 을 연결하여 구성됩니다.
   • 행동: 행동은 현재 시간 단계의 최종 예측을 생성하기 위해 위원회에서 하나의 특정 예측 모델을 선택하는 것으로 구성됩니다.
   • 보상: 에이전트는 실제 값과 예측 값 사이의 평균 제곱 오차 (MSE) 의 역수를 기반으로 보상을 받으며, 구체적으로 $1 / e^{MSE}$로 공식화되어 큰 오차에 대해 더 가중치를 둡니다.

2. CRFFNN 아키텍처:

   • 단순한 피드포워드 네트워크 대신, Q-네트워크는 **합성곱 순환 피드포워드 신경망 (CRFFNN)**을 활용합니다.
   • 합성곱 레이어: 입력 데이터에서 공간적 특징을 추출합니다.
   • 순환 레이어: 순차 데이터 내의 시간적 패턴과 시간 의존적 관계를 포착합니다.
   • 피드포워드 레이어: 추출된 특징을 통합하여 기대 출력 (각 행동에 대한 Q-값) 으로 매핑합니다.
   • 이러한 하이브리드 아키텍처를 통해 에이전트는 환경 상태의 복잡한 공간적 및 시간적 특징을 더 잘 이해할 수 있습니다.

3. 평균 보상 개선률 기반 조기 종료 (ARIRBES):

   • 강화 학습과 관련된 계산 강도와 긴 훈련 시간을 해결하기 위해 새로운 조기 종료 메커니즘이 도입되었습니다.
   • 이 방법은 이동 평균을 사용하여 보상 신호를 평활화합니다. 정의된 '인내' 윈도우 내에서 현재 평균 보상이 최고 역사적 평균 보상을 특정 개선률 (IR) 임계값만큼 초과하지 않으면 훈련이 중단됩니다. 이는 과적합을 방지하고 훈련 기간을 크게 단축합니다.

주요 기여

1. 동적 모델 선택을 위한 DDRL: CRFFNN 을 활용하여 역사적 수요와 위원회 예측을 모두 처리하여 정보에 기반한 의사결정을 내리는 실시간 동적 예측 모델 선택을 가능하게 하는 이중 심층 강화 학습 아키텍처의 도입.
2. ARIRBES: 성능을 희생하지 않고 훈련 시간을 단축하도록 설계된 평균 보상 개선률에 기반한 새로운 조기 종료 기법의 제안.
3. 실증적 검증: 두 개의 서로 다른 데이터셋을 사용하여 예측 위원회 및 네 가지 자동 모델 선택 전략 (앙상블 평균, 중앙값, 스태킹, FFNN-DDQL) 에 대한 제안된 접근 방식의 엄격한 평가.

실험 결과
본 연구는 공개 Corporación Favorita 식료품 판매 데이터셋과 비공개 고객 스낵 수요 데이터셋(둘 다 28 일 예측 기간) 을 대상으로 평가되었습니다.

• 성능 지표: 모델은 대칭 평균 절대 백분율 오차 (SMAPE) 와 평균 절대 스케일 오차 (MASE) 를 사용하여 평가되었습니다.
• 정확도: 제안된 CRFFNN-ARIRBES 방법은 개별 모델 (FFNN, LSTM, GRU 등) 과 다른 선택 전략 (스태킹, FFNN-DDQL) 에 비해 두 데이터셋 모두에서 최저 평균 SMAPE 와 평균 MASE 를 달성했습니다.
  • Favorita 데이터셋: 평균 SMAPE 37.03 및 평균 MASE 1.79 달성.
  • 스낵 데이터셋: 평균 SMAPE 48.52 및 평균 MASE 1.49 달성.
• 안정성: 제안된 방법은 10 가지 다른 무작위 가중치 초기화를 통해 오류 지표의 가장 낮은 표준 편차와 바이올린 플롯에서 좁은 오류 분포를 보여줌으로써 우수한 안정성을 입증했습니다.
• 효율성: ARIRBES 조기 종료 메커니즘은 훈련 시간을 획기적으로 단축했습니다. Favorita 데이터셋의 경우 훈련 시간이 조기 종료 없이 약 19,841 초에서 약 5,120 초로 감소했습니다. 스낵 데이터셋의 경우 약 10,190 초에서 약 2,635 초로 감소했으며, 예측 정확도는 유지되거나 약간 향상되었습니다.

의의 및 주장
본 논문은 제안된 솔루션이 수요 예측에서 "단일 모델이 모두에 적합하지 않다"는 문제에 대한 강력하고 효과적인 접근 방식을 제공한다고 주장합니다. 강화 학습의 적응성과 심층 학습 (CNN/RNN) 의 특징 추출 능력을 활용함으로써, 이 시스템은 변화하는 데이터 역학에 지속적으로 적응할 수 있습니다. 저자들은 정확도와 안정성 측면에서 기존 최첨단 정적 선택 및 앙상블 방법보다 우월하다고 주장합니다.

본 연구는 훈련 및 추론 동안 전체 위원회를 실행해야 하는 필요성으로 인해 계산적으로 집약적이지만, ARIRBES 전략의 도입으로 훈련 과정이 훨씬 더 실현 가능해졌다고 결론지었습니다. 저자들은 겸손하게 향후 작업으로 거시경제 변수를 통합하고, 데이터셋을 더 동질적인 하위 그룹으로 세분화하며, 대규모 산업 응용을 위한 계산 비용을 추가로 최적화할 수 있음을 언급합니다.