RE-SAC: Disentangling aleatoric and epistemic risks in bus fleet control: A stable and robust ensemble DRL approach

논문 요약: 버스 fleet 제어에서 알레토릭 (Aleatoric) 과 에피스테믹 (Epistemic) 리스크의 분리 및 RE-SAC 프레임워크

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 도시 대중교통 시스템에서 버스 번들링 (Bus Bunching, 여러 대의 버스가 동시에 도착하는 현상) 은 승객 대기 시간 증가와 서비스 불규칙성을 초래하는 주요 문제입니다. 이를 해결하기 위해 딥 강화학습 (DRL) 기반의 버스 홀딩 (Holding, 정류장에서의 대기 시간 조절) 제어 기법이 도입되고 있습니다.
• 핵심 문제: 기존 Actor-Critic 알고리즘 (예: SAC) 은 교통 환경의 높은 변동성 (Stochasticity) 하에서 Q-value 불안정성과 가치 붕괴 (Value Collapse) 현상을 자주 겪습니다.
• 원인 분석: 저자들은 이 불안정성의 근본 원인이 두 가지 구조적으로 다른 불확실성의 혼동 (Conflation) 에 있다고 지적합니다.
  1. 알레토릭 불확실성 (Aleatoric Uncertainty): 환경 자체의 복원 불가능한 무작위성 (예: 신호 체계, 승객 도착의 급변).
  2. 에피스테믹 불확실성 (Epistemic Uncertainty): 경험 버퍼 (Replay Buffer) 의 데이터 부족으로 인한 모델 지식의 결여 (예: 극단적인 번들링 상황이나 희귀한 교통 사고).
• 현재의 한계: 기존 DRL 은 이 두 리스크를 하나로 취급합니다. 이로 인해 노이즈가 많은 상태에서도 과도하게 보수적이 되어 (과소평가) 최적의 행동을 포기하거나, 데이터가 부족한 영역에서 위험하게 낙관적인 추정을 하는 "Q-value poisoning"이 발생합니다.

2. 제안 방법론: RE-SAC (Robust Ensemble Soft Actor-Critic)

저자는 두 가지 불확실성을 명시적으로 분리하여 처리하는 RE-SAC 프레임워크를 제안합니다.

• 이론적 기반:

  • Robust MDP (RMDP): 최악의 경우 (Worst-case) 를 가정하는 강건한 의사결정 과정을 기반으로 합니다.
  • 정규화 (Regularization) 와 강건성의 동치성: Osogami 등의 연구를 바탕으로, 강건한 최적화 문제를 함수 공간의 정규화 문제로 변환하여 계산 효율성을 높였습니다.

• 핵심 메커니즘:

  1. 알레토릭 리스크 완화 (IPM 기반 가중치 정규화):

     • 환경의 내재적 노이즈에 대한 강건성을 확보하기 위해, 가치 함수 (Value Function) 의 Lipschitz 연속성을 제한합니다.
     • **Integral Probability Metric (IPM)**의 쌍대성 (Duality) 을 활용하여, 신경망 가중치의 $\ell_1$-norm 을 패널티로 부과합니다.
     • 이는 내부 루프의 상태 교란 (State Perturbation) 을 수행하지 않고도 분석적으로 강건한 하한을 제공하며, 노이즈에 의한 가치 추정의 급격한 변동을 억제합니다.

  2. 에피스테믹 리스크 완화 (다양한 Q-Ensemble):

     • 데이터가 희소한 영역 (OOD, Out-of-Distribution) 에서의 과신 (Overconfidence) 을 방지하기 위해 K 개의 독립적인 Q-네트워크 앙상블을 유지합니다.
     • 앙상블 내 예측값의 **분산 (Variance)**을 에피스테믹 불확실성의 지표로 사용하여, 데이터가 부족한 영역에서는 보수적인 (Pessimistic) 보상을 적용합니다.

  3. 분리된 리스크 통합 (Robust-Ensemble Value Operator):

     • 기존 단일 패널티 방식의 실패 (과도한 비관주의) 를 막기 위해, 벨만 업데이트 식을 다음과 같이 분리된 두 항으로 구성합니다:
       $$T^{REV} = R + \gamma (\mathbb{E}[V] - \lambda_{epi} \cdot \Gamma_{epi} - \lambda_{ale} \cdot \Gamma_{ale})$$
     • $\Gamma_{epi}$ (앙상블 분산): 데이터 부족에 대한 패널티.
     • $\Gamma_{ale}$ (가중치 정규화): 환경 노이즈에 대한 패널티.
     • 이 분리를 통해 잘 탐색되었지만 노이즈가 많은 상태에서는 Q-value 를 과소평가하지 않으면서, 데이터가 없는 상태에서는 보수적으로 대응할 수 있습니다.

• 알고리즘 구현:

  • Soft Actor-Critic (SAC) 아키텍처에 통합되었으며, 상태 표현에 카테고리 임베딩 (정류장 ID, 버스 ID 등) 을 사용하여 데이터 밀도 기반의 불확실성 추정을 용이하게 합니다.
  • Actor 는 Lower Confidence Bound (LCB) 목표를 사용하여 앙상블 간 불일치가 큰 행동을 피하도록 학습합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 분리 (Theoretical Disentanglement): 대중교통 제어에서 알레토릭과 에피스테믹 리스크를 분리해야 할 필요성을 정형화하고, 이를 해결하기 위한 수학적 근거를 제시했습니다.
2. 분석적 강건성 (Analytic Robustness): 비용이 많이 드는 내부 루프 최적화 없이 IPM 기반의 가중치 정규화를 통해 계산 효율적인 강건성을 달성했습니다.
3. 실험적 안정성 (Empirical Stability): 기존 SAC, DSAC, BAC 등 다양한 베이스라인 대비 우수한 성능과 학습 안정성을 입증했습니다. 특히 "과소평가 함정 (Underestimation Trap)"을 방지하는 데 성공했습니다.

4. 실험 결과 (Results)

• 실험 환경: 22 정류장, 양방향으로 운영되는 현실적인 버스 시뮬레이션 환경 (13 시간 운영, stochastic 승객 수요 및 교통 속도).
• 성능 비교:
  • 누적 보상: RE-SAC 은 약 $-0.4 \times 10^6$의 가장 높은 보상을 기록했습니다. (Vanilla SAC: $-0.55 \times 10^6$, 에피스테믹 전용 제거 모델: $-1.2 \times 10^6$).
  • 학습 안정성: "에피스테믹 전용 (Epistemic-Only)" 모델은 학습 중 완전히 붕괴 (Catastrophic Collapse) 하는 것을 확인했습니다. 이는 노이즈를 데이터 부족으로 오인하여 과도한 비관주의를 유발했기 때문입니다. 반면 RE-SAC 은 두 리스크를 분리하여 안정적인 수렴을 보였습니다.
• 희귀 상태 (OOD) 에서의 강건성:
  • 마할라노비스 희귀도 (Mahalanobis Rareness) 분석을 통해 희귀한 상태에서의 Q-value 추정 오차를 평가했습니다.
  • RE-SAC 은 희귀 상태에서도 Oracle MAE(평균 절대 오차) 가 1647로, SAC(4343) 보다 62% 이상 정확도가 높았습니다. 이는 RE-SAC 이 훈련 분포 밖의 극단적인 상황에서도 신뢰할 수 있는 추정을 수행함을 의미합니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 연구는 DRL 을 실제 대중교통 시스템에 적용할 때 발생하는 "가치 붕괴" 문제를 해결하는 실용적인 솔루션을 제공합니다.
• 이론적 통찰: 단순한 정규화나 앙상블 기법만으로는 해결되지 않는 복잡한 불확실성 문제를, 리스크의 종류에 따라 분리하여 처리해야 함을 증명했습니다.
• 향후 전망: 다중 노선 간 연계 제어, 적응형 불확실성 계수 조정, 분포 기반 DRL(Distributional RL) 과의 결합 등을 통해 도시 교통 시스템의 극단적 리스크 관리 능력을 더욱 고도화할 수 있을 것으로 기대됩니다.

이 논문은 불확실성 하의 강화학습이 실제 복잡한 교통 시스템에서 어떻게 안정적으로 작동할 수 있는지에 대한 중요한 통찰과 방법론을 제시합니다.