Uncertainty-Aware and Temporally Regulated Expert Advice in Reinforcement Learning for Autonomous Driving

기술 요약: 자율 주행을 위한 강화 학습에서의 불확실성 인지 및 시간적 조절 기반 전문가 조언

문제 정의
엔드 투 엔드(End-to-end) 강화 학습(RL)은 에이전트가 환경과의 직접적인 상호작용을 통해 복잡하고 희귀하며 가려진 시나리오에 적응할 수 있게 함으로써 자율 주행(AD)의 유망한 패러다임을 제공합니다. 그러나 RL이 효과적인 정책을 학습하기 위해 필수적인 내재적 탐색(Exploration)은 에이전트가 충돌이나 도로 이탈을 초래할 수 있는 새로운 행동을 경험해야 하므로 상당한 안전 위험을 수반합니다. 또한, 광범위한 탐색은 샘양 효율성(Sample efficiency)을 저해합니다. 제약 마르코프 결정 과정(CMDP)이나 리아푸노프 함수(Lyapunov functions)와 같은 기존의 안전 메커니즘은 종종 수작업으로 정의된 위험 정의와 복잡한 최적화에 의존하며, 정책을 안전한 행동으로 능동적으로 유도하지 못합니다. 전문가의 시연(Expert demonstrations)은 학습을 가속화할 수 있지만, 정적인 사전 학습(Static pre-training)은 에이전트를 불안전한 탐색에 취약하게 만들며, 인간 참여형(Human-in-the-loop) 시스템은 확장성이 부족합니다. 상태 불확실성에 따라 전문가의 조언을 요청하는 기존 방식들은 에이전트의 특정 행동에 의해 유발되는 위험을 간과하며, 조언의 빈도와 지속 시간을 조절하는 메커니즘이 부족하여 과도한 의존 또는 불충분한 교정 문제를 야기합니다.

방법론
저자들은 오프 폴리시(Off-policy) 암묵적 분위수 네트워크(Implicit Quantile Network, IQN) 백본에 전문가의 조언을 통합하는 불확실성 인지 프레임워크를 제안합니다. 이 접근 방식의 핵심은 세 가지 상호 연결된 구성 요소로 이루어집니다:

1. 불확실성 추정: 프레임워크는 조언을 트리거하기 위해 두 가지 유형의 불확실성을 구분합니다:

   • 인식론적 불확실성 (Epistemic Uncertainty, 제한된 지식): 리플레이 버퍼의 서로 다른 서브셋으로 학습된 IQN 헤드들의 앙상블을 사용하여 측정됩니다. 저자들은 두 가지 공식을 제 제안합니다: 앙상블 헤드 간의 수익 분포 간의 와서스테인 거리($W_1$)에 기반한 방식과, 헤드 간 조건부 가치 위험(CVaR) 추정치의 분산에 기반한 위험 민감형 방식입니다.
   • 알레아토리 불식성 (Aleatoric Uncertainty, 환경적 위험): 에이전트가 실행하려는 특정 행동에 대한 예측 수익 분포의 확산(Spread)에서 도출됩니다. 이는 센서 노이즈나 가림 현상과 같은 내재적인 환경적 무작위성을 포착합니다.

2. 적응형 쿼리 메커니즘: 고정된 임계값을 사용하는 대신, 시스템은 과거 불확실성 값들의 이동 버퍼(Rolling buffers)로부터 도출된 적응형 임계값을 사용합니다. 인식론적 또는 알레아토리 불식성이 각각의 버퍼에 대한 경험적 $\beta$-백분위수를 초과할 때 조언이 트리거됩니다. 이는 트리거링 메커니즘이 에이전트의 자신감 및 학습 역학에 따라 진화하도록 보장합니다.

3. 커밋먼트-쿨다운(Commitment–Cooldown) 전략: 과도한 의존을 방방지하고 에이전트가 일관된 기동을 내재화할 수 있도록, 프레임 much 프레임워크는 조언의 지속 시간을 조절합니다. 일단 트리거되면, 에이전트는 단일 단계가 아닌 "커밋먼트(Commitment)" 기간 동안 전문가 정책을 따릅니다. 이후 에이전트가 독립적으로 작동하는 "쿨다운(Cooldown)" 기간이 뒤따릅니다. 또한, 통계적 근거가 에이전트 자신의 정책이 더 높은 안전 조정 수익을 낸다고 시사할 경우 에이전트가 전문가로부터 이탈할 수 있도록 하는 확률적 조기 종료 휴리스틱을 통해, 불필요한 의존을 방지합니다.

4. 통합: 전문가 경험과 에이전트 경험은 공유 리플레이 버퍼에 저장됩니다. 버퍼를 분리하거나 전문가의 행동에 강제로 높은 보상을 부여하는 방식과 달리, 이 방법은 전문가의 전이를 동일한 보상 함수 하에서 평가되는 표준 샘플로 취급하여, 정책이 역량을 갖춤에 따라 자연스럽게 전문가를 능가할 수 있도록 합니다.

주요 기여

• 불확실성 인지 가이드: 에이전트가 높은 인식론적 또는 알레아토리 불식성에 따라 조언을 요청하며, 전문가 궤적의 효율적인 재사용을 위해 공유 리플레이 버퍼를 활용하는 프레임워크.
• 이중 불확실성 추정: 수익 분산을 통해 알레아토리 불식성을 도출하고, 앙상블 부트스트래핑을 통해 인식론적 불식성을 도출하여 행동 관련 위험을 명시적으로 고려하는 방법.
• 시간적 조절: 장기적인 의존성을 방지하면서 효과적인 가이드를 균형 있게 제공하는 커밋먼트-쿨다운 전략 및 확률적 조기 종료 휴리스틱.
• 위험 민감형 통합: 전체 수익 분포를 모델링하기 위해 IQN을 사용하여, 위험한 상태와 탐색이 부족한 상태를 모두 감지할 수 있는 위험 민감형 의사결정 구현.

실험 결과
실험은 무신호 교차로 주행 과제(무작위 교통 밀도 포함)를 대상으로 CARLA 시뮬레이터에서 수행되었습니다. 제안된 방법은 표준 IQN 베이스라인 및 다양한 절제 실험(Ablation) 구성과 벤치마킹되었습니다.

• 성능 향상: 최적의 구성(CVaR 기반 불확실성, 50% 전문가 예산, 5단계 커밋먼트/쿨다운 기간)은 IQN 베이스라인을 능가하여 성공률을 5~7% 향상시켰으며, 모든 교통 밀도에서 실패율을 감소시켰습니다.
• 절제 실험 통찰:
  • 커밋먼트/쿨다운: 시간적 일관성(예: 5단계 커밋먼트)은 단일 단계 개입에 비해 정책 학습을 유의미하게 안정화했습니다.
  • 전문가 예산: 50% 예산이 최적의 균형을 제공했습니다. 더 높은 예산(75%)은 과도한 의존을 초래하여 일반화 성능을 저하시켰습니다.
  • 불확실성 공식: CVaR 기반 인식론적 불식성 공식은 분포 노이즈를 더 잘 필터링하고 위험 민감형 분위수를 강조함으로써 Wasserstein 방식보다 일관되게 우수한 성능을 보였습니다.
  • 런타임 안전성: 알레아토리 불식성을 런타임 안전 가드로 사용(불식성이 90번째 백분위수를 초과할 때 감속 후 정지 트리거)함으로써 밀집된 교통 상황에서의 성공률을 더욱 높였습니다.
• 통계적 견고성: RLible 지표를 통한 분석 결과, 제안된 방법은 평균 성능을 높였을 뿐만 아니라 베이스라인에 비해 더 높은 통계적 안정성(높은 사분위수 평균)과 감소된 최적성 격차(Optimality gap)를 입증했습니다.

의의
본 논문은 위험 민감형 불확실성 추정과 조절된 전문가 통합을 결 결합함으로써, 센서 기반 RL 정책 학습을 위한 더 안전하고 효율적인 탐색이 가능함을 주장합니다. 정적인 안전 제약과 조절되지 않은 전문가 개입의 한계를 해결함으로써, 이 프레임워크는 외부 가이드에 대한 지속적인 의존성을 만들지 않으면서도 에이전트가 학습된 정책 내에 안전성을 내재화할 수 있도록 합니다. 결과는 이 접근 방식이 복잡한 무신호 교차로 시나리오에서 탐색 안전성과 샘플 효율성 사이의 트레이드오프를 효과적으로 조절할 수 있음을 보여줍니다.