Beyond Scalar Rewards: Distributional Reinforcement Learning with Preordered Objectives for Safe and Reliable Autonomous Driving

논문 요약: 사전 순서 (Preorder) 기반 분산 강화학습을 통한 안전하고 신뢰할 수 있는 자율주행

1. 문제 정의 (Problem Statement)

자율주행 (Autonomous Driving, AD) 은 안전, 효율성, 편안함 등 종종 상충되는 다중 목표를 동시에 달성해야 하는 복잡한 문제입니다. 기존 강화학습 (RL) 은 이러한 목표들을 단순한 가중치 합 (Weighted Summation) 으로 하나의 스칼라 보상 (Scalar Reward) 으로 축소하여 처리합니다.

• 한계점: 스칼라화 과정은 목표 간의 상대적 우선순위를 모호하게 만들며, 안전과 같은 치명적 제약 조건을 희생하여 효율성이나 편안함을 우선시하는 비이상적인 정책 (Policy) 을 학습하게 만듭니다.
• 기존 MORL 의 부족: 다중 목표 강화학습 (MORL) 이나 위계적 보상 (Hierarchical Rewards) 을 도입한 연구들도 최종 의사결정 단계에서 여전히 스칼라 값으로 집계하거나, 학습 과정에서 목표 간 우선순위를 명확히 반영하지 못해 안전성 보장에 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 목표 간의 우선순위를 학습 과정 자체에 통합하기 위해 사전 순서 (Preorder) 개념을 도입한 새로운 프레임워크를 제안합니다.

가. 사전 순서 다중 목표 MDP (Pr-MOMDP)

• 기존 MOMDP 를 확장하여 보상 구성 요소 간에 사전 순서 관계 ($\succeq$) 를 정의합니다.
• 이는 목표들을 단순히 나열하는 것을 넘어, 어떤 목표가 다른 목표보다 우선시되어야 하는지 (예: 안전 > 위험 완화 > 진행 > 편안함) 를 그래프 형태로 유연하게 표현할 수 있게 합니다.

나. 분산형 행동 비교: 양적 우위 (Quantile Dominance, QD)

• RL 에이전트는 보상이 아닌 가치 함수 (Value Function) 를 기반으로 행동합니다. 가치 함수의 불확실성을 고려하기 위해 분산형 강화학습 (Distributional RL) 을 적용합니다.
• QD (Quantile Dominance): 행동의 반환 분포 (Return Distribution) 를 단일 통계량 (평균 등) 으로 축소하지 않고, Implicit Quantile Network (IQN) 을 통해 전체 분포를 추정합니다.
• 각 목표에 대해 행동 간 비교 시, 이상적인 분포 (모든 행동 중 각 분위수에서 최대 반환) 와의 Wasserstein-1 거리를 계산하여 행동의 '우위'를 판단합니다. 이는 노이즈에 강인하고 분포의 구조를 보존합니다.

다. 사전 순서 기반 행동 선택 및 학습 (Pr-IQN)

• 최적 행동 부분집합 추출 (Algorithm 1): 목표의 위계 구조 (Topological Sort) 를 따라 상위 목표에서 하위 목표 순으로 행동 관계를 평가합니다. 상위 목표에서 우세하지 않은 행동은 하위 목표 평가 대상에서 제외됩니다. 이를 통해 각 목표 수준에서 '우세하지 않은 (Non-dominated)' 행동들의 최적 부분집합을 도출합니다.
• 학습 및 추론:
  • 학습 (Training): 시간차 (TD) 학습 시, 하위 목표의 최적 보상을 추구하더라도 상위 목표의 제약을 위반하는 행동을 타겟으로 선택하지 않도록 최적 행동 부분집합을 마스크 (Mask) 로 사용합니다.
  • 추론 (Inference): 최종 결정 시, 하위 목표 (리프 노드) 에 해당하는 최적 행동 부분집합에서 균일하게 샘플링하여 행동을 선택합니다.

3. 주요 기여 (Key Contributions)

1. Pr-MOMDP 제안: 목표 간 위계적 우선순위를 보상 벡터에 직접 인코딩하는 새로운 MDP 형식화.
2. Quantile Dominance (QD): 분산형 가치 추정을 기반으로 목표 간 우선순위를 고려한 행동 비교 메트릭 개발.
3. Pr-IQN 알고리즘: IQN 아키텍처를 확장하여, 학습과 추론 모두에서 사전 순서 관계를 준수하는 최적 행동 부분집합을 활용하는 구체적인 알고리즘 구현.
4. CARLA 환경 실험: 복잡한 도시 교통 시나리오에서 기존 방법론 대비 우수한 성능 입증.

4. 실험 결과 (Results)

CARLA 시뮬레이션 환경에서 다양한 교통 밀도 (0.5, 0.75, 1.0) 를 가진 교차로 시나리오를 통해 실험을 수행했습니다.

• 성능 향상: 제안된 Pr-IQN은 기존 IQN 및 앙상블 IQN (Ensemble-IQN) 베이스라인 대비 다음과 같은 개선을 보였습니다.
  • 성공률 (Success Rate): 교통 밀도 0.51.0 에서 IQN 대비 **7.7%20.3%** 향상, Ensemble-IQN 대비 11.0%~14.7% 향상.
  • 안전성: 충돌률 (Collision Rate) 과 오프로드 (Off-road) 발생률이 유의미하게 감소했습니다.
  • 개별 목표 최적화: 안전 (Safety), 위험 (Risk), 차선 유지 (Lane-keeping) 등 상위 목표의 누적 보상에서 최대 **61%**까지 개선되었습니다.
• 통계적 안정성: RLiable 라이브러리를 활용한 분석 결과, Pr-IQN 은 **IQM (Interquartile Mean)**이 가장 높고 Optimality Gap이 가장 낮아, 학습의 안정성과 재현성이 뛰어남을 입증했습니다.
• Ablation Study: 스칼라 집계나 단순 평균을 사용하는 방식은 위계적 구조를 무너뜨려 성능이 저하되었으며, 분산형 비교 (QD) 와 학습 중 사전 순서 반영이 성능 향상의 핵심 요소임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 자율주행 시스템의 신뢰성을 높이기 위해 보상 함수의 구조적 우선순위를 학습 알고리즘의 핵심에 통합했다는 점에서 의의가 큽니다.

• 안전성 보장: 안전과 같은 고우선순위 목표를 희생하지 않고 하위 목표를 최적화할 수 있도록 보장하여, 안전-중요 (Safety-critical) 제약 조건을 위반하는 행동을 근본적으로 방지합니다.
• 확장성: 단순한 가중치 튜닝의 어려움을 해결하고, 복잡한 규칙 기반 (Rule-based) 시스템 없이도 RL 에이전트가 인간이 의도한 목표 우선순위를 자연스럽게 학습하도록 합니다.
• 미래 전망: 이 프레임워크는 더 복잡한 위계 구조로 확장 가능하며, Car2X 등 외부 시스템과 결합하여 특정 목표 (예: 신호등 준수) 를 평가하는 하이브리드 설정에도 적용할 수 있는 잠재력을 가집니다.

결론적으로, 본 논문은 분산형 강화학습과 사전 순서 기반 의사결정을 결합함으로써, 기존 RL 기반 자율주행 시스템의 한계를 극복하고 더 안전하고 견고한 주행 정책을 학습하는 새로운 패러다임을 제시합니다.