PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning

"PALCAS: 연방 강화 학습을 활용한 자율 주행 차량을 위한 우선순위 인지형 지능형 차선 변경 조언 시스템"에 대한 상세한 기술 요약입니다.

1. 문제 제기

도시 고속도로, 특히 진입로와 진출로가 빈번한 도로에서의 차선 변경은 횡방향 및 종방향 차량 제어의 조정을 포함하는 복잡한 의사결정 작업입니다. 기존 접근 방식은 다음과 같은 여러 과제를 안고 있습니다:

• 안전성과 효율성: 부적절한 차선 변경은 고속도로 사고의 10% 이상과 교통 체증의 10% 를 유발합니다. 인간 운전자는 종종 지각 오류로 인해 중요한 의사결정을 내리지 못합니다.
• 기존 AI 의 한계:
  • 단일 에이전트 시스템: 종종 자차량 (ego vehicle) 의 효율성에만 초점을 맞추어 전역적인 교통 조율을 간과합니다.
  • 중앙 집중식 다중 에이전트 시스템 (MARL): 조율을 개선하지만, 데이터 프라이버시 위험, 높은 계산 오버헤드, 그리고 대규모 이질적 네트워크에서의 확장성 부족으로 고통받습니다.
  • 연방 학습 (FL) 의 격차: 자율 주행 분야의 기존 FL 응용은 주로 충돌 회피와 같은 저수준 운동 제어에 집중하며, 필수 및 임의 차선 변경을 균형 있게 고려하는 통합된 고수준 다중 에이전트 차선 변경 의사결정에는 미치지 못합니다.

2. 방법론: PALCAS 프레임워크

저자들은 연방 다중 에이전트 강화 학습 (Fed-MARL) 프레임워크를 기반으로 구축된 우선순위 인지형 차선 변경 조언 시스템 (PALCAS) 을 제안합니다.

시스템 아키텍처

• 인프라: 고속도로는 각기 로컬 RSU (Roadside Unit) 가 관리하는 클러스터로 세그먼트화됩니다. RSU 는 해당 커버리지 내의 연결 및 자동화 차량 (CAV) 을 조정하는 에이전트 역할을 합니다.
• 통신:
  • V2X (차량 대 모든 것): CAV 는 로컬 RSU 와 통신합니다.
  • I2I (인프라 대 인프라): RSU 는 서로 통신하여 전역 교통 통계를 공유합니다.
  • 연방 학습: RSU 는 로컬 데이터를 사용하여 로컬 모델을 훈련하고, 주기적으로 파라미터를 중앙 서버에 업로드하여 집계 (FedAvg) 한 후 업데이트된 전역 모델을 다운로드합니다. 이는 지식 공유를 가능하게 하면서도 데이터 프라이버시를 보호합니다.

수학적 공식화

• 문제 유형: 시스템은 분산 부분 관측 가능 마르코프 의사결정 과정 (Dec-POMDP) 으로 공식화됩니다.
• 알고리즘: 시스템은 하이브리드 액션 공간을 처리하기 위해 파라미터화된 심층 Q-네트워크 (PDQN) 를 활용합니다:
  • 이산 액션: 왼쪽 차선 변경, 오른쪽 차선 변경, 또는 차선 유지.
  • 연속 액션: 가속 또는 감속 명령.
• 상태 공간: 다음과 같은 계층적 표현을 융합합니다:
  • 미시적: 자차량 상태 (위치, 속도, 가속도) 및 주변 차량 상태.
  • 거시적: 클러스터 수준의 교통 밀도 및 평균 속도.
  • 전역: I2I 통신을 통해 공유된 집계 교통 통계.

보상 함수 설계

핵심 혁신은 안전성, 효율성, 편안함, 그리고 목적지 긴급성을 균형 있게 조정하도록 설계된 우선순위 안내 보상 함수 ($R_k$) 입니다:
$$R(t)_k = \sum (\iota r_e + \zeta r_s + \xi r_c + \lambda r_{lc} + \psi r_d)$$

1. 효율성 보상 ($r_e$): 최대 속도 한도에 가까운 속도 유지 및 클러스터 수준의 흐름 최적화를 장려합니다.
2. 안전성 보상 ($r_s$): 충돌을 방지하기 위한 최소 안전 종방향 및 횡방향 거리를 계산하는 책임 민감 안전 (RSS) 모델에 기반합니다.
3. 편안함 보상 ($r_c$): $1.47 m/s^2$ 을 초과하는 가속/감속을 패널티로 부과합니다.
4. 우선순위 안내 차선 변경 보상 ($r_{lc}$): 새로운 구성 요소입니다. 이는 다음과 같은 요소에 기반하여 차선 변경 의사결정을 동적으로 가중치 처리합니다:
   • 긴급성 ($u_t$): 진출로에 도달하려는 차량은 올바른 차선에 있지 않을 경우 음수 보상을 받으며, 이는 진출까지 남은 시간과 차선 변경에 필요한 시간을 비교하여 계산됩니다.
   • 스테이징 패널티 ($p_{stage}$): 차량이 진출로 차선을 너무 일찍 점유하는 것을 억제하여, 통과 차량을 위해 빠른 차선을 개방 상태로 유지합니다.
5. 데드락 패널티 ($r_d$): 램프 차량이 가속 차선 끝에 갇히는 것을 방지합니다.

3. 주요 기여

1. 유례없는 프레임워크: PALCAS 는 대규모 협력 의사결정을 위한 연방 학습 패러다임을 사용하여 필수 및 임의 차선 변경을 공동으로 해결하는 최초의 작업입니다.
2. 계층적 상태 표현: 미시적 차량 데이터를 거시적 클러스터 수준 및 전역 교통 정보와 통합하여 상황 인식을 향상시킵니다.
3. 우선순위 안내 보상 메커니즘: 기동 실행 가능성과 목적지 긴급성을 통합하여, 차량이 진출로에 근접한 정도와 현재 교통 조건에 기반하여 동적으로 차량을 우선순위화합니다.
4. 확장 가능한 프라이버시 보호 아키텍처: 원시 데이터를 공유하지 않고도 에이전트들이 보지 못한 시나리오에서 일반화할 수 있게 하는 연방 접근 방식을 시연하며, 이질적 교통 환경에 적합합니다.

4. 시뮬레이션 결과

시스템은 2.4km, 5 차선 고속도로 시나리오에서 SUMO(교통 시뮬레이션) 와 Eclipse MOSAIC(V2X 통신) 를 사용하여 평가되었습니다. 이는 다음과 비교되었습니다:

• 베이스라인 1: 중앙 집중식 MARL (모든 것을 제어하는 단일 에이전트).
• 베이스라인 2: 연방 학습이 없는 분산 MARL (지식 공유 없음).

주요 성능 지표 (60% CAV 침투율 시):

• 교통 효율성: PALCAS 는 평균 속도 30.03 m/s를 달성하여 베이스라인 1 보다 3.12%, 베이스라인 2 보다 6.86% 더 우수한 성과를 거두었습니다.
• 안전성 (충돌률): PALCAS 는 베이스라인 1 대비 19.67%, 베이스라인 2 대비 75.5% 충돌률을 감소시켰습니다.
• 주행 편안함: 가속도 궤적이 $[-1, 1] m/s^2$ 범위 내에서 유지되며 훨씬 더 매끄러웠으며, 베이스라인은 $[-4.5, 2.6] m/s^2$ 사이에서 변동했습니다.
• 목적지 성공률 (DSR): 60% 침투율에서 PALCAS 는 베이스라인 1 대비 132.94%, 베이스라인 2 대비 113.9% DSR 을 개선하여 진출로 놓침을 효과적으로 방지했습니다.
• 합류 성공률 (MSR): PALCAS 는 93% 이상의 성공률을 달성하여 베이스라인과 유사했으나, 베이스라인 2 는 단기적 (myopic) 로컬 최적화 덕분에 MSR 에서 약간 더 우수한 성과를 보였습니다.

어블레이션 연구:
우선순위 안내 보상 구성 요소를 제거하면 성능이 급격히 저하되어, 복잡한 다중 차량 기동을 조정하고 교통 체증을 방지하는 데 있어 그 구성 요소의 결정적 역할을 확인시켰습니다.

5. 의의

• 실제 적용 가능성: 이 시스템은 현재 중앙 집중식 또는 단일 에이전트 시스템이 어려움을 겪는 진출로가 빈번한 도시 고속도로의 특정 과제를 해결합니다.
• 프라이버시 및 확장성: 연방 학습을 사용하여 PALCAS 는 데이터 프라이버시를 훼손하거나 대규모 중앙 집중식 컴퓨팅 파워를 요구하지 않고도 협력 자율 주행 시스템을 배포할 수 있는 실현 가능한 경로를 제공합니다.
• 안전성과 효율성의 균형: 우선순위 인지 보상 함수는 교통 흐름 유지 (빠른 차선 유지) 와 차량이 목적지에 도달하도록 보장 (진출로 차선 이동) 하는 사이의 상충 관계를 성공적으로 해결하여 교통 체증과 사고를 크게 감소시킵니다.
• 실시간 실현 가능성: 90% 의 의사결정에서 추론 시간이 100ms 미만으로 측정되어, 시스템이 실시간 배포에 적합함을 나타냅니다.

결론적으로, PALCAS 는 연방 학습과 우선순위 인지 강화 학습을 결합함으로써 차세대 자율 차선 변경 관리를 위한 강력하고 확장 가능하며 안전한 프레임워크를 입증합니다.