Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach

기술 요약: 형평성을 위한 인간 중심적 교통 신호 제어

문제 정의
다양한 이동 수단이 혼재된 회랑(corridor)에서 교통 신호를 조정하는 것은 상당한 과제를 안겨줍니다. 기존의 다중 에이전트 심층 강화 학습(DRL) 접근 방식은 주로 차량 중심으로 이루어져 있어, 보행자, 자전거 이용자 및 대중교통 승객을 소홀히 하는 경 경향이 있습니다. 또한, 이러한 방법들은 다중 교차로 조정 과정에서 발생하는 고차원의 이산 액션 공간(discrete action spaces)을 처리하는 데 어려움을 겪습니다. 전통적인 적응형 시스템(예: SCATS, SCOOUT)은 수동 조정이 필요하며 비동력 이동 수단 사용자들을 충분히 수용하지 못하는 경우가 많습니다. 본 연구가 다루는 핵심 문제는, 다중 에이전트 환경 내에서 이산 액션 공간의 복잡성을 효과적으로 관리하면서도, 여행자 수준의 형평성(모든 교통 수단 간의 공정성)을 명시적으로 최적화할 수 있는 확장 가능한 인간 중심적 프레임워크의 부재입니다.

방법론: MA2B-DDQN
저자들은 중규모 회랑 네트워크를 위해 설계된 협력적 다중 에이전트 DRL 프레임워크인 MA2B-DDQN(Multi-Agent Action-Branching Double Deep Q-Network)을 제안합니다. 이 방법론은 다섯 가지 핵심 요소로 구성됩니다:

1. 환경 및 상태 표현:

   • 시뮬레이션은 자동차, 버스, 보행자가 혼합된 교통 상황을 모델링한 호주 멜버른의 실제 회랑을 반영하는 PTV VISSIM을 활용합니다.
   • 상태 벡터 $S_t$는 세 가지 요소의 결합으로 이루어집니다: 교통 상황(차로 셀당 차량 점유율, 속도, 가속도 및 승객 수), 보행자 정보(구역별 대기 인원), 그리고 현재 신호 단계(원-핫 인코딩됨).

2. 액션 브랜칭(Action Branching) 구조:

   • 다중 에이전트의 이산 액션 공간에서 발생하는 "차원의 저주"를 해결하기 위해, 액션 공간을 $n+1$ 차원($n$은 교차로 수)으로 분해합니다.
   • 로컬 액션 ($n$ 차원): 각 에이전트는 다음 두 단계 사이의 녹색 신호 시간 배분 비율($p_{i,1}$)을 독립적으로 결정합니다.
   • 글로벌 액션 (1 차원): 단일 글로벌 액션은 전체 회랑에 대해 다가올 두 단계의 총 지속 시간($C$)을 선택합니다.
   • 이러한 분해를 통해 모델은 표준적인 결합 액션(joint-action) DRL보다 효율적으로 이산적 결정(단계 선택 및 지속 시간)을 처리할 수 있습니다.

3. 인간 중심적 보상 메커니즘:

   • 차량 대기 행렬 길이 또는 처리량에 기반한 전통적인 보상과 달리, 이 보상 함수는 총 지연된 개인의 수에 페널티를 부여합니다.
   • 이는 보행자, 차량 탑승자, 대중교통 승객의 지연을 모두 합산합니다. 차량 속도가 임계값(5 km/h) 미만으로 떨어지거나 보행자가 횡단 구역에서 대기할 때 지연이 발생한 것으로 간주합니다.
   • 보상은 $r_t = -(w_{veh} \sum N^{veh}_{i,t} + w_{ped} \sum N^{ped}_{j,t})$로 공식화되어, 단순한 차량 흐름이 아닌 영향을 받는 여행자의 감소를 우선시합니다.

4. 네트워크 아키텍처:

   • 모델은 Q-값 과대평가를 완화하기 위해 Double DQN (DDQN) 프레임워크를 채택합니다.
   • 네트워크는 공유 특징 추출기(ReLU와 Layer Normalization이 적용된 두 개의 밀집층)를 사용하며, 이는 $n+1$개의 병렬 출력 헤드(각 액션 차원당 하나)로 연결됩니다.
   • 액션은 각 브랜치의 Q-값에 대한 $\arg\max$를 통해 선택됩니다.

5. 학습 알고리즘:

   • 시스템은 중앙 집중식 훈련 및 분산 실행(CTDE) 방식을 사용합니다. 에이전트들은 정책을 업데이트하는 동안 전역 정보를 공유하지만, 실행 시에는 로컬 액션을 수행합니다.
   • 손실 함수는 모든 $n+1$개 액션 차원의 손실 평균이며, Adam 옵티마이저를 사용하여 최적화됩니다.

주요 기여

1. 인간 중심적 형평성: 본 연구는 모든 교통 네트워크 참여자(개인 차량 탑승자, 대중교통 승객, 자전거 이용자 및 보행자)를 동등하게 취급하고, 지연된 개인의 감소를 명시적으로 최적화하는 선제적 TSC 접근 방식을 도입했습니다.
2. 협력적 다중 에이전트 프레임워크: 저자들은 공유된 정보를 사용하여 글로벌 액션(총 신호 지속 시간)을 적응적으로 결정하는 동시에, 개별 에이전트를 통해 로컬 신호 타이밍(녹색 신호 분할)을 동시에 최적화하는 프레임워크를 제시합니다.
3. 다중 에이전트 DRL를 위한 액션 브랜칭: 이는 다중 에이전트 TSC에 액션 브랜칭 아키텍처를 적용한 첫 사례입니다. 이는 제어 문제를 분해함으로써 의사결정의 복잡성을 줄이고, 이산 액션 공간과 다중 에이전트 설정을 효과적으로 처리합니다.

실험 결과
모델은 오프 피크(off-peak), 러시 아워, 등교 시간 및 포화 상태에 가까운 조건을 포함하여 멜버른의 7가지 현실적인 교통 시나리오에서 평가되었습니다. 비교 대상으로는 Webster 공식, Green Wave를 포함한 고정 시간 신호와 다양한 DRL 모델(MADQN, MADDQN, MADDPG, CMRM, MASAC, MAA2C, MA2B-DQN) 등 9개의 베이스라인이 사용되었습니다.

• 성능: MA2B-DDQN은 모든 시나리오에서 가장 낮은 총 개인 지연(AID) 및 **1인당 지연(PCD)**을 일관되게 달 achievement 했습니다.
  • 시나리오 1(오프 피크)에서, 최적의 고정 신호 베이스라인 대비 36.75%, 최적의 DRL 베이스라인(MAA2C) 대비 **11.94%**의 AID를 감소시켰습니다.
  • 시나리오 2(러시 아워)에서, 차순위 DRL 모델보다 11.73% 향상된 성능을 보였습니다.
  • 시나리오 4(오후 등교 시간)에서, MASAC 대비 **35.24%**의 개선을 달성했습니다.
• 강건성: 모델은 반복된 실험에서 성능 지표의 표준 편차가 가장 낮게 나타났으며, 이는 높은 변동성을 보인 MADDPG와 같은 베이스라인에 비해 높은 안정성을 나타냅니다.
• 절제 연구(Ablation Studies):
  • 액션 브랜칭 메커니즘을 제거했을 때 성능이 크게 저하되었습니다(예: 시나리오 1에서 AID 16.09% 증가). 이는 학습 효율성 측면에서 해당 메커니즘의 결정적 역할을 확인시켜 줍니다.
  • Double DQN (DDQN) 아키텍처를 통합했을 때, 시나리오에 따라 표준 DQN보다 **2.93%에서 16.40%**까지 성능이 향상되어 과대평가 완화 효과를 입증했습니다.
• 트레이드오프(Trade-offs): MA2B-DDQN이 전반적인 형평성과 차량 흐름에서 탁월한 성과를 보였으나, 일부 베이스라인(예: CMRM, MASAC)은 차량 지연을 크게 희생하면서 가끔 더 낮은 보행자 특정 지연(APDS/AWTP)을 달성하기도 했습니다. MA2B-DDQN은 모드 간에 더 균형 잡힌 최적화를 유지했습니다.

의의 및 주장
본 논문은 MA2B-DDQN이 형평성을 명시적으로 다루는 확장 가능하고 강건한 멀티모달 교통 신호 제어 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 차량 중심 최적화에서 개인 수준의 형평성으로 패러다임을 전환하여, 이동 수단에 관계없이 모든 도로 사용자에게 공정한 접근을 보장합니다.
• 액션 브랜칭이 다중 에이전트 환경의 고차원 이산 액션 공간을 처리하기 위한 유효하고 효과적인 전략임을 입증하였으며, 기존의 고정 시간 제어 및 최신 DRL 방법론들을 능가했습니다.
• 실제 멀티모달 교통 데이터가 반영된 실제 회랑에서 검증된, 다양한 도시 조건에 적응 가능한 실용적인 프레임워크를 제공합니다.

저자들은 DRL이 일반적으로 고정 시간 방식보다 우수하지만, 복잡한 멀티모달 네트워크에서 높은 효율성과 공정성을 모두 달기 위해서는 액션 브랜칭, DDQN, 그리고 인간 중심적 보상의 특정 조합이 필수적이라고 결론짓습니다. 또한, 포화 상태에 가까운 조건에서는 물리적인 차로 용량이 제한 요인이 되지만, 본 방식이 여려 베이스라인 대비 여전히 우수한 성능을 유지한다는 점을 언급했습니다.