VissimRL: A Multi-Agent Reinforcement Learning Framework for Traffic Signal Control Based on Vissim

기술 요약: VissimRL: Vissim 기반의 교통 신호 제어를 위한 다중 에이전트 강화 학습 프레임워크

문제 정의
교통 혼잡은 경제적 및 환경적 측면에서 상당한 과제를 안겨주고 있으며, 이에 따라 효과적인 교통 신호 제어(TSC)가 필수적이다. 강화 학습(RL)은 적응형 TSC 분야에서 잠재력을 입증해 왔으나, 고충실도(high-fidelity) 산업용 시뮬레이터에서의 적용은 제한적이다. 기존 연구는 주로 접근성이 높고 표준화된 RL 프레임워크(예: SUMO-RL)를 갖춘 SUMO나 CityFlow와 같은 오픈 소스 시뮬레이터를 활용한다. 그러나 이러한 도구들은 규칙 기반의 운전자 행동 모델에 의존하여 교통 역학을 지나치게 단순화함으로써, 산업 및 정책적 관련성을 제한하는 경우가 많다. 반면, 정교한 운전자 행동 모델링과 3D 시각화를 위해 교통 기관에서 널리 채택되는 상용 시뮬레이터인 Vissim은 RL 연구에서 충분히 활용되지 못하고 있다. 이러한 격차는 Vissim의 복잡한 구성 요소 객체 모델(COM) 인터페이스와 원활한 RL 통합을 위한 표준화된 오픈 소스 프레임워크의 부재에서 기인한다.

방법론
본 논문은 Vissim의 고충실도 시뮬레이션 능력과 현대적인 RL 알고리즘 사이의 간극을 메우기 위해 설계된 모듈형 RL 프레임워크인 VissimRL을 제안한다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어진다:

1. Vissim Wrapper: Vissim의 COM 인터페이스를 파이썬 기반으로 캡슐화한 것이다. 이 모듈은 수천 개의 속성과 객체 유형을 포함하는 하위 COM API의 복잡성을 사용자 친화적인 고수준 API로 추상화한다. 이는 시뮬레이션 제어, 신호 운영 및 성능 평가를 처리한다. 결정적으로, 이 래퍼는 직접적인 COM 사용과 대등하거나 더 나은 실행 효율성을 유지하기 위해 배칭(batching) 및 **캐싱(caching)**과 같은 성능 지향적 메커니즘을 사용하여 COM 호출의 오버헤드를 최소화한다.
2. RL 환경 프레임워크: 이 구성 요소는 Gymnasium(단일 에이전트용) 및 PettingZoo(다중 에이전트용) API와 호환되는 표준화된 인터페이스를 구현한다. 이를 통해 주요 RL 라이브러리(예: Stable-Baselines3, RLlib)의 통합을 용이하게 한다. 프레임 Lew-framework는 핵심 RL 요소에 대해 다음과 같이 모듈형 설계를 채택한다:
   • 관측(Observation): 대기 행렬 길이, 페이즈 상태, 밀도, 대기 시간 등의 특징을 포함하여 로컬(단일 교차로) 및 글로벌(다중 교차로) 상태 표현을 모두 지원한다.
   • 행동(Action): 다음 페이즈 선택(Choose Next Phase), 다음 단계 전환 여부 결정(Switch Next or Not), *페이즈 지속 시간 설정(Set Phase Duration)*의 세 가지 별도 행동 유형을 지원함으로써 기존 기능을 확장한다.
   • 보상(Reward): 내부/경계 대기 시간, 지연, 처리량, 통행 시간과 같은 지표를 기반으로 다중 목적 가중 보상을 계산한다.

이 프레임워크는 단일 에이전트 및 다중 에이전트 학습을 모두 지원하여, 추가적인 "글루 코드(glue code)" 없이도 복잡하고 고충실도인 환경에서 에이전트가 협력 전략을 학습할 수 있도록 한다.

주요 기여

• 최초의 Vissim용 다중 에이전트 RL 프레임워크: VissimRL은 Vissim을 위해 특별히 설계된 최초의 다중 에이전트 RL 프레임워크로 제시되며, 기존에는 RL 커뮤니티가 접근하기 어려웠던 고충실도 교통 시뮬레이션 환경에서의 연구를 가능하게 한다.
• 표준화 및 모듈형 아키텍처: 본 프레임워크는 상태, 행동 및 보상에 대한 표준화된 상속 인터페이스를 제공하여 연구자의 진입 장벽을 크게 낮춘다. 또한 지원되는 성능 지표를 6개(SUMO-RL 기준)에서 11개로 확장하고 세 가지의 뚜렷한 행동 유형을 도입하였다.
• 효율성 최적화: Vissim Wrapper 내에 배칭 및 캐싱을 구현함으로써, 복잡한 워크로드에서 COM API 호출 횟수를 최대 21%까지 줄여 낮은 지연 시간과 높은 처리량을 달아냈다.
• 개발 효율성: 이 래퍼는 수동 COM 구현과 비교했을 때(소스 코드 라인 수를 207줄에서 32줄로 단축) 동일한 제어 작업을 구현하는 데 필요한 개발 노력을 약 84.5% 절감한다.

실험 결과
저자들은 두 단계의 평가를 통해 VissimRL을 검증하였다:

1. Wrapper 성능: 세 가지 워크로드(Step-only, Step+Signal Control, Step+Signal+Evaluation)에 대해 Wrapper와 Raw COM을 비교한 벤치마크 결과, 단순 스텝 작업에서는 래퍼가 미미한 오버헤드(4% 증가)를 발생시켰으나, 대화형 작업에서는 API 호출 빈도를 줄임으로써 오히려 성능을 개선(지연 시간 6.8% ~ 12.3% 감소)하는 것으로 나타났다.
2. RL 효과성: 합성 네트워크(단일 교차로 및 Arterial-3)와 실제 시나리오(대만 타오위안의 다위안 인터체인지)에서 근사 정책 최적화(PPO) 알고리즘을 사용하여 실험을 수행하였다.
   • 수렴: 세 가지 행동 설계 모두 단일 및 다중 교차로 시나리오 전반에서 지연, 통행 시간 및 대기 시간에 대해 일관된 수렴과 빠른 개선을 보였다.
   • 창발적 협력: Arterial-3 다중 에이전트 시나리오에서, 시스템은 차량이 여러 교차로를 멈춤 없이 통과할 수 있도록 에이전트들이 신호 오프셋을 조정하는 "그린 웨이브(Green Wave)" 현상을 성공적으로 학습하였다. 학습된 오프셋과 페이즈 지속 시간은 이론적 최적값과 밀접하게 일치하였다.
   • 실제 적용: 다위안 인터체인지 사례 연구에서, PPO 기반 제어는 고정 시간 제어와 비교하여 평균 지연 시간을 63%(559.7초에서 209.0초로) 감소시켰으며, 통행 시간은 56%, 대기 시간은 38% 단축시켰다.

의의 및 주장
본 논문은 VissimRL이 학술적 RL 연구와 실무 중심의 산업급 교통 시뮬레이션 사이의 중요한 가교 역할을 한다고 주장한다. Vissim의 COM 인터페이스 복잡성을 캡슐화하면서도 높은 실행 효율성을 유지함으로써, 이 프레임워크는 실제 교통 역학을 더 잘 반영하는 고충실도 환경에서 RL을 적용할 수 있게 한다. 저자들은 본 프레임워크가 이러한 시뮬레이션에서 RL 적용의 타당성을 입증하며, 일관된 교통 성능 향상과 창발적인 다중 에이전트 협력을 지원함을 강조한다. 본 연구는 이전 연구의 확장된 버전으로 위치하며, 재현성을 높이고 추가적인 발전을 도모하기 위해 구현체를 공개적으로 제공한다.