Adaptive traffic signal control optimization using a novel road partition and multi-channel state representation method
이 논문은 가변 셀 길이와 다중 채널 상태 표현 (차량 수, 평균 속도, 공간 점유율) 을 Deep Q-Network 와 Proximal Policy Optimization 에 통합하여 신호 주기 최적화를 수행하는 새로운 적응형 교통 신호 제어 방법을 제안하고, 시뮬레이션을 통해 기존 고정 셀 길이 방식보다 우수한 성능과 전이성을 입증했습니다.
기존 방식: 도로를 센서가 감지하는 구간을 무조건 똑같은 간격 (예: 10m, 10m, 10m...) 으로 나눴습니다.
문제점: 만약 센서 성능이 좋아져서 500m 까지 볼 수 있게 되거나, 반대로 150m 만 볼 수 있게 되면, 이 "고정된 눈금자"는 무용지물이 됩니다. AI 가 배운 지식을 다른 도로에 그대로 적용할 수 없기 때문에, 매번 새로운 교차로마다 AI 를 처음부터 다시 가르쳐야 했습니다. (비유하자면, 10cm 눈금자로만 재던 사람이 1m 눈금자를 가진 새 줄자를 주면 다시 측정법을 배워야 하는 꼴입니다.)
💡 2. 해결책: "변하는 눈금자"와 "3 차원 카메라"
이 연구는 두 가지 혁신적인 아이디어를 제안합니다.
A. 변하는 눈금자 (가변 셀 길이)
연구진은 **"센서가 얼마나 멀리까지 볼 수 있는지 (감지 범위) 에 따라 눈금의 간격을 자동으로 조절하는 공식"**을 만들었습니다.
비유: 마치 주사위를 던지는 것과 같습니다.
교차로 바로 앞 (정지선 근처) 은 차가 멈추거나 출발하는 중요한 구간이므로, 눈금을 매우 촘촘하게 (짧게) 나눕니다. (예: 7m)
교차로에서 멀어질수록 차들의 움직임이 덜 중요하므로, 눈금을 점점 넓게 (길게) 나눕니다. (예: 16m, 25m, 34m...)
효과: 센서 범위가 300m 이든 500m 이든, AI 는 항상 **"10 개의 구간"**으로 도로를 인식합니다. AI 는 "가장 가까운 1 번째 구간", "두 번째 구간"이라는 상대적인 개념만 배우면 되므로, 센서 범위가 달라도 같은 교차로에 바로 적용할 수 있습니다. (비유: 눈금자가 늘어나거나 줄어들어도, "1 번째 칸, 2 번째 칸"이라는 개념은 변하지 않으므로 AI 는 당황하지 않습니다.)
B. 3 차원 카메라 (다중 채널 상태 표현)
기존 AI 는 도로의 상태를 볼 때 "차 몇 대 있나?"만 세었습니다. 하지만 이 연구는 3 개의 카메라를 동시에 켭니다.
차량 수 카메라: 차가 얼마나 많은가?
속도 카메라: 차들이 얼마나 빠르게 움직이는가?
공간 점유 카메라: 도로가 얼마나 꽉 차 있는가?
비유: 요리사가 재료를 볼 때 단순히 "양파 몇 개"만 보는 게 아니라, **"양파 개수 + 양파의 신선도 + 냄비 공간"**을 동시에 보고 요리법을 결정하는 것과 같습니다. 이렇게 다양한 정보를 한 번에 보면 AI 가 더 정확한 신호 조절을 할 수 있습니다.
🧠 3. AI 의 학습 과정: "시행착오를 통한 학습"
이 연구에서는 DQN과 PPO라는 두 가지 AI 학습 알고리즘을 사용했습니다.
PPO (Proximal Policy Optimization): 이 방법은 마치 신중한 운전 기사 같습니다. 너무 급하게 방향을 바꾸지 않고, 조금씩 경험을 쌓으며 가장 안전한 신호 패턴을 찾아갑니다.
결과: 실험 결과, 제안된 방법 (변하는 눈금자 + 3 차원 카메라) 을 쓴 PPO가 가장 좋은 성과를 냈습니다. 대기 차량 줄이 짧아지고, 차들이 더 빨리 움직이며, 연료도 덜 소모되었습니다.
🌍 4. 놀라운 능력: "다른 곳에서도 잘 작동하다" (전이 학습)
이 연구의 가장 큰 하이라이트는 이동성입니다.
실험: 300m 센서 범위에서 훈련시킨 AI 를, 500m 센서 범위가 있는 다른 교차로에 아무런 수정 없이 바로 적용해 보았습니다.
결과: 기존 방식이라면 실패했을 텐데, 이 새로운 AI 는 완벽하게 적응하여 기존 고정식 신호등보다 훨씬 잘 작동했습니다.
비유: 한국에서 운전 면허를 딴 사람이, 차선 폭이 조금 다른 미국 도로에 가서도 바로 운전할 수 있는 것과 같습니다. (눈금자 개념이 유연하기 때문입니다.)
📝 요약
이 논문은 **"센서 성능이 달라도 똑같이 잘 작동하는, 더 똑똑한 신호등 AI"**를 개발했습니다.
도로를 센서 범위에 맞춰 자동으로 잘게 쪼개거나 넓게 나눕니다. (변하는 눈금자)
차의 수, 속도, 밀도를 한 번에 봅니다. (3 차원 카메라)
한 번 배운 지식을 다른 교차로에도 바로 적용할 수 있습니다. (유연한 이동)
결론적으로, 이 기술은 도시의 교통 체증을 줄이고, 탄소 배출을 줄이며, 우리 모두의 출퇴근 시간을 단축시켜 줄 수 있는 매우 실용적인 솔루션입니다.
1. 연구 배경 및 문제 제기 (Problem)
도시 교통 혼잡: 도시 교차로의 교통 혼잡은 이동 효율성을 저해하고 탄소 배출 및 에너지 소비를 악화시키는 주요 문제입니다.
기존 센서의 한계: 기존의 교통 검지기 (루프, 마이크로파 등) 는 주로 유량, 평균 속도 등의 집계된 데이터를 제공하며, 차량의 공간적 위치와 동적 행동에 대한 세부 정보를 포착하는 데 한계가 있습니다.
AI 모델의 일반화 부족: 기존 심층 강화학습 (DRL) 기반 신호 제어 모델은 특정 교차로에 맞춰 훈련되며, 센서의 검지 범위 (Detection Range) 가 다르면 입력 파라미터가 달라져 다른 교차로로 모델을 전이 (Transfer) 하기 어렵습니다.
상태 표현의 단순화: 기존 연구들은 고정된 셀 길이 (Fixed Cell Length) 를 사용하거나 차량 수, 대기 시간 등 단순한 집계 변수를 상태 (State) 로 사용하여 교통 흐름의 미세한 공간적 분포를 충분히 반영하지 못했습니다.
2. 제안된 방법론 (Methodology)
이 연구는 **변동 셀 길이 (Variable Cell Length, VCL)**와 **다중 채널 상태 표현 (Multi-channel State Representation)**을 결합한 새로운 적응형 신호 제어 프레임워크를 제안합니다.
가. 새로운 도로 분할 기법 (Novel Road Partition)
로그 - 선형 함수 기반: 센서의 검지 범위 (d) 와 셀 개수 (n) 가 주어졌을 때, 정차선 (Stop line) 에 가까울수록 셀 길이를 짧게, 멀어질수록 길게 분할하는 로그 함수와 선형 함수의 합을 사용하여 셀 길이를 계산합니다.
공식: f(x)=aln(x+1)+bx
적응성: 센서의 검지 범위가 달라지더라도 (예: 300m vs 500m), 동일한 개수 (n) 의 셀로 도로를 분할할 수 있도록 파라미터 (a,b) 를 자동 조정합니다. 이는 훈련된 AI 모델이 다른 검지 범위를 가진 교차로에도 적용 가능하도록 합니다.
나. 다중 채널 상태 표현 (Multi-channel State Representation)
3 차원 텐서 구조: 각 도로 셀 (Cell) 에 대해 다음 3 가지 채널로 구성된 행렬을 상태 입력으로 사용합니다.
차량 수 (Number of vehicles)
평균 속도 (Average speed)
공간 점유율 (Space occupancy): 셀 내 차량 길이 합 / 셀 길이
CNN 활용: 이 3 차원 텐서 (차로 수 × 셀 수 × 상태 변수) 를 이미지 처리와 유사하게 처리하여 합성곱 신경망 (CNN) 을 통해 특징을 추출합니다.
다. 행동 공간 및 보상 함수
행동 공간 (Action Space): 8 가지의 이산적인 신호 단계 (Phase) 를 선택합니다. 선택된 단계는 고정된 녹색 시간 (예: 15 초) 동안 실행됩니다.
보상 함수 (Reward Function): 대기 시간, 속도, 연료 소비의 절대값을 기반으로 합니다. 각 지표는 최대값으로 정규화되고 가중치가 부여됩니다.
r(t)=−0.7×대기패널티+0.2×속도보상−0.1×연료패널티
대기 시간과 연료 소비는 감소시켜야 하므로 음의 가중치, 속도는 증가시켜야 하므로 양의 가중치를 부여합니다.
라. 학습 알고리즘
**DQN (Deep Q-Network)**과 PPO (Proximal Policy Optimization) 두 가지 알고리즘을 적용하여 성능을 비교했습니다.
SUMO 시뮬레이션 환경과 TensorFlow 를 사용하여 훈련되었으며, 경험 재생 (Experience Replay) 메커니즘을 도입했습니다.
3. 주요 기여 (Key Contributions)
센서 범위에 독립적인 일반화 가능한 모델: 제안된 로그 - 선형 분할 공식은 센서의 검지 범위가 달라도 동일한 셀 개수로 도로를 분할하게 하여, 한 교차로에서 훈련된 모델을 다른 교차로 (다른 검지 범위) 로 직접 전이 (Cross-range Transferability) 할 수 있게 합니다.
정밀한 상태 표현: 고정 셀 길이를 대체하는 변동 셀 길이와 차량 수, 속도, 점유율을 동시에 고려하는 3 채널 상태 표현을 도입하여 교통 상태에 대한 더 풍부하고 정밀한 정보를 제공합니다.
실제 적용성 향상: 기존 연구에서 간과했던 센서의 실제 검지 범위와 AI 모델 입력 간의 불일치 문제를 해결하여 실제 도시 교통 관리에의 적용 가능성을 높였습니다.
4. 실험 결과 (Results)
시뮬레이션 환경: SUMO 를 이용한 단일 교차로 시나리오에서 다양한 교통량 (500~3000 veh/h) 과 센서 검지 범위 (300m, 500m) 조건에서 테스트했습니다.
성능 비교:
VCL-PPO (제안된 방법): 고정 셀 길이 (FCL-PPO) 나 셀 분할이 없는 기존 PPO, 그리고 DQN 기반 모델보다 **누적 차량 대기열 (Cumulative Queue Length)**과 누적 대기 시간 (Cumulative Waiting Time) 측면에서 가장 우수한 성능을 보였습니다.
PPO vs DQN: PPO 알고리즘이 DQN 보다 신호 제어 작업의 안정성과 순차적 행동 제약에 더 적합하여 전반적으로 더 좋은 성능을 발휘했습니다.
전이 학습 (Transferability) 평가:
300m 검지 범위로 훈련된 모델을 500m 검지 범위의 교차로에 파인튜닝 없이 직접 적용했을 때, 기존 고정 시간 신호 제어 (Fixed-time) 보다 우수한 성능을 유지했습니다. 이는 제안된 방법의 강력한 일반화 능력을 입증합니다.
확률적 교통량 변동 조건에서는 학습 수렴 속도가 느려지고 오실레이션이 발생했으나, 장기적으로는 개선되는 것을 확인했습니다.
5. 의의 및 결론 (Significance)
알고리즘 중립성: 제안된 프레임워크는 특정 DRL 알고리즘에 국한되지 않으며, 다양한 AI 모델에 적용 가능합니다.
실용적 가치: 센서 기술의 발전 (레이더 - 비디오 센서 등) 에 맞춰 고정된 물리적 범위에 의존하지 않는 유연한 상태 표현을 제공함으로써, 실제 도시 교통 시스템에 AI 기반 신호 제어를 도입하는 데 있어 중요한 기술적 장벽을 해소합니다.
향후 연구: 본 연구는 단일 교차로를 대상으로 DQN 과 PPO 를 비교 분석하여 핵심 기여를 입증했으나, 향후 그래프 기반 또는 어텐션 메커니즘이 포함된 더 정교한 DRL 모델과의 결합을 통해 다중 교차로 제어 등으로 확장할 수 있는 가능성을 제시합니다.
이 논문은 변동 셀 길이와 다중 채널 상태 표현을 통해 교통 신호 제어의 정확성과 모델의 일반화 능력을 동시에 향상시킨 혁신적인 접근법을 제시했다는 점에서 의의가 큽니다.