DeCoR: Design and Control Co-Optimization for Urban Streets Using Reinforcement Learning

기술 요약: DeCoR – 도시 도로를 위한 설계와 제어의 공동 최적화

문제 제기
현대 컴퓨터 비전 및 센싱 기술은 도시 내 행위자 (보행자 및 차량) 를 탐지, 추적, 예측하는 분야에서 크게 발전했습니다. 그러나 이러한 인지 능력과 도시 인프라 설계 사이에는 여전히 중요한 간극이 존재합니다. 도시들이 사람과 차량의 이동 방식을 increasingly 측정할 수 있게 되었음에도 불구하고, 이러한 측정 데이터는 그들의 행동을 형성하는 인프라를 재설계하는 데 거의 활용되지 않습니다. 현재 보행자 안전 관행은 현대 센싱 능력을 앞선 정적 휴리스틱 (예: 고정된 횡단보도 간격 임계값) 에 크게 의존하고 있습니다. 이러한 규칙들은 종종 상충되는 우선순위를 균형 있게 조정하지 못합니다. 보행자는 안전하고 편리한 횡단을 원하고, 차량은 최소한의 지연을 기대하며, 계획자들은 비용 효율성을 추구합니다. 신호 제어를 고려하지 않고 횡단보도 위치를 최적화하거나 그 반대의 경우를 수행하는 것은 역효과를 낼 수 있습니다. 잘못 배치된 횡단보도는 차량 정지를 증가시키고, 적절히 배치된 횡단보도에서 잘못 타이밍된 신호는 과도한 지연을 초래합니다.

방법론
본 논문은 중간 블록 횡단보도 배치와 네트워크 수준의 신호 제어를 공동 최적화하는 2 단계 강화 학습 (RL) 프레임워크인 DeCoR을 소개합니다. 이 프레임워크는 교차로와 경로 분기점을 노드로, 보행 가능한 구간을 간선으로 하는 보행자 네트워크를 나타내는 방향 그래프 $G=(V, E)$에서 작동합니다.

1. 설계 단계 (외부 루프):

   • 목표: 최적의 횡단보도 위치와 폭을 제안하는 생성 정책을 학습합니다.
   • 메커니즘: 그래프 어텐션 네트워크 (GATv2) 가 보행자 네트워크 그래프를 인코딩합니다. 설계 에이전트는 횡단보도 위치와 폭에 대한 가우시안 혼합 모델 (GMM) 을 매개변수화합니다.
   • 행동: 각 에피소드에서 이 GMM 에서 새로운 횡단보도가 샘플링됩니다. 설계 보상 ($R_D$) 은 보행자 도착 시간과 횡단보도 수 (인프라 비용) 사이의 균형을 맞추어, 더 희소하고 비용 효율적인 설계를 장려합니다.
   • 제약: 배치는 통로 한계 내에 묶이며, 물리적으로 비현실적인 구성 (예: 1m 미만으로 떨어진 횡단보도) 은 병합됩니다.

2. 제어 단계 (내부 루프):

   • 목표: 제안된 배치에 조건부인 적응형 신호 타이밍 정책을 학습합니다.
   • 메커니즘: 공유 제어 정책은 다양한 실제 수요 규모를 가진 $N$개의 병렬 폐루프 시뮬레이션 (SUMO 사용) 에서 작동합니다.
   • 상태: 상태에는 신호 위상의 시공간 행렬, 교차로 100m 이내 및 횡단보도 50m 이내의 차량 점유율, 횡단보도 5m 이내의 보행자 점유율이 포함됩니다.
   • 행동: 에이전트는 교차로의 신호 위상 (4 가지 구성) 과 중간 블록 횡단보도의 이진 상태 (차량 대 보행자 흐름) 를 선택합니다.
   • 보상: 제어 보상은 수정된 최대 대기 누적 대기열 (MWAQ) 지표를 기반으로 합니다. 이는 최악의 개별 지연과 누적 수요를 결합하고, 보행자와 차량 모두의 극단적인 대기 시간을 억제하기 위해 지수적 패널티를 적용합니다.

3. 학습:

   • 두 단계 모두 근접 정책 최적화 (PPO) 를 사용합니다.
   • 설계 단계는 즉각적인 보상을 갖는 컨텍스트 밴딧으로 취급되는 반면, 제어 단계는 순차적 단계에 대한 마르코프 결정 과정 (MDP) 입니다.
   • 실제 수요는 비디오 및 Wi-Fi 로그에서 파생되며, 학습 중 무작위로 스케일링되어 견고성을 보장합니다.

주요 결과
시간당 2,223 명의 보행자와 202 대의 차량이 이용하는 750m 길이의 실제 도시 통로에서 평가되었습니다:

• 배치 최적화: DeCoR 은 중간 블록 횡단보도 수를 기존 7 개에서 4 개로 줄였습니다. 횡단 횟수가 줄었음에도 불구하고, 최적화된 배치는 보행자 소망선 (desire lines) 과 더 잘 정렬됨으로써 평균 보행자 횡단보도 도착 시간을 22.68% (높은 수요 시 최대 25.8%) 감소시켰습니다.
• 제어 최적화: 고정 시간 신호화에 비해 DeCoR 제어 정책은 보행자 대기 시간을 78.9% 줄이고 차량 대기 시간을 65.3% 줄였습니다.
• 성능 및 베이스라인 비교:
  • DeCoR 의 신호등이 있는 횡단보도는 보행자 대기 시간을 신호등이 없는 횡단보도와 유사하게 유지하면서도 (1.26 초 vs 1.46 초) 안전성 (충돌 0 건) 을 유지했습니다.
  • 높은 수요 시, 신호등이 없는 횡단보도는 차량 대기 시간을 급격히 증가시켰으나, DeCoR 은 효율성을 유지했습니다.
• 일반화 및 견고성:
  • 두 에이전트 모두 학습 분포 밖의 수요 패턴과 규모 (0.5 배에서 2.75 배 수요로 테스트) 로 일반화되었습니다.
  • 견고성 테스트: 최적화된 배치에 추가 횡단보도를 재학습 없이 도입했을 때, 공동 최적화된 제어기는 낮은 대기 시간을 유지했습니다. 반면, 순차적으로 학습된 제어기 (설계 후 제어) 는 급격히 저하되어 보행자 대기 시간이 97.53% 증가하고 차량 대기 시간이 91.90% 증가했습니다.

의의 및 주장
본 논문은 보행자와 차량의 이동을 어떻게 감지하는지 보여주는 것이 인프라를 공동으로 재설계하고 제어를 적응시키는 데 충분함을 입증함으로써, 인지에서 설계까지의 간극을 성공적으로 해소했다고 주장합니다.

• 공동 최적화의 가치: 주요 기여는 순차적 접근법보다 공동 최적화가 더 우수함을 보여주는 것입니다. 공동 최적화는 제어 정책이 배치의 구조적 변화에 대한 견고성을 학습할 수 있게 하며, 이는 순차적으로 학습된 에이전트에게는 결여된 능력입니다.
• 보행자 우선 설계: 결과는 신호등이 있는 횡단보도가 본질적으로 보행자에게 느리다는 가정에 도전합니다. 인지 기반 적응형 제어를 통해 신호등이 있는 횡단보도는 차량 효율성을 유지하면서도 신호등이 없는 횡단보도의 편의성에 근접할 수 있습니다.
• 효율성: 공동 최적화 접근법은 순차적 학습에 비해 의미 있는 계산 오버헤드를 도입하지 않습니다 (그래프에서 시뮬레이션으로의 변환 시 라운드당 약 10%). 그럼에도 불구하고 훨씬 우수한 성능과 견고성을 제공합니다.

한계 및 범위
저자들은 DeCoR 이 부상 위험이나 사망률을 명시적으로 모델링하는 대신, 도착 시간과 지연을 안전의 대리 변수 (surrogate) 로 목표로 삼고 있음을 명시적으로 언급합니다. 평가는 실제 수요 데이터를 사용한 시뮬레이션에 국한되며, 신호 위반, 센서 노이즈, 또는 가려짐 (occlusion) 은 모델링되지 않습니다. 또한, 현실적인 기하학과 고정밀도 시간 정렬 수요 측정치를 결합한 데이터셋의 부재로 인해 연구는 단일 실제 통로로 제한됩니다. 향후 작업은 설계 공간을 고차원 네트워크 기하학으로 확장하고 명시적 충돌 기반 안전 지표를 통합하는 것이 제안됩니다.