기술 요약: 이종 도로 네트워크에서의 교통 신호 제어를 위한 그래프 기반 제어 인터페이스

문제 정의

교통 신호 제인은 일반화 측면에서 근본적인 과제에 직면해 있다: 행동 공간(action spaces)은 본질적으로 국소적이며 이종적이다. 3지 교차로, 표준 4지 교차로, 그리고 보호 좌회전이 포함된 복잡한 교차로는 서로 다른 수의 페이즈(phase)와 각 페이즈에 대한 뚜렷한 의미론적 차이를 가진다. 따라서 고정된 출력 신경망 헤드(예: "Phase 2")는 다양한 도로 네트워크 전반에서 재사용 가능한 의미론을 갖지 못한다. 표준적인 접근 방식들은 텐서 차원을 변경하기 위해 행동 공간을 균일한 크기로 패딩(padding)하지만, 이는 공유된 의미를 구축하지는 못한다. 또한 기존의 학습된 방법들은 교통 이동(traffic movements)의 점수 산정(scoring)과 교차로별 행동 공간의 구축을 분리하는 데 어려움을 겪는 경우가 많다.

방법론

본 논문은 학습된 교통 이동 점수 산정과 결정론적인 국소 행동 공간 구축을 엄격하게 분리하는 제어 인터페이스를 제안한다.

1. 제어 객체 및 표현

• 이동(Movements): 유입되는 도로 구간에서 유출되는 도로 구간으로 이어지는 법적이고 통제된 경로(직진 및 회전 포함)로 정의된다.
• 차로 그룹(LaneGroups): 신호 없는 연속 주행이 모호하지 않은 경우, 연속적인 방향성 도로 세그먼트들을 차로 그룹으로 묶는다. 반대 방향은 대기 행렬 및 속도 역학이 다르기 때문에 별도로 유지한다.
• 페이즈(Phases): 페이즈는 동시에 녹색 신호를 받을 수 있는 호환 가능한 이동들의 집합이다. 제어기는 개별 램프를 직접 제어하기보다 교차로당 하나의 페이즈를 선택한다.

2. 그래프 신경망(GNN) 아키텍처

시스템은 LaneGroup 노드와 Movement 노드를 포함하는 도시 수준의 그래프에서 작동하는 공유된 타입형 그래프 신경망(typed GNN)을 채택한다.

• 메시지 전달(Message Passing): 아키텍처는 $L_{in} \to M$, $L_{out} \to M$, $M \to L_{in}$, $M \to L_{out}$의 네 가지 유향 관계를 사용하는 타입형 메시지 전달을 사용한다.
• 집계(Aggregation): 임베딩을 생성하기 위해 어텐션(attention) 대신 **타입형 평균 집계(typed mean aggregation)**를 활용한다.
• 점수 산정(Scoring): 두 번의 메시지 전달 블록 이후, 다층 퍼셉트론(MLP)이 최종 이동 임베딩($h^{(2)}_m$)을 단일 스칼라 점수($s_m$)로 매핑한다.
• 파라미터 공유: 파라미터 형상은 특징(feature) 및 은닉 차원(hidden dimension)에만 의존하므로, 그래프 크기나 행동의 수와 무관하다.

3. 결정론적 행동 공간 구축

인터페이스는 학습이 이동 점수 산정에서 멈추고, 결정론적 코드가 나머지를 처리하는 "좁은 경계(narrow boundary)"를 강제한다:

• 인접 행렬($A_j$): 각 교차로 $j$에 대해, 사전 계산된 결정론적 인접 행렬 $A_j$가 이동 점수를 페이즈 로짓(phase logits)으로 매핑한다. 행렬 $A_j \in \{0, 1\}^{|P_j| \times |M_j|}$는 어떤 이동이 어떤 페이즈에 의해 활성화되는지를 나타낸다.
• 페이즈 로짓: 페이즈 $p$의 로짓은 해당 페이즈에 의해 활성화된 이동들의 점수 합으로 계산된다: $\ell_{j,p} = \sum_{m \in M_j} A_{j,p,m} s_m$.
• 오프라인 구축: 페이즈는 SUMO 충돌 데이터를 기반으로 최대 호환 이동 집합을 찾기 위해 브론-커케르슈네(Bron–Kerbosch) 열거법을 사용하여 오프라인에서 생성된다.
• 온라인 실행: 런타임 시, 가용성 마스크(availability mask)가 최소 녹색 시간을 강제하며, 범주형 샘플링(categorical sample)이 로짓에 따라 페이즈를 선택한다.

4. 훈련 프로토콜

• 알고리즘: 전체 정책을 최적화하기 위해 근사 정책 최적화(PPO)를 사용한다.
• 보상 함수: 교차로당 국소적이고 무차원적인 보상이 할당되며, 이는 진행 상태(속도 정규화 밀도), 방출(차량 유출), 제동(감속), 격리(속도 결핍) 항을 결합한다.
• 실행: 정책은 가변 크기의 상태 그래프에서 작동한다. 배칭(batching)을 위해, 동일한 국소 차원을 가진 교차로들을 그룹화하여 범용 그래프 크기로의 패딩을 피한다.

주요 기여

1. 구조적 분리: 본 논문의 주요 기여는 재사용 가능한 공유 GNN(이동 점수 산정용)과 교차로별 결정론적 행동 공간 구축을 분리하는 건축적 인터페이스이다. 이를 통해 모델의 재학습이나 네트워크 토폴로지의 변경 없이도 가변적인 그래프 크기와 가변적인 행동 수를 처리할 수 있다.
2. 타당성 평가: 본 논문은 이 인터페이스가 이종 도로 네트워크(미지의 합성 격자 기하 구조 및 5개의 서로 다른 도시 그래프 포함)에서 실행될 수 있다는 경험적 증거를 제공한다.
3. 투명한 경계: 복잡한 계층 구조나 페이즈 의미론을 학습하는 기존 연구(예: TransferLight)와 달리, 이 접근 방식은 페이즈 멤버십과 타이밍이 결정론적으로 유지되며 학습된 액터(actor)는 오직 이동당 스칼라 값만을 출력하는 투명한 경계를 유지한다.

실험 결과

평가는 세 가지 연구 질문(RQ)을 다룬다:

• RQ1 (합성 패밀리 내 전이): 동일한 합성 생성기로 생성된 미지의 격자 크기(예: $6 \times 6$) 및 종횡비에서, 샘플링된 학습 정책은 모든 수요 수준(0.6, 0.7, 0.8)에서 처리량(throughput)과 완료율(completion rate) 측면에서 Max-Pressure 베이스라인보다 우수한 성능을 보였다.
• RQ2 (분포 변화): 신호 제어 범위가 감소했을 때(50% 및 25%), 전체 제어 범위에서 훈련된 정책은 Max-Pressure에 비해 상당한 성능 저하를 보였다. 이는 아키텍처가 구조적으로는 실행 가능함에도 불구하고, 신호 제어 범위의 분포 변화에 민다면 민감함을 나타낸다.
• RQ3 (도시 타당성): 단일 훈련된 정책 인스턴스가 5개의 이종 도시 그래프에서 실행되었다. 결과는 엇갈렸다:
  • Karlsruhe & Stuttgart: 학습된 정책이 처리량과 완료율 측면에서 모든 비학습 베이스라인(Max-Pressure, Queue, Fixed Time)보다 우수했다.
  • Mannheim: Queue 베이스라인보다 뒤처졌다.
  • Heidelberg: Fixed Time과 유사한 성능을 보였다.
  • Freiburg: Fixed Time보다 높은 처리량과 완료율을 달 기록했으나, 대기 밀도가 높아지는 비용이 발생했다.
  • 참고: Stuttgart는 실제 전이 테스트(훈련 롤아웃 없음)였으며, 나머지는 이종 훈련 도메인에서의 실행 능력을 보여주었다.

의의 및 주장

본 논문은 자신의 기여를 일반적인 도로 네트워크로의 전이에 대한 일반적 보장이 아닌 **타당성 증거(feasibility evidence)**로 명시적으로 규정한다.

• 제한된 범위: 저자들은 결과가 임의의 도로 네트워크에 대한 일반적인 전이를 확립하는 것은 아니라고 밝힌다. 평가는 특정 합성 및 도시 시뮬레이션 패밀리로 제한된다.
• 구조적 vs 경험적: 논문은 구조적 속성(가변 그래프에서 실행 가능하다는 것을 구성에 의해 입증됨)과 경험적 강건성(신호 제어 범위 변화와 같은 분포 변화에 민감함을 보여줌)을 구분한다.
• 구현 중심: 본 연구는 새로운 강화 학습 알고리즘을 제안하기보다는 구현과 아키텍처 인터페이스를 평가한다. 이는 인터페이스가 가변적인 차원을 지원하더라도, 학습된 성능이 제어기의 분포나 기저 네트워크 토폴로지의 변화에 불변하지는 않음을 강조한다.

결론적으로, 본 논문은 그래프 기반 인터페이스가 학습된 이동 점수 산정과 국소 신호 로직을 성공적으로 분리하여, 다양한 미지의 네트워크 기하 구조에서 실행될 수 있음을 입증한다. 그러나 구조적 실행 가능성이 추가적인 튜닝이나 적응 없이 분포 변화 또는 이종 도시 환경에서 견고한 성능을 자동으로 보장하는 것은 아님을 밝히고 있다.