기술 요약: 다중 에이전트 교통 조율을 위한 시공간 디시전 트랜스포머 (MADT)

1. 문제 정의

교통 신호 제어는 도시 교통 네트워크 전체의 흐름을 최적화하기 위해 여러 교차로를 조율해야 하는 중요한 과제입니다. 심층 강화 학습(DRL)이 유망한 성과를 보여왔으나, 기존 방식들은 도시 규모의 네트워크로 확장할 때 세 가지 근본적인 한계에 직면합니다:

1. 조율 복잡성: 단순한 다중 에이전트 정식화는 결합 액션 공간(joint action space)의 기하급수적인 증가를 해결하기 어렵고, 교차로 간 정보 공유(예: '그린 웨이브' 및 스필백 방지)를 위한 효과적인 메커니즘이 부족합니다.
2. 샘플 효율성: 온라인 RL 방식은 수백만 번의 시뮬레이터 상호작용을 필요로 하며, 이는 실제 배포를 제한하고 탐색 위험을 초래합니다.
3. 구조적 불일치: 기존의 시퀀스 모델링 접근 방식(예: Decision Transformer)은 단일 에이전트 설정용으로 설계되었으며, 공간적 토폴로지(도로 네트워크)가 상호작용 패턴을 결정하는 다중 에이전트 조율 환경으로 자연스럽게 확장되지 않습니다.

본 논문은 다중 에이전트 교통 신호 제어를 조건부 시퀀스 모델링 문제로 재정의함으로써, 오프라인 이력 데이터, 명시적 공간 모델링, 그리고 목표 지향적 컨디셔닝을 활용하여 이러한 문제들을 해결할 수 있다고 주장합니다.

2. 방법론: MADT 아키텍처

저자들은 세 가지 핵심 구성 요소를 통합하여 Decision Transformer 패러다임을 다중 에이전트 환경으로 확장한 **MADT (Multi-Agent Decision Transformer)**를 소개합니다.

A. 문제 정식화

이 작업은 분산 부분 관측 가능 마르코프 결정 과정(Dec-POMDP)으로 모델링됩니다.

• 관측값(Observations): 대기 행렬 길이, 평균 대기 시간, 현재 신호 페이즈, 마지막 페이즈 변경 이후 경과 시간, 인접 교차로의 대기 행렬 정보를 포함합니다.
• 액션(Actions): 교통 신호 페이즈 선택 (예: 4-페이즈 또는 8-페이즈 구성).
• 보상(Reward): 네트워크 전체의 평균 대기 시간을 기반으로 한 공유 보상을 사용하여, 국소적 효율성과 글로벌 처리량을 모두 포착합니다.

B. 아키텍처 구성 요소

MADT는 통합된 아키텍처를 사용하여 인터리브된 리턴 투 고(return-to-go) 타겟, 관측값, 액션의 시퀀스를 처리합니다:

1. 관측값 인코딩 (Observation Encoding): 각 에이전트의 교통 관측값은 MLP를 통해 인코딩되며, 학습 가능한 에이전트 임베딩 및 위치 인코딩(positional encodings)으로 증강됩니다.
2. 그래프 어텐션 공간 (Spatial Graph Attention): 에이전트를 대칭적으로 취급하거나 임의의 순서를 사용하는 기존 연구와 달리, MADT는 **그래프 어텐션 네트워크(GAT)**를 채택합니다. 이 메커니즘은 도로 네트워크 토폴로지를 명시적으로 모델링하여, 각 교차로가 학습된 가중치를 통해 공간적 이웃을 주목(attend)할 수 있게 합니다. 이는 **치환 등변성(permutation equivariance)**을 보장하며, 즉 조율 패턴이 임의의 에이전트 인덱싱이 아닌 도로 연결성을 통해 발현되도록 합니다.
3. 시계열 트랜스포머 인코딩 (Temporal Transformer Encoding): 인과적(causal) 트랜스포머 인코더는 상태, 액션, 리턴의 시퀀스를 처리하여 장기적인 시간 의존성(예: 여러 신호 주기 동안의 교통 진행 상황)을 포착합니다.
4. 리턴 투 고 컨디셔닝 (Return-to-Go Conditioning): 모델은 원하는 누적 미래 보상을 나타내는 타겟 "리턴 투 고" ($\hat{R}_t$)에 조건화됩니다. 이를 통해 테스트 시에 재학습 없이도 특정 성능 목표(예: 이동 시간 최소화)를 향해 모델을 유도할 수 있습니다.
5. 병렬 액션 생성 (Parallel Action Generation): 액션을 고정된 순서로 생성하는 자기회귀적 다중 에이전트 트랜스포머와 달리, MADT는 공간적 메시지 패싱 후 모든 교차로에 대한 결합 액션을 병렬로 생성하여 계산 효율성과 구조적 일관성을 보장합니다.

C. 학습 및 추론

• 오프라인 학습: 모델은 MaxPressure 정책을 사용하여 교통 시뮬레이터(CityFlow)에서 수집된 오프라인 궤적을 통해 지도 학습 방식으로 훈련됩니다. 훈련 중에는 온라인 환경과의 상호작용이 필요하지 않습니다.
• 추론: 테스트 시에는 타겟 리턴이 지정됩니다. 모델은 현재 상태와 타겟 리턴에 조건화되어 액션을 자기회귀적으로 예측하며, 관측된 보상을 바탕으로 리턴 투 고를 업데이트합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 그래프 구조 기반 공간 어텐션: 도로 네트워크 토폴로지를 모델링하기 위해 명시적인 그래프 어텐션 레이어를 도입하여, 교차로가 임의의 인덱싱이 아닌 공간적 근접성에 기반해 조율할 수 있도록 했습니다.
2. 통합 시공간 아키텍처: 그래프 어텐션 네트워크를 Decision Transformer 프레임워크 내에 새롭게 통합하여, 공간적 의존성(누가 누구와 조율하는가)과 시간적 역학(언제 페이즈를 변경하는가)을 공동으로 포착했습니다.
3. 네트워크 최적화를 위한 리턴 투 고 컨디셔닝: 원하는 네트워크 수준의 성능 목표를 지정할 수 있는 메커니즘을 제공하여, 효율성과 기타 목적 사이의 유연한 트레이드오프를 가능하게 합니다.
4. 포괄적인 평가: 합성 그리드 네트워크 및 실제 시나리오(Atlanta, GA 및 Boston, MA)에 대한 광범위한 검증을 통해 최첨단(SOTA) 성능과 견고한 절제 연구(ablation studies)를 입증했습니다.

4. 실험 결과

실험은 Grid 3×3, Grid 4×4, Atlanta (16개 교차로), Boston (15개 교차로)의 네 가지 환경에서 수행되었습니다. MADT는 전통적인 방식(FixedTime, MaxPressure), 온라인 RL 베이스라인(FRAP, MPLight, MAPPO, CoLight), 그리고 시퀀스 모델링 베이스라인(MAT, IndependentDT)과 비교되었습니다.

성능 지표

• 평균 이동 시간 (ATT): MADT는 모든 환경에서 가장 낮은 ATT를 달연했으며, 가장 강력한 베이스라인인 CoLight 대비 이동 시간을 5.3% ~ 5.9% 감소시켰습니다.
  • 예시: Atlanta 네트워크에서 ATT는 CoLight의 478.5초에서 MADT의 452.1초로 감소했습니다.
• 처리량 (Throughput): MADT는 CoLight 대비 네트워크 처리량을 5.5% ~ 6.2% 증가시켰습니다.
• 조율 지수 (Coordination Index): MADT는 조율 지수 0.78을 달성했습니다 (CoLight의 0.52 대비). 이는 약 50%의 상대적 개선을 의미하며, 인접 교차로 간의 우수한 페이즈 동기화를 나타냅니다.
• 오프라인 학습 효율성: MADT는 훈련 데이터를 수집하는 데 사용된 MaxPressure 정책보다 성능이 크게 높았습니다 (예: Grid 3×3에서 14.8% 개선). 이는 차 suboptimal한 데몬스트레이션으로부터 더 나은 정책을 추출하는 능력을 보여줍니다.

절제 연구 (Ablation Studies)

• 그래프 어텐션: 그래프 어텐션을 제거했을 때 평균적으로 ATT가 8.4% 증가하여, 공간적 조율에 있어 핵심적인 역할을 확인했습니다.
• 리턴 컨디셔닝: 리턴 투 고 컨디셔닝을 제거하면 ATT가 5.2% 증가하여, 목표 지향적 제어의 이점을 입증했습니다.
• 결합 효과: 두 구성 요소를 모두 제거하면 성능이 13.4% 하락했습니다. 이는 공간적 조율과 목표 컨디셔닝이 서로 보완적인 관계에 있는 초가산적(super-additive) 관계임을 시사합니다.

강건성 및 확장성

• 혼잡 민감도: 개선 효과는 높은 수요(400 veh/h/lane에서 8.1% 개선)에서 가장 두드러졌으며, 이는 조율이 결정적인 상황에서 이 방법이 가장 가치 있음을 나타냅니다.
• 추론 지연 시간: 추론 시간은 50ms 미만으로, 실시간 제어 요구 사항(<1초)을 충분히 만족합니다.
• 데이터 품질: 모델은 품질이 낮은(무작위) 데이터로 훈련되었을 때도 완만하게 성능이 저하되었으며, 합리적인 성능을 유지했습니다.

5. 의의 및 주장

본 논문은 MADT가 시퀀스 모델링과 공간적 조율 사이의 간극을 성공적으로 메움으로써 다중 에이전트 교통 제어 분야의 중요한 진전을 이루었다고 주장합니다.

• 패러다임의 전환: 다중 에이전트 조율이 효과적으로 감독 학습 기반의 시퀀스 모델링 문제로 치환될 수 있음을 보여주며, 이를 통해 지도 학습의 훈련 안정성을 상속받는 동시에 온라인 RL의 샘플 비효율성과 탐색 위험을 피할 수 있음을 입증했습니다.
• 구조적 무결성: 그래프 어텐션을 통해 도로 네트워크 토폴로지를 존중함으로써, 에이전트를 독립적이거나 임의의 순서로 취급하는 방식의 한계를 극복했습니다. 이는 효과적인 교통 조율을 위해 공간적 구조가 필수적임을 증명합니다.
• 실용적 생존 가능성: 온라인 환경 상호작용 없이 오프라인 이력 데이터로부터 학습할 수 있는 능력과 실시간 추론 성능은 이 접근 방식이 기존 교통 관리 시스템에 배포 가능함을 시사합니다.
• 창발적 행동: 분석 결과, MADT는 명시적인 프로그래밍 없이도 '그린 웨이브' 형성, 스필백 방지, 수요 대응형 타이밍과 같은 해석 가능한 교통 공학 전략을 학습한다는 것을 보여주었습니다. 이는 모델이 데이터로부터 의미 있는 조율 전략을 직접 발견할 수 있음을 시사합니다.

저자들은 수백 개의 교차로로의 확장성 및 실제 배포 시의 분포 변화(distribution shifts)와 관련된 과제가 남아있지만, MADT가 시퀀스 모델링과 다중 에이전트 강화 학습의 접점에서 향후 연구를 위한 견고한 토대를 제공한다고 결론짓습니다.