기술 요약: 준계층적 심층 강화학습을 통한 자율 철도 운영을 위한 방향

1. 문제 정의

본 논문은 철도 교통 관리 내의 **차량 경로 설정 및 스케줄링 문제 (VRSP)**를 다루며, 특히 지연, 열차 고장, 자원 부족과 같은 교란에 대한 실시간 재스케줄링에 초점을 맞춥니다. 교통 밀도가 증가하고 인프라 한계가 축소됨에 따라, 이 문제는 지수적인 조합적 복잡성을 띠게 되어 전통적인 운영 연구 (OR) 방법과 인간 디스패처가 실시간으로 신뢰성 있게 해결하기 어렵게 만듭니다.

식별된 핵심 과제는 밀집된 철도 네트워크에서 기존 솔루션의 확장성과 적응성입니다. 다중 에이전트 강화학습 (MARL) 이 분산 의사결정의 잠재력을 제공하지만, 현재의 단일 구조 (monolithic) RL 접근법은 다음과 같은 어려움에 직면해 있습니다:

• 어려운 탐색 문제 (The Hard-Exploration Problem): 빈번하지만 영향력이 낮은 행동 (경로 설정/이동) 과 드물지만 영향력이 큰 결정 (디스패칭) 사이의 심각한 불균형.
• 행동 불균형: 밀집된 시나리오에서 에이전트들은 종종 'NOOP(대기)' 또는 국소적 경로 조정을 기본값으로 선택하여 최적의 디스패칭 전략을 탐색하지 못합니다.
• 확장성 한계: 단일 구조 정책은 열차 수가 증가함에 따라 에이전트들을 효과적으로 조정하는 데 어려움을 겪어, 높은 교착 상태 (deadlock) 발생률이나 낮은 자원 활용도로 이어지는 경우가 많습니다.

이 문제는 에이전트 (열차) 가 제한된 국소 정보를 공유 환경에서 운영되는 **부분 관측 마르코프 의사결정 과정 (POMDP)**으로 모델링됩니다. 주요 목표는 총 지연 시간을 엄격히 최소화하는 것이 아니라, 교착 상태가 없는 시스템을 유지하면서 열차의 도착 비율을 극대화하는 것입니다.

2. 방법론: Maze-Flatland

단일 구조 RL 의 한계를 극복하기 위해 저자들은 Maze-Flatland라는 준계층적 다중 에이전트 강화학습 (MARL) 프레임워크를 제안합니다. 이 접근법은 의사결정 과정을 두 개의 조정된 명확한 수준으로 명시적으로 분리합니다:

A. 계층적 분해

하위 정책이 임의로 호출될 수 있는 완전한 계층적 RL 과 달리, Maze-Flatland 는 엄격한 시간적 순서를 강제합니다:

1. 디스패칭 (MADS - 다중 에이전트 출발 스케줄링): 열차가 네트워크에 진입하는 시기를 결정하는 고수준 정책입니다. 이는 희소한 시간 규모 (열차당 한 번) 로 작동하며, 전체 네트워크 지표 (예: 총 점유율, 충돌 예측) 를 사용하여 열차를 디스패칭할지 지연시킬지 결정합니다.
2. 경로 설정 (MAPF - 다중 에이전트 경로 탐색): 디스패칭된 후 열차가 어떻게 이동할지 처리하는 저수준 정책입니다. 이는 빈번한 시간 규모로 작동하며, 분기점에서 (전진, 좌회전, 우회전, 정지) 국소적 결정을 내려 네트워크를 항해하고 충돌을 해결합니다.

B. 관찰 및 행동 공간

프레임워크는 간섭을 줄이고 학습 안정성을 향상시키기 위해 각 수준에 특화된 관찰 및 행동 공간을 활용합니다:

• MADS 관찰: 에피소드 길이, 맵 점유율과 같은 전역 지표와 충돌 분석을 결합합니다. 에이전트는 활성 열차에 대비하여 상위 $k$개 계획 경로를 비교하여 겹치는 셀과 잠재적 충돌 거리를 계산합니다.
• MAPF 관찰: 다음 결정 지점 (DP) 까지의 셀을 축소하는 정교한 트리 기반 구조 (TreeObsForRailEnv) 를 활용합니다. 경로는 최단 경로와 대안을 구분하도록 인코딩됩니다. 에이전트는 또한 분산 조정을 용이하게 하기 위해 경로상에서 처음 마주치는 에이전트의 예상 상태를 관찰합니다.
• 행동 마스킹: 결정 컨트롤러는 불필요한 결정 (예: 열차의 예정 시간 전 디스패칭 행동 건너뛰기 또는 실행 불가능한 경로 설정 이동 마스킹) 을 방지합니다.

C. 훈련 전략

정책은 몬테카를로 트리 검색 (MCTS) 플래너가 안내하는 반복적 행동 복제 (BC) 절차를 사용하여 독립적으로 훈련됩니다:

1. MAPF 훈련: 네트워크 복잡성을 증가시키는 커리큘럼을 사용하여 먼저 훈련됩니다. 정책은 만족스러운 성공률 (예: 15 대 열차 기준 50% 이상 성공) 을 달성하면 고정됩니다.
2. MADS 훈련: 안전한 디스패칭 예제를 생성하기 위해 간단한 휴리스틱 디스패처로 초기화한 후, 다양한 열차 밀도 (10, 20, 50 대) 에 걸쳐 MCTS 롤아웃을 사용하여 일반화를 개선합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. RL 한계에 대한 분석: 빈번한 경로 설정 행동의 우세로 인해 단일 구조 정책이 드문 디스패칭 결정을 충분히 탐색하지 못하는 '어려운 탐색 문제'를 강조하는 Flatland-RL 내 에이전트 행동에 대한 상세 분석.
2. 준계층적 프레임워크: 디스패칭과 경로 설정을 전용 관찰 및 행동 공간을 가진 별도의 정책으로 분리하는 새로운 2 단계 RL 접근법인 Maze-Flatland의 도입. 이 분해는 작업 간섭을 줄이고 학습 신호를 균형 있게 조정합니다.
3. 확장성 증명: 이 아키텍처가 교통 밀도에 따라 효과적으로 확장되며, 처리량과 견고성 측면에서 휴리스틱 기준 및 단일 구조 RL 방법 모두를 크게 능가한다는 경험적 증거.

4. 실험 결과

이 방법은 5 가지 난이도 수준 (7~80 대 열차) 과 50 개의 무작위 시드를 대상으로 Flatland-RL 시뮬레이터에서 평가되었습니다. 평가는 동시성과 혼잡을 극대화하기 위해 일정 속도 구성 (속도=1) 을 사용했으며, 이는 이전의 분수 속도를 사용한 연구보다 더 까다로운 환경을 조성했습니다.

성능 지표:

• 성공률: Maze-Flatland 는 목적지에 도달한 열차 수를 크게 개선했습니다. 가장 어려운 시나리오 (80 대 열차) 에서 휴리스틱 기준 대비 약 2 배의 성공률을 달성하여 약 50% 의 열차가 도착했습니다.
• 교착 상태 비율: 이 접근법은 교착 상태 비율을 5% 미만으로 유지하여 (에피소드당 평균 4 대 이하의 열차 고착), 더 높은 교착 빈도로 고통받는 탐욕적 및 단일 구조 RL 기준보다 훨씬 우수한 성과를 보였습니다.
• 절충 관계: 극심한 부하 하에서 일부 휴리스틱에 비해 취소율 (시간 제약으로 인해 디스패칭되지 않은 열차) 이 더 높았으나, 이는 네트워크 포화를 방지하기 위한 MADS 정책의 보수적 행동의 결과였습니다. 시스템은 모든 열차를 네트워크에 강제로 진입시키는 것보다 안정성과 교착 상태 회피를 우선시했습니다.

절대화 연구 (Ablation Study):
이 연구는 두 구성 요소 모두 필수적임을 확인했습니다. MADS 를 탐욕적 디스패처로 대체하면 교착 상태가 증가했고, MAPF 를 탐욕적 라우터로 대체하면 혼잡 하에 성능이 붕괴되었습니다. 완전한 준계층적 시스템이 처리량과 안정성 사이의 가장 좋은 절충 관계를 제공했습니다.

5. 중요성 및 주장

본 논문은 철도 디스패칭에 표준 RL 을 적용하는 특정 구조적 한계를 해결함으로써 자율 철도 운영을 향한 중요한 걸음으로 Maze-Flatland 를 위치시킵니다.

• 운영 정렬: 이 아키텍처는 디스패칭 (진입 스케줄링) 과 경로 설정 (경로 따르기) 이 종종 다른 시스템이나 인력에 의해 처리되는 별도의 기능인 실제 철도 운영을 반영합니다.
• 견고성: 이 프레임워크는 의사결정 범위를 분리함으로써 정책이 전문화되어 전통적인 OR 방법이 실시간 제약에 직면하고 단일 구조 RL 이 확장성에 실패하는 밀집된 동적 환경에서 더 견고한 조정을 가능하게 함을 보여줍니다.
• 향후 방향: 저자들은 겸손하게 향후 작업은 분수 열차 속도 (가변 동역학) 를 최적화하고 처리량 및 자원 활용도 극화와 함께 지연 최소화를 공동으로 수행하는 다목적 최적화를 탐색하여 프레임워크를 실제 철도 네트워크의 복잡한 요구 사항에 더 가깝게 만드는 데 초점을 맞출 것이라고 언급합니다.

이 작업은 유럽 연합의 Horizon Europe 프로그램이 지원하는 AI4REALNET 프로젝트의 지원을 받았습니다.