Action-masked deep Q-learning for optimizing full-length and short-turn urban rail services

당신이 거대하고 보이지 않는 오케스트라의 지휘자라고 상상해 보십시오. 당신의 악기는 열차이고, 당신의 악보는 시간표이며, 당신의 관객은 수천 명의 통근자들입니다. 하지만 여기 반전이 있습니다. 관객들이 깔끔하고 예측 가능한 줄을 서서 나타나지 않는다는 점입니다. 때로는 오전 8시에 경기장 전체의 사람들이 도심으로 몰려드는 반면, 외곽 지역은 텅 비어 있기도 합니다. 또 다른 때는 특정 지하철역으로 인파가 이동하여 나머지 구간은 조용해지기도 합니다. 만약 당신이 하루 종일 똑같은 곡(똑같은 노선에 똑같은 대수의 열차를 운행하는 것)을 연주한다면, 빈 열차가 연료를 낭비하거나 플랫폼에 사람들이 무질서하게 뒤엉키는 상황이 발생할 것입니다. 이것이 도시 철도의 일상적인 난제입니다. 즉, 오케스트라의 규칙을 어기지 않으면서 어떻게 음악(열차 운행)을 군중(수요)에 맞출 것인가 하는 문제입니다.

이를 해결하기 위해 과학자들은 **심층 강화 학습(Deep Reinforcement Learning)**이라는 인공지능의 한 분야를 사용합니다. 이것을 시행착오를 통해 게임을 배우는 컴퓨터 에이전트가 플레이하는 비디오 게임이라고 생각하십시오. 에이전트는 다양한 움직임을 시도하고, 좋은 움직임(예: 승객을 만족시키는 것)에는 점수를 얻고, 나쁜 움직임(예: 사람들이 너무 오래 기다리게 하는 것)에는 점수를 잃습니다. 시간이 흐르면서 최적의 전략을 학습하게 됩니다. 하지만 현실 세계에서는 아무것이나 마음대로 시도할 수는 없습니다. 존재하지 않는 열차를 운행하거나, 공간이 없는 역에서 열차를 회차시킬 수는 없습니다. 여기서 **액션 마스킹(Action Masking)**이 등장합니다. 마치 비디오 게임 컨트롤러가 캐릭터가 절벽 아래로 떨어지게 만드는 버튼을 누르지 못하도록 엄지손가락을 물리적으로 막는 것과 같습니다. AI는 오직 '합법적인' 버튼만을 누를 수 있도록 제한되어, 불가능한 일을 시도하지 않도록 보장받습니다. 이 논문은 디지털 지휘자가 두 가지 유형의 열차 서비스—전 구간을 운행하는 긴 열차와 조기에 회차하는 짧은 열차—를 다루면서, 이 "추락 방지" 규칙을 엄격히 준수하도록 가르칠 수 있는지 묻고 있습니다.

디지털 지휘자의 새로운 기술

이 연구에서 연구원들인 왕이보(Yibo Wang), 마정펑(Zhengfeng Ma), 첸롱지에(Rongjie Chen)는 새로운 종류의 AI 지휘자를 테스트하기 위해 12개 역으로 구성된 지하철 노선의 디지털 시뮬레이션을 구축했습니다. 그들은 **액션 마스크가 적용된 심층 Q-네트워크(Action-Masked Deep Q-Network, DQN)**가 승객 수에 따라 전 구간 운행 열차(시작부터 끝까지 운행)를 운행할지, 아니면 단거리 운행 열차(붐비는 중간 구간을 서비스하기 위해 조기에 회차)를 운한할지를 동적으로 결정할 수 있는지 확인하고자 했습니다.

AI 에이전트는 스마트한 배차원처럼 행동합니다. 매 단계마다 인파, 가용 열차 수, 그리고 선로의 물리적 한계(예: 열차가 얼마나 빨리 회차할 수 있는지 등)를 살핍니다. 그런 다음 네 가지 가능한 움직임 중 하나를 선택합니다: 현재 서비스를 유지하거나, 단거리 운행으로 전환하거나, 열차 빈도를 높이거나, 혹은 낮추는 것입니다. "액션 마스크"는 AI가 움직임을 결정하기 전에 개입하는 안전 가드입니다. 만약 AI가 역이 가득 찼을 때 열차를 회차시키려 하거나, 보유한 차량 수보다 더 많은 열차를 운행하려는 것과 같이 규칙을 위반하는 움직임을 선택하려고 하면, 마스크가 즉시 그 선택을 차단합니다. AI는 오직 "합법적인" 목록 내에서만 선택해야 합니다.

결과: 더 똑똑하고 빠른 이동

연구진이 새로운 AI를 세 가지 다른 전략(변하지 않는 고정 스케줄, 고정 단거리 운행 스케줄, 단순 규칙 기반 시스템)과 대결시켰을 때, 결과는 놀라웠습니다. 일반적인 평일 시뮬레이션에서 액션 마스크 DQN은 평균 보상 93.22를 달성한 반면, 다른 전략들은 모두 음수 값을 기록하며 저조한 성적을 보였습니다.

개선 효과는 엄청났습니다:

• 대기 시간: AI는 고정 전 구간 스케줄 대비 83.12%, 고정 단거리 운행 스케줄 대비 62.78%, 그리고 규칙 기반 시스템 대비 76.84% 대기 시간 지표를 감소시켰습니다.
• 승객 수송: AI는 고정 전 구간 계획보다 19.42% 더 많은 승객을 수송했고, 고정 단거리 운행 계획보다 17.39%, 규칙 기반 계획보다 5.08% 더 많은 승객을 수송했습니다.

AI는 변신술사가 되는 법을 배웠습니다. 피크 시간대에는 도심으로 향하는 인파를 처리하기 위해 더 많은 전 구간 열차를 배치했습니다. 한산한 시간대에는 에너지 낭비 없이 핵심 구간을 활발히 운영하기 위해 더 많은 단거리 운행 열차로 전환했습니다. AI는 시뮬레이션에서 36,923.33명의 승객을 성공적으로 수송했으며, 안전 규칙 위반은 단 한 건도 없었습니다.

반전: 안전인가 속도인가

여기서 이야기는 흥별겨워집니다. 연구진은 "안전 가드"(액션 마스크)가 실제로 AI의 학습을 돕고 있는지, 아니면 단순히 규칙 집행자 역할만 하는지 알고 싶었습니다. 이를 확인하기 위해 그들은 마스크 없이 AI가 불법적인 움직임까지 포함하여 모든 움직임을 시도하게 하고, 대신 불법적인 행동을 할 때마다 큰 벌점을 주는 테스트를 진행했습니다.

놀랍게도, 이 특정 테스트에서 마스크가 없는 AI가 보상과 대기 시간 측면에서 약간 더 나은 성과를 보였습니다. 마스크가 없는 버전의 보상은 -1577.80이었던 반면 마스크 버전은 -1870.01이었으며, 대기 시간 지표 또한 13.55% 더 많이 감소시켰습니다. 또한 마스크가 없는 AI가 아주 조금 더 많은 교통량을 처리했습니다.

그렇다면 마스크의 목적은 무엇일까요? 논문은 이 특정 시뮬레이션에서 마스크가 AI를 (순수 점수 측면에서) 더 "똑똑하게" 만들지는 못했을지라도, AI가 결코 규칙을 어기지 않도록 보장했다는 점을 시사합니다. 마스크가 없는 AI의 유효하지 않은 행동 비율(invalid-action rate)은 0.2274(즉, 훈련 중 약 22%의 확률로 불법적인 행동을 시도함)였던 반면, 마스크가 있는 AI의 비율은 0이었습니다. 저자들은 마스크가 단순히 점수를 극대화하기보다는 실행 가능성(feasibility), 즉 계획이 실제로 구축되고 실행될 수 있도록 보장하는 데 필수적이라고 결론지었습니다. 마스크는 AI가 현실이라는 "놀이터" 안에서 머물도록 강제합니다.

한계 테스트

연구진은 일반적인 날에만 머물지 않았습니다. 그들은 AI에게 예상치 못한 변수들을 던졌습니다:

• 갑작스러운 급증: 환승역에 거대한 인파가 나타났을 때, 고정 단거리 운행 계획이 AI보다 약간 더 나은 성과를 보였습니다. 이는 때때로 복잡한 학습보다 단순하고 위치 특화된 규칙이 더 효과적일 수 있음을 시사합니다.
• 선로 문제: 열차 회차 용량이 줄어든 상황을 시뮬레이션했을 때, AI는 완벽하게 적응했지만 고정 계획들은 어려움을 겪었습니다.
• 잘못된 예측: AI에게 수요 예측에 대한 20%의 오차를 주었음에도 불구하고, AI는 여전히 다른 방법들보다 우수한 성능을 보였습니다.

하지만 연구는 한계점도 찾아냈습니다. 가용 열차 수가 16대로 줄어들자 대기 시간이 열차가 18대일 때보다 두 배 이상 늘어났는데, 이는 어떤 AI의 마법도 물리적인 열차 부족 문제를 해결할 수는 없음을 보여줍니다.

시사점

이 논문은 도시 철도 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, **액션 마스크가 적용된 심층 Q-학습(Action-Masked Deep Q-Learning)**이 수요에 민 \응하면서도 엄격하게 안전한 서비스 계획을 세우는 강력한 도구임을 제안합니다. AI는 더 많은 사람을 수송하는 것과 열차가 빈 상태로 달리는 것을 방지하는 것 사이의 균형을 잡는 법을 배웠으며, 이 모든 과정에서 철도의 엄격한 법칙을 준수했습니다. "안전 가드"가 시뮬레이션에서 항상 더 높은 점수를 얻게 하지는 못했을지라도, AI가 내린 모든 결정이 실제 인간 배차원이 실행할 수 있는 형태임을 보장했습니다. 혼란스럽고 붐비는 도시 교통의 세계에서, 그 실행 가능성에 대한 보장은 이동의 속도만큼이나 중요할 수 있습니다.