FI-TW: An Open Train-Weather Dataset for Railway Delay Analysis in Finland

당신이 자동차 여행이 얼마나 걸릴지 예측하려고 한다고 상상해 보세요. 당신은 거리, 제한 속도, 그리고 차량의 상태를 알고 있습니다. 하지만 만약 날씨를 확인하는 것을 깜빡했다면 어떻게 될까요? 과학의 세계에서 이것은 단순히 지도를 보는 것과, 지도에 실시간 폭풍 레이더를 더해서 보는 것의 차이와 같습니다. 이 논문은 데이터 과학(컴퓨터를 사용하여 거대한 숫자 더미에서 패턴을 찾는 것)과 교통 공학(기차가 원활하게 운행되도록 유지하는 것)의 교차점에 존재합니다. 핵심 아이디어는 간단합니다. 기차는 단순히 선로 위를 달리는 것이 아니라, 공기 속을 달리고, 그 공기는 변화한다는 것입니다. 때로는 공기가 잔잔하기도 하고, 때로는 눈보라가 몰아치기도 합니다. 오랫동안 기차 지연을 연구하는 과학자들은 두 개의 별도 노트를 가지고 있었습니다. 하나는 열차 시간표였고, 다른 하나는 기상 보고서였습니다. 그들은 이 둘을 거의 함께 살펴보지 않았습니다. 이것은 문제입니다. 왜냐하면 기차가 왜 늦어지는지 알고 싶다면, 기차가 눈더미에 갇힌 것인지 아니면 단순히 신호를 기다리고 있는 것인지를 알아야 하기 때문입니다. 이 논문의 저자들은 이 두 노트를 함께 붙여서, 날씨가 지연의 숨은 악당인지 확인하기로 했습니다.

핀란드에서 연구 중인 연구진은 FI-TW(Finland Integrated Train–Weather)라는 거대하고 새로운 디지털 도서관을 구축했습니다. 이것을 7년 동안의 거대한 일기라고 생각해보세요. 이 일기는 근처 기상 관측소에서 바람, 눈, 온도를 측정하는 바로 그 순간에 모든 장거리 열차가 무엇을 하고 있었는지를 정확하게 기록합니다. 그들은 단순히 추측한 것이 아닙니다. 핀란드 철도 시스템의 실제 데이터와 핀란드 기상 연구소의 데이터를 가져와서 마치 패치워크 퀼트처럼 하나로 엮었습니다.

다음은 그들이 발견한 내용과 그 방법에 대한 이야기입니다:

위대한 데이터의 결합
핀란드는 해안에서 북극권까지 길게 뻗어 있는 가늘고 긴 나라입니다. 약 5,915km의 철도와 연간 9,000만 명 이상의 여객 운송량을 보유하고 있습니다. 그곳의 날씨는 장난이 아닙니다. 온화한 여름날부터 금속 문이 얼어붙는 영하 40°C의 뼈를 에는 듯한 겨울 밤까지 급격히 변할 수 있습니다. 날씨가 기차에 어떻게 영향을 미치는지 이해하기 위해, 팀은 두 개의 거대한 데이터 세트를 확보했습니다. 첫째, 모든 열차의 일정, 실제 도착 시간, 그리고 몇 분이나 지연되었는지를 추적하는 Digitraffic 서비스의 "열차 일기"를 가져왔습니다. 둘째, 전국에 흩어져 있는 209개의 기상 관측소로부터 "날씨 일기"를 가져왔습니다.

까다로운 점은 이들을 맞추는 것이었습니다. 열차는 움직이지만, 기상 관측소는 고정되어 있습니다. 이를 해결하기 위해 팀은 하버사인 거리(Haversine distance, 지구와 같은 둥근 구체 위에서 두 점 사이의 최단 거리를 계산하는 세련된 방법)라는 수학적 도구를 사용하여, 열차가 정차한 모든 지점에 가장 가까운 기상 관측소를 찾았습니다. 만약 가장 가까운 관측소에 특정 측정값(예: 적설량)이 없다면, 그들은 대비책을 세웠습니다. 반경 50km 이내에서 그다음으로 가까운 관측소를 찾는 것이었습니다. 이는 마치 동네 빵집에 시나몬 롤이 떨어졌을 때 포기하는 대신, 길 건너편 빵집을 확인하는 것과 같습니다. 이 "방사형 폴백(radial fallback)" 전략은 하나의 센서에 데이터가 누락되었다고 해서 데이터를 잃지 않도록 보장했습니다.

결과: 겨울은 악당이다
약 3,850만 개의 관측값과 138개의 서로 다른 특징을 포함하는 이 거대한 데이터 세트를 확보한 후, 그들은 패턴을 찾기 시작했습니다. 결과는 겨울날의 일출처럼 명확했습니다. 그들은 강한 계절적 리듬을 발견했습니다. 겨울에는 기차가 지연될 가능성이 훨씬 높습니다. 12월, 1월, 2월의 추운 달에는 지연율이 25% 이상으로 치솟습니다. 여름에는 20% 미만으로 떨어집니다.

그들은 또한 지연이 고르게 분포되어 있지 않다는 점을 발견했습니다. 지연은 날씨가 가장 혹독한 핀란드의 중부와 북부 지역에 집중되는 경고가 있습니다. 팀은 컴퓨터가 이러한 위험한 조건을 즉각적으로 인식할 수 있도록 "블리자드(Blizzard)" 또는 "블랙 아이스(Black Ice)"와 같은 특별한 "날씨 시나리오" 플래그(디지털 깃발)를 만들었습니다.

테스트: 미래를 예측할 수 있는가?
이 새로운 데이터 세트가 실제로 도움이 되는지 확인하기 위해, 저자들은 간단한 테스트를 수행했습니다. 그들은 XGBoost(패턴을 찾는 데 매우 뛰어난 유형의 머신러닝)라고 불리는 컴퓨터 모델을 사용하여 오울루(Oulu) 역에서의 열차 지연을 예측했습니다. 그들은 모델에게 열차 일정, 시간대, 그리고 날씨를 보도록 학습시켰습니다.

결과는 어땠을까요? 모델은 평균 오차 단 2.73분으로 지연을 예측할 수 있었습니다. 이는 꽤 인상적인 수치입니다! 이는 컴퓨터에 열차 일정과 날씨 보고서를 모두 제공하면, 일정만 가지고 있을 때보다 지연을 훨씬 더 잘 파악할 수 있음을 시사합니다. 모델은 특히 이전 여정에서 누적된 지연이 아니라, '해당 특정 역'에서 발생하는 지연을 예측하는 데 탁-월했습니다.

이것이 의미하는 바
이 논문은 기차 지연 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 그것은 연구자들에게 초강력 손전등을 건네주는 것과 같습니다. 이전에는 북극에서 날씨가 기차에 미치는 영향을 연구하는 것이 퍼즐 조각의 절반이 없는 상태에서 퍼즐을 푸는 것과 같았습니다. 이제, FI-TW 데이터 세트와 함께라면 과학자들은 모든 조각을 갖게 되었습니다. 그들은 이 데이터를 사용하여 더 나은 예측 시스템을 구축하고, 철도 회사가 눈보라에 대비하도록 돕고, 어떤 구간의 선로가 날씨에 가장 취약한지 파악할 수 있습니다.

저자들은 이것이 시작일 뿐이라고 신중하게 말합니다. 그들은 데이터 세트를 구축하고 그것이 작동함을 보여주었지만, 궁극적인 "완벽한" 예측 시스템을 만든 것은 아닙니다. 그것은 다음 세대의 과학자들의 몫입니다. 하지만 날씨와 열차 데이터가 한 방에 있어야 한다는 것을 보여줌으로써, 그들은 북극의 바람이 울부짖는 중에도 기차가 제시간에 운행될 수 있도록 하는 데 훨씬 더 나은 기회를 제공했습니다.