An air quality, meteorological and traffic spatio-temporal annotated data set

기술 요약: METRAQ – 대기 질, 기상 및 교통 시공간 주석 데이터셋

문제 정의
도시의 대기 질은 대기 오염, 기상 조건, 그리고 교통 활동의 상호작용에 의해 발생하는 복잡한 현상이다. 이러한 도메인별 개별 데이터셋은 존재하지만, 이 이질적인 소스들을 공통된 해상도와 위치에 맞춰 정렬한 통합된 장기 시공간 데이터셋은 부족한 실정이다. 기존 데이터셋은 종종 제한적인 시간적 범위, 교통 데이터의 부재, 또는 조밀하지 못한 시간 해상도(예: 일간 집계) 등의 문제를 가지고 있어, 도시 대기 질 평가, 노출 분석 및 시공간 예측을 위한 강력한 모델 개발을 저해한다.

방법론
저자들은 스페인 마드리드 시의 공공 데이터를 사용하여 추출-로드-변환(ELT) 워크플로우를 통해 구축된 큐레이션 데이터셋인 METRAQ를 제시한다. 방법론은 세 가지 주요 단계로 구성된다:

1. 데이터 추출 및 로드:

   • 소스: 대기 질 데이터(2001년부터 시간 단위), 기상 데이터(2019년부터 시간 단위), 교통 데이터(2015년부터 15분 간격)를 마드리드 오픈 데이터 포털에서 추출하였다.
   • 정규화: 원본의 일간 광범위 CSV 파일(행당 24개의 시간 필드 포함)을 스테이션, 측정 항목, 타임스탬프별로 인덱싱된 단일 관측치를 나타내는 "long" 형식으로 변환하였다.
   • 유효성 보존: 원본 유효성 플래그를 보존하였다. 2차 품질 관리 단계에서는 물리적 타당성 범위(예: $T \ge -55^\circ C$, $AP \ge 700$ mb)를 적용하여 물리적으로 불가능한 값을 무효로 처리하였다.

2. 데이터 결측치 보간 및 증강:

   • 시간적 보간: 대기 질 및 기상 시계열에 대해 누락된 시간 단위 값을 식별하였다. 만약 특정 스테이션-측정 항목-연도 시리즈가 50% 이상의 유효한 데이터를 보유한 경우, 양방향 선형 보간법을 사용하여 누락된 값을 채웠다.
   • 공간적 보간 (기상): 기상 변수를 대기 질 모니터링 스테이션(AQMS) 위치에 할당하였다. 스테이션이 공동 위치(co-located)에 있는 경우 값을 복사하였고, 그렇지 않은 경우 Ordinary Kriging(스테이션 $\ge 12$개인 경우), Inverse Distance Weighting(스테이션 $\ge 4$개인 경우), 또는 최근접 이웃(nearest-neighbor) 보간법을 사용하여 값을 추정하였다.
   • 교통 증강: 5,027개의 센서로부터 얻은 교통 데이터를 시간 단위 해상도로 집계하고 AQMS 위치로 공간 보간하였다. 5가지 보간 변형(Radial Basis Functions: Multiquadric, Gaussian, Linear; Inverse Distance Weighting; Ordinary Kriging)을 생성하여 3가지 교통 변수(강도, 점유율, 평균 속도)에 적용하였다.

3. 데이터셋 조립:

   • 최종 데이터셋은 64,881,744개의 행을 포함하는 24개의 연간 CSV 파일(2001–2024)로 구성된다.
   • 이는 36개의 측정 항목(14개의 대기 오염 물질, 7개의 기상 변수, 15개의 교통 유도 변수 [3개 기본 변수 $\times$ 5개 보간 방법])을 포함한다.
   • 플래그(is_interpolated)를 통해 관측값과 생성된 값을 구분한다.

주요 기여
본 논문은 네 가지 주요 기여를 주장한다:

1. 장기 통합: 대기 질, 기상, 교통 데이터를 통합하여 마드리드를 대상으로 하는 통일된 데이터셋을 구축하였으며, 시간적 교차 구간은 72개월(2019–2024)이지만 대기 질 데이터는 2001년까지 거슬러 올라간다.
2. 스테이션 중심 구조: 14개의 오염 물질, 7개의 기상 파라미터, 그리고 5,000개 이상의 센서에서 유도된 교통 변수를 특정 AQMS 위치에 맞춘 시간 단위 해상도의 데이터셋을 제공한다.
3. 시간적 교차: 세 가지 데이터 소스가 모두 존재하는 6년(72개월)의 중첩 구간을 제공하여, 도시 대기 질과 모빌리티의 공동 분석을 용이하게 한다.
4. 기술적 검증: 저자들은 데이터셋의 유용성과 재현성을 입증하기 위해 다변량 예측, 시간적 보간, 공간적 보간에 대한 베이스라인 기술 검증 워크플로우를 제공한다.

결과 및 기술적 검증
본 논문은 새로운 예측 모델을 제안하는 대신, 베이스라인 실험을 통해 데이터셋의 유용성을 검증한다:

• 예측 (Forecasting): 센서 28079008과 8개의 오염 물질(2010–2024)을 사용하여 iTransformer, TimeMixer, TimeXer, MLP, XGBoost를 포함한 모델로 테스트하였다. 결과(MSE/MAE)는 96, 192, 336, 720시간의 예측 길이에 대해 제공된다.
• 시간적 보간 (Temporal Imputation): 동일한 설정에서 12.5%에서 50% 사이의 결측률을 도입하였다. 테스트된 방법에는 TimesNet, Transformer, 선형 보간, Autoformer이 포함된다. TimesNet이 결측률 전반에 걸쳐 다른 모델보다 우수한 성능을 보였다.
• 공간적 보간 (Spatial Imputation): 2019년 NO2 데이터를 사용하여, 다른 스테이션들의 데이터를 통해 제외된 스테이션(28079035)의 값을 추정하였다. Inverse Distance Weighting(IDW)이 RBF 및 Kriging 방법보다 낮은 MSE(0.147)를 달 기록하였다.
• 분해 (Decomposition): 일간 평균 오염 물질 시계열에 대한 MSTL(Multiple Seasonal-Trend decomposition using LOESS) 분석을 포함하며, 이를 통해 장기 추세와 주간/연간 계절성 성분을 밝혀냈다.

의의
저자들은 METRAQ를 도시 대기 질, 노출 평가, 교통 관련 오염, 그리고 밀집된 도시 환경에서의 시공간 모델링 연구를 지원하는 자원으로 포지셔닝한다. 이질적인 공공 데이터 소스들을 공통된 시간 해상도와 스테이션 중심 구조로 조화시킴으로써, 본 데이터셋은 "광범위한" 다도시 데이터셋과 변수 통합이 제한적인 "심층적인" 단일 도시 데이터셋 사이의 간극을 메우는 것을 목표로 한다. 유효성 플래그와 보간 지표의 포함은 연구자들이 관측값과 유도된 값을 구분할 수 있게 하여 엄격한 재현성을 지원한다. 데이터셋은 CC-BY 4.0 라이선스로 공개되며 PyTorch 통합을 위한 코드도 함께 제공된다.