기술 요약: AirQualityBench

문제 정의

대기질 예측은 지역적 이동, 기상 조건, 배출원, 그리고 이질적인 모니터링 커버리지의 영향을 받는 복잡한 시공간 예측 작업입니다. 최근의 심층 시공간 모델들은 정제된 지역 데이터셋에서 강력한 성과를 거두었지만, 그 진전은 실제 배포 조건을 반영하지 못하는 벤치마크에 의존하고 있습니다. 기존 벤치마크들은 일반적으로 세 가지 치명적인 한계를 겪고 있습니다:

1. 제한된 공간적 범위: 이들은 종종 단일 도시나 행정 구역으로 국한되어 행성 규모의 이동 패턴을 단절시키며, 다양한 기후 및 지형 조건에 걸친 모델의 확장성을 테스트하지 못합니다.
2. 정제된 결측치: 이들은 "깨끗한" 데이터 텐서를 구성하기 위해 수동 개입 (예: 선형 보간, 평균 대체) 을 자주 사용합니다. 이는 무작위성이 아닌 결측 (MNAR) 패턴이라는 물리적 현실과 동떨어져 있으며, 단편화된 실제 관측 스트림에 직면했을 때 모델의 취약성을 가리는 인공적 편향을 생성합니다.
3. 약한 물리적 해석 가능성: 이들은 단위 없는 정규화된 평가 지표에 의존하여 예측 오차의 독성학적 중요성을 흐리게 하고, 실험실 실험과 환경 규제 요구사항 사이의 간극을 만듭니다.

식별된 핵심 장애물은 단순히 데이터 양의 부족이 아니라, 결측 관측, 비균일한 공간 커버리지, 오염물질별 규모, 그리고 계산 비용을 고려한 현실적인 평가 프로토콜의 부재입니다.

방법론: AirQualityBench

이러한 격차를 해소하기 위해 저자들은 AirQualityBench를 소개합니다. 이는 실제적이고 단편화된 조건 하에서 예측 모델들을 평가하도록 설계된 글로벌 다중 오염물질 벤치마크입니다.

데이터셋 구성

• 규모 및 범위: 이 벤치마크는 2021 년부터 2025 년까지 전 세계 3,720 개 거주자 모니터링 스테이션에서 수집된 시간별 관측 데이터를 집계합니다.
• 오염물질: PM2.5, PM10, O3, NO2, SO2, CO 등 여섯 가지 주요 오염물질을 다룹니다.
• 데이터 출처: 원시 데이터는 OpenAQ 플랫폼에서 수집되었습니다. "거주자 스테이션" 필터가 적용되어, 전체 5 년 기간 동안 적어도 하나의 오염물질에 대해 유효 관측률이 50% 이상인 스테이션만 유지됩니다.
• 실제 결측치: 이전 연구들과 달리 AirQualityBench는 공급자 네이티브 관측 마스크를 보존합니다. 결측값을 대체하지 않습니다. 대신 유효 관측을 나타내는 이진 마스크 텐서 ($M \in \{0, 1\}^{T \times N \times C}$) 를 사용하여 모델들이 단편화된 과거 스트림에서 직접 추론하도록 강제합니다.
• 물리적 규모 평가: 벤치마크는 공급자 네이티브 단위 메타데이터 (예: 입자상 물질의 $\mu g/m^3$, CO 의 $mg/m^3$) 를 유지합니다. 예측값은 오차 계산 전에 이러한 물리적 규모로 역변환되어, 지표가 실제 농도 단위로 해석 가능하도록 보장합니다.
• 그래프 토폴로지: 지구 곡률을 고려하기 위해 하버사인 거리를 사용하여 표준화된 구면 $k$-NN 그래프가 구성되며, 그래프 기반 베이스라인을 위한 재현 가능한 공간적 사전 정보를 제공합니다.

실험 프로토콜

• 시간적 분할: 일반화를 테스트하기 위해 데이터를 연대순으로 분할합니다: 2021–2023 년은 학습용, 2024 년은 검증용, 2025 년은 테스트용으로 사용합니다.
• 베이스라인: 저자들은 다양한 대표적인 시공간 모델들을 평가합니다.
  • 그래프 순환/합성곱 방법 (DCRNN, STGCN, GWN, AGCRN).
  • 어텐션 기반 및 트랜스포머 아키텍처 (ASTGCN, STTN, PDFormer, IGSTGNN).
  • 분리 및 이벤트 인식 모델 (D2STGNN, MAGE, BiST).
• 공정성: 모든 모델은 동일한 마스킹 프로토콜 하에서 평가됩니다. 결측값은 정규화 후 제로 채움 (zero-filling) 으로 처리되며, 적용 가능한 경우 명시적인 이진 마스크 입력을 사용합니다. 평가 지표 (MAE, MSE, RMSE, MAPE) 는 역변환 후 유효한 미래 관측치에만 대해 계산됩니다.

주요 기여

1. 글로벌 다중 오염물질 벤치마크: 3,720 개 스테이션과 여섯 가지 오염물질을 갖춘 지리적으로 다양한 테스트베드로, 지역적 한계를 넘어 확장성과 지역 간 이질성을 평가할 수 있게 합니다.
2. 마스킹 인식 물리적 규모 평가: 실제 관측 불완전성을 보존하고 물리적 농도 규모에서 오차를 보고하는 프로토콜로, 정규화된 잔차가 아닌 물리적으로 해석 가능한 지표를 가능하게 합니다.
3. 통합 베이스라인 및 진단: 동일한 분할 및 마스킹 프로토콜 하에서 최첨단 모델들을 종합적으로 평가하여, 오염물질별 희소성과 비균일한 스테이션 커버리지 하에서의 모델 행동을 드러냅니다.

결과 및 발견

AirQualityBench 에 대한 대표 모델들의 평가는 몇 가지 통찰을 제공합니다:

• 성능 이전: 정제된 지역 데이터셋에서의 강력한 성능은 글로벌 단편화된 모니터링 스트림으로 신뢰성 있게 이전되지 않습니다.
• 모델 민감도: 명시적인 시공간 의존성 모델링과 분리된 공간 - 시간 역학을 가진 모델들 (예: D2STGNN, STTN) 은 일반적으로 최상위 계층을 형성합니다. 그러나 유연한 적응형 또는 어텐션 중심 설계가 항상 성능을 향상시키는 것은 아니며, 실제 결측치와 희소한 비균일 그래프가 학습된 의존성을 신뢰성 있게 추정하기 어렵게 만든다는 것을 시사합니다.
• 시간적 규칙성: 시간적 합성곱 기반 방법들은 특히 장기 예측에서 매우 경쟁력 있게 남아 있으며, 이는 벤치마크가 안정적인 시간적 백본이 활용할 수 있는 강한 일별 및 계절적 규칙성을 보존하고 있음을 나타냅니다.
• 정확도 - 효율성 트레이드오프: 벤치마크는 뚜렷한 트레이드오프를 강조합니다. 더 높은 정확도는 종종 상당한 계산 자원 (메모리 및 지연 시간) 을 요구하는 반면, 경량 모델들은 실제 결측치 하에서 예측 품질을 희생하는 경향이 있습니다. 예를 들어, 일부 소형 모델은 상당한 메모리 사용량을 초래하는 반면, 더 많은 매개변수를 가진 다른 모델들은 효율적으로 유지됩니다.

중요성 및 주장

이 논문은 AirQualityBench 를 최종 표준이 아닌 시공간 모델들을 위한 현실적인 테스트베드이자 스트레스 테스트로 위치시킵니다. 그 중요성은 다음과 같습니다:

• 격차 해소: 결측, 이질성, 물리적 규모와 같은 실제 배포 가능성을 결정하는 정확한 조건에 모델을 노출시킴으로써 이론적 연구와 실제 배포를 연결합니다.
• 진단적 가치: 단순한 리더보드 순위 매기기를 넘어, 모델들이 구조화된 결측, 오염물질별 희소성, 그리고 비균일 글로벌 네트워크로 확장하는 비용에 어떻게 대처하는지에 대한 진단적 통찰을 제공합니다.
• 재현성: 처리된 텐서, 실제 마스크, 스테이션 메타데이터, 평가 스크립트를 공개함으로써 저자들은 보고된 결과가 동일한 전처리 파이프라인에서 재현 가능하도록 합니다.

저자들은 AirQualityBench 가 정제된 텐서에서 정확한 예측 모델을 개발하는 데 그치지 않고, 단편화된 실제 관측 스트림 하에서도 신뢰할 수 있는 예측 모델 개발의 기반이 된다고 결론지으며, 확장 가능하고 마스킹을 인식하며 물리적으로 해석 가능한 대기질 예측 시스템의 개발을 촉진한다고 주장합니다.