A prediction model for hybrid air pollutants combining two-stage decomposition and two-scale feature selection

대기 오염은 현대 생활에서 끊임없이 존재하는 현상이지만, 그중에서도 지표면 오존과 같이 해를 끼치기 전까지는 눈에 띄지 않는 특정 유형의 보이지 않는 위협이 있습니다. 대기 상층부의 보호층인 오존과는 달리, 지표면 근처의 오존은 햇빛이 다른 오염 물질과 반응하여 생성되는 독성 부산물입니다. 이는 스모그의 주요 원인이자 특히 어린이와 노약자에게 큰 건강상의 위험을 초래하며, 호흡기 문제를 유발하고 농작물에 피해를 줍니다. 오존 농도는 급격하고 예측 불가능하게 변할 수 있기 때문에, 농도가 급증하는 시점을 아는 것은 공중 보건을 위해 매우 중요합니다. 이를 통해 사람들은 하루 일정을 계획할 수 있고, 의사들은 환자 급증에 대비할 수 있으며, 도시 계획가들은 교통과 산업을 관리하는 데 필요한 데이터를 얻을 수 있습니다. 그러나 오존 농도 예측은 데이터가 무질서하고 갑작스러운 변화와 숨겨진 패턴으로 가득 차 있어 표준적인 예측 도구들이 해석하기 어렵기 때문에 매우 까다로운 작업입니다.

PowerChina Guizhou Electric Power Engineering Co., Ltd와 푸저우 대학교(Fuzhou University)의 연구진은 이 문제를 해결하기 위해 새로운 접근 방식을 개발했습니다. 그들은 오존 데이터의 혼란스러운 특성을 처리하도록 설계된 예측 모델을 만들었습니다. 이들의 방법은 가공되지 않은 거친 수치를 직접 예측하려고 하는 대신, 데이터를 더 작고 단순한 조각들로 분해하고, 노이즈를 제거한 다음, 더 높은 정밀도로 예측치를 재구성합니다. 연구팀은 베이징과 상하이의 일일 오존 기록을 통해 이 시스템을 테스트한 결과, 기존 방식보다 성능이 크게 뛰어났으며, 위험한 대기 질이 언제 발생할지에 대해 더 명확하고 신뢰할 수 있는 그림을 제공한다는 것을 발견했습니다.

그들 전략의 핵심은 더 잘 이해하기 위해 사물을 분해하는 과정에 있습니다. 북적이는 방 안에서 대화를 들으려 한다고 상상해 보십시오. 만약 전체 소음에만 집중한다면 아무것도 들을 수 없을 것입니다. 하지만 특정 목소리들을 분리해낸다면 메시지는 명확해집니다. 연구진은 오존 데이터에도 유사한 논리를 적용했습니다. 그들은 먼저 '개선된 완전 적응형 노이즈 앙상블 경험적 모드 분해(improved complete adaptive noise ensemble empirical mode decomposition)'라고 불리는 기술을 사용하여, 복잡하고 휘발성이 강한 오존 수치의 이력을 여러 개의 뚜렷한 층으로 나누었습니다. 이 초기 단계는 불규칙한 급증 현상을 완화하여, 혼란스러운 신호를 보다 규칙적이고 관리 가능한 패턴의 집합으로 바꾸어 놓았습니다.

하지만 연구진은 첫 번째 분해를 거친 후에도 첫 번째 데이터 층이 여전히 정확하게 예측하기에는 너무 복잡하다는 점을 발견했습니다. 그 층은 여전히 너무 많은 노이즈가 섞여 있고 예측하기 어려웠습니다. 이를 해결하기 위해 연구진은 그 까다로운 단 하나의 층에 대해서만 더욱 집중적인 2차 분해를 적용하여, 그 층이 분석하기 충분할 만큼 단순해질 때까지 더 세밀하게 나누었습니다. 그런 다음 남은 층들을 복잡도에 따라 그룹화하여, 유사한 특성을 가진 층들을 하나의 더 깨끗한 흐름으로 병합했습니다. 이러한 2단계 접근 방식은 입력되는 모든 데이터가 최대한 단순하고 명확하도록 보장했습니다.

데이터가 정제되고 단순화된 후, 팀은 또 다른 과제에 직면했습니다. 바로 과거의 이력 중 어떤 부분이 실제로 미래에 중요한지를 결정하는 것이었습니다. 머신러닝에서 모델에 너무 많은 정보를 입력하면 모델을 혼란스럽게 할 수 있는데, 이를 '차원의 저주(curse of dimensionality)'라고 합니다. 이를 피하기 위해 연구진은 2단계 필터를 사용했습니다. 먼저, 어떤 과거의 날들이 현재의 날과 통계적 연관성이 있는지 식별했습니다. 그다음, 컴퓨터 알고리즘을 사용하여 이러한 연결 관계의 순위를 매기고 가장 중요한 것들만 선택하여 나머지는 버렸습니다. 이를 통해 모델이 무관한 세부 사항에 압도되지 않고 오존 변화의 진정한 동인을 집중적으로 파악할 수 있도록 했습니다.

마지막으로, 정제되고 필터링된 데이터는 '시간적 합성곱 신경망(temporal convolutional network)'이라 불리는 특수한 형태의 인공지 Intelligence 시스템에 입력되었습니다. 이 시스템은 시간을 거슬러 올라가 보며, 다른 모델들이 놓칠 수 있는 장기적인 패턴을 포착하도록 설계되었습니다. 이 강력한 예측기와 엄격한 데이터 준비 과정을 결적으로 결합함으로써, 연구진은 놀라운 결과를 얻었습니다. 베이징과 상하이에서 실시된 테스트에서, 이 모델은 기존의 인기 있는 예측 방법들보다 훨씬 작은 오차를 나타냈습니다. 구체적으로, 새 모델은 베이징에서 0.53509의 평균 절대 오차(MAE)와 0.73346의 평균 제곱근 오차(RMSE)를 달성했으며, 상하이에서도 이와 유사한 높은 정확도를 보였습니다. 이 수치들은 모델의 예측치가 실제 관측값과 매우 근접했음을 나타내며, 이러한 2단계 분해 및 특징 선택 과정을 사용하지 않은 표준 모델들의 성능을 훨씬 능가했습니다.

이 연구는 복잡한 환경 현상을 예측하는 열쇠가 단순히 강력한 컴퓨터를 보유하는 것에 있는 것이 아니라, 컴퓨터가 데이터를 접하기 전에 데이터를 어떻게 준비하느냐에 달려 있음을 보여줍니다. 노이즈를 체계적으로 제거하고 가장 관련성 높은 과거 패턴에만 집중함으로써, 연구진은 견고하면서도 정밀한 도구를 만들어냈습니다. 현재 모델은 오존 수치에만 집중하고 있지만, 저자들은 향후 풍속이나 기온과 같은 다른 요인들을 포함하도록 확장하여 시스템을 더욱 효과적으로 만들 수 있다고 제안합니다. 현재로서는, 이 새로운 접근 방식은 대기 질 제어를 위한 귀중한 참고 자료로서, 우리가 마시는 공기 속의 보이지 않는 위협을 예측하는 더 직관적이고 신뢰할 수 있는 방법을 제공합니다.