Forecast-Aware Explainable Hybrid Stacking for Forecasting Across Heterogeneous Indian Cities

대기 질은 세계 여러 지역에서 생사와 직결된 문제이지만, 도시 상공에 떠 있는 보이지 않는 오염 구름을 예측하는 것은 매우 까다로운 일입니다. 문제는 대기가 모든 곳에서 동일하게 움직이지 않는다는 점입니다. 밀집된 산업 수도의 스모그 낀 아침은 해안 항구의 뿌연 오후나 습한 남부 대도시와는 다른 규칙을 따릅니다. 게다가 오염을 유발하는 요인들—교통 패턴, 날씨 변화, 그리고 차량과 공장의 막대한 규모—은 끊임없이 변화하며, 매 시간 변하는 복잡한 퍼즐을 만들어냅니다. 수십 년 동안 과학자들은 이러한 조건을 예측하기 위해 컴퓨터 모델을 구축하려 노력해 왔으며, 미세 입자(PM2.5로 알려진)가 인구 밀집 지역에 정착하기 전에 도시 계획가와 보건 당국에 경고를 줄 수 있기를 희망했습니다. 과제는 언제나 정확성과 명확성 사이의 균형을 맞추는 것이었습니다. 모델이 미래를 완벽하게 예측할 수는 있지만, 만약 그것이 아무도 이해할 수 없는 '블랙박스'라면 신뢰하거나 실행에 옮기기 어렵기 때문입니다.

이것이 바로 인도 폰디체리 대학교의 연구팀이 해결하고자 한 문제입니다. 그들은 단순히 미래를 추측하는 것이 아니라, 어떻게 그 추측에 도달했는지를 설명할 수 있는 새로운 종류의 예측 시스템을 구축하고자 했습니다. 그들의 연구는 세 개의 매우 다른 인도 도시, 즉 극심한 겨울 스모그로 알려진 북부의 거대 수도 델리, 북동부의 번화한 항구 도시 뭄바이, 그리고 남부 해안 도시 첸나이에 초점을 맞췄습니다. 2021년부터 2025년까지의 시간별 데이터를 연구함으로써, 연구진은 그들이 "설명 가능한 하이브리드 스태킹 프레임워크(Explainable Hybrid Stacking Framework)"라고 부르는 방법을 개발했습니다. 간단히 말해, 그들은 단 하나의 컴퓨터 프로그램에 무거운 짐을 맡기지 않았습니다. 대신, 각기 다른 방식으로 데이터를 바라보는 다양한 알고리즘 팀을 만들고, 이들의 통찰력을 결합하는 법을 배우는 마스터 알고리즘을 만들었습니다. 그 결과, 이 시스템은 한 시간 앞의 대기 질을 높은 정확도로 예측할 뿐만 아니라, 각 특정 도시의 예측을 주도하는 요인이 무엇인지(예: 이전 시간의 오염 수치나 현재의 습도 등)를 정확히 밝혀냅니다.

연구진은 먼저 세 도시의 공식 모니터링 스테이션으로부터 방대한 양의 원시 데이터를 수집했습니다. 이 데이터에는 미세 입자의 농도와 함께 시간대, 요일, 풍속, 습도와 같은 다양한 세부 정보가 포함되었습니다. 이 원시 데이터의 흐름을 이해하기 위해, 그들은 먼저 컴퓨터가 숫자 속에 숨겨진 패턴을 볼 수 있도록 가르쳐야 했습니다. 그들은 도시의 리듬을 포착하는 새로운 변수, 즉 "특징(features)"을 생성했습니다. 연중 어느 시기인지를 알려주는 특징, 지난 몇 시간 동안 오로라가 어떻게 행동했는지를 추적하는 특징, 그리고 지난 며칠간의 평균 오염도를 계산하는 특징을 추가했습니다. 심지어 날씨와 오염이 어떻게 상호작용하는지를 살펴보는 특별한 조합도 만들었습니다. 이 과정에서 수백 개의 잠재적인 단서가 생성되었지만, 그중 상당수는 반복적이거나 중복되었습니다.

가장 유용한 단서를 찾기 위해 연구팀은 엄격한 선택 과정을 거쳤습니다. 어떤 특징이 중요한지 결정하기 위해 단 하나의 방법만을 신뢰하는 대신, 그들은 네 가지 서로 다른 통계적 접근 방식을 사용하여 순위를 매겼습니다. 그들은 어떤 특징이 오염과 가장 강력한 통계적 연관성을 갖는지, 어떤 특징을 컴퓨터 모델이 가장 유용하게 사용하는지, 어떤 특징을 제거했을 때 정확도가 가장 크게 떨어지는지, 그리고 어떤 특징이 최종 결정에 가장 많이 기여하는지를 살펴보았습니다. 이 네 가지 방법의 결과를 결합함으로써, 그들은 "합의"에 도달했습니다. 이는 최종 특징 목록이 단일 수학적 기법의 편향에 휘둘리지 않도록 보장했습니다. 델리의 경우 173개의 핵심 특징으로 좁혔고, 뭄바이는 159개, 첸나이는 178개로 줄였습니다. 이 단계는 노이즈를 제거하고 각 위치에 진정으로 중요한 신호만을 남기는 데 결정적이었습니다.

최적의 특징이 선택되자, 연구진은 예측 엔진을 구축했습니다. 그들은 일부 패턴은 잘 포착하지만 다른 패턴은 놓칠 수 있는 단일 모델을 사용하지 않았습니다. 대신, 세 가지 다른 유형의 머신러닝 모델인 랜덤 포레스트(Random Forest), 엑스트라 트리즈(Extra Trees), XGBoost를 데이터로 학습시켰습니다. 이 세 모델을 세 명의 전문가라고 생각하십시오. 하나는 장기적인 추세를 포착하는 데 탁월할 수 있고, 다른 하나는 갑작스러운 급증을 잡아내는 데 능숙할 수 있으며, 세 번째는 변수 간의 복잡한 상호작용을 이해하는 데 뛰어날 수 있습니다. 각 전문가는 다음 시간의 대기 질에 대한 각자의 예측을 내놓았습니다. 그러나 훈련 중에 보지 못한 데이터를 시스템이 사용하는 것을 방지하기 위해, 연구진은 각 전문가가 훈련 과정에서 보지 못한 데이터로 테스트되는 정교한 기법을 사용했습니다.

마지막 단계는 이 전문가들을 하나로 모으는 것이었습니다. 캣부스트(CatBoost)라고 불리는 네 번째 모델이 팀 리더 또는 "메타 러너(meta-learner)" 역할을 했습니다. 이 리더의 임무는 세 전문가의 예측을 듣고 이를 하나의 더 우수한 예측으로 결합하는 법을 배우는 것이었습니다. 이 리더는 때로는 첫 번째 전문가가 옳고, 때로는 두 번째가 옳으며, 때로는 세 명의 의견을 혼합하는 것이 최선이라는 것을 배웠습니다. 이러한 "스태킹(stacking)" 접근 방식은 단일 모델이 스스로 할 수 있는 것보다 훨씬 더 넓은 범위의 패턴을 포착할 수 있게 해주었습니다. 연구진은 모델이 이전에 본 적 없는 2024년 말과 2025년의 데이터를 사용하여 시스템을 테스트함으로써, 결과가 실제 예측 능력에 대한 진정한 시험임을 보장했습니다.

결과는 놀라웠습니다. 새로운 시스템은 단순한 추측이나 개별 전문가 모델보다 성능이 현저히 뛰어났습니다. 델리의 경우, 시스템은 대기 질 변동의 93.83%를 설명했으며, 평균 오차는 세제곱미터당 약 30마이크로그램이었습니다. 뭄바이에서는 변동의 88.79%를 설명했으며 오차는 약 11마이크로그램이었습니다. 가장 극적인 개선은 대기 질 예측이 까다롭기로 유명한 첸바이에서 나타났습니다. 가장 좋은 단일 모델이 변동의 약 58%만을 설명할 수 있었던 반면, 새로운 결합 시스템은 76.96%를 설명하여 오차를 22마이크로그램 이상에서 16.7로 줄였습니다. 이는 서로 다른 학습 전략을 결합함으로써, 시스템이 일률적인 접근 방식보다 각 도시의 독특하고 복잡한 역학을 훨씬 더 잘 처리할 수 있음을 증명했습니다.

정확도만큼이나 중요한 것은 시스템의 투명성이었습니다. 연구진은 SHAP(SHapley Additive exPlanations)이라고 불리는 방법을 사용했기 때문에, "블랙박스"를 열어 모델이 무엇을 생각하고 있는지 정확히 볼 수 있었습니다. 델리의 경우, 시스템은 총 오염 부하와 더 큰 입자의 농도가 예측의 가장 큰 동력임을 보여주었습니다. 뭄바이에서는 현재의 더 큰 입자 수준과 한 시간 전의 상태가 가장 중요한 요인이었습니다. 첸나이의 경우, 시스템은 최근의 대기 질 지수와 총 오한 부하에 크게 의존했습니다. 이러한 세부 정보 수준은 의사 결정권자들에게 매우 중요합니다. 즉, 도시 공무원이 높은 오염 예보를 보았을 때, 그 설명을 보고 이것이 갑작스러운 교통량 증가 때문인지, 바람의 변화 때문인지, 아니면 산업 배출물의 축적 때문인지를 알 수 있다는 의미입니다.

이 연구는 모든 도시에 적용되는 단 하나의 "최고" 모델은 없다는 점을 강조했습니다. 델리에 가장 잘 작동했던 알고리즘은 뭄비에 최선이 아니었으며, 뭄비에 최선인 것이 첸나이에도 최선은 아니었습니다. 이 발견은 대기 오염이 지역적인 현상이며, 특정 지리, 기후 및 인간 활동과 깊게 연결되어 있다는 생각을 뒷받침합니다. 한 도시에서 작동하는 모델을 다른 도시로 단순히 복사하여 붙여넣을 수는 없으며, 반드시 해당 도시에 맞게 조정되어야 합니다. 연구진의 프레임워크는 각 도시의 고유한 규칙을 학습하면서도 일관되고 엄격한 예측 구축 방법을 유지할 수 있을 만큼 유연했기에 성공할 수 있었습니다.

결과는 유망하지만, 연구진은 자신들의 작업에 한계가 있음을 주의 깊게 언급했습니다. 이 시스템은 단 세 개의 도시와 특정 5년 기간에 대해서만 테스트되었습니다. 비록 그곳에서는 잘 작동했지만, 인도 전역이나 전 세계의 모든 도시에 작동하는지는 아직 입증되지 않았습니다. 사용된 데이터는 공식 정부 모니터로부터 왔으므로 신뢰할 수 있지만, 시스템은 위성 이미지나 실시간 교통 데이터와 같은 다른 잠재적인 정보원을 통합하지 않았습니다. 저자들은 이 시스템이 다른 기후와 다른 유형의 데이터에서도 작동하는지 테스트하여 진정으로 보편적일 수 있는지 확인하는 후속 연구를 제안합니다. 또한, 시스템이 높은 정확도로 오염 수준을 예측할 수는 있지만, 이는 오염 사건의 구체적인 발생원을 식별하기 위한 도구가 아니라 예측을 위한 도구라는 점을 강조합니다.

궁극적으로, 이 연구는 우리가 마시는 공기를 어떻게 관리할지에 대한 새로운 청사진을 제시합니다. 이는 세상의 공기를 위한 단 하나의 완벽한 공식을 찾으려는 기존의 아이디어를 넘어섭니다. 대신, 다양한 디지털 전문가 팀을 사용하여 각 도시의 독특한 도전을 헤쳐 나감으로써 문제의 복잡성을 수용합니다. 높은 정확도와 명확한 설명을 결합함으로써, 이 시스템은 강력할 뿐만 아니라 신뢰할 수 있는 도구를 제공합니다. 이는 적절한 접근 방식이 있다면, 우리가 대기 질의 미래를 볼 수 있을 뿐만 아니라 그것을 형성하는 힘을 이해할 수 있으며, 스모그가 도착하기도 전에 주민들을 보호하기 위해 필요한 지식을 도시에 제공할 수 있음을 보여줍니다.