Preregistered External Validation of Spatially Valid Conformal Prediction for Air-Pollution Exposure Mapping in China

공기가 얼마나 더러운지를 보여주는 지도는 공중 보건을 위한 필수적인 도구입니다. 이 지도들은 의사들이 사람들이 왜 병에 걸리는지 이해하도록 돕고, 정부가 어디에 병원을 지을지 안내하며, 가족들이 언제 실내에 머물러야 하는지 알려줍니다. 하지만 지도는 자신의 오류에 대해 정직할 때 비로소 가치가 있습니다. 만약 지도가 정밀하다고 주장하지만 실제로는 터무니없이 추측하고 있다면, 이는 위험한 결정으로 이어질 수 있습니다. 수년 동안 과학자들은 특히 중국과 같이 광대하고 변화무쌍한 풍경에서 오는 데이터를 다룰 때, 오염 지도에 신뢰할 수 있는 '오차 범위'를 설정하는 데 어려움을 겪어 왔습니다. 문제는 단순히 오염 수준을 예측하는 것이 아니라, 그 예측에 대해 얼마나 확신할 수 있는지를 아는 것입니다. 여기서 '컨포멀 예측(conformal prediction)'이라 불리는 통계적 접근 방식이 등장합니다. 이것은 예측 주변에 안전망을 구축하는 방법이라고 생각하면 됩니다. 이 안전망은 데이터가 깔끔하고 예측 가능한 패턴을 따른다고 가정하지 않고도, 특정 비율의 시간 동안 실제 값이 그 망 안에 들어오도록 보장합니다.

최근 한 연구자가 이 새로운 형태의 진보된 안전망을 테스트했습니다. 연구자는 31개의 성(province)을 보유하고 있으며 급격한 대기 질 변화의 역사를 가진 중국에 초점을 맞추었습니다. 그들의 목표는 이 새로운 방법이 주요 조기 사망 원인인 미세먼지(PM2.5)를 정확하게 지도화할 수 있는지 확인하는 것이었습니다. 그들은 단순히 숫자를 한 번 돌려본 것이 아니라, 결과가 자신이 원하는 방향으로 영향을 받지 않도록 하기 위해 데이터를 보기 전부터 엄격하고 사전 승인된 계획을 설계했습니다. 그들은 이 새로운 공간적 방법을 표준 머신러닝 기술과 비교했으며, 1998년부터 2024년까지 27년간의 데이터를 사용했습니다. 연구 결과, 성능에서 명확한 차이가 드러났습니다. 새로운 방법은 다양한 지리적 영역을 다루는 과제에는 놀라울 정도로 잘 작동했지만, 시간의 흐름에 따른 변화를 예측하는 과제에서는 발을 헛디뎠습니다.

연구자는 1998년부터 2024년까지 모든 중국의 성을 아우르는 방대한 데이터셋으로 시작했습니다. 이 데이터에는 한 성의 평균적인 사람이 실제로 얼마나 많은 오염 물질을 호흡하는지를 알려주는 인구 가중 PM2.5 농도가 포함되었습니다. 또한 오염 패턴을 설명하는 데 도움이 되는 기온과 강수량 같은 일일 날씨 데이터도 수집했습니다. 아이디어를 테스트하기 위해 두 가지 다른 시나리오를 설정했습니다. 첫 번째로, 다른 모든 성의 데이터를 사용하여 한 성의 오염을 예측하려고 했습니다. 이는 공간을 다루는 능력을 테스트합니다. 두 번째로, 과거의 데이터를 사용하여 가장 최근 몇 년간의 오염을 예측하려고 했습니다. 이는 시간을 다루는 능력을 테스트합니다. 그들은 명확한 목표를 세웠습니다. 그들의 방법은 90%의 확률로 정확해야 했습니다.

연구자가 공간을 가로질러 방법을 테스트했을 때, 결과는 인상적이었습니다. 새로운 공간적으로 유효한 컨포멀 예측 방법은 실제 오염 수준을 목표 범위 내에 정확히 안착시키며 87.3%의 사례에서 성공했습니다. 이는 그들이 본 적 없는 성에 대한 불확실성 지도를 그렸을 때, 실제 오염 수준이 거의 항상 예측된 범위 안에 있었음을 의미합니다. 반면, 비교 대상으로 사용된 표준 머신러닝 방법은 동일한 테스트에서 처참하게 실패하여, 정답을 맞힌 횟수가 절반에도 미치지 못했습니다. 새로운 방법은 한 지역의 오염이 인접한 지역의 오염과 어떻게 연관되어 있는지를 고려함으로써 훨씬 더 신뢰할 수 있는 안전망을 구축할 수 있음을 입증했습니다. 연구자는 이 신뢰성이 안전망을 너무 넓고 쓸모없게 만드는 비용을 치르고 얻은 것인지도 확인했습니다. 그들은 구간이 표준 방법만큼이나 좁다는 것을 발견했으며, 이는 정확성이 지나친 주의력 덕분에 얻은 요행이 아님을 증명했습니다.

그러나 연구자가 시간을 가로질러 방법을 테스트했을 때는 이야기가 달라졌습니다. 2020년부터 2024년까지의 오염 수준을 2020년 이전의 데이터만을 사용하여 예측했을 때, 성공률은 79.4%로 떨어졌습니다. 이는 목표치에 미치지 못했으며, 이 특정 맥락에서 해당 방법이 미래를 예측하는 데 신뢰할 수 없음을 의미했습니다. 연구자는 이 실패의 원인을 중국의 극적인 대기 질 변화에서 찾았습니다. 2017년 이후, 대기를 정화하기 위한 대대적인 정부 캠페인으로 인해 오염 수준이 급격히 떨어졌습니다. 오염이 높았던 과거 데이터로 훈련된 모델은 이러한 갑작스러운 변화를 예측하지 못했습니다. 모델은 과거를 바탕으로 높은 오염 수치를 계속 예측했지만, 현실은 훨씬 깨끗했습니다. 결과적으로, 안전망의 중심이 너무 높게 설정되어 실제의 낮은 값들을 놓치게 되었습니다. 이 실패는 국가 전체에 균일하게 나타나지 않았습니다. 오염 감소가 가장 급격했던 동부 중국에서 가장 심각하게 나타났으며, 다른 지역들은 상대적으로 안정적이었습니다.

이 연구는 현재 많은 연구자가 사용하는 표준 머신러닝 접근 방식이 만능 해결책이 아님을 강조했습니다. 표준 방식은 매우 좁은 구간을 생성하여 높은 정밀도를 암시했지만, 그 구간은 너무 자주 틀렸습니다. 공간 테스트에서 표준 방법은 48.6%의 경우에만 정확했는데, 이는 절반 이상의 경우에 틀렸음을 의미합니다. 이는 이러한 표준 도구에 의존하는 것이 대기 질 지도에 대해 잘못된 안도감을 줄 수 있음을 시사합니다. 반면, 새로운 방법은 중국의 광대한 지형 전반에 걸쳐 무결성을 유지하며 가장 어려운 지역에서도 불확실성을 정확하게 식별해 냈습니다. 연구자는 이 방법의 성능이 중국의 7개 주요 지역에서 일관되게 나타났으며, 북부와 동부 지역만이 약간 낮은 성공률을 보였으나 공간 테스트 기준으로는 여전히 허용 범위 내에 있다고 언급했습니다.

이 작업의 가장 중요한 측면 중 하나는 그것이 수행된 엄격한 방식이었습니다. 연구자는 계산을 단 한 번 실행하기 전에, 데이터를 어떻게 나눌 것인지와 어떤 수치가 성공으로 간주될 것인지에 대한 전체 계획을 기록했습니다. 이는 결과를 더 좋아 보이게 만들기 위해 수치를 조작하는 것을 방지했습니다. 또한 연구자는 자신의 코드와 데이터를 공개하여 누구나 검증할 수 있도록 했습니다. 이러한 수준의 투명성은 드물지만 과학적 발견의 신뢰를 구축하는 데 필수적입니다. 연구는 새로운 방법이 공간을 가로질러 오염을 지도화하는 강력한 도구이지만, 미래를 보는 수정구슬은 아니라는 점을 확인해 주었습니다. 이 방법은 환경이 비교적 안정적일 때 가장 잘 작동하지만, 지형을 하룻밤 사이에 바꾸는 정책이나 배출량의 갑작스럽고 대규모적인 변화를 예측할 수는 없습니다.

이 연구 결과의 함의는 대기 질 지도에 의존하는 모든 사람에게 매우 중요합니다. 공중 보건 관계자와 연구자들에게 이 연구는 명확한 길을 제시합니다. 즉, 오염이 높은 곳이 어디인지와 그 측정값이 얼마나 불확실한지를 이해하기 위해 공간적으로 유효한 방법을 사용하되, 그 지도가 내년에 어떤 일이 일어날지를 정확히 예측할 것이라고 가정하지 말라는 것입니다. 이 연구는 급변하는 세상에서 우리가 환경을 측정하기 위해 사용하는 도구는 단순히 과거에 얼마나 잘 부합하는지가 아니라, 자신의 한계를 얼마나 정직하게 인정하는지에 대해서도 테스트되어야 한다는 점을 상기시켜 줍니다. 새로운 통계적 접근 방식과 엄격하고 투명한 테스트 프로토콜을 결적으로 결합함으로써, 연구자는 우리가 마시는 공기를 시각화하는 더 정직한 방법을 제공하였으며, 우리의 건강을 지키기 위해 사용하는 지도가 막연한 추측이 아닌 검증된 신뢰성의 토대 위에 구축되도록 보장했습니다.