Temporal evaluation of statistical and machine-learning models for forecasting wildfire carbon emissions in the Canadian boreal forest

기술 요약: 캐나다 북부 침엽수림(Boreal Forest)의 산불 탄소 배출량 예측을 위한 통계 및 머신러닝 모델의 시계열적 평가

문제 정의
캐나다 북부 침엽수림에서 발생하는 산불 탄소 배출은 높은 시공간적 변동성과 극심한 화재 시즌 동안의 급격한 강화 가능성으로 인해 전 지구적 탄소 순환 평가에서 중요한 불확실성의 원인이 됩니다. 프로세스 기반 모델(예: GFIF, CONSUME)이 배출량 추정을 위한 표준으로 사용되지만, 계산 집약적이고 고해 resolution 입력 데이터에 의존하며, 연료 매핑 및 배출 계수의 불확실성 문제를 겪는 경우가 많습니다. 이러한 모델들은 연소(smoldering) 화재로부터 발생하는 배출량을 과소평가하거나 이질적인 북부 침엽수림 지형의 국지적 변동성을 포착하지 못할 수 있습니다. 반면, 통계 및 머신러닝(ML) 접근 방식은 데이터 기반의 대안을 제공하지만, 전통적인 검증 방법은 종종 무작위 교차 검증에 의존하여 시계열 예측 적용 시 시간적 누수(temporal leakage)를 유발하고 모델 성능을 과대평가할 수 있습니다. 따라서 엄격하게 시간적으로 분리된 검증을 통해 일반적인 해와 극단적인 화재 해 모두에서 모델의 일반화 능력을 평가하는 견고한 프레임워크가 필요합니다.

방법론
본 연구는 캐나다 북부 침엽수림의 월별 그리드 셀 단위 산불 탄소 배출량 예측을 위해 시계열적으로 검증된 프레임워크를 개발하고 평가했습니다.

• 데이터 소스: 대상 변수는 Global Fire Emissions Database(GFED) 버전 4.1s에서 도출된 월별 산불 탄소 배출량입니다. 기후 예측 변수는 ERA5 재분석 제품(기온, 토양 온도, 강수량, 풍속, 적설량)으로부터 0.25°(~31 km) 해상도로 확보되었습니다.
• 연구 영역: 분석은 생태구역(ecozone) 형상 파일을 통해 도출된 공간 마스크를 사용하여 캐나다 북부 침엽수림으로 제한되었습니다.
• 검증 설계: 엄격한 "누수 방지형(leakage-resistant)" 시계열 검증 전략이 채택되었습니다. 다섯 개의 독립적인 연간 홀드아웃(2019–2023)이 테스트를 위해 사용되었습니다. 각 테스트 연도 $Y$에 대해, 모델은 2003년부터 $Y-1$까지의 데이터로 학습되었습니다. 결정적으로, 미래 데이터를 미리 보는 편향(look-ahead bias)을 방지하기 위해 하이퍼파라미터 튜닝, 전처리 및 모델 적합 과정은 테스트 연도와 시간적으로 분리되었습니다. 학습 블록 내에서는 하이퍼파라미터 선택을 위해 내부 연대순 분할(80/20)이 사용되었습니다.
• 모델군: 다음의 7가지 모델링 접근 방식을 비교했습니다:
  • 베이스라인: 기후값(Climatology, 역사적 월 평균) 및 지속성(Persistence, t-1 및 t-12 시차).
  • 통계 모델: Elastic Net(정규화 선형 모델) 및 제로 팽창(zero-inflated) 및 우편향(right-skewed) 데이터를 처리하기 위한 Tweedie 일반화 선형 모델(GLM).
  • 트리 기반 앙상블: 랜덤 포레스트(Random Forest) 및 XGBoost.
• 평가 지표: 성능은 $R^2$, 평균 절대 오차(MAE), 평균 제곱근 오차(RMSE), 편향(Bias), 그리고 기후값 및 12개월 지속성 베이스라인 대비 숙련도 점수(skill scores)를 사용하여 평가되었습니다.

주요 결과

• 앙상블 모델의 우월성: 트리 기반 앙상블 모델이 다섯 개의 모든 홀드아웃 연도에 걸쳐 베이스라인 및 통계적 접근 방식보다 일관되게 우수한 성능을 보였습니다. XGBoost가 가장 높은 예측 숙련도를 달 나타냈으며, 그 뒤를 랜덤 포레스트가 이었습니다.
• XGBoost 성능: XGBoost는 가장 낮은 오차와 가장 높은 설명력을 보여주었습니다. 2023년 홀드아웃(가장 이례적인 화재 시즌)에서 XGBoost는 0.91의 외표본(out-of-sample) $R^2$, 0.0067 Tg C grid-cell⁻¹ month⁻¹의 MAE, 그리고 0.011 Tg C grid-cell⁻¹ month⁻¹의 RMSE를 달성했습니다.
• 베이스라인 대비 숙련도: 통계 모델과 달리, XGBoost와 랜덤 포레스트는 모든 홀드아웃에서 기후값 벤치마크에 대해 양(+)의 숙련도를 유지했습니다. 이는 모델이 단순한 계절적 평균 이상의 변동성을 포착했음을 나타냅니다.
• 통계 모델의 한계: Elastic Net은 낮은 또는 거의 0에 가까운 외표본 $R^2$를 보였으며, 이는 선형 관계가 배출 역학을 포착하기에 불충분함을 시사합니다. Tweedie GLM은 중간 정도의 숙련도를 보였으나 트리 기반 앙상블에 의해 성능이 뒤처졌습니다.
• 베이스라인 성능: 기후값은 적절한 벤치마크($R^2$ 0.55–0.71)를 제공했으나 극단적인 이탈을 과소평가했습니다. 12개월 지속성 베이스라인은 매우 낮은 성능($R^2$ ~0.00–0.01)을 보였으며, 이는 특정 달의 배출량이 전년도 동일 월의 배출량과 신뢰할 만한 관계로 반복되지 않음을 확인시켜 줍니다.
• 극단적 사건 처리: 본 프레임워크는 기록적인 2023년 화재 시즌 동안에도 최소한의 편향과 지속성 및 기후값 대비 강력한 숙련도를 유지하며 높은 정확도를 성공적으로 유지했습니다. 이는 매우 이례적인 조건에서도 견고함을 입증합니다.

핵적인 기여 및 의의
본 논문은 새로운 알고리즘의 도입보다는 평가 설계와 비교 평가를 통해 그 의의를 주장합니다.

• 엄격한 시계열 검증: 본 연구는 환경 예측을 위해 무작위 교차 검증 대신 시간적으로 정렬된 연간 홀드아웃을 사용하는 것의 중요성을 강조합니다. 이 설계는 보고된 성능이 보지 못한 해(unseen years)에 대한 진정한 외표본 일반화 성능을 반영하도록 보장하며, 이는 운영적 예측에 필수적인 요구사항입니다.
• 모델 클래스 비교: 본 연구는 비선형 앙상블 모델(특히 XGBoost)이 선형 통계 모델이나 단순 베이스라인보다 기후 동인과 산불 탄소 배출 사이의 복잡하고 임계값 기반이며 상호작용적인 관계를 포착하는 데 더 적합하다는 실질적인 평가를 제공합니다.
• 극한 상황에 대한 견고성: 연구 결과는 데이터 기반의 비선형 모델이 극단적인 화재 해(예: 2023년)에도 예측 숙련도를 유지할 수 있음을 보여주며, 이는 모델이 역사적 규범에서 크게 벗어난 조건에서도 유용한 기후-배출 관계를 학습할 수 있음을 시사합니다.
• 향후 연구를 위한 프레임워크: 본 연구는 향후 북부 침엽수림 탄소 순환 평가, 계절적 산불 배출량 예측, 기후 변화 영향 분석을 지원할 수 있는 모델링 프레임워크를 구축합니다. 또한, 모델이 역사적 범위 내에서는 잘 작동하지만, 미래의 비정상성(nonstationarity)을 해결하거나 발생 가능한 모든 미래의 극한 상황을 예측한다고 주장하지는 않습니다.

한계점
저자들은 몇 가지 제약 사항을 언급했습니다. 대상 변수는 직접 측정값이 아닌 위성 제약 인벤토리(GFED)이며, 예측 변수는 데이터가 희소한 북부 지역의 불확실성이 존재할 수 있는 ERA5 재분석 데이터에 의존합니다. 또한, 모델은 발화 압력, 진압 활동 또는 상세한 식생 구조를 명시적으로 포함하지 않으며, 0.25° 해상도는 미세한 규모의 이질성을 완화(smoothing)합니다. 더욱이, 시계열 검증은 견고하지만, 학습에 사용된 역사적 기간과 크게 다른 미래의 화재 체제 하에서의 성능을 보장할 수는 없습니다.