INLA-RF: A Hybrid Modeling Strategy for Spatio-Temporal Environmental Data

기술적 요약: INLA-RF: 시공간 환경 데이터를 위한 하이브리드 모델링 전략

문제 제기
환경 과정은 종종 시공간에 걸쳐 복잡하고 비선형적인 패턴 및 불연속성을 나타내며, 이는 전통적인 지리통계학적 모델링에 상당한 도전을 제기합니다. 통계적 모델, 특히 통합 중첩 라플라스 근사 (INLA) 와 확률적 편미분 방정식 (SPDE) 접근법을 결합한 모델들은 원칙적인 불확실성 정량화와 해석 가능성을 제공하지만, 정교한 비선형 관계와 고차원 의존성을 포착하는 유연성이 부족할 수 있습니다. 반면, 랜덤 포레스트 (RF) 와 같은 기계 학습 (ML) 방법은 비선형성과 고차원 데이터 모델링에 뛰어나지만, 일반적으로 해석 가능성의 부족, 고유한 불확실성 정량화 메커니즘의 부재, 그리고 명시적이지 않고 암시적인 시공간 의존성 처리로 인해 제한을 받습니다. 기존 하이브리드 접근법들은 종종 모델링 단계 간 불확실성을 전파하지 못하거나, 두 패러다임의 강점을 완전히 통합하지 않는 단순한 앙상블 방법에 의존합니다.

방법론
본 논문은 INLA-SPDE 를 통해 적합된 베이지안 시공간 모델과 랜덤 포레스트를 반복적으로 결합하는 INLA-RF라는 하이브리드 모델링 전략을 제안합니다. 이 프레임워크는 반응 변수 $y$가 공변량에 의해 주도되는 대규모 성분 (LS) 과 시공간 의존성 및 노이즈를 포착하는 잔차 성분 (RE) 으로 분해되는 잠재 가우시안 모델 (LGM) 위에서 작동합니다. 핵심 혁신은 반복적인 2 단계 방식에 있습니다:

1. 단계 1 (INLA): 시공간 의존성을 포착하기 위해 매개변수 시공간 LGM 을 적합합니다.
2. 단계 2 (RF): INLA 모델의 잔차를 기반으로 랜덤 포레스트를 훈련하여 남은 비선형 구조를 학습합니다.

그런 다음 RF 출력은 INLA 단계로 피드백되어 모델을 정제합니다. 본 논문은 이 프레임워크 내에서 두 가지 고유한 알고리즘을 소개합니다:

• INLA-RF1 (오프셋 접근법): 이 알고리즘은 RF 예측을 INLA 모델에 통합된 오프셋으로 처리하는 보정 항으로 간주합니다. 이는 효과적으로 평균 보정을 수행합니다. 주요 특징은 불확실성 전파 옵션으로, RF 의 아웃 - 오브 - 배그 (OOB) 평균 제곱 오차를 INLA 모델의 가우시안 가능도에서 고정된 분산 성분으로 사용하는 것입니다. 이는 불확실한 RF 보정이 최종 적합에 미치는 영향을 감소시킵니다.
• INLA-RF2 (잠재 필드 노드 보정): 이 알고리즘은 LGM 의 잠재 필드 내 특정 "스트레스 노드"를 대상으로 합니다. 전역 오프셋 대신, 선택된 잠재 노드 부분집합 ($K$) 만으로 인덱싱된 추가적인 독립 동일 분포 (IID) 랜덤 효과를 도입합니다. 이러한 노드는 가장 높은 주변 사후 분산이나 가장 큰 예측 오차와 같은 기준에 따라 선택됩니다. RF 출력은 이러한 노드로 집계되어 추가 잠재 성분의 평균과 정밀도를 업데이트하며, 이는 표준 LGM 의 부드러운 성분이 놓칠 수 있는 급격한 변화나 불연속성에 대한 지역적 보정을 가능하게 합니다.

두 알고리즘 모두 연속적인 반복 간의 잠재 필드 사후 분포 간의 **쿨백 - 라이블러 발산 (KLD)**을 정지 기준으로 활용합니다. 이 데이터 기반 접근법은 임의의 튜닝 파라미터를 피하고 과적합 위험을 줄이면서 반복 횟수를 결정합니다.

주요 기여

1. 새로운 하이브리드 알고리즘: RF 잔차 학습을 베이지안 INLA-SPDE 프레임워크에 명시적으로 통합하는 INLA-RF1 과 INLA-RF2 의 도입.
2. 불확실성 전파: 많은 하이브리드 접근법과 달리, 제안된 프레임워크는 오프셋 분산 (INLA-RF1) 을 통해 또는 잠재 보정 성분의 정밀도 (INLA-RF2) 를 통해 ML 단계 (OOB-MSE 를 통해) 로부터의 불확실성을 통계 모델로 명시적으로 전파합니다.
3. 적응형 정지 기준: 사후 분포가 안정화되었을 때 반복 과정을 종료하기 위한 원칙적인 방법을 제공하는 정지 기준으로서의 KLD 사용은 계산 효율성을 향상시킵니다.
4. 표적 지역 보정: INLA-RF2 는 잠재 필드의 특정 영역을 보정하는 메커니즘을 제공하여, 전역 모델이 포착하지 못할 수 있는 구조적 단절이나 지역적 오명세를 해결합니다.

결과
INLA-RF 의 성능은 두 가지 시뮬레이션 연구와 이탈리아 롬바르디아 지역의 일일 PM10 농도 (2016–2021) 와 관련된 실제 사례 연구를 통해 평가되었습니다.

• 시공간 시뮬레이션 (INLA-RF1): 비선형 공변량 관계가 있는 시나리오에서 INLA-RF1 은 단독 INLA 모델과 표준 RF 모두보다 예측 정확도 (더 낮은 RMSE 및 MAE) 를 향상시켰습니다. 불확실성 전파가 포함된 버전 (INLA-RF1.2) 은 더 넓은 예측 구간을 대가로 더 잘 보정된 불확실성 (더 높은 커버리지 확률) 을 제공한 반면, 전파가 없는 버전 (INLA-RF1.1) 은 더 날카로운 예측을 산출했습니다.
• 시간적 불연속성 시뮬레이션 (INLA-RF2): 급격한 점프가 있는 순수 시간적 설정에서 INLA-RF2 는 선택된 "스트레스 지점"(점프 근처 노드) 에서 추정치를 크게 향상시켰습니다. 이러한 지점에서의 RMSE 는 기준 INLA 의 0.93 에서 0.22 로 감소했고, 커버리지 확률은 0.47 에서 0.92 로 증가하여 고불확실성 또는 구조적 변화 영역에서 잠재 필드를 보정하는 알고리즘의 능력을 입증했습니다.
• 실제 사례 연구 (Agrimonia 데이터셋): 대기 오염 데이터에 적용된 INLA-RF1 (두 버전 모두) 은 RMSE 및 MAE 측면에서 기준 INLA 모델과 표준 RF 를 능가했습니다. INLA-RF1.2 는 기준 모델보다 훨씬 높은 커버리지를 달성했습니다. 반면, INLA-RF2 는 이 특정 응용 분야에서 기준 모델 대비 유의미한 개선을 보이지 않았는데, 이는 알고리즘이 해결하도록 설계된 노드 수준 보정이 필요한 명확한 지역적 특징이 실제 데이터에 나타나지 않았기 때문일 가능성이 높습니다.

의의 및 주장
본 논문은 INLA-RF 프레임워크가 베이지안 통계 모델의 해석 가능성과 불확실성 정량화와 기계 학습의 예측 유연성 사이의 간극을 성공적으로 연결한다고 주장합니다. 결과는 INLA-RF 가 시공간 예측 정확도를 향상시킬 수 있음을 시사하며, 특히 시간적 불연속성이나 공변량과 반응 변수 간의 비선형 관계가 존재할 때 그렇습니다. 저자들은 INLA-RF1 과 INLA-RF2 사이의 선택이 모델링 목표에 달려 있음을 강조합니다. INLA-RF1 은 최소한의 복잡성으로 전반적인 예측 성능을 개선하는 데 선호되는 반면, INLA-RF2 는 잠재 필드의 특정 영역을 보정하는 데 적합하지만 스트레스 노드의 신중한 선택이 필요합니다. 이 프레임워크는 복잡한 환경 데이터를 모델링하는 능력을 향상시키면서 INLA-SPDE 접근법의 계산 효율성을 유지하는 유연한 도구로 제시됩니다.