Non-stationary Spatial Modeling Using Fractional SPDEs

기술 요약: 분수형 SPDE를 이용한 비정상성 공간 모델링

문제 정의
가우시안 랜덤 필드(Gaussian Random Fields, GRFs)는 공간 모델링의 표준 도구이며, 일반적으로 정상성(stationarity)과 등방성(isotropy)을 가정하는 마테른(Matérn) 공분산 군에 의존한다. 그러나 해양 염도 및 강수량 모델링과 같은 많은 실제 응용 분야에서는 이러한 가정을 위반한다. 변형(deformation) 또는 컨볼루션(convolution) 접근 방식과 같은 기존의 비정상성 모델링 방법은 조밀한 공분산 행렬로 인해 높은 계산 비용을 초발할 수 있다. 또한, 확률적 편미분 방정식(SPDE) 접근 방식은 희소 정밀도 행렬(sparse precision matrices)을 통해 계산 효율성을 제공하지만, 기존의 확장 연구들은 제한적이였다. 일부는 공간적으로 변화하는 이방성(anisotropy)을 포함하지만 정수 차수의 매끄러움(integer smoothness)을 가정하며, 다른 연구들은 분수 차수 매끄러움(fractional smoothness)을 허용하지만 정상성이나 등방성을 가정한다. 게다가, 유연한 비정상성 모델은 세심한 페널티 부여 없이는 과적합(overfitting)되기 쉽고, 특정 응용 분야에서 분수 차수 매끄러움과 비정상성의 상대적 중요성은 아직 충분히 탐구되지 않았다.

방법론
저자들은 분수 차수 매끄러움과 공간적으로 변화하는 이방성을 SPDE 접근 방식 내에서 결합한 통합 프레임워크를 제안한다.

• 모델 정의: GRF $u(\cdot)$는 다음과 같은 비정상성 SPDE의 해로 정의된다:
  $$(\kappa(\mathbf{s}) - \nabla \cdot \mathbf{H}(\mathbf{s})\nabla)^\beta u(\mathbf{s}) = \tau(\mathbf{s})\mathcal{W}(\mathbf{s})$$
  여기서 $\mathcal{W}$는 가우시안 백색 잡음(Gaussian white noise)이다. 매개변수 $\kappa(\cdot)$ (범위), $\tau(\cdot)$ (분산), 그리고 양의 정부호 행렬(positive-definite matrix) $\mathbf{H}(\cdot)$ (이방성)는 공간적으로 변화한다. 매끄러움 매개변수 $\beta$ (마테른 매끄러움 $\nu = 2\beta - 1$과 관련됨)는 비정수(non-integer)가 될 수 있다.
• 매개변수화:
  • 이방성: 행렬 $\mathbf{H}(\cdot)$는 쌍곡선 함수를 포함하는 매끄러운 전단사 함수(bijection)를 통해 공간적으로 변화하는 벡터장 $\mathbf{v}(\cdot)$를 사용하여 매개변수화되며, 이를 통해 행렬식(determinant)을 1로 유지하고 $\mathbf{v}$와 $-\mathbf{v}$ 사이의 식별성(identifiability) 문제를 제거한다.
  • 비정상성: 매개변수들의 로그 변환($\log \kappa, \log \sigma, v_x, v_y$)은 정상 성분과 잠재 GRF로 모델링된 비정상 성분으로 분해된다.
  • 분수 차수 매끄러움: 분수 연산자 $(\mathcal{L})^{-\beta}$를 유리 함수(유리 다항식)를 사용하여 근사하기 위해 합리적 SPDE(rational SPDE) 방식(Bolin 및 Kirchner, 2020)이 채택되었다.
• 이산화 및 계산:
  • 도메인은 삼각형 메쉬 상의 유한 요소법(FEM)을 사용하여 이산화되며, 결과적으로 희소 정밀도 행렬을 생성한다.
  • 자동 미분 (AD): 매개변수 추정 시 발생하는 복잡한 로그 가능도(log-likelihood) 미분(특히 유리 근사를 다룰 때)을 처리하기 위해 저자들은 AD를 활용한다. 이는 매개변수의 수가 증가함에 따라 성능이 저하되는 유한 차분(finite-difference) 방식의 한계를 피하기 위함이다.
  • 희소 AD 구현: 자동 미분 프레임워크 내에서 희소 행렬 연산을 수행하기 위해 커스텀 라이브러리(sparsejax)가 개발되었으며, 이는 역전파(backpropagation) 과정 중에도 희소 패턴을 보존하여 CPU와 GPU 모두에서 계산 가능한 수준의 효율성을 보장한다.
• 추론 및 사전 분포:
  • 계층적 베이지안 모델이 구축된다.
  • 페널티 복잡도 (PC) 사전 분포: 모델의 유연성을 제어하고 과적합을 방지하기 위해 PC 사전 분포가 구성된다. 비정상성 성분의 경우, 매개변수가 정상 상태의 매개변수로부터 크게 벗어날 확률을 제한하는 방식으로 페널티가 설정된다 (예: 5% 이내).
  • 최적화: 매개변수는 2단계 경사 하강법 최적화(Adam 이후 L-BFGS-B)를 통한 최대 사후 확률(MAP) 추정을 통해 계산된다.

주요 기여

1. 통합 모델: 본 논문은 공간적으로 변화하는 이방성과 분수 차수 매끄러움을 동시에 포함하도록 SPDE 방식을 확장하여, 공간 프로세스를 위한 더 유연한 클래스의 모델을 구축하였다.
2. 계산 효율성: 자동 미분을 희소 행렬 연산과 통합함으로써, 저자들은 고차원 비정상성 분수 모델에 대한 효율적인 경사 기반 최적화를 가능하게 하여 기존의 수치 미분 방식의 확장성 한계를 극복하였다.
3. 강건한 추론: 정상 및 비정상 매개변수 모두를 위한 특정 사전 분포 개발을 통해, 관측 위치의 수가 변하더라도 유연한 모델이 과적합되지 않도록 보장한다.
4. 실증적 평가: 본 연구는 분수 차수 매끄러움과 비정상성을 신뢰성 있게 추정하기 위한 데이터 요구 사항을 체계적으로 조사한다.

결과

• 시뮬레이션 연구:
  • 데이터 요구 사항: 고려된 시나리오에서 분수 차수 매끄러움과 비정상성을 신뢰성 있게 추정하려면 적어도 500개의 관측치를 포함하는 단일 실현(realization)이 필요함을 발견하였다.
  • 과적합: 제안된 페널티 방식은 다양한 관측 위치의 수에 관계없이 과적합을 성공적으로 방지하였다.
  • 기저 함수 (Basis Functions): 비정상 성분을 위한 기저 함수의 수를 늘리는 것(예: 8개에서 24개로)이 성능 저하를 일으키지 않았으며, 이는 올바르게 페널티가 부여된다면 구조를 과하게 설정(overspecifying)하는 것이 본질적으로 해롭지 않음을 시사한다.
  • 매끄러움 추정: 실제 데이터가 정상 모델로부터 생성된 경우, 매끄러움 매개변수 $\nu$를 추정하는 것은 예측 성능 향상에 미미한 개선만을 제공하였다.
• 사례 연구:
  • 해양 염도 (Trondheimsfjorden): 비정상성이 예측 성능(RMSE 및 CRPS로 측정)을 향상시키는 데 있어 지배적인 요인으로 나타난 반면, 분수 차수 매끄러움의 영향은 상대적으로 적었다.
  • 강수량 (미국 본토): 반대로, 분수 차수 매끄러움이 예측을 유의미하게 개선하였으나, 비정상성은 상대적으로 적은 이점을 제공하였다.
  • 결론: 분수 차수 매끄러움과 비정상성의 상대적 중요성은 응용 분야에 따라 다르다.

의의 및 주장
저자들은 자신들의 접근 방식이 공간 데이터에서 분수 차수 매끄러움과 비정상성의 존재를 탐색하기 위한 계산적으로 강건한 도구를 제공한다고 주장한다. 본 논문은 모델의 유연성이 매우 높지만, 실질적인 효용성은 과적합을 피하기 위한 세심한 사전 분포 지정에 달려 있음을 강조한다. 연구 결과는 한 가지 특징(예: 비정상성)이 보편적으로 우월하다고 가정해서는 안 되며, 분수 차수 매끄러움이나 공간적으로 변화하는 이방성을 포함할지 여부는 데이터셋의 특성과 응용 분야의 특성에 따라 결정되어야 함을 시사한다. 제안된 방법은 예측 도구인 동시에 환경 프로세스의 기저 공간 구조를 진단하기 위한 탐색적 메커니즘 역할을 한다.