Modeling nonstationary spatial processes with normalizing flows

기술 요약: 정규화 흐름을 이용한 비정상 공간 과정 모델링

문제 제기
통계적 특성이 공간에 따라 변하는 것으로 특징지어지는 비정상 공간 과정은 환경 과학, 지리통계학, 원격 탐사 등의 분야에서 광범위하게 관찰됩니다. 전통적인 모델링 접근법은 고정된 공분산 함수를 갖는 정상 가우시안 과정 (GPs) 에 의존하는 경우가 많으며, 이는 실제 데이터에서 발견되는 복잡한 공간적 의존성을 포착하지 못해 편향된 추론과 부정확한 예측으로 이어질 수 있습니다. 비정상성을 모델링하기 위한 기존 방법에는 공간적으로 변하는 매개변수, 비정상 Matérn 공분산 함수, 그리고 확률적 편미분 방정식 등이 포함되지만, 이러한 방법들은 종종 제한적인 모델링 가정을 요구하거나 특정 문제에 맞춘 구성이 필요합니다.

주요 대안 중 하나는 Sampson 과 Guttorp(1992) 가 처음 제안한 도메인 왜곡 (domain warping) 접근법으로, 주어진 영역 $D$상의 비정상 과정을 주입적 사상 (injective mapping) $f: D \to D_1$을 통해 왜곡된 영역 $D_1$상의 정상 과정으로 변환합니다. 그러나 적절한 왜곡 함수를 선택하는 것은 어렵습니다. Zammit-Mangion 등 (2022) 의 심층 구성 공간 모델과 같은 이전의 딥러닝 기반 접근법은 사용자가 선택한 왜곡 단위 (예: 방사형 기저 함수, Möbius 변환) 에 의존합니다. 이러한 방법들은 이용 가능한 유한한 단위 집합에 의해 제한되며, 현재 1 차원 및 2 차원 공간 영역으로만 제한되어 있어 고차원 데이터에 대한 적용을 방해합니다.

방법론
저자들은 **Neural Autoregressive Flows(NAFs)**를 사용하여 비정상 공간 과정을 모델링하는 새로운 프레임워크인 GPNAF를 제안합니다. 핵심 아이디어는 복잡한 고차원 변환을 생성할 수 있는 가역 신경망의 한 클래스를 사용하여 주입적 왜곡 함수 $f(\cdot)$ (논문에서는 $T(\cdot)$로 표기) 를 학습하는 것입니다.

1. Neural Autoregressive Flows(NAFs): 이 프레임워크는 Deep Dense Sigmoidal Flow(DDSF) 아키텍처를 포함한 NAF 를 활용합니다. NAF 는 삼각형 맵 (triangular maps) $T(s; \vartheta)$의 시퀀스로 구성되며, 여기서 출력의 각 성분은 입력의 선행 성분들에만 의존합니다. 이러한 자기회귀 구조는 맵이 가역적이고 주입적이도록 보장하여 공간 접힘 (space-folding) 문제를 방지합니다.
2. 아키텍처: 왜곡 함수는 신경망으로 매개변수화되며, 각 단계의 변환 매개변수는 '컨디셔너 (conditioner)' 네트워크의 출력으로 생성됩니다. 자기회귀 속성 (즉, $k$번째 출력이 입력 $s_1, \dots, s_{k-1}$에만 의존함) 을 강제하기 위해 저자들은 Germain 등 (2015) 의 이진 마스킹 기법을 사용합니다.
3. 모델 공식화: 잠재 과정 $Y(\cdot)$는 정상적이고 등방성인 공분산 함수 $\tilde{C}_\phi$를 갖는 왜곡된 영역 $\tilde{D}$상의 평균 0 가우시안 과정으로 모델링됩니다. 관측 데이터 $Z$는 $Y$의 노이즈가 포함된 측정치입니다.
4. 추정: 모델 매개변수 (왜곡 매개변수 $\vartheta$ 및 정상 공분산 매개변수 $\phi$) 는 로그 가능도를 최대화하기 위한 2 단계 블록 좌표 상승 절차를 통해 추정됩니다. 이는 왜곡 함수와 정상 공분산 매개변수 사이를 번갈아 최적화하는 과정을 포함합니다. 공간 예측은 왜곡된 영역에서 단순 크리깅 (simple kriging) 을 사용하여 수행됩니다.

주요 기여

• 고차원 유연성: 1 차원과 2 차원으로 제한된 이전의 심층 왜곡 모델과 달리, 제안된 NAF 기반 프레임워크는 기본 아키텍처에 최소한의 변경만으로도 3 차원 등 고차원 공간 영역에 적용 가능합니다.
• 자동화된 왜곡 단위 선택: 이 프레임워크는 사용자가 방사형 기저 함수나 Möbius 변환과 같은 특정 왜곡 단위를 수동으로 선택할 필요가 없도록 합니다. 신경망은 데이터로부터 직접 적절한 변형을 학습합니다.
• 가역성과 주입성: NAF 의 이론적 속성을 활용함으로써, 이 방법은 주입적 사상을 보장하여 왜곡 함수가 공간을 자기 자신 위로 접지 않도록 합니다. 이는 유효한 공간 추론에 필수적입니다.
• 표현 능력: 저자들은 NAF 가 일반적으로 사용되는 다른 공간 과정 모델보다 더 큰 표현 능력을 가지며, 복잡한 이방성 및 비정상 구조를 포착할 수 있음을 입증했습니다.

결과
본 논문은 시뮬레이션 연구와 실제 응용을 통해 GPNAF 프레임워크를 검증합니다:

1. 시뮬레이션 연구:

   • 실험 1(SIWGP): 알려진 공간 입력이 왜곡된 가우시안 과정에서 데이터를 생성했습니다. GPNAF 는 참 모델 (GPdeepspat) 과 근접한 평균 제곱 예측 오차 (MSPE) 값을 달성했으며, 잘 보정된 예측 구간을 제공하여 정상 GP, 비정상 Matérn GP, 그리고 DeepKriging 보다 우수한 성능을 보였습니다.
   • 실험 2(Spiral Warping): 복잡한 나선형 왜곡 함수를 사용하여 데이터를 생성했습니다. GPNAF 는 MSPE 측면에서 모든 경쟁 방법을 크게 능가했으며 가장 잘 보정된 예측 구간을 제공하여, 사전 물리 지식 없이도 정교한 공간 왜곡을 포착할 수 있음을 입증했습니다.
   • 시각화: GPNAF 의 표준 오차 플롯은 관측 위치가 아닌 공간적으로 변하는 과정 속성에 의해 불확실성이 지배됨을 보여주었습니다. 이는 관측 밀도와 유사한 불확실성 패턴을 보이는 정상 모델과 대조됩니다.

2. 실제 응용 (Argo Floats):

   • 이 프레임워크는 대서양의 Argo Floats 데이터셋 (해양 온도와 염분) 의 3 차원 부분 집합에 적용되었습니다.
   • GPNAF 는 정상 및 비정상 Matérn 모델과 DeepKriging 과 비교되었습니다. GPNAF 는 모델 중 가장 낮은 MSPE(0.17) 와 가장 좁은 예측 구간을 달성하면서도 95% 예측 구간 커버리지 확률 (PICP) 을 명목 수준에 가깝게 유지했습니다.
   • 학습된 왜곡 함수는 해수면 해류와 일치하는 공간 변형을 드러냈습니다. 강한 해류 (급격한 온도 변화) 가 있는 영역은 왜곡된 영역에서 늘어났고, 약한 해류가 있는 영역은 압축되었습니다. 이는 효과적으로 변하는 의존 구조를 동질화하여 변환된 공간에서 정상 모델을 사용할 수 있게 했습니다.

의의 및 주장
본 논문은 GPNAF 가 복잡하고 비정상적이며 이방성인 공간 과정을 모델링하기 위한 유연하고 데이터 기반의 접근법을 제공한다고 주장합니다. 정규화 흐름을 활용함으로써, 이 방법은 차원성 및 왜곡 단위의 수동 지정에 관한 이전 왜곡 모델의 한계를 극복합니다. 저자들은 이 프레임워크가 공간적 변이가 복잡하고 사전에 매개변수화하기 어려운 지구과학 및 환경과학의 고차원 응용 분야에 특히 가치가 있다고 주장합니다. 3 차원 해양학 데이터에 대한 성공적인 적용은 이질적인 열적 변이가 관련된 실제 시나리오에서 이 프레임워크의 유용성을 강조합니다. 저자들은 현재 접근법이 완전히 데이터 기반이지만, 향후 연구에서는 물리 지향적 제약을 통합하거나 프레임워크를 시공간 설정으로 확장할 수 있다고 언급합니다.