기술 요약: 데이터 희소 환경에서의 연산자 학습을 위한 섭동 기반 컨포멀 예측 (Perturbation-Based Conformal Prediction for Operator Learning in Data-Scarce Regimes)

1. 문제 정의

본 논문은 2차원 비압축성 나비에-스토크스(Navier–Stokes) 방정식을 학습하는 뉴럴 연산자(Neural Operator)의 불확실성 정량화(Uncertainty Quantification, UQ) 문제를 다룹다. 푸리에 뉴럴 연산자(FNO)와 같은 뉴럴 연산자는 비용이 많이 드는 PDE 솔버의 효율적인 대리 모델(Surrogate)을 제공하지만, 이들의 점 예측(Point prediction)은 시공간 필드에 대한 보정된 불확실성 추정치를 결여하고 있다. 이는 오차가 공간과 시간에 따라 변하는 안전 필수적(Safety-critical) 또는 의사결정 맥락에서 매우 중요하다.

구체적인 문제는 입력 와도(Vorticity) 필드의 이력 $\mathbf{a}$를 미래 궤적 $\mathbf{u}$로 매핑하는 솔루션 연산자 $G: \mathbf{a} \to \mathbf{u}$를 학습하는 것으로 정의된다. 목표는 전체 시공간 그리드에 대해 적어도 $1-\alpha$의 확률로 **동시 커버리지(Simultaneous coverage)**를 만족하는 예측 집합 $C(\mathbf{a})$를 구축하는 것이다:
$$P(\mathbf{u}_{new} \in C(\mathbf{a}_{new})) \geq 1 - \alpha$$
저자들은 총 라벨 예산이 고정된 **데이터 희소 환경(Data-scarce regime)**에 초점을 맞춘다. 이 설정에서 UQNO와 같이 별도의 불확실성 네트워크를 필요로 하는 방법들은 제한된 데이터를 예측 모델과 보조 불확실성 모델 사이에 분할해야 하므로, 두 모델의 성능을 모두 저하시킬 가능성이 있다.

2. 방법론: 섭동 기반 비정형성 점수 (Perturbation-Based Nonconformity Score)

제안된 프레임워크는 학습된 뉴럴 연산자를 **분할 컨포멀 예측(Split Conformal Prediction, CP)**으로 감싸는 방식이다. 핵심 혁신은 별도의 불확실성 네트워크나 분리된 데이터 분할 없이도 적응형의 공간 가변적 불확실성 척도를 생성하는 **섭동 기반 비정형성 점수(Perturbation-based nonconformity score)**를 구축하는 데 있다.

2.1 핵심 메커리즘

이 방법은 학습된 연산자가 훈련 라벨의 작은 섭동(Perturbation)에 대해 보이는 민감도가 예측 불확실성과 상관관계가 있다는 원리에 기초한다.

1. 이중 학습 (Dual Training): 동일한 아키텍처를 가진 두 개의 뉴럴 연산자를 동일한 적절한 훈련 세트 상에서 학습시킨다:
   • $\hat{G}$: 원래 라벨 $\mathbf{u}_i$로 학습됨.
   • $\hat{G}_\epsilon$: 섭동된 라벨 $\tilde{\mathbf{u}}_i = \mathbf{u}_i + \boldsymbol{\epsilon}_i$ (여기서 $\boldsymbol{\epsilon}_i \sim \mathcal{N}(0, \sigma_\epsilon^2)$)로 학습됨.
2. 원시 불일치 (Raw Disagreement): 새로운 입력 $\mathbf{a}$에 대하여, 좌표 $k$에서의 원시 불확실성 측정치는 다음과 같은 점별 절대 차이다:
   $$d(\mathbf{a})_k = | \hat{G}(\mathbf{a})_k - \hat{G}_\epsilon(\mathbf{a})_k |$$
3. 안정화 (Stabilization): 수치적 불안정성(0에 가까운 값으로 인한 나눗셈 문제)을 방지하고 견고성을 확보하기 위해, 원시 불일치는 다음 두 단계를 거친다:
   • 공간 평활화 (Spatial Smoothing): 국부적인 노이즈를 평균화하기 위해 $K \times K$ 공간 윈도우(예: $15 \times 15$)를 사용하여 불일치 맵을 평활화한다.
   • 바닥 안정화 (Floor Stabilization): 훈련 세트의 중앙 불일치의 비율로 정의되는 데이터 의존적 바닥값 $\tau_0$를 부과한다. 최종 스케일은 $\sigma(\mathbf{a})_k = \max(\bar{d}(\mathbf{a})_k, \tau_0)$이다.
4. 비정형성 점수 (Nonconformity Score): 캘리브레이션 샘플에 대한 컨포멀 점수는 모든 출력 좌표에 대한 최대 정규화 잔차로 정의된다:
   $$S(\mathbf{a}, \mathbf{u}) = \max_k \frac{| u_k - \hat{G}(\mathbf{a})_k |}{\sigma(\mathbf{a})_k}$$
   이 max-type 점수는 그리드 전체에 대한 동시 커버리지를 목표로 한다.

2.2 캘리브레이션 및 예측

분할 컨포멀 프로토콜을 사용하여, 점수 $S$는 캘리브레이션 세트에서 계산된다. 점수의 분위수 $\hat{Q}_{1-\alpha}$는 예측 밴드의 폭을 결정한다. 새로운 입력에 대한 좌표 $k$에서의 예측 밴드는 다음과 같다:
$$C(\mathbf{a})_k = \left[ \hat{G}(\mathbf{a})_k - \hat{Q}_{1-\alpha}\sigma(\mathbf{a})_k, \quad \hat{G}(\mathbf{a})_k + \hat{Q}_{1-\alpha}\sigma(\mathbf{a})_k \right]$$
이론적 보증은 교환 가능성(Exchangeability) 하에서 전체 궤적이 적어도 $1-\alpha$의 확률로 동시에 커버됨을 보장한다.

3. 주요 기여

• 섭동 기반 스케일: 별도의 불확실성 네트워크 없이도, 베이스 모델과 섭동된 라벨로 학습된 모델 사이의 불일치로부터 적응형 불확실성 스케일을 직접 도출하는 방법을 도입하였다. 이는 보조 불확실성 네트워크를 필요로 하지 않는다.
• 데이터 효율성: 이 접근 방식은 특히 데이터 희소 환경을 위해 설계되었다. UQNO와 같이 훈련 데이터를 분할하는 방법과 달리, 섭동 방법은 두 모델(베이스 및 섭동 모델) 모두에 적절한 전체 훈련 세트를 활용함으로써 연산자 학습에 가용 가능한 정보를 극대화한다.
• 동시 커버리지: max-type 비정형성 점수를 사용하여, 개별 지점에서의 한계적(Marginal) 커버리지가 아닌, 고차원 시공간 출력 전체에 대해 유효한 동시 커버리지를 제공한다.
• 안정화 기법: 공간 평활화와 바닥 안정화의 포함이 컨포멀 밴드의 효율성을 높이는 데 결정적임을 보여주었으며, 이는 고립된 근접 제로(near-zero) 불일치로 인해 불확실성 추정치가 팽창하는 것을 방지한다.

4. 실험 결과

실험은 2D 나비에-스토크스 와도 벤치마크($64 \times 64$ 그리드, 10 타임 스텝)에서 고정된 총 라벨 예산 1200 궤적을 대상으로 수행되었다. 제안된 방법은 다음 모델들과 비교되었다:

• MC Dropout: 분산 추정을 위해 추론 시 드롭아웃 사용.
• Laplace Approximation: 마지막 레이어의 대각 근사(Diagonal last-layer approximation).
• UQNO: 분리된 데이터 서브셋에서 학습된 보조 분위수 네트워크.
• Unscaled: 상수 폭의 밴드($\sigma \equiv 1$)를 가진 베이스라인.

결과:

• 효율성: 섭동 기반 방법은 목표 동시 커버리지를 유지하면서 모든 베이스라인보다 현저히 좁은 컨포멀 밴드를 생성하였다.
  • $\alpha=0.04$에서, 섭동 방법은 평균 반경 3.786을 달성하였으며, 이는 Unscaled(4.192), Laplace(4.403), MC Dropout(8.530), UQNO(16.784)보다 우수한 수치이다.
  • UQNO 대비 개선 효과는 특히 두드러졌는데(반경 77.4% 감소), 이는 별도의 불확실성 네트워크를 학습하기 위해 데이터를 분할해야 하는 페널티 때문인 것으로 분석된다.
• 절제 연구 (Ablation Studies):
  • 공간 평활화: 성능에 결정적이다. 평활화를 제거하면 평균 반경이 ~3.8에서 ~83.6으로 급증했다.
  • 바닥 안정화: 효율성 측면에서 평활화만큼 중요하지는 않으나 안정성을 위해 필요하다. 이를 제거했을 때 반경에 미치는 영향은 미미했다.
• 민감도: 방법론은 섭동 노이즈의 크기($c \in [0.02, 0.10]$)에 대해 견고하며, 이 범위 내에서 커버리지는 명목 목표치에 가깝게 유지된다.
• 정성적 분석: 결과적인 불확실성 밴드는 물리적으로 복잡한 영역(와류 핵, 전단층)에서 넓어지고, 더 매끄러운 층류 영역에서는 좁아지는 특성을 보이며, 이는 예측 작업의 난이도와 일치한다.

5. 의의 및 주장

본 논문은 **섭동 민감도(Perturbation sensitivity)**가 컨포멀화된 뉴럴 연산자에서 불확실성을 나타내는 실용적이고 샘플 효율적인 대리 지표 역할을 할 수 있다고 주장한다. 주요 의의는 불확실성 캘리브레이션을 보조 모델링으로부터 분리했다는 점에 있다. 거의 동일한 데이터로 학습된 두 모델 사이의 불일치를 활용함으로써, 이 방법은 훈련 데이터를 보조 네트워크에 할당하지 않고도 적응형의 동시 커버리지를 달성한다.

저자들은 이 접근 방식이 섭동 모델을 학습할 수 있다면 PDE 이외의 회귀 문제에도 적용 가능한 일반적인 메커니즘이라고 제안한다. 이 방법은 데이터가 제한적이고 보조 모델을 학습하는 비용이 높은 경우, 특히 데이터 효율적인 컨포멀 회귀를 위한 대안을 제공한다. 결과적으로, 데이터 희소 환경에서의 연산자 학습을 위해 섭동 기반 스케일링이 기존의 적응형 방법들(MC Dropout, Laplace, UQNO)보다 엄격한 통계적 보증을 유지하면서도 밴드 타이트니스(Band tightness) 측면에서 더 뛰어남을 시사한다.