기술적 요약: 무한차원 확산 모델을 위한 지도형 안내 훈련

문제 제기

역문제, 특히 편미분방정식 (PDE) 에서 발생하는 역문제는 종종 무한차원 함수 공간에 존재하는 미지의 매개변수를 추정해야 합니다. 베이지안 프레임워크에서 목표는 잡음이 섞인 관측치를 조건으로 하여 이러한 함수에 대한 사후분포로부터 표본을 추출하는 것입니다. 최근 점수 기반 확산 모델 (SDM) 이 표현력이 풍부한 사전분포로 작용하도록 무한차원 함수 공간으로 확장되었으나, 이러한 모델을 조건화하여 사후분포로부터 표본을 추출하기 위한 이론은 여전히 해결되지 않은 과제로 남아 있습니다.

기존의 유한차원 조건화 기법들, 예를 들어 두브의 $h$-변환은 밀도 분해와 전이 연산자에 의존하는데, 이는 무한차원으로 직접 적용되지 않습니다. 주요 난제들로는 르베그 밀도의 부재, 가우스 측정을 캠버론 - 마틴 공간 밖으로 이동시킬 때 측정의 특이성 (펠드만 - 하예크 정리) 가능성, 그리고 힐베르트 공간에서 전이 연산자의 미분 가능성 보장의 어려움이 있습니다. 또한, 유한차원 방법을 적용하기 위해 데이터를 즉시 이산화하는 것은 해상도 의존적 오차를 도입하고 프레임워크의 유연성을 제한합니다.

방법론

이론적 기반: 무한차원 $h$-변환

저자들은 두브의 $h$-변환을 확장하여 무한차원 확산 모델을 조건화하기 위한 원칙적인 프레임워크를 제안합니다. 그들은 두 가지 설정 하에서 조건부 확산 과정의 존재를 입증합니다:

1. 설정 1: 사전분포가 확산 SDE 에 사용된 위너 과정의 캠버론 - 마틴 공간 내의 공 (ball) 에서 지지됩니다.
2. 설정 2: 사전분포는 가우스 측도에 대해 절대연속이며, 잠재 함수와 그 기울기에 대한 특정 경계 조건을 가집니다.

이러한 설정 하에서 저자들은 시간 역행 조건부 과정이 안내 항 (guidance term) 에 의해 수정된 드리프트를 갖는 확률미분방정식 (SDE) 을 만족함을 증명합니다. 구체적으로, 조건부 점수 함수 $s_y(t, x)$는 무조건부 점수 $s(t, x)$와 안내 항 $C\nabla \log h_y(t, x)$로 분해됨을 보여줍니다:
$$s_y(t, x) = s(t, x) + C\nabla \log h_y(t, x)$$
여기서 $h_y$는 가능도 잠재 함수의 조건부 기댓값을 통해 정의된 무한차원 $h$-변환입니다.

지도형 안내 훈련 (SGT)

무한차원 과정의 전체 전이 법칙에 대한 의존성으로 인해 안내 항 $C\nabla \log h_y$가 계산적으로 다루기 어렵기 때문에, 저자들은 안내 항을 직접 학습하도록 설계된 시뮬레이션 없는 훈련 목적 함수인 **지도형 안내 훈련 (SGT)**을 도입합니다.

• 목적: 이 방법은 시뮬레이션 기반 확률 최적 제어 (높은 분산과 궤적 샘플링을 요구함) 에 의존하는 대신, 알려진 무조건부 점수 $s(t, x)$와 데이터 및 관측치의 결합분포 $(X_0, Y)$를 활용하여 노이즈 제거 점수 매칭 손실을 최소화합니다.
• 손실 함수: 손실은 학습된 안내 항 $u(t, x, y)$와 참된 안내 항 간의 차이를 최소화하도록 구성됩니다. 목적 함수는 다음과 같습니다:
  $$\mathbb{E} \left[ \left\| \frac{X_t - e^{-t/2}X_0}{1 - e^{-t}} + s(t, X_t) + u(t, X_t, Y) \right\|^2_K \right]$$
  여기서 $K$는 선택된 힐베르트 공간 (예: 캠버론 - 마틴 공간) 입니다.
• 매개변수화: 안내 항은 신경망을 사용하여 매개변수화됩니다. 저자들은 SDE 의 잡음 구조와 정합성을 유지하고 규칙성을 강제하기 위해 공분산 연산자 $C$로 네트워크 출력을 전처리하는 정도 ($k \in \{0, 1/2, 1\}$) 를 탐구합니다.

근사 및 비교

본 논문은 기존의 휴리스틱 접근법들도 분석합니다:

• 확률 최적 제어 (SOC): 이론적으로 타당하지만, SOC 는 시뮬레이션 기반 훈련을 요구하여 계산 비용이 많이 들고 훈련 초기 단계에서 불안정합니다.
• 트위디 근사 (FunDPS): 저자들은 이전 연구의 제한적인 가정을 완화하여 설정 2 (절대연속성) 로 트위디 공식을 사용하여 깨끗한 데이터를 추정하는 FunDPS 근사를 확장합니다. 그러나 이 접근법은 모든 이산화 단계에서 점수 모델을 통해 역전파를 필요로 하므로 여전히 계산 오버헤드가 발생한다고 지적합니다.

주요 기여

1. 이론적 확장: 본 논문은 일반적인 설정 (캠버론 - 마틴 지지 또는 절대연속성) 하에서 두브의 $h$-변환을 통해 무한차원 확산 모델을 조건화할 수 있음을 최초로 엄밀하게 증명하며, 조건부 점수를 무조건부 점수와 안내 항으로 분해하는 것을 확립합니다.
2. 지도형 안내 훈련 (SGT): 저자들은 다루기 어려운 안내 항을 학습하기 위한 새로운 시뮬레이션 없는 훈련 알고리즘을 제안합니다. 이 접근법은 시뮬레이션 기반 방법의 높은 분산과 트위디 기반 근사에서 요구되는 매 단계별 점수 모델 미분의 계산 비용을 피합니다.
3. 해상도 불변성: 무한차원에서 문제를 다루고 최종 단계에서만 이산화함으로써, 이 프레임워크는 해상도 불변적인 조건화 접근법을 제공하며, 고해상도에 유한차원 아키텍처를 적용할 때 흔히 발생하는 성능 저하를 방지합니다.
4. FunDPS 의 일반화: 이 연구는 트위디 기반 근사 (FunDPS) 가 덜 제한적인 설정 2 (절대연속성) 하에서도 성립함을 증명하여 그 적용 범위를 확대합니다.

실험 결과

저자들은 함수 공간에서의 세 가지 베이지안 역문제에 대해 SGT 를 평가했습니다:

1. 희소 관측: 잡음이 섞인 점 관측치로부터 1 차원 함수를 복원.
2. 열 방정식: 나중 시점의 잡음이 섞인 관측치로부터 열 방정식의 초기 온도 분포를 복원.
3. 모양 인페인팅: 부분 푸리에 계수 (타원 푸리에 기술자) 로부터 모양 (MNIST 의 숫자 "3") 을 재구성.

결과:

• 성능: SGT 는 루트 평균 제곱 오차 (RMSE) 와 에너지 점수 (ES) 측면에서 휴리스틱 FunDPS 기준선보다 일관되게 우수한 성능을 보입니다.
• 조건부 확산과의 비교: SGT 는 처음부터 훈련된 "조건부 확산" 모델 (상한선으로 작용) 과 비교 가능한 정확도를 달성합니다. 조건부 모델은 훨씬 더 크고 더 많은 단계로 훈련되었음에도 불구하고 SGT 는 이를 달성합니다.
• 강건성: 불완전한 (무작위 초기화되거나 부분적으로 훈련된) 무조건부 기본 모델을 사용한 실험에서, SGT 는 FunDPS 가 완전히 실패하는 상황에서도 현실적인 표본을 복원하는 뛰어난 강건성을 보여줍니다.
• 효율성: SGT 는 사전 훈련된 무조건부 모델을 재사용하면서 안내 네트워크만 훈련하므로, 처음부터 전체 조건부 모델을 훈련하는 것보다 더 적은 파라미터와 훈련 단계를 요구합니다.

중요성과 주장

본 논문은 사후분포로부터 정확하게 표본을 추출하기 위해 훈련된 확산 모델을 미세조정하는 첫 번째 함수 공간 방법을 제공한다고 주장합니다. 그 중요성은 무한차원 베이지안 추론의 이론적 요구사항과 확산 모델의 실제 구현 사이의 간극을 메우는 데 있습니다.

저자들은 그들의 프레임워크가 다음을 가능하게 함을 강조합니다:

• 해상도 불변성: 훈련 데이터와 다른 해상도에서 성능 저하 없이 표본을 생성할 수 있는 능력.
• 안정성: 근본적인 무조건부 모델이 불완전할지라도 안정적인 훈련 체제.
• 유연성: 유한차원 밀도 가정에 의해 제약받지 않는 이산화, 훈련, 손실 함수에 대한 대안적 옵션.

이 연구는 휴리스틱 근사에 비해 명시적으로 무한차원 안내 항을 학습함으로써 더 우수한 정확도를 달성하며, 과학 및 공학의 복잡한 역문제에 확산 모델을 적용하기 위한 원칙적인 방향을 제시한다고 결론지었습니다.