기술 요약: 자유 노이즈 제거 확산 모델 (Free Denoising Diffusion Models)

문제 정의

노이즈 제거 확산 모델은 일반적으로 데이터를 점진적으로 오염시키는 확률 과정을 역전시킴으로써 샘플을 생성한다. 고전적인 설정에서 데이터는 좌표의 벡터로 모델링되며, 순방향 과정은 가우시안 노이즈에 의해 구동되는 오르슈타인-우울렌벡(Ornstein–Uhlenbeck, OU) 흐름이며, 여기서 고윳값(존재하는 경우)은 독립적인 스칼라로 취급된다.

그러나 표본 공분산 행렬, 그람(Gram) 행렬, 커널 행렬, 양자 밀도 연산자와 같은 많은 고차원 데이터 구조는 개별 좌표보다는 자연스럽게 그들의 스펙트럼 분포(고윳값 분포)에 의해 특징지어진다. 이러한 객체들에 대해 유효한 불변성은 유니터리(unitary)이며, 관심 대상인 통계량은 스펙트럼이다.

본 논문은 스펙트럼 데이터에 고전적 확산 모델을 적용할 때 발생하는 근본적인 오설정(misspecification)을 식별한다:

1. 좌표별 부식의 실패(Coordinatewise Corruption Failure): 고윳값을 독립적인 가우시안 노이즈에 의해 오염되는 독립적인 좌표로 취급하는 것은 고전적인 합성곱($\mu_0 * \mathcal{N}(0, v)$)으로 이어진다. 이는 고유값 사이의 반발적 성질을 포착하지 못한다. 헤르미션 행렬의 고윳값은 자유 합성곱(free convolution, $\mu_0 \boxplus \gamma_v$)을 겪는다. 고전적 모델은 오염된 스펙트럼의 서포트(support, 유계 여부)와 고차 모멘트(특히 4차 모멘트)를 잘못 예측한다.
2. 차원의 불일치(Dimensionality Mismatch): $N \times N$ 행렬에 대한 정확한 행렬 확산을 실행하려면 $N^2$ 차원의 스코어 함수를 추정해야 한다. 유니터리 불변 데이터를 가진 경우, 스코어는 단일 스칼라 함수(자유 스코어)에 의해 결정되므로, 행렬 접근 방식은 계산적으로 낭비적이며 차원에 의존적이다.

본 논문은 질문한다: 데이터가 자기 수반 연산자(self-adjoint operator)이고 그 법칙이 스펙트럼 측도(spectral measure)일 때, 노이즈 제거 확산을 위한 올바른 수학적 프레임워크는 무엇인가?

방법론

저자는 고전적 확률 개념을 그들의 자유 대응 개념으로 대체하는 자유 확률론(free probability theory, Voiculescu)에 기반한 프레임워크를 개발한다:

• 데이터 표현: 데이터는 $(\mathcal{A}, \tau)$ $W^*$-확률 공간에서의 자기 수반 연산자 $X$이며, 그 법칙은 스펙트럼 분포 $\mu_X$로 정의된다.
• 순방향 과정: 순방향 부식은 자유 오르슈타인-우울렌크(free OU) 확산으로 모델링된다:
  $$dX_t = -\frac{1}{2}\beta(t)X_t dt + \sqrt{\beta(t)} dS_t$$
  여기서 $S_t$는 자유 브라운 운동(free Brownian motion)이다. 스펙트럼 마진 $\mu_t$는 복소 버거스(complex Burgers) 유형의 비로컬 포커-플랑크 방정식(nonlocal Fokker–Planck equation)을 따른다:
  $$\partial_t \psi_t = \frac{1}{2}\beta(t) \partial_x(x\psi_t) - \beta(t) \partial_x(\psi_t H_{\mu_t})$$
  여기서 $H_{\mu_t}$는 스펙트럼 밀도의 힐베르트 변환(Hilbert transform)이며, 이는 스펙트럼 질량 사이의 평균장 반발(mean-field repulsion)을 나타낸다.
• 역과정: 역시간 역학은 Dabrowski의 자유 확산 시간 역전(time reversal)을 특수화하여 도출된다. 역방향 SDE는 보이큘레스의 공액 변수(Voiculescu's conjugate variable, free score) $\xi_{\mu_t} = 2H_{\mu_t}$를 포함한다:
  $$dY_s = \left( \frac{1}{2}\beta(T-s)Y_s - \beta(T-s)\xi_{\mu_{T-s}}(Y_s) \right) ds + \sqrt{\beta(T-s)} d\bar{S}_s$$
• 스코어 매칭: 비가환 설정에서의 조건부 기댓값과 자유 스코어를 연결하는 자유 트위디 항등식(free Tweedie identity)이 확립된다:
  $$\xi_{\mu_Y}(Y) = \frac{1}{v} \left( Y - \mathbb{E}_{W^*(Y)}[\sqrt{\alpha}X_0] \right)$$
  이를 통해 네트워크가 오염된 신호로부터 깨끗한 신호를 추정하도록 하는 일관된 노이즈 제거 스코어 매칭 목적 함수를 얻는다.

주요 기여

1. 이론적 프레임워크 및 부등식

• 변위 볼록성(Displacement Convexity): 저자는 자유 에너지 범함수 $F[\mu] = \frac{1}{2}\int x^2 d\mu - \chi[\mu]$가 자유 와서스타인 측도(free Wasserstein geodesics)를 따라 **1-볼록(1-convex)**함을 증명한다. 이는 단일 자기 수반 변수에 대한 자유 와서스타인 거리가 $\mathbb{R}$ 상의 고전적 이차 와서스타인 거리와 동일함을 식별하는 Biane–Voiculescu 등가성에 기초한다.
• 함수적 부등식: 이 볼록성으로부터, 저자는 자유 OU 흐름에 대해 특화된 자유 로그-소볼레프(free LSI), 탈라그란드(Talagrand), HWI 부등식(원래 Biane, Hiai–Petz–Ueda, Ledoux–Popescu에 의한 것)을 재현한다. 또한 소산 항등식(dissipation identity)과 지수적 수렴 속도를 확립한다.
• JKO 스킴: 자유 JKO(Jordan–Kinderlehrer–Otto) 최소 이동 스킴의 존재성, 유일성 및 수렴성이 증명되어, 자유 포커-플랑크 방정식의 경사 흐름(gradient-flow) 해석을 검증한다.

2. 역시간 역학 및 정칙성(Regularity)

• 즉각적 정칙화: 자유 합성곱이 세미서큘러(semicircular) 법칙과 결합하면 초기 법칙을 즉각적으로 정칙화하여, 초기 법칙이 원자적(atomic)인 경우에도 모든 $t > 0$에 대해 공액 변수(자유 스코어)가 $L^2$에 존재함을 보여준다.
• 명시적 역방향 드리프트: 자유 스코어를 포함하는 명시적 드리프트 항을 가진 역방향 SDE가 도출되어, 구체적인 생성을 위한 알고리즘을 제공한다.

3. 연산자 값 변동성(Operator-Valued Volatility) 및 평형 설계

• 세미서큘러 평형을 넘어: 표준 자유 OU 흐름은 세미서큘러 법칙으로만 수렴한다. 임의의 스펙트럼 분포를 생성하기 위해, 저자는 연산자 값 변동성(상태 의존적 확산 계수)을 도입한다.
• 평형 설계 정리: 충분히 정규적인 컴팩트 지지 타겟 법칙 $\mu^*$에 대해, $\mu^*$가 확산의 정지 스펙트럼 법칙이 되도록 하는 명시적인 드리프트 $b^*$와 변동성 $f$가 존재함을 증명한다. 이를 통해 특정 스펙트럼(예: 마르첸코-파스투르)을 목표로 하는 확산 모델을 구축할 수 있다.
• 구조적 장애물: 변동성이 상수가 아닌 경우, 스펙트럼 흐름은 라마르티(Lamperti) 변환을 통해 상수 계수 케이스로 축소될 수 없으며, 표준 와서스타인 경사 흐름 구조를 갖지도 않음을 증명한다. 이는 스칼라 케이스에서 사용된 볼록성 방법의 적용 가능성을 제한한다.

4. 유한-$N$ 일관성 및 알고리즘

• 유체역학적 극한(Hydrodynamic Limit): 자유 포커-플랑크 방정식은 헤르미션 행렬 확산(Dyson systems)의 고윳값 역학의 결정론적 극한($N \to \infty$)임을 보여준다.
• 유한-$N$ 알고리즘: 신경망이 고윳값에 작용하는 스칼라 함수(스펙트럼 노이즈 제거)를 학습하는 구체적인 알고리즘을 제안한다. 이는 엔트리 단위 모델의 $N^2$ 파라미터 폭발 문제를 해결한다.

결과 및 수치 실험

논문은 다음 9가지 수치 실험을 통해 이론을 검증한다:

1. 유체역학적 극한: 헤르미션 행렬 확산($N=1200$)의 경험적 스펙트럼 분포가 $O(N^{-1/2})$ 오차로 자유 포커-플랑크 예측과 일치함을 보여, 이론적 극한을 확인한다.
2. 서포트 전이: 이봉형(bimodal) 스펙트럼이 단봉형(unimodal)으로 변하는 "갭 폐쇄(gap closing)" 현상을 정확히 예측하며, 이는 2차 코시 커널에서 유도된 이론적 임계값과 일치한다.
3. 부등식 검증: 수치적 체크를 통해 자유 LSI, 탈라그란드, HWI 부등식이 예측된 상수와 함께 성립함을 확인한다.
4. 오설정 입증: 좌표별(고전적) 부식은 헤르미션 행렬의 실제 스펙트럼 진화(특히 서포트와 4차 모멘트 측면에서)를 포착하는 데 실패함을 비교를 통해 보여준다.
5. 생성 성능: 학습된 스코어 매칭 모델은 세미서컬러 평형으로부터 복잡한 스펙트럼 분포(아웃라이어가 있는 스파이크드 공분산 모델 포함)를 성공적으로 재구성한다. 학습된 스코어는 오라클(정확한 자유 스코어)과 유사한 성능을 보이며, 좌표별 베이스라인보다 훨씬 우수한 성능을 보인다.

의의 및 주장

본 논문은 노이즈 제거 확산 모델을 위한 최초의 엄밀한 자유 확률론적 프레임워크를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 오설정 교정: 스펙트럼 데이터를 독립적인 좌표로 취급하는 것이 비가환적 성질(고윳값이 독립적으로 확산하는 대신 서로 반발함) 때문에 근본적으로 틀렸음을 밝혀냈다.
• 차원 독립성: 학습된 스코어가 행렬 차원 $N$에 무관한 단일 스칼라 함수을 제공함으로써, 엔트리 단위 모델의 확장성 문제를 해결한다.
• 이론적 깊이: 자유 확률론, 최적 운송(optimal transport), 확산 모델을 연결하여 생성 모델링 맥나서의 깊은 함수적 부등식(LSI, Talagrand)을 재현한다.
• 일반성: 연산자 값 변동성을 통해 세미서큘러 법칙을 넘어 금융 및 통계학에서 중요한 임의의 타겟 스펙트럼 분포(예: 마르첸코-파스처)로 프레임워크를 확장한다.

저자는 현재의 이론이 엄격하게 단일 자기 수반 변수에만 적용된다는 점을 언급하며 범위를 겸손하게 제한한다. 다수의 비가환 변수로의 확장은 다변량 포커-플랑크 방정식의 부재와 알려진 다변량 운송 등가성의 부재로 인해 미해결 과제로 남겨두었다.