📊 statistics

Spectral Diffusion Processes

이 논문은 데이터를 커널을 통해 스펙트럼 영역으로 표현함으로써 프로세스의 유효한 일관성을 보장하는 동시에 효과적인 다중 모드 분포 모델링과 조건부 샘플링을 가능하게 하여, 표준적인 유한 차원 확산 모델을 확률 과정에 적용하는 프레임워크인 스펙트럴 디퓨전 프로세스(Spectral Diffusion Processes)를 소개한다.

원저자: Angus Phillips, Thomas Seror, Michael Hutchinson, Valentin De Bortoli, Arnaud Doucet, Emile Mathieu

게시일 2026-07-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Angus Phillips, Thomas Seror, Michael Hutchinson, Valentin De Bortoli, Arnaud Doucet, Emile Mathieu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 실제 존재하는 무언가, 예를 들어 허리케인의 경로, 도시의 연간 기온 변화, 또는 구름의 모양과 같은 완벽하고 구불구불한 선을 그리는 법을 가르치려 한다고 상상해 보십시오. 문제는 이것들이 단순히 숫자의 나열이 아니라, 시간과 공간의 모든 곳에 존재하는 **연속적인 흐름(continuous flows)**이라는 점입니다. 만약 당신이 몇 개의 점(화면의 픽셀이나 시간당 측정값 등)만을 보여줌으로써 컴퓨터를 가르치려 한다면, 컴퓨터는 혼란에 빠질 것입니다. 그것은 특정 점들에서는 훌륭해 보이는 선을 그릴지 모르지만, 그 사이 구간에서는 말이 안 되는 선을 그리거나, 보여준 점의 개수에 따라 규칙이 변하는 선을 그릴 수도 있습니다.

이것이 바로 이 논문의 저자들이 해결하려고 하는 거대한 골칫거리입니다. 그들은 기존의 많은 방식이 이러한 "흐르는" 것들을 모델링하도록 컴퓨터를 가르치는 데 있어, 마치 눈에 보이는 판자들만 본드로 붙여서 다리를 건설하려는 것과 같다는 것을 발견했습니다. 만약 다른 각도에서 바라보거나(또는 더 많은 판자가 생기면), 전체 구조가 무너져 버립니다. 왜냐하면 규칙이 서로 일치하지 않기 때문입니다.

핵심 아이디어: 악보
저자들은 이 흐름을 무질서하고 연속적인 선으로 보는 대신, 이를 악보처럼 바라보기로 했습니다.

복잡한 음악 한 곡을 생각해 보십시오. 그것은 시작부터 끝까지 흐르는 연속적인 소리입니다. 하지만 당신이 그것을 기록하거나 로봇에게 연주하도록 가르치고 싶다면, 공기의 모든 진동을 일일이 적지는 않습니다. 대신, 당신은 그것을 음표(주파수)와 음량(계수)의 집합으로 분해합니다.

음표는 음악의 "형태"(시공간 구조)입니다. 이것들은 피아노 건반처럼 미리 정해져 있고 알려진 것들입니다.
음량은 "무작위성"(확률적 부분)입니다. 이것은 노래를 연주할 때마다 변하는 부분입니다.

저자들의 방법인 **스펙트럴 디퓨전(Spectral Diffusion)**은 정확히 이 작업을 수행합니다. 그들은 무질서하게 흐르는 데이터셋을, 고정된 음표들에 대응하는 숫자 리스트("음량" 또는 스펙트럴 계수)로 변환합니다.

마법의 기술: 음표 위의 디퓨전
이 숫자 리스트를 확보한 후, 그들은 강력한 도구인 **디퓨전 모델(Diffusion Model)**을 사용합니다. 디퓨전을 노이즈와 함께 하는 "전화기 게임(telephone game)"이라고 생각할 수 있습니다.

순방향 게임: 당신은 완벽한 그림(또는 완벽한 멜로디)을 가져와서, 그것이 순수한 무작위 노이즈(static noise)가 될 때까지 천천히 정적 노이즈를 추가합니다.
역방향 게임: 당신은 똑똑한 AI가 이 게임을 거꾸로 수행하도록 훈련시킵니다. AI는 그 흐릿한 노이즈로부터 어떻게 단계적으로 노이즈를 벗겨내어 원래의 그림이나 멜로디를 드러낼지를 배웁니다.

저자들은 만약 이 "노이즈 게임"을 무질서한 흐름 자체가 아니라 숫자 리스트(스펙트럴 계수) 위에서 수행한다면 마법 같은 일이 일어난다는 것을 깨달았습니다. 리스트의 숫자가 유한하고 "음표"가 고정되어 있기 때문에, AI는 완벽한 규칙 세트를 학습하게 됩니다. 그 숫자를 다시 원래의 흐름으로 변환할 때, 결과물은 보장된(guaranteed) 유효하고 일관된 흐름이 됩니다. 다른 각도에서 보더라도 무너지지 않으며, 보여준 점의 개수에 따라 규칙이 바뀌지도 않습니다.

그들이 "아니오"라고 말한 것들
저자들은 이 특정 작업에 대해 무엇이 잘 작동하지 않는지에 대해 명확히 밝혔습니다.

그들은 흐름을 작고 끊어진 조각들로 단순히 자르는 것(입력 공간의 이산화)에 반대했습니다. 그들은 이 방식이 쉽기는 하지만, 종종 모델의 예측이 데이터를 얼마나 미세하게 잘랐느냐에 따라 달라지는 "끊어진 다리"를 초래한다는 것을 보여주었습니다.
또한, 가우시안 프로세스(Gaussian Processes)(고전적인 수학 도구)가 일관되기는 하지만 너무 경직되어 있다는 점을 지적했습니다. 그것들은 오직 매끄러운 종 모양의 곡선만을 모델링할 수 있으며, 복잡하고 다중 피크를 가진 패턴(두 가지 매우 다른 양상을 가진 데이터셋 등)을 모델링하는 데 어려움을 겪습니다.
**뉴럴 프로세스(Neural Processes)**는 유연하지만 "일관성" 테스트에서 실패하는 경우가 많다는 점을 언급했습니다. 즉, 질문을 약간 다르게 하거나 데이터 포인트를 하나 더 추가했을 뿐인데도 다른 답을 내놓을 수 있다는 것입니다.

얼마나 확신하는가?
저자들은 단순히 추측한 것이 아니라, 수학적으로 증명하고 테스트했습니다.

수학: 그들은 이 "악보" 접근 방식을 사용함으로써 모델이 반드시 일관성과 교환 가능성(exchangeability)의 규칙을 만족해야 함을 증명했습니다. 이것은 운 좋은 추측이 아니라, 설계 자체에 내장된 것입니다.
시뮬레이션: 그들은 모델의 성능을 확인하기 위해 여러 데이터셋에 모델을 실행했습니다.
- MNIST 이미지 데이터셋(손글씨 숫자)에서, 그들은 자신들의 방법이 새롭고 현실적인 숫자를 생성할 수 있음을 보여주었습니다. 그들은 특정 유형의 "커널"(음표를 정의하는 수학적 함수)인 **공분산 커널(covariance kernel)**을 사용할 때 가장 선명하고 세밀한 이미지가 생성되는 반면, 더 매끄러운 "RBF 커널"은 이미지를 다소 흐릿하게 만든다는 것을 발견했습니다.
- 1차원 시계열 데이터(멜버른의 보행자 수나 영국의 에너지 수요 등)에서, 그들은 자신들의 모델을 가우시안 프로세스, 뉴럴 프로세스, 그리고 더 새로운 방법인 뉴럴 디퓨전 프로세스와 비교했습니다.
- 모델이 실제 데이터와 가짜 데이터를 구별할 수 있는지 확인하는 테스트에서, 그들의 방법은 합성 "Quadratic" 데이터셋에서 **5.4%의 전력(power)**을 기록했습니다(즉, 실제와 구별하기가 매우 어려웠음을 의미함). 이는 뉴럴 프로세스(7.0%)와 가우시안 프로세스(100.0%, 가짜를 쉽게 찾아냄)를 능가한 수치입니다.
- 과거 데이터를 바탕으로 미래 값을 예측하는 작업(예측 모델링)에서, 그들의 방법은 Quadratic 데이터셋에서 0.033의 평균 제곱 오차(MSE)를 달 기록했습니다. 흥arp하게도, 이 특정 지표에서는 뉴럴 프로세스(NP)가 0.030으로 약간 더 낮은 오차를 기록했지만, 저자들은 NP가 멜버른이나 Gridwatch와 같은 다른 실제 데이터셋의 분산(variance)을 다루는 데 어려움을 겪었으며, 그 지점에서 자신들의 방법이 NP보다 우수했다고 언급했습니다.

결론
저자들은 복잡하고 흐르는 문제를 고정된 음표와 무작위적인 음량의 "악보"로 분해한 뒤, 디퓨전 과정을 사용하여 그 음량을 생성하도록 AI를 가르침으로써, 두 세계의 장점을 모두 얻을 수 있다고 제안합니다. 당신은 복잡하고 기묘한 형태(이봉 분포와 같은)를 학습할 수 있을 만큼 유연하면서도, 항상 유효하고 일관된 흐름을 만들어낼 수 있을 만큼 엄격한 모델을 얻게 됩니다. 이것은 로봇에게 모든 소리의 파동을 암기하게 하는 대신, 음의 리듬과 음량을 학습하게 하여 음악을 작곡하도록 가르치는 것과 같습니다. 그 결과는 어떤 방식으로 듣더라도 제대로 들리는 하나의 교향곡이 됩니다.

기술 요약: 스펙트럼 확산 과정 (Spectral Diffusion Processes)

문제 정의

시계열이나 공간장(spatial fields)과 같은 함수 공간(functional spaces)에 대한 확률적 모델링은 기상 예측이나 역학(epidemiology)과 같은 물리 과학 분야에서 매우 중요합니다. 그러나 이러한 공간에 대해 유효한 파라미터 확률 모델을 구축하는 데는 두 가지 근본적인 과제가 존재합니다:

유효성 (Validity): 확률 과정(stochastic processes)에 대한 유한 차원 표현은 무한 차원 공간에 대한 유효한 분포를 자동으로 보장하지 않습니다. 유효한 확률 과정을 정의하기 위해 모델은 콜모고로프 확장 정리(Kolmogorov extension theorem)의 일관성(consistency) 및 교환 가능성(exchangeability) 조건을 만족해야 합니다. 무한 차원 확산 모델과 같은 기존 방식들은 입력 공간을 이산화(discretization)하는 경우가 많으며, 이는 예측이 이산화 해상도에 의존하게 되어 일관성 기준을 충족하지 못하는 결과를 초래합니다.
유연성 (Flexibility): 모델은 복잡하고 비가우시안(non-Gaussian)이며 다봉형(multimodal)인 행동을 포착할 수 있어야 합니다. 전통적인 가우시안 프로세스(GP) 회귀는 유효성은 만족하지만 가우시안 우도(likelihood)에 국한됩니다. 뉴럴 프로세스(Neural Processes, NPs)는 유연성을 제공하지만, 일반적으로 조건부 일관성(conditional consistency)만을 만족하며 유효한 무조건부 분포(unconditional distributions)를 정의하는 데는 실패합니다.

함수에 대한 기존의 확산 기반 접근 방식들은 유효성이 결여되어 있거나(이산화로 인해), 혹은 과도한 계산 비용(예: $O(N^3)$ 커널 연산)을 발생시키지 않으면서 자연스럽게 공간적 상관관계를 통합하는 데 어려움을 겪습니다.

방법론

저자들은 입력 공간이 아닌 스펙트럼 영역에서 작동함으로써, 확률 과정에 대한 유효하고 유연한 생성 모델을 구축하는 프레임워크인 **스펙트럼 확산 과정(Spectral Diffusion Processes, SDP)**을 제안합니다.

1. 메르서 정리(Mercer's Theorem)를 통한 스펙트럼 표현

입력 공간 $X$ 를 이산화하는 대신, 이 방법은 커널 $K$ 로부터 유도된 함수 기저(functional basis)를 사용하여 확률 과정 $(Y_x)_{x \in X}$ 를 분해합니다.

메르서 정리: 연속적이고 대칭적이며 양의 정부호(positive definite)인 커널 $K$ 가 주어지면, $K(x, x') = \sum \lambda_m e_m(x) e_m(x')$ 를 만족하는 고유함수(eigenfunctions) $\{e_m\}_{m \in \mathbb{N}}$ 와 고유값(eigenvalues) $\{\lambda_m\}_{m \in \mathbb{N}}$ 의 정규 직교 기저가 존재합니다.
분해: 과정은 $Y_x = \sum_{m=0}^{\infty} \lambda_m^{1/2} Z_m e_m(x)$ 로 표현되며, 여기서 $Z_m$ 은 확률적 계수(stochastic coefficients)입니다.
절단 (Truncation): 이 무한 급수는 유한한 표현 $Y^M_x$ 를 얻기 위해 차수 $M$ 에서 절단됩니다. 결정적으로, 절단이 입력 도메인이 아닌 스펙트럼 도메인(계수)에서 이루어지기 때문에, 결과로 나오는 유한한 선형 결합은 정의상 유효한 확률 과정이 됩니다. 이는 콜모고로프 확장 정리의 일관성 및 교환 가능성 요구 사항을 본질적으로 만족합니다.

2. 스펙트럼 확산 모델

과정의 확률성은 전적으로 계수 $Z = (Z_0, \dots, Z_M)$ 에 인코딩됩니다.

모델링: 표준 유한 차원 디노이징 확산 모델(VP-SDE)이 스펙트럼 계수 $Z$ 에 대해 학습됩니다. 순방향 과정은 $Z$ 에 노이즈를 추가하고, 역방향 과정은 이를 디노이징하는 법을 학습합니다.
유연성: GP나 NP와 달리, 확산 모델은 계수에 대해 어떠한 파라미터 형태(예: 가우시안)도 강요하지 않으므로, 함수 공간에서의 임의의 다봉형 및 비가우시안 분포를 포착할 수 있습니다.
조건부 샘플링: 조건부 작업(컨텍스트 $\{x_i, y_i\}$ 가 주어졌을 때 $y^*$ 예측)을 처리하기 위해, 스코어 네트워크는 순열 불변 인코더(Neural Processes에서 영감을 받음)를 통해 컨텍스트 세트에 대해 아마티제이션(amortized)되어, 계수 분포를 조건화하는 컨텍스트 임베딩 $c$ 를 생성합니다.

3. 유도된 공간 역학 (Induced Spatial Dynamics)

본 논문은 스펙트럼 확산과 공간 도메인 사이의 이론적 연결 고리를 확립합니다.

상관된 노이즈: 유도된 순방향 공간 과정은 커널 $K$ 에 의해 노이즈 공분산가 결정되는 **상관된 노이즈(correlated noise)**를 가진 오른슈타인-우울렌벡(Ornstein-Uhlenbeck) 과정에 해당합니다.
극한 행동: 스펙트럼 계수의 수 $M \to \infty$ 로 갈 때, 과정의 기저 분포는 타겟 분포에 대한 KL 발산(KL divergence)을 최소화하는 가우시안 프로세스로 수렴합니다.

4. 구현 세부 사항

전처리: 이 방법은 스펙트럼 데이터셋을 계산하기 위한 일회성 전처리 단계를 필요로 합니다. 여기에는 Nyström 방법을 사용하여 공유 평가 세트 상에서 커널의 고유 기저를 근사하고, 훈련 데이터를 이 계수들로 투영하는 과정이 포함됩니다.
학습: 확산 모델은 디노이징 스코어 매칭(DSM)을 사용하여 투영된 계수들에 대해 학습됩니다.
샘플링: 새로운 샘플은 계수에 대한 확산 과정을 역전시킨 후, 기저 전개(basis expansion)를 통해 함수를 재구성함으로써 생성됩니다.

주요 기여

과정에 대한 유효한 생성 모델: 본 논문은 가우시안 프로세스의 유효성과 뉴럴 생성 모델의 유연성 사이의 간극을 메우는 방법을 소개합니다. 스펙트럼 도메인으로 표현을 전환함으로써, 저자들은 모델이 데이터로부터 일관성을 학습할 필요 없이 구조적으로 유효한(valid by construction) 생성 모델을 구축할 수 있게 했습니다.
스펙트럼 디커플링 (Spectral Decoupling): 확률적 부분(계수)을 시공간 구조(기저)와 분리함으로써, 이 방법은 입력 공간의 이산화로 인해 발생하는 일관성 문제를 피합니다.
상관된 노이즈 해석: 저자들은 스펙트럼 접근 방식이 공간 도메인에서 상관된 노이즈를 가진 확산 모델과 동일함을 입증하였으며, 이는 훈련 단계에서 명시적인 커널 행렬 연산 없이도 공간 구조를 통합할 수 있는 원칙적인 방법을 제공합니다.
아마티제이션된 조건부 모델링: 이 프레임워크는 스코어 네트워크를 컨텍스트 세트에 대해 아마티제이션함으로써 조건부 샘플링으로 확장되어, 예측 모델링의 사후 분포를 가능하게 합니다.

실험 결과

방법론은 다음과 같은 작업들을 통해 평가되었습니다:

2D 이미지 생성 (MNIST): 공분산 커널을 사용하는 것이 공간적 상관관계를 효과적으로 포착하는 반면, RBF 커널은 과도한 매끄러움(smoothness)을 강요한다는 것을 시각화를 통해 보여주었습니다.
1D 확률 과정: 모델은 Melbourne(보행자 수), Gridwatch(에너지 수요), 그리고 합성 데이터인 Quadratic(이봉 분포) 데이터셋에 대해 테스트되었습니다.
- 다봉성 (Multimodality): SDP는 가우시안 우도 가정으로 인해 실패한 NP 및 GP와 달리, Quadratic 데이터셋의 이봉 분포를 성공적으로 포착했습니다.
- 분산 추정: SDP는 실제 세계 데이터셋에서 NP 및 GP보다 우수한 분산 포착 능력을 보였습니다.
- 정량적 지표: 커널 두 표본 가설 검정(kernel two-sample hypothesis test)을 사용했을 때, SDP는 생성된 샘플과 실제 데이터를 구별하는 데 있어 GP, NP, 그리고 뉴럴 디퓨전 프로세스(NDP)보다 일관되게 우수한 성능을 보였습니다.
예측 성능: 1D 데이터셋 및 합성 GP 회귀 작업에서, SDP는 NP, ANP, AGNPs에 비해 더 낮은 평균 제곱 오차(MSE)와 더 나은 예측 공분산 추정치를 달성했습니다. 특히, SDP는 공분산 구조를 완전히 데이터로부터 학습해야 하는 NP 변형들보다 실제 예측 공분산을 더 정확하게 일치시켰습니다.

의의 및 주장

본 논문은 스펙트럼 확산 과정이 가우시안 프로세스의 유효성과 뉴럴 생성 모델의 유연성 사이의 가교 역할을 한다고 주장합니다. 스펙트럼 도메인으로 표현을 전환함으로써, 저자들은 다음과 같은 모델을 구현했습니다:

데이터로부터 일관성을 학습할 필요 없이 확률 과정에 대한 유효한 분포를 정의합니다.
복잡한 비가우시안 및 다봉형 함수 분포를 자연스럽게 처리합니다.
훈련 및 샘플링 단계에서 커널 행렬 연산의 계산적 병목 현상을 피합니다 (이 비용을 전처리 단계로 이동).

저자들은 이 연구를 기존의 무한 차원 확산 접근 방식(이산화 시 일관성을 잃는 방식)에 대한 원칙적인 대안으로 위치시키며, 유효성과 유연성이 동시에 요구되는 물리적 모델링을 위한 견고한 프레임워크를 제공합니다.