📊 statistics

Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise

이 논문은 디노이징 스코어 매칭(Denoising Score Matching, DSM)이 노이즈 수준과 데이터 기하학적 구조로 인해 내재적인 이분산성을 겪는다는 점을 밝히고, 훈련 분산을 안정화하는 동시에 확산 모델의 기존 휴리스틱에 대한 정당성을 제공하는 이론적으로 도출된 가중치 함수를 제안한다.

원저자: Juyan Zhang, Rhys Newbury, Xinyang Zhang, Tin Tran, Dana Kulic, Michael Burke

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Juyan Zhang, Rhys Newbury, Xinyang Zhang, Tin Tran, Dana Kulic, Michael Burke

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 기존의 방대한 사례들을 학습하여 예술, 음악, 심지어 새로운 분자까지 만들어내는 세상을 상상해 보십시오. 이를 위해 컴퓨터는 '스코어 매칭(Score Matching)'이라는 영리한 기술을 사용합니다. 데이터(예를 들어 고양이 사진)를 언덕과 골짜기가 있는 지형이라고 생각해 봅시다. 여기서 '스코어(score)'는 단순히 가장 가능성 높은 고양이를 찾을 수 있는 곳, 즉 가장 높은 곳을 향해 항상 가리키는 나침반과 같습니다. 컴퓨터가 이 나침반을 완벽하게 다루는 법을 배울 수 있다면, 지형을 헤매다 결국 새롭고도 실감 나는 고양이를 그려낼 수 있게 됩니다.

하지만 여기에는 함정이 있습니다. 컴퓨터는 전체 지도를 한 번에 볼 수 없습니다. 이는 마치 짙은 안개 속에서 산의 모양을 배우려는 것과 같습니다. 그래서 컴퓨터는 실제 산을 직접 보는 대신, TV 화면의 눈보라처럼 정적 노이즈(static noise)로 뒤덮인 버전의 산을 대상으로 연습합니다. 컴퓨터는 이 노이즈를 어떻게 제거할지를 추측하려고 노력합니다. 이 연습 방법이 바로 '디노이징 스코어 매칭(Denoising Score Matching, DSM)'입니다. 오랫동안 과학자들은 이 연습이 실제 상황을 대체할 수 있는 완벽하고 공짜인 대안이라고 가정해 왔습니다. 그들은 "나침반의 평균적인 방향만 맞다면, 충분히 잘 해낼 수 있다"라고 생각했습니다. 하지만 이 논문은 끈질긴 질문을 던집니다. 과연 이 연습장이 학습을 불안정하게 만드는 비밀스러운 함정을 숨기고 있는 것은 아닐까요?

모나쉬 대학교와 아마존 연구진으로 구성된 저자들은 연습장이 실제로 약간의 속임수를 쓰고 있다는 사실을 발견했습니다. 그들은 디노이징 스코어 매칭이 본질적으로 '이분산성(heteroscedastic)'을 띤다는 것을 찾아냈습니다. 이는 컴퓨터가 학습하는 신호의 불확실성(또는 노이즈의 양)이 데이터 지형의 위치에 따라 극심하게 변한다는 뜻의 어려운 표현입니다.

재기발랄한 비유를 들어보겠습니다. 움직이는 과녁을 향해 다트를 던지는 법을 배우고 있다고 상상해 보십시오. 완벽한 세상이라면 모든 투구의 난이도가 동일해야 합니다. 하지만 이 '디노이징' 게임에서는 어떤 투구는 고요한 방 안에서 던지는 것처럼 쉽지만, 어떤 투구는 흔들리는 배 위에서 던지는 것처럼 매우 어렵습니다. 논문에 따르면, 이러한 '흔들리는 배' 구간은 정보의 서로 다른 클러스터 사이의 경계와 같은 특정 영역에서 자연스럽게 발생합니다. 그런데 컴퓨터는 어떤 투구가 배 위에서 이루어진 것인지, 어떤 것이 단단한 지면 위에서 이루어진 것인지 구분하지 못하므로 이 둘을 똑같이 취급합니다. 이로 인해 학습 과정은 마치 누군가 계속 불을 껐다 켰다 하는 와중에 공부를 해야 하는 학생처럼 휘청거리고 비효율적이 됩니다.

연구진은 문제점을 발견하는 데 그치지 않고, 이를 해결하기 위한 이론적인 '안정 장치'를 구축했습니다. 그들은 '고담드 가중치(Godambe weighting)'라고 불리는 특별한 수학적 공식을 도출했습니다. 이 필터는 컴퓨터에게 "이 투구는 흔들리는 배 위에서 던진 것이니 너무 믿지 마라. 하지만 저 투구는 단단한 지면 위에서 던진 것이니 더 집중해라"라고 알려주는 스마트한 필터 역할을 합니다. 각 정보의 중요도를 그 흔들림 정도에 따라 조절함으로써, 컴퓨터는 훨씬 더 매끄럽게 학습할 수 있습니다.

그러나 반전이 있습니다. 완벽한 필터를 만들려면 '흔들리는 배'의 정확한 모양을 알아야 하는데, 복잡하고 고차원적인 데이터(실제 이미지와 같은)의 경우 이를 계산하는 것은 거의 불가능합니다. 그래서 저자들은 '충분히 괜찮은' 근사치를 제안했습니다. 그들은 현대의 많은 AI 모델이 사용하는 간단한 기법, 즉 노이즈 수준의 제곱에 따라 학습에 가중치를 두는 방식이 그들의 수학적 원리로부터 자연스럽게 도출된다는 것을 보여주었습니다. 이는 왜 이 단순한 기법이 실제 현장에서 매우 효과적으로 작동하는지를 설명해 줍니다.

결국, 이 논문은 근본적인 트레이드오프(trade-off)를 밝혀냅니다. 수학적으로 완벽하고 통계적으로 효율적인 학습 방법을 가질 수는 있지만, 그것은 실제 환경에서 훈련하기에는 너무 불안정할 수 있습니다. 혹은, 약간 덜 완벽하더라도 훈련을 안정적으로 유지하며 목적을 달 달성할 수 있는 '근사적인' 방법을 사용할 수도 있습니다. 저자들은 우리가 오늘날 사용하는 인기 있는 방법들이 본질적으로 영리한 타협을 하고 있다는 점을 증명합니다. 즉, 그들은 '흔들리는 배'로 인한 혼돈을 피하기 위해 통계적 완벽함을 아주 조금 희생하는 대신, AI가 우리가 보고 있는 놀라운 이미지와 소리를 실제로 만들어낼 수 있도록 보장하는 선택을 하고 있는 것입니다.

기술 요약: 일반화된 매끄러운 노이즈를 이용한 디노이징 스코어 매칭의 이분산성

문제 정의
디노이징 스코어 매칭(Denoising Score Matching, DSM)은 현대 생성 모델링, 특히 에너지 기반 모델과 확산 모델(diffusion models)에서 스코어 매칭(Score Matching, SM)을 위한 다루기 쉬운 프록시(tractable proxy)로서 표준이 되었습니다. Vincent(2011)의 기초 연구는 DSM과 SM 목적 함수의 기대 기울기(expected gradients)가 동일함을 입증하여, DSM이 SM의 "공짜" 대체재라는 가정을 확립했습니다. 그러나 본 논문은 이러한 등가성이 불완전하다고 주장합니다. 저자들은 DSM이 단순히 노이즈가 섞인 SM의 근사치가 아니라, 근본적인 통계적 차이인 내재적 **이분산성(heteroscedasticity)**을 도입한다는 것을 보여줍니다. DSM에서 회귀 타겟(denoising scores)의 분산은 노이즈 수준과 데이터 분포의 국소적 기하학적 구조 모두에 따라 예측 불가능하게 변동합니다. 이러한 입력 의존적 분산은 처리되지 않을 경우 학습 역학을 불안정하게 만들고 통계적으로 비효전적인 추정량을 초래하는 돌이킬 수 없는 노이즈 플로어(noise floor)를 생성합니다.

방법론
본 논문은 임의 차수의 스코어 함수와 일반적인 매끄러운 노이즈 분포(표준 가우시안 가정을 넘어 확장됨)에 대해 이 이분산성을 분석하고 교정하기 위한 엄밀한 통계적 프레임워크를 개발합니다.

이분산성의 이론적 유도:
- 저자들은 일반적인 매끄러운 노이즈 분포에 적용 가능한 임의 차수 스코어 함수에 대한 반복 재귀식(Theorem 3.3)을 유도합니다.
- $L_2$ 손실의 피타고라스 분해를 사용하여, DSM 목적 함수가 실제 SM 목적 함수에는 존재하지 않는 불가피한 분산 항( $tr \, E[V_{x_0|xt}(h_k)]$ )을 포함하고 있음을 증명합니다(Theorem 3.5).
- 이 항이 입력 $x_t$ 와 노이즈 수준 $t$ 에 따라 동적으로 의존하며, 파라미터 기울기와 모델 파라미터를 불안정하게 만드는 "피할 수 없는 근본적인 노이즈 플로어" 역할을 함을 보여줍니다(Lemma 3.8).
Godambe-최적 가중치(Godambe-Optimal Weighting):
- 이 이분산성을 상쇄하기 위해, 저자들은 분산 최적(variance-optimal, Godome) 가중치 함수(Lemma 3.10)를 유도합니다. 이 이상적인 가중치 행렬 $W$ 는 디노이징 타겟의 조건부 분산의 역수입니다( $W = V_{x_0|xt}[h_k]^{-1}$ ).
- 이론적으로 이 가중치를 적용하면 목적 함수를 동분산(homoscedastic)하게 만들고, 이상적인 설정에서 최적 선형 무편향 추정량(Best Linear Unbiased Estimator, BLUE)을 회복합니다.
- 그러나 저자들은 이 최적 솔루션이 고차원 환경에서는 다루기 어려운 양(조건부 고차 모멘트 또는 국소 곡률)에 의존하므로, 정확한 교정이 실질적으로 어렵다는 점을 언급합니다.
실용적 근사:
- 계산적 불가능성을 인식하여, 저자들은 1차 테일러 전개 근사(Lemma 3.12)를 제안합니다.
- 이 근사는 데이터 의존적 곡률보다는 노이즈 분포의 피셔 정보(Fisher information)에 의존합니다.
- 결정적으로, 저자들은 근본적인 트레이드오프를 식별합니다. 즉, 이상적인 가중치는 추정량의 점근적 분산을 최소화하지만, 학습 중 확률적 기울기의 분산을 증가시킬 수 있습니다. 반대로, 근사 방식은 통계적 효율성을 희생하는 대신 기울기 분산을 줄여 최적화 안정성을 개선합니다(Lemma 3.14).

주요 기여

DSM의 내재적 이분산성: 본 논문은 DSM이 노이즈 수준과 데이터 기하학에 의해 결정되는 입력 의존적 분산을 유발하며, 이를 통해 DSM과 SM 사이의 근본적인 통계적 간극을 입증합니다(Theorem 3.5).
최적 가중치 및 한계: 저자들은 동분산을 복구하기 위해 Godambe-최적 가중치를 유도하지만, 이것이 다루기 어려운 양에 의존함을 보여줌으로써 정확한 교정의 실질적 한계를 명시합니다(Lemma 3.10).
휴리스틱의 이론적 근거: 이 프레임워크는 임의의 스코어 차수와 노이즈 분포로 일반화됩니다. 이는 등방성 가우시안 확산에서 널리 사용되는 $\sigma_t^2$ 가중치 휴리스틱에 대한 이론적 정당성을 제공하며, 해당 휴리스틱이 제안된 근사의 특정 사례임을 보여줍니다(Lemma 3.12).
통계적 효율성 vs 최적화 안정성: 본 연구는 통계적으로 최적화된 가중치가 기울기 분산을 높일 수 있는 반면, 근사된 가중치는 최적화 안정성을 개선한다는 점을 명확히 하여, 두 개념 사이의 트레이드오프를 규명합니다(Lemma 3.8).

결과
저자들은 합성 데이터 및 표준 데이터셋을 통해 이론을 검증합니다:

2차 스코어 추정: 가우시안 혼합 모델(GMM)에서 가중치가 없는 DSM은 심각한 불안정성과 낮은 수렴도를 보였습니다. 이상적 가중치와 테일러 근사 가중치 방식 모두 학습을 안정화했습니다. 그러나 이상적 가중치는 근사 방식에서 낮은 노이즈 수준일 때 관찰된 후기 단계의 발산을 완전히 방지했습니다.
비가우시안 노이즈: 다양한 노이즈 가족(Cauchy, Generalized Normal, Laplace, Student-t)으로 오염된 1D Cauchy 혼합 데이터셋 실험에서, 가중치 없이 학습할 경우 심각한 성능 저하(높은 MAPE)가 나타났습니다. 유도된 1차 최적 가중치를 적용했을 때 모든 노이즈 분포에서 평균 절대 백분율 오차(MAPE)가 실질적으로 감소했습니다.
기울기 분산: 모델 파라미터 기울기에 대한 경험적 분석 결과, 이상적 가중치는 점근적으로 파라미터 분산을 최소화하지만, 근사된(휴리스틱) 가중치는 특히 노이즈 수준이 높아질 때 학습 중 훨씬 낮은 기울기 분산을 달로했습니다. 이는 통계적 효율성과 최적화 안정성 사이의 이론적 트레이드오프를 확인시켜 줍니다.
고차원 데이터셋: Spiral, Moons, MNIST, CIFIA-10과 같은 표준 생성 데이터셋에서, 1차 근사 또는 Hutchinson 기반 곡률 추정치를 통합하는 것이 가중치가 없는 베이스라인에 비해 분포 모델링(낮은 MAPE) 측면에서 작지만 일관된 개선을 제공했습니다.

의의 및 주장
본 논문은 DSM에 대한 이해를 SM의 "공짜" 대체재에서 고유한 노이즈 구조를 가진 별개의 추정 문제로 근본적으로 전환한다고 주장합니다. DSM을 이분산 추정 문제로 공식화함으로써, 본 연구는 다음을 수행합니다:

복잡한 국소 기하학을 포착하는 데 한계가 있음을 밝힘으로써 기존 휴리스틱(예: $\sigma_t^2$ 가중치)의 성공을 설명하고 그 한계를 명확히 합니다.
이전에 휴리스틱 전략이 부재했던 영역에서, 비가우시안 및 고차 확산 모델을 위한 가중치 함수를 유도하기 위한 원칙적인 프레임워크를 제공합니다.
DSM을 개선하려면 통계적 효율성과 최적화 안정성 사이의 균형을 맞춰야 함을 강조하며, 향후 연구가 하나만을 독립적으로 최적화하기보다 이 트레이드오프를 탐색해야 함을 시사합니다.

저자들은 자신들의 근사가 피셔 정보에 의존하며 복잡한 타겟 기하학으로부터 오는 잔여 이분산성을 무시한다는 점을 인정하며 신중한 태도를 유지합니다. 또한, 이러한 안정화된 목적 함수를 비가우시안 환경에서의 효율적인 생성으로 변환하려면 SDE(확률 미분 방정식)의 잠재적 불연속성을 처리할 수 있는 특화된 샘플러가 필요할 것이라고 언급합니다.

유사한 논문