📊 statistics

Blind denoising diffusion models and the blessings of dimensionality

이 논문은 낮은 내재적 차원을 활용하여 노이즈 수준을 적응적으로 추정함으로써 명시적인 노이즈 컨디셔닝의 필요성을 제거하고, 이를 통해 표준 DDM과 대등한 성능을 유지하면서도 훈련 및 샘플링 파이프라인을 단순화하는 이론적으로 근거가 있는 변형 모델인 Blind Denoising Diffusion Models (BDDMs)를 소개한다.

원저자: Zahra Kadkhodaie, Aram-Alexandre Pooladian, Sinho Chewi, Eero Simoncelli

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zahra Kadkhodaie, Aram-Alexandre Pooladian, Sinho Chewi, Eero Simoncelli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 아름답고 오래된 그림이 두꺼운 진흙 더미에 덮여 있는 상황에서 그 그림을 복원하려고 노력 중이라고 상상해 보십시오. 이것은 본질적으로 인공지능 세계에서 **디노이징 확산 모델(Denoising Diffusion Models, DDMs)**이 하는 일과 같습니다. 이 모델들은 노이즈가 섞인 흐릿한 이미지를 가져와서, 선명한 그림이 나타날 때까지 단계별로 "정화하는" 법을 배웁니다.

오랫동안 이러한 AI 모델들은 매우 구체적이고 다소 경직된 규칙을 가지고 있었습니다. 그림을 정화하기 위해, AI는 인간이 매 단계마다 그림에 진흙이 얼마나 묻어 있는지 정확히 알려주어야 했습니다. 만약 인간이 "진흙이 50% 있다"라고 말하면, AI는 50%의 진흙에 맞는 특정 도구를 사용했습니다. 만약 인간이 "이제 진흙이 40% 있다"라고 말하면, AI는 도구를 교체했습니다.

문제는 무엇이었을까요? 인간(또는 컴퓨터 프로그램)이 진흙의 양을 잘못 추측하는 경우가 많았다는 점입니다. 그들은 실제 현실과 잘 맞지 않는 미리 만들어진 스케줄을 사용했습니다. 이러한 불일치는 AI를 혼란스럽게 만들었고, 결과적으로 흐릿하거나 왜곡된 이미지를 만들어냈습니다.

새로운 접근 방식: "눈먼" 탐정

이 논문은 **블라인드 디노이징 확산 모델(Blind Denoising Diffusion Models, BDDDMs)**이라는 새로운 사고방식을 소개합니다.

AI에게 "진흙이 얼마나 있나요?"라고 묻는 대신, AI는 눈먼 탐정이 되도록 훈련됩니다. AI는 진흙의 양을 듣지 못합니다. 그저 진흙 묻은 그림을 보고 다음 두 가지를 동시에 파악해야 합니다:

깨끗한 그림은 어떤 모습인가?
지금 이 그림에는 진흙이 얼마나 묻어 있는가?

AI는 미리 작성된 스케줄에 의존하는 대신, 이미지 자체로부터 직접 "진흙의 양"(노이즈)을 추론하는 법을 배웁니다.

비결: "차원의 축복 (Blessing of Dimensionality)"

당신은 아마 이렇게 궁금할 것입니다: "AI가 진흙의 양을 듣지도 않고 어떻게 추측할 수 있을까요? 불가능한 일 아닌가요?"

논문은 이 작업이 **"차원의 축복"**이라 불리는 개념 덕분에 가능하다고 주장합니다.

이렇게 생각해 보십시오: "깨끗한" 이미지들(예: 얼굴이나 침실)은 거대한 3D 방 안의 사방에 무작위로 흩어져 있는 것이 아닙니다. 대신, 그것들은 그 방 안에 떠 있는 매우 얇고 평평한 종이 한 장 위에 압축되어 있습니다. 방은 거대하지만(고차원), 실제 데이터는 아주 작은 저차원의 표면(3D 세상 속의 2D 종이 같은) 위에 존재합니다.

실제 데이터가 이토록 "얇고" 조직적이기 때문에, 그 표면 위의 한 점에 약간의 진흙(노이즈)을 더하면, 그 진흙은 매우 예측 가능한 방식으로 퍼져 나갑니다.

엉망진창인 고차원의 세계에서는: 거대한 대양에 잉크 한 방울을 떨어뜨리면, 그것이 어디서 왔는지 알기 어렵습니다.
이 "얇은 종이"의 세계에서는: 종이 위에 잉크를 떨어뜨리면, 그 잉크가 퍼지는 방식이 잉크가 얼마나 추가되었는지를 정확히 알려줍니다.

논문은 실제 세계의 이미지(얼굴 등)가 그것들이 존재하는 거대한 공간에 비해 "얇다"(낮은 내재적 차원)는 수학적 근거를 제시하며, 이를 통해 AI가 단 하나의 노이즈 섞인 이미지만 보고도 노이즈의 양을 완벽하게 추정할 수 있다고 증명합니다. 이는 마치 특정 종류의 천 위에 떨어진 물 한 방울을 보고 천 전체가 얼마나 젖었는지 알아내는 것과 같습니다.

이것이 왜 중요한가

저자들은 실제 사진(얼굴, 침실 등)을 대상으로 실험을 진행했으며, 다음과 같은 결과를 얻었습니다:

눈먼 AI는 정화 작업에서도 탁월합니다: 노이즈의 양을 알려주는 기존의 "비블라인드(non-blind)" AI만큼이나 노이즈를 잘 제거할 수 있습니다.
눈먼 AI는 더 좋은 그림을 만듭니다: 처음부터 새로운 이미지를 생성할 때, 눈먼 AI는 더 높은 품질과 더 선명한 결과를 만들어냅니다.

왜 그럴까요? 기존의 AI는 종종 망가진 스케줄을 따르고 있었기 때문입니다. AI는 "진흙 50% 단계"에 있다고 생각했지만, 실제 이미지는 "진흙 40% 단계"에 있었습니다. 이러한 불일치는 AI가 잘못된 정화 도구를 사용하게 만들어 세부 사항을 망치게 했습니다. 반면, 눈먼 AI는 이미지를 끊임없이 확인하며 "아, 실제로는 진흙이 40%구나"라고 깨닫고, 즉각적으로 정화 도구를 조정합니다. 덕분에 이미지와 완벽하게 싱크를 맞출 수 있습니다.

요약

기존 방식: AI가 노이즈 수준에 대한 엄격하고 미리 작성된 스케줄을 따르며, 이 과정에서 타이밍을 놓쳐 흐릿한 결과를 초래합니다.
새로운 방식 (BDDM): AI는 스케줄을 보지 못하는 "눈먼" 상태입니다. AI는 이미지를 보고 스스로 노이즈 수준을 파악하며 즉각적으로 조정합니다.
작동 원리: 실제 이미지는 수학적으로 "얇습니다"(저차원). 이러한 구조 덕분에 AI는 단 한 번의 눈길만으로도 노이즈의 양을 정확하게 추측할 수 있습니다.
결과: 이 새로운 방법은 스케줄 불일치로 인한 혼란을 피하고, 더 명확하고 현실적인 이미지를 만들어냅니다.

이 논문은 이 기술이 질병을 치료하거나 지구 온난화를 해결할 것이라고 주장하지 않습니다. 단지 AI가 스스로 "알아서 하게" 만듦으로써, 인간이 노이즈 수준을 일일이 관리할 필요가 없는 더 나은 이미지 생성기를 구축할 수 있음을 증명할 뿐입니다.

기술 요약: 블라인드 디노이징 확산 모델과 차원의 축복 (Blind Denoising Diffusion Models and the Blessings of Dimensionality)

문제 정의

디노이징 확산 모델(Denoising Diffusion Models, DDMs)은 생성 모델링 및 역문제(inverse problems) 분야에서 최첨단 기술로 자리 잡았습니다. 그러나 훈련 및 샘플링 파이프라인은 종종 "인위적"이거나 "비원리적"인 설계 선택에 의존합니다. 구체적으로, 표준 DDM은 다음과 같은 사항을 요구합니다:

노이즈 컨디셔닝(Noise Conditioning): 노이즈 레벨( $\sigma_t$ )이 일반적으로 노이즈 임베딩을 통해 신경망의 입력으로 명시적으로 전달되어야 합니다.
임의적인 노이즈 스케줄(Ad Hoc Noise Schedules): 연구자들은 역 확률 미분 방정식(reverse SDE)을 이산화하기 위해 노이즈 레벨( $\sigma_t$ )과 확산 계수( $a_t$ )의 시퀀스를 수동으로 선택해야 합니다.

경험적 관찰에 따르면, 이러한 고정된 스케줄은 역 과정 중의 중간 샘플에 실제로 존재하는 노이즈 레벨을 정확하게 예측하지 못하는 경우가 많습니다. 이는 불일치를 초래합니다: 스코어 모델은 스케줄로부터 유도된 노이즈 레벨 $\sigma$ 를 기대하지만, 실제 샘플 $x_\sigma$ 는 다른 노이즈 레벨을 가지고 있습니다. 이러한 불일치는 과도한 오차와 생성된 샘플의 디테일 손실로 이어집니다.

방법론

저자들은 명시적인 노이즈 컨디셔닝과 사전 정의된 노이즈 스케줄의 필요성을 제거한 DDM의 변형인 **블라인드 디노이징 확산 모델(Blind Denoising Diffusion Models, BDDMs)**을 제안합니다.

핵심 메커니즘

BDDM에서 신경망("블라인드 디노이서")은 노이즈 레벨을 입력으로 받지 않고, 노이즈가 섞인 입력으로부터 클린 데이터를 추정하도록 훈련됩니다.

훈련: 모델은 클린 샘플 $x$ 와 네트워크 출력 $f_\theta(x + \sigma z)$ 사이의 평균 제곱 오차(MSE)를 최소화하며, 이때 노이즈 레벨 $\sigma$ 는 사전 분포 $\Pi_0$ 에서 샘플링되지만 네트워크에는 전달되지 않습니다.
샘플링: 역 과정은 다음 SDE에 의해 정의됩니다:
$dY_t = ( \hat{f}_\theta(Y_t) - Y_t ) dt + \sqrt{2a_t} dB_t$
결정적으로, 각 단계에서의 노이즈 분산은 현재 샘플 $Y_t$ 로부터 관계식 $\hat{\sigma}_t^2 = \|\hat{f}_\theta(Y_t) - Y_t\|^2 / d$ 를 사용하여 암시적으로 추정됩니다. 이 추정된 노이즈 레벨이 역학(dynamics)을 주도하며, 이를 통해 모델은 외부 스케줄링 없이도 실제 노이즈 레벨을 적응적으로 추적할 수 있습니다.

이론적 토대

본 논문은 BDDM이 작동하는 이유에 대해, 자연 데이터 분포의 주변 차원(ambient dimension) 대비 **낮은 내재적 차원(low intrinsic dimensionality)**을 중심으로 엄밀한 이론적 근거를 제공합니다.

최적의 블라인드 디노이서: 저자들은 블라인드 디노이서가 관측값에 대한 노이즈 레벨의 사후 분포에 의해 가중치가 부여된 스코어 함수의 조건부 평균임을 도출했습니다.
암시적 노이즈 스케줄: 이들은 역 궤적을 따르는 노이즈 레벨의 진화에 대한 분석적 공식을 도출했습니다. 만약 노이즈 사후 분포가 실제 노이즈 레벨 주변에 집중된다면, 블라인드 디노이서는 확산 계수에 의해 결정되는 특정 노이즈 스케줄을 자연스럽게 따르게 됨을 보여줍니다.
"차원의 축복(Blessing of Dimensionality)": 이 논문의 핵심적인 이론적 통찰은, 고차원 주변 공간( $d$ )에서 데이터가 저차원 매니폴드(내재적 차원 $k \ll d$ )에 존재할 경우, 단일 노이즈 샘플에 대한 노이즈 레벨의 사후 분포가 실제 노이즈 레벨 주변으로 날카롭게 집중된다는 점입니다. 이러한 집중 현상은 블라인드 디노이서가 단일 샘플로부터 노이즈 레벨을 정확하게 추론할 수 있게 하며, 이는 $k \approx d$ 일 때는 실패하는 특성입니다.

주요 기여

엔드 투 엔드 이론적 정당화: 본 논문은 저차원 내재 차원 가정을 바탕으로 BDDM이 실제 데이터 분포 $p_X$ 로부터 샘플링한다는 것을 입증하는 최초의 엄밀한 증명을 제공합니다.
오차 범위(Error Bounds): 저자들은 알고리즘의 출력과 타겟 분포 사이의 쿨백-라이블러(KL) 발산에 대한 명시적인 경계값을 도출했습니다. 오차 항은 다음을 포함합니다:
- 초기화 오차(Initialization error).
- 스코어 추정 오차(훈련 품질).
- 노이즈 추정 오차: $k^3/d$ 및 $k^5/d^2$ 에 비례하며, $d$ 가 $k$ 에 비해 증가함에 따라 소멸하는 새로운 항입니다.
최적의 이산화(Optimal Discretization): 분석을 통해 확산 계수 시퀀스에 대한 정준적인 선택인 $a_t = \frac{1}{2}\sigma_t^2$ 를 식별하였으며, 이는 이산화 오차를 최소화합니다. 이 선택은 표준 변수 보존(variance-preserving) DDPM에서 요구되는 지수적으로 감소하는 단계 크기와 대조적으로, 내재적 차원에 따라 스케일링되는 일정한 단계 크기를 허용합니다.
베이지안 해석: 본 연구는 노이로 추정 문제를 베이지안 추론 작업으로 프레임화하여, 저차원 내재 차원 가정 하에서 노이즈 레벨의 사후 집중이 보장됨을 보여줍니다.

실험 결과

저자들은 합성 데이터와 실제 사진 이미지(CelebA 및 LSUN Bedroom 데이터셋)를 통해 이론을 검증했습니다.

합성 데이터: 가우시안 혼합 모델 실험을 통해 $k \ll d$ 일 때 추정된 노이즈 레벨이 실제 값 주변에 타이트하게 집중되며 샘플링이 성공함을 확인했습니다. 반면 $k \approx d$ 일 때는 집중이 실패하고 샘플링 성능이 저하됩니다.
실제 이미지:
- 디노이징 성능: 블라인드 디노이서는 비블라인드(노이즈 컨디셔닝된) 디노이서와 대등한 PSNR을 달성하여, 노이즈 레벨을 데이터로부터 거의 완벽하게 추정함을 시사했습니다.
  - 샘플링 품질: BDDM으로 생성된 샘플은 표준 비블라인드 DDM(특히 VE-DDPM)에 비해 더 높은 시각적 품질과 다양성을 보여줍니다.
- 불일치 분석: 저자들은 표준 DDM이 스케줄된 노이즈 레벨이 중간 샘플의 실제 노이즈 레벨과 발산하는 체계적인 불일치를 겪는다는 것을 보여주었습니다. 반면, BDDM은 암시적 노이즈 스케줄을 정밀하게 추적하여 이러한 오차 원인을 회피합니다.

의의 및 주장

본 논문은 블라인드 디노이징 확산 모델에 대한 포괄적인 수학적 정당성을 제공함으로써 문헌의 간극을 메운다고 주장합니다. 그 의의는 다음과 같습니다:

휴리스틱 제거: 인위적인 노이즈 임베딩과 임의적인 노이즈 스케줄의 필요성을 없애고, 이를 이론적으로 정당화된 적응형 체계로 대체합니다.
차원 통찰력: 저차원 내재 차원이 블라인드 디노이징을 가능하게 하는 핵심 요소임을 식별하여, 생성 모델링에서의 "차원의 축복"에 대한 이론적 설명을 제공합니다.
실질적 개선: 고정된 스케줄에 내재된 불일치 오차를 피함으로써, 모델 복잡도를 높이지 않고도 향상된 샘플 품질과 다양성을 제공합니다.

저자들은 BDDM이 유망한 가능성을 보여주지만, 더 큰 규모의 모델과 파인튜닝 및 역문제와 같은 다운스트림 태스크에 대한 추가적인 연구가 필요하다고 결론짓습니다. 이들은 모든 측면의 확산 모델링 문제를 해결했다고 주장하는 것이 아니라, 특정하고 효과적인 변형에 대한 기초적인 이론을 제공하는 데 목적을 두고 있습니다.