📊 statistics

Regularization can make diffusion models more efficient

이 논문은 확산 모델(diffusion models)에 희소성(sparsity)을 유도하는 것이 데이터의 내재적 차원을 활용함으로써 계산 복잡도를 크게 줄여, 결과적으로 더 효율적인 파이프라인과 더 높은 품질의 샘플 생성을 가능하게 함을 입증한다.

원저자: Mahsa Taheri, Johannes Lederer

게시일 2026-08-06

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mahsa Taheri, Johannes Lederer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 그림 그리는 법을 가르치려 한다고 상상해 보세요. 단순히 빈 캔버스를 건네주며 "가서 해봐"라고 말하는 것이 아닙니다. 대신, 완성된 걸작에서 시작하여 이미지가 마치 채널이 맞지 않는 TV의 정적(static)처럼 아무것도 없는 노이즈 덩어리가 될 때까지, 단계별로 조금씩 노이즈를 더해갑니다. 그런 다음 로봇에게 이 과정을 역순으로 수행하도록 가르칩니다. 즉, 정적을 보고 원래의 그림이 무엇이었는지 추측하며, 노이즈 층을 한 겹씩 벗겨내어 이미지를 다시 나타나게 하는 것입니다. 이것이 바로 오늘날 가장 인상적인 AI 아트 생성기들의 기술인 "확산 모델(diffusion models)"의 마법입니다.

하지만 문제가 하나 있습니다. 좋은 그림을 얻으려면 로봇은 매 단계마다 자신의 작업을 확인하며 수천 번의 미세한 단계를 거쳐야 합니다. 이는 마치 거대한 안개 낀 미로에서 탈출하기 위해 모든 방향의 벽을 일일이 확인하며 길을 찾는 것과 같습니다. 미로가 커질수록(또는 이미지가 더 상세해질수록), 이 과정에는 더 많은 시간과 컴퓨터 자원이 소모됩니다. 과학자들은 로봇이 미로의 텅 빈 안개 낀 부분은 무시하고 실제로 중요한 벽에만 집중할 수 있도록 돕는 방법을 찾아왔습니다. 여기서 "희소성(sparsity)"이라는 개념이 등장합니다. 이는 방대한 데이터 속에서 오직 몇 개의 조각만이 실제로 중요하고 나머지는 그저 배경 노이즈일 뿐이라는 관찰을 뜻하는 멋진 단어입니다.

Mahsa Taheri와 Johannes Lederer가 작성한 이 논문은 단순하지만 강력한 질문을 던집니다. "우리가 로봇에게 효율적으로 행동하도록 가르칠 수 있다면 어떨까?" 여기서 효율적이라는 것은 나쁜 의미가 아니라, 똑똑하게 효율적이라는 뜻입니다. 그들은 로봇의 훈련에 "규제화(regularization)"라고 불리는 특별한 규칙을 추가할 것을 제안합니다. 이 규칙은 로봇에게 "모든 픽셀을 확인하며 에너지를 낭비하지 마. 실제로 그림을 변화시키는 몇 안 되는 픽셀에만 집중해"라고 말하는 엄격한 코치 역할을 합니다. 모델이 이러한 필수적인 특징들에 집중하도록 강제함으로써, 저자들은 모델이 예술적 품질을 잃지 않으면서도 훨씬 더 빠르게, 그리고 더 적은 컴퓨팅 자원으로 고품질의 이미지를 생성할 수 있음을 보여줍니다.

문제점: 거대한 미로의 저주

이것이 왜 중요한지 이해하려면, AI가 작업하고 있는 데이터를 거대한 고차원 공간이라고 상상해 보세요. 만약 단순한 이미지를 생성하고 있다면, 그 공간은 수천 차원(픽셀 하나당 하나의 차원)을 가질 수 있습니다. 과거에 이러한 모델의 수학적 원리는 공간이 커질수록 이미지를 생성하는 데 걸리는 시간이 폭발적으로 증가한다고 시사했습니다. 이는 마치 방에 새로운 벽을 추가할 때마다 먼지의 양이 두 배로 늘어나는 방을 청소하는 것과 같습니다. 이를 "차원의 저주(curse of dimensionality)"라고 합니다.

이 모델들의 표준 방식은 "스코어 함수(score function)"를 포함합니다. 이 스코어를 노이즈를 제거하기 위해 로봇이 나아가야 할 올바른 방향을 가리키는 나침반이라고 생각하세요. 고차원 공간에서 모든 방향에 대해 이 나침반을 계산하는 것은 매우 느리고 비용이 많이 듭니다. 이전 연구들이 이 과정을 조금 더 빠르게 만들기도 했지만, 여전히 공간의 전체 크기(픽셀 수)에 크게 의존했습니다. 공간에 실제로 흥미로운 것들이 얼마나 채워져 있는지와는 상관없이 말입니다.

해결책: "희소한" 코치

저자들은 ** $\ell_1$ -규제화( $\ell_1$ -regularization)**라고 불리는 새로운 훈련 방법을 소개합니다. 일상적인 용어로 이것은 페널티 시스템입니다. 당신이 움직일 때마다 점수를 얻지만, 불필요해 보이는 방향으로 움직이면 엄청난 점수를 잃게 되는 비디오 게임을 하고 있다고 상상해 보세요. 이 페널티는 AI가 가장 효율적인 경로를 찾도록 강제합니다.

수학의 세계에서 이 페널티는 모델이 많은 "나침반 방향"을 0으로 설정하도록 유도합니다. 만약 어떤 픽셀이나 특징이 최종 이미지에 크게 기여하지 않는다면, 모델은 그것을 완전히 무시하는 법을 배웁니다. 논문은 데이터가 이러한 "희소한" 특성(즉, 전체 특징의 수 $d$ 중에서 실제로 중요한 특징의 수가 $s$ 인 경우)을 가지고 있다면, 모델의 속도가 극적으로 향상될 수 있음을 수학적으로 증명합니다.

표준 모델이 전체 크기의 제곱( $d^2$ )에 따라 시간이 늘어나는 대신, 새로운 방법은 중요한 크기의 제곱( $s^2$ )에 따라 시간이 늘어나게 합니다. 중요한 특징의 수( $s$ )는 보통 전체 픽셀 수( $d$ )보다 훨씬 작기 때문에, 이는 엄청난 속도 향상을 가져옵니다.

발견한 것: 시뮬레이션과 증명

저자들은 단순히 수학에만 의존하지 않고, 실제 실험을 통해 아이디어를 테스트했습니다.

1. 수학적 증명:
그들은 규제화된 모델이 표준 모델보다 훨씬 빠르게 수렴(정답에 도과)한다는 엄밀한 수학적 증명을 제공했습니다. 구체적으로, 오차율이 전체 차원 $d$ 가 아닌 희소성 수준 $s$ 에 달려 있음을 보여주었습니다. 또한 데이터가 완벽하게 희소하지 않더라도 그들의 방법이 기존 방식만큼 잘 작동한다는 것을 증명했으며, 만약 희소성이 존재한다면 압도적으로 우세하다는 것을 증명했습니다.

2. 토이 예시 (Toy Example):
그들은 간단한 3D 예시로 시작했습니다. 3D 공간에 떠 있는 종이 한 장처럼 매우 평평한 점들의 구름을 상상해 보세요. 대부분의 "공간"은 비어 있습니다.

기존 방식: 표준 모델은 3D 부피 전체를 탐색하려고 시도하며 빈 공간에 시간을 낭비했습니다.
새로운 방식: 규제화된 모델은 점들이 오직 두 개의 축(평평한 종이처럼)을 따라서만 움직인다는 것을 빠르게 파악하고 세 번째 축은 무시했습니다. 그 결과 훨씬 더 집중되고 효율적인 샘플링 프로세스가 가능했습니다.

3. 실제 이미지 테스트:
그들은 MNIST(손글씨 숫자), FashionMNIST(의류), CIFAR10(색상 물체)와 같은 유명한 이미지 데이터셋을 사용하여 이를 실제 세계에 적용했습니다.

속도: MNIST 데이터셋에서, 표준 방식은 500단계를 사용하여 64개의 이미지를 생성하는 데 약 11초가 걸렸습니다. 반면, 그들의 규제화된 방법은 단 50단계만을 사용하여 유사한 품질의 이미지를 생성하는 데 단 1초밖에 걸리지 않았습니다. 이는 10배의 속도 향상입니다.
낮은 단계에서의 품질: 매우 적은 단계(예: 20 또는 50단계)로 이미지를 생성하려고 할 때, 표준 모델은 흐릿하고 알아볼 수 없는 덩어리를 만들어냈습니다. 그러나 규제화된 모델은 여전히 명확하고 인식 가능한 숫자와 옷을 만들어냈습니다.
균형: 그들은 표준 모델이 때때로 "과하게 매끄러운(oversmoothed)" 이미지를 생성하거나 특정 카테고리(예: 가방이나 드레스를 매우 적게 생성함)를 놓치는 것을 발견했습니다. 규제화된 모델은 더 균형 잡힌 다양한 이미지를 생성했습니다.

4. 비용:
이 "코치"를 추가하는 것이 훈련을 더 느리게 만들지 않을까 걱정할 수 있습니다. 저자들은 이를 측정했고, 규제화된 모델의 훈련 시간이 표준 모델과 거의 동일하다는 것을 발견했습니다(MNIST 50 에포크 기준, 약 21분 대 20분). 추가된 수학적 계산이 학습 과정을 늦추지 않았으며, 단지 학습을 더 똑똑하게 만들었을 뿐입니다.

언급하지 않은 것 (그리고 언급한 것)

이 논문이 무엇을 주장하지 않는지 유의하는 것이 중요합니다. 저자들은 이 논문이 AI 아트의 모든 문제를 해결한다고 주장하지 않으며, 모든 이미지가 완벽하게 희소하다고 주장하지도 않습니다. 사실, 그들은 데이터에 희소성이 전혀 없는 "최악의 시나리오"에서는 그들의 방법이 표준 방식만큼 성능이 좋을 뿐, 그보다 더 낫지는 않다는 점을 인정합니다. 이 방법은 시스템을 깨뜨리는 것이 아니라, 가속할 요소가 없다면 가속되지 않을 뿐입니다.

또한 그들은 모든 유형의 데이터에 대해 이 테스트를 수행하지 않았습니다. 그들의 시뮬레이션은 특정 이미지 데이터셋(MNIST, FashionMNIST, CIFAR10, 그리고 나비 데이터셋)으로 제한되었습니다. 수학적으로는 다른 고차원 데이터에서도 작동할 것으로 보이지만, 논문은 이러한 특정 이미지 세트에서만 이를 입증했습니다.

핵심 요약

이 논문은 생성형 AI를 더 효율적으로 만드는 데 있어 한 단계 나아간 성과입니다. "규제화"라는 통계학의 기법을 빌려옴으로써, 저자들은 AI 모델이 노이즈를 무시하고 신호에 집중하도록 가르칠 수 있음을 보여주었습니다. 그들은 이것이 수학적으로 작동함을 증명했고, 시뮬레이션을 통해 품질을 희생하지 않으면서도 이미지 생성을 최대 10배 빠르게 만들 수 있음을 보여주었습니다.

저자들은 이것이 시작에 불과하다고 암시합니다. 그들은 다른 종류의 "희소성"(예: 이미지를 단순히 픽셀이 아닌 파동이나 패턴의 관점에서 보는 것)이 미래에 더 나은 결과를 가져올 수 있음을 시사합니다. 하지만 현재로서는 주요 발견이 명확합니다. 만약 당신이 AI에게 무엇에 주의를 기울일지 선택하는 법을 가르친다면, AI는 훨씬 더 빠르고 적은 노력으로 임무를 수행할 수 있습니다.

기술 요약: 확산 모델에서의 정규화 (Regularization)

문제 정의
확산 모델(Diffusion models)은 이미지 생성, 비디오 합성, 분자 설계 분야에서 최첨단 결과를 달eric하며 생성형 AI의 선도적인 아키텍처로 부상했습니다. 그러나 이러한 모델의 주요 한계점은 높은 계산 비용입니다. 확산 모델의 수렴 속도에 대한 기존의 이론적 분석은 종종 "차원의 저주" 문제를 겪는데, 즉 원하는 재구성 정확도를 달성하기 위해 필요한 단계 수가 입력 차원 $d$ (특징의 수)에 따라 지수적 또는 다항식적으로 증가한다는 점입니다. 이미지와 같은 고차원 데이터의 경우, 이러한 의존성은 이론적 보증과 실질적인 학습을 비효율적으로 만듭니다. 본 연구가 다루는 핵심 질문은 입력 차원 $d$ 에 대해 수렴 속도를 개선할 수 있는가 하는 점입니다.

방법론
저자들은 고차원 통계학의 개념, 특히 **희소성(Sparsity)**과 ** $\ell_1$ -정규화( $\ell_1$ -regularization)**를 스코어 기반 생성 모델(SGMs)의 학습 목적 함수에 통합할 것을 제안합니다.

정규화된 목적 함수: 본 논문은 $\ell_1$ -정규화 항을 포함하는 디노이징 스코어 매칭 추정기(denoising score matching estimator)를 도입합니다. 이 목적 함수는 스케일 파라미터 $\kappa$ 를 페널티화하고 네트워크 파라미터 $\Theta$ 및 스코어 출력에 희소성 제약을 부과하는 동시에, 스케일된 신경망 스코어 함수 $\kappa \mathbf{s}_\Theta(\mathbf{x}_t, t)$ 와 실제 스코어 $\nabla_{\mathbf{x}_t} \log q_t(\mathbf{x}_t)$ 사이의 제곱 오차를 최소화합니다.
$\min_{\Theta \in \mathcal{B}_1, \kappa \in (0, \infty)} \mathbb{E}_{t, \mathbf{x}_t} \left[ \| \kappa \mathbf{s}_\Theta(\mathbf{x}_t, t) - \nabla_{\mathbf{x}_t} \log q_t(\mathbf{x}_t) \|^2 \right] + r\kappa^2$
여기서 $\mathcal{B}_1$ 은 네트워크 가중치와 스코어 출력이 모두 희소하도록(유계된 $\ell_1$ -노름을 갖도록) 제약된 파라미터 공간을 정의합니다.
이론적 프레임워크: 분석은 데이터의 유한한 2차 모멘트, 타겟 분포의 절대 연속성, 로그 밀도 미분 함수의 정칙성(regularity)과 같은 몇 가지 표준 가정을 기반으로 합니다. 결정적으로, 저자들은 실제 스코어 함수가 $s$ -희소 벡터( $s \ll d$ )로 잘 근사될 수 있다고 가정하는 **희소성 가정(Assumption 3.4)**을 도입합니다. 이는 특정 시점에서 매우 적은 부분 집합의 특징만이 스코어에 유의미하게 기여함을 의미합니다.
수렴 분석: 경험적 과정 이론(empirical process theory)의 도구를 사용하여, 저자들은 실제 데이터 분포와 생성된 분포 사이의 쿨백-라이블러(KL) 발산에 대한 비점근적 수렴 속도를 도출합니다.

주요 기여

수렴 속도의 이론적 개선: 본 연구의 주요 이론적 기여는 $\ell_1$ -정규화가 확산 모델의 수렴 속도를 표준 차수인 $O(d^2/\tau)$ 또는 $O(d^{1.5}/\tau)$ 에서 $O(s^2/\tau)$ 로 개선할 수 있음을 증명한 것입니다. 여기서 $s$ 는 고유한 희소도 수준이며 $s \ll d$ 입니다. 이는 계산 복잡도를 고차원 입력 $d$ 로부터 분리하여 훨씬 작은 고유 차원 $s$ 에 결합시킵니다.
샘플 복잡도 감소: 본 논문은 목표 오차 $\tau$ 를 달 achieve하기 위해 필요한 샘플 복잡도가 전체 차원 $d$ 가 아닌 희소도 수준 $s$ 에 따라 스케일링됨을 보여줍니다. 구체적으로, 경계값은 전체 네트워크 파라미터 수에 대해서는 로그적으로, $s$ 에 대해서는 다항식적으로 의존하며, 이는 $d$ 에 대해 다항식적으로 스케일링되는 이전의 경계값들에 비해 상당한 개선을 제공합니다.
실증적 검증: 저자들은 토이 데이터와 실제 이미지 데이터셋(MNIST, FashionMNIST, Butterflies, CIFAR10)에 대한 시뮬레이션을 통해 이론적 발견을 검증합니다.

결과

토이 예시: 데이터 분산이 두 차원에 집중된 3D 가우시안 데이터셋에서, 정규화된 모델은 샘플링 과정을 관련 2D 하위 다양체(sub-manifold)에 성공적으로 집중시킨 반면, 정규화되지 않은 모델은 전체 3D 공간을 탐색했습니다.
MNIST 및 FashionMNIST: 정규화된 모델은 더 적은 타임 스텝( $T$ )을 사용할 때 우수한 성능을 보였습니다. 예를 들어, MNIST에서 정규화된 모델은 $T=20$ 에서 합리적인 샘플을 생성한 반면, 정규화되지 않은 베이스라인은 실패했습니다. 또한, 정규화된 접근 방식은 샘플 품질을 유지하거나 향상시키면서 실행 시간을 10배 단축했습니다(64개 샘플 생성 시 약 11초에서 1초 미만으로 감소).
분포 균형: FashionMNIST에서 정규화되지 않은 모델은 클래스 분포가 불균형하고 과도하게 매끄러워진(oversmoothed) 이미지를 생성했습니다. 정규화된 모델은 실제 데이터 분포에 더 가깝고 클래스 균형이 더 잘 잡힌 이미지를 생성했습니다.
CIFAR10: 정규화된 접근 방식은 베이스라인(25)보다 낮은 Fréchet Inception Distance (FID) 점수(23)를 달성했으며, 시간 예산이 줄어든 상황( $T=200$ )에서도 베이스라인의 FID가 크게 저하되는 것과 달리 견고한 성능을 유지했습니다.
학습 효율성: 정규화 추가가 학습 시간에 미치는 영향은 미미했습니다(MNIST 기준 50 에포크 동안 약 20분 대 21분). 이는 효율성 이득이 주로 샘플링/추론 단계에서 실현됨을 나타냅니다.

의의 및 주장
본 논문은 희소성을 활용함으로써 확산 모델을 이해하고 최적화하는 데 있어 진일보한 성과라고 주장합니다. 저자들은 정규화가 모델로 하여 가장 영향력 있는 특징에 집중하게 함으로써 학습 문제의 유효 복잡도를 줄여준다고 논합니다.

그 의의는 다음과 같이 구성됩니다:

효율성: 입력 차원 $d$ 를 고유 차원 $s$ 로 줄임으로써, 이 방법은 특히 고차원 데이터를 위한 더 효율적인 확산 파이프라인으로 가는 경로를 제공합니다.
이론적 정당성: 희소성을 유도하는 정규화가 확산 과정의 수렴을 가속화할 수 있다는 수학적 보증을 제공합니다.
실용적 유용성: 실증적 결과는 희소성을 유도하는 것이 낮은 계산 비용으로 더 나은 샘플 품질을 얻을 수 있음을 확인해 줍니다. 특히 제한된 타임 스텝을 사용하는 시나리오에서 그러합니다.

저자들은 자신들의 연구 범위에 대해 겸허한 입장을 유지하며, $\ell_1$ -정규화가 효과적이기는 하지만, 다른 형태의 정규화(예: 총 변동(total variation))나 구조화된 도메인(예: 웨이브렛 또는 푸리에 기저)에서의 희소성이 추가적인 개선을 제공할 수 있다고 언급했습니다. 또한, 희소성이 존재하지 않는 최악의 경우(worst-case)에는 그들의 방법이 표준 스코어 매칭과 유사하게 작동하지만, 희소성이 존재할 때는 상당한 이득을 제공한다는 점을 인정했습니다.