📊 statistics

Improved denoising diffusion probabilistic models with efficient non-diagonal covariance modeling

이 논문은 크로네커 인수분해와 이산 코사인 변환을 활용하여 자연 이미지의 상관관계를 효율적으로 포착함으로써, 계산 오버헤드를 무시할 수 있는 수준으로 유지하면서도 적은 샘플링 단계만으로 확산 확률적 생성 모델(DDPM)의 품질과 가능도를 크게 향상시키는 새로운 비대각 공분산 근사 방식인 Kronecker-DCT(K-DCT) 모델을 소개한다.

원저자: Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

게시일 2026-08-25

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

백지 상태에서 그림을 그리는 것이 아니라, 정전기(노이즈)로 가득 찬 캔버스에서 시작하여 노이즈를 천천히, 정교하게 제거함으로써 선명한 그림이 나타나게 하는 법을 배우는 기계를 상상해 보십시오. 이것은 디노이징 확산 모델(denoising diffusion models)이라 불리는 인공지능 모델 제품군의 핵심 아이디어입니다. 이 모델들은 사실적인 얼굴부터 풍경에 이르기까지 고품질의 이미지를 생성하는 표준 도구가 되었는데, 그 결과물이 매우 선명하면서도 다양하기 때문입니다. 하지만 한 가지 문제가 있습니다. 노이즈를 제거하는 과정이 본질적으로 느리다는 점입니다. 좋은 그림을 얻으려면 컴퓨터는 정전기를 조금씩 한 겹씩 벗겨내며 수천 번의 작고 신중한 단계를 거쳐야 합니다. 만약 속도를 높이기 위해 더 큰 보폭을 취하려고 하면, 기계가 이미지의 각 부분이 서로 어떻게 연관되어 있는지에 대한 감각을 잃어버려 이미지가 흐릿해지거나 왜곡되곤 합니다.

오랫동안 연구자들은 이 속도 문제를 해결하기 위해 하나의 단순화된 가정을 사용해 왔습니다. 바로 이미지의 어느 순간에 발생하는 불확실성을 각 픽셀을 독립적으로 관찰함으로써 설명할 수 있다고 가정한 것입니다. 이는 마치 특정 지점의 기온만을 보고 그 지점의 바람이 옆 동네의 비에 어떤 영향을 미치는지 무시한 채 날씨를 설명하려는 것과 같습니다. 이러한 방식은 아주 작은 보폭으로 움직일 때는 충분히 잘 작동하지만, 실용적인 사용을 위해 더 크고 빠른 보폭을 시도할 때는 무너지고 맙니다. 자연스러운 이미지의 실체는 훨씬 더 복잡합니다. 한 픽셀의 색상은 이웃한 픽셀과 깊게 연결되어 있으며, 이미지의 빨강, 초록, 파랑 채널은 복잡한 방식으로 서로에게 영향을 미칩니다. 'Transactions on Machine Learning Research'에 발표된 새로운 연구는 이러한 복잡한 연결 관계를 인정함으로써, 품질을 희생하지 않고도 이미지 생성기를 현저히 빠르게 만들 수 있다고 제안합니다.

케임브리지 대학교와 킹스 칼리지 런던을 포함한 기관의 연구진으로 구성된 이 팀은 이러한 연결 관계를 더 잘 파악하기 위한 지도를 구축하는 데 집중했습니다. 그들은 '사후 공분산(posterior covariance)'이라는 기술적 용어, 즉 이미지의 한 부분이 불확실성에 의존하는 방식이 다른 부분의 불확실성에 어떻게 의존하는지를 설명하는 개념에 초점을 맞췄습니다. 기존의 더 단순한 모델들에서 이 지도는 오직 대각선 방향만이 중요한 격자로 그려졌으며, 이는 한 픽셀의 미래가 이웃 픽셀과는 독립적임을 암시했습니다. 새로운 팀은 이것이 자연스러운 이미지의 진정한 구조를 무시한 극단적인 단순화라고 주장했습니다. 실제 이미지는 픽셀과 색상 채널 사이에 강력하고 비대각적인 상관관계를 보이기 때문입니다. 또한 그들은 이러한 이미지들이 음악의 화음이 특정한 음의 구조를 갖는 것처럼, 세부 사항이 예측 가능한 방식으로 서서히 사라지는 특정한 주파수 패턴을 가지고 있다는 점에도 주목했습니다.

이러한 복잡성을 컴퓨터의 속도를 늦추지 않으면서 포착하기 위해, 연구진은 K-DCT라고 불리는 새로운 수학적 모델을 개발했습니다. 이름은 두 가지 핵심 아이디어의 결합에서 유래되었습니다. 첫째, 그들은 색상의 관계(빨강, 초록, 파랑 등)와 공간적 위치의 관계(왼쪽, 오른쪽, 위, 아래 등)가 대략적으로 서로 분리되어 있다는 점을 인식했습니다. 이를 통해 거대하고 복잡한 문제를 두 개의 작고 관리 가능한 조각으로 나눌 수 있었습니다. 둘째, 이미지의 공간적 관계는 픽셀을 직접 보는 것이 아니라, 이산 코사인 변환(Discrete Cosine Transform)이라는 기술을 사용하여 이미지를 파동의 집합으로 바라볼 때 가장 잘 이해된다는 것을 깨달았습니다. 이는 이산 코사인 변환이 이미지를 근본적인 주파수로 분해하는 방식인데, 마치 프리즘이 백색광을 무지개색으로 분해하는 것과 비슷합니다. 연구진은 이 주파수 영역에서 작업함으로써 픽셀 사이의 복잡한 연결망을 매우 압축된 숫자 세트로 설명할 수 있었습니다.

그 결과, 매우 표현력이 뛰어나면서도 믿을 수 없을 정도로 효율적인 모델이 탄생했습니다. 고해상도 이미지의 연결 관계를 온전히 설명하려면 막대한 양의 메모리와 컴퓨팅 파워가 필요하겠지만, K-DCT 모델은 이미지 자체의 크기와 거의 차이가 없는 아주 작은 데이터 크기로 동일한 작업을 수행해 냅니다. 연구진은 일상적인 사물을 담은 CIFAR-10과 유명인의 초상화가 담긴 CelebA를 포함한 여러 유명 이미지 데이터셋에서 이 접근 방식을 테스트했습니다. 또한 ImageNet이나 LSUN과 같이 더 크고 복잡한 데이터셋에서도 테스트를 진행했습니다. 모든 경우에서 그들은 단순한 대각선 가정을 기반으로 하는 기존의 최선책들과 새로운 방법을 비교했습니다.

결과는 명확하고 일관적이었습니다. 연구진이 모델이 더 적은 단계로 이미지를 생성하도록 강제했을 때(속도가 매우 중요한 시나리오를 시뮬레이션함), 새로운 K-DCT 모델은 훨씬 더 나은 결과를 만들어냈습니다. 이미지는 더 선명하고 상세했으며, 학습 데이터의 통계적 특성에 더 가까웠습니다. 기술적인 관점에서 보면, 모델은 더 낮은 오류율과 더 높은 가능도(likelihood) 점수를 달성했는데, 이는 컴퓨터가 자신의 창작물에 대해 더 높은 확신을 가졌음을 의미합니다. 무엇보다 중요한 점은, 이미지 생성 과정의 속도가 저하되지 않았다는 것입니다. 새 모델에 필요한 추가 계산은 매우 효율적이어서 고해상도 이미지에서도 처리 시간을 거의 늘리지 않았습니다. 이는 이미지를 빠르게 생성하는 병목 현상이 컴퓨터의 원시적인 연산 능력 때문이 아니라, 불확실성을 모델링하는 방식에 있었음을 시사합니다.

연구팀은 왜 이 방식이 잘 작동하는지에 대해서도 탐구했습니다. 그들은 디노이징 이미지 내의 픽셀 간 연결이 빠르게 사라지지 않고, 여러 자릿수에 걸쳐 느리고 예측 가능한 방식으로 감쇠한다는 것을 발견했습니다. 이러한 장거리 연결을 무시하거나 몇 가지 기본적인 패턴으로 근사하려는 단순한 모델들은 이러한 미묘한 차이를 포착하는 데 실패합니다. 반면, K-DCT 모델은 이러한 구조를 자연스럽게 수용합니다. 흥ًا, 이 모델은 수학적 이론이 가정하는 완벽한 대칭성이나 이동 불변성이 없는 인간의 얼굴 데이터셋인 CelebA에서도 매우 뛰어난 성능을 보였습니다. 이는 모델이 실제 세계의 불완전함을 다룰 수 있을 만큼 견고하며, 밑바탕이 되는 패턴이 완벽하게 규칙적이지 않더라도 데이터의 본질적인 '전체' 구조를 포착할 수 있음을 시사합니다.

이 연구가 인공지능의 모든 문제를 해결했다고 주장하는 것은 아니지만, 이미지 생성에서의 속도와 품질 사이의 트레이드오프(trade-off)라는 구체적이고 지속적인 난제에 대해 설득력 있는 해결책을 제시합니다. 픽셀이 홀로 행동한다는 가정을 버리고 픽셀이 깊게 상호 연결되어 있다는 현실을 받아들임으로써, 연구진은 기계의 창의적 과정을 가속화할 수 있음을 보여주었습니다. 이 연구는 효율적인 이미지 생성의 미래가 더 큰 컴퓨터를 만드는 데 있는 것이 아니라, 그들이 만들고자 하는 이미지의 진정하고 복잡한 본질을 이해하는 더 똑똑한 모델을 만드는 데 있음을 시사합니다. K-DCT 모델은 통계적 구조에 대한 더 정확한 이해가 성능의 실질적인 향상으로 이어질 수 있으며, 하드웨어 능력의 비약적인 도약 없이도 고품질 이미지 생성을 더 빠르고 접근 가능하게 만들 수 있다는 증거입니다.

기술 요약: 효율적인 비대각 공분산 모델링을 통한 개선된 디노이징 확산 확률 모델 (DDPM)

문제 정의

디노이징 확산 확률 모델(DDPM)은 이미지 생성에서 최첨단 성능을 달나지만, 본질적인 순차적 특성으로 인해 샘플링 속도가 느리다는 단점이 있다. 샘PLING 과정을 더 적고 큰 단계로 가져가는 스킵 단계 샘플링(skip-step sampling)을 통해 이 과정을 가속화할 수 있지만, 이 방식은 디노이징 사후 공분산(denoising posterior covariance)이 정확하게 모델링되지 않을 경우 샘플 품질을 저하시킨다.

2차 정보를 활용하여 샘플링을 가속화하려는 이전의 시도들은 사후 공분산이 대각(diagonal)이거나 저계수(low-rank)라고 가정하는 극단적인 단순화에 의존해 왔다. 저자들은 이러한 가정이 불충분하다고 주장하는데, 자연 이미지는 픽셀과 색상 채널 간에 강력한 비대각 상관관계를 보이며, 천천히 감소하는 멱법칙(power-law) 주파수 스펙트럼을 가지기 때문이다. 결과적으로, 대각 근사는 디노이징 사후 분포의 복잡한 통계적 구조를 포착하는 데 실패하며, 특히 샘플링 단계 수가 적을 때 더욱 그러하다. 또한, 전체 공분산 행렬을 모델링하는 것은 계산적으로 매우 부담스럽다( $D$ 픽셀에 대해 $O(D^2)$ 복잡도). 이는 2차 신경망 최적화에서 발견되는 것과 유사한 정확도와 계산 가능성 사이의 트레이드오프를 생성한다.

방법론

본 논문은 자연 이미지의 특정 통계적 특성을 포착하면서도 계산 효율성을 유지하는 **Kronecker-DCT (K-DCT)**라는 새로운 공분산 모델을 제안한다.

1. K-DCT 공분산 모델

제안된 모델 $E_\phi(x_t, t)$ 는 다음과 같은 구조적 분해를 사용하여 디노이징 사후 공분산(또는 노이즈 예측 오차의 공분산)을 근사한다:
$E_\phi(x_t, t) = \text{diag}(\varepsilon_\phi) + C_\phi C_\phi^\top \otimes (F^\top \otimes F^\top) \text{diag}(\lambda_\phi) (F \otimes F)$

모델은 세 가지 핵심 요소로 구성된다:

대각 베이스라인(Diagonal Baseline): $\text{diag}(\varepsilon_\phi)$ 항은 모든 대각 기여분을 흡수하여, 모델이 이전의 대각 모델만큼은 최소한의 표현력을 갖도록 보장한다.
채널 간 상관관계(Inter-Channel Correlation): $C_\phi C_\phi^\top \in \mathbb{R}^{3\times3}$ 항에 의해 캡처되며, RGB 색상 채널 간의 전체 상관관계를 모델링한다.
픽셀 간 상관관계(Inter-Pixel Correlation): 채널 상관관계와 공간적 성분의 크로네커 곱(Kronecker product)을 사용하여 모델링된다. 공간적 성분은 이산 코사인 변환(DCT) 행렬 $F$ $F$ 를 사용하여 주파수 영역에서 대각화된다.
- 저자들은 자연 이미지가 순환 구조(circulant structure)를 가정하는 DFT 대신 토플리츠(Toeplitz) + 헨켈(Hankel) 공분산 구조(경계 조건 때문)를 가진다는 점을 들어, DFT보다 DCT의 사용을 정당화한다. DCT 기저(basis)는 이러한 구조를 자연스럽게 대각화한다.
- 고윳값 $\lambda_\phi$ 는 주파수 영역에서의 학습 가능한 파라미터이다.

2. 계산 효율성

K-DCT 구조는 전체 $3D \times 3D$ 공분산 행렬을 명시적으로 구축하지 않고도 효율적인 학습과 샘플링을 가능하게 한다:

복잡도: 계산 복잡도가 $O(D^2)$ 에서 $O(D \log d)$ ( $d$ 는 이미지 차원)로 감소하여, 스코어 네트워크의 순전파(forward pass)에 비해 무시할 수 있는 수준의 오버헤드를 갖는다.
학습: 저자들은 공분산 파라미터를 학습하기 위해 두 가지 기존 목적 함수를 채택했다:
- 최적 공분산 매칭 (Optimal Covariance Matching, OCM): 스코어 함수의 자코비안(Jacobian)에 기반한다 (Tweedie의 2차 공식).
- 노이즈 예측 잔차 (Noise Prediction Residual, NPR): 최소 평균 제곱 오차(MMSE) 정식화에 기반한다.
- 두 목적 함수 모두 확률적 트레이스 추정치(stochastic trace estimators)와 K-DCT 구조로부터 유도된 효율적인 행렬-벡터 곱을 사용하여 비대각 모델을 처리하도록 확장되었다.
샘플링: 샘플링은 두 개의 독립적인 가우시안 샘플을 더함으로써 수행된다: 하나는 대각 항으로부터, 다른 하나는 Kronecker-DCT 항으로부터 추출된다. 후자는 DCT 기저와 학습된 고윳값을 사용하여 효율적으로 샘플링된다.

3. 학습 전략

K-DCT 모델은 사전 훈련된 1차 스코어 네트워크(UNet) 상에서 "아모티제이션(amortization)"으로서 학습된다. 아키텍처는 사전 훈련된 모델과 파라미터를 공유하며, 공분산 성분( $\varepsilon_\phi, C_\phi, \lambda_\phi$ )을 예측하기 위한 추가적인 작은 신경망 헤드( $NN_2$ )를 갖는다. 이 접근 방식은 전체 파라미터의 아주 작은 부분만을 학습하는 것을 요구한다.

주요 기여

새로운 공분산 파라미터화: Kronecker-factored 채널 간 상관관계와 DCT 기반 공간 상관관계를 결합한 K-DCT 모델을 도입하였다. 이는 대각 또는 저계수 근사보다 자연 이미지의 멱법칙 스펙트럼과 비대각 구조를 더 정확하게 포착한다.
효율적인 구현: K-DCT 모델이 $O(D \log d)$ 복잡도로 학습 및 샘플링될 수 있음을 입증하여, 전체 공분산 추정의 메모리 및 계산 병목 현상을 피할 수 있음을 보여주었다.
실증적 검증: CIFAR-10, CelebA, ImageNet, LSUN 데이터셋 전반에 걸친 체계적인 평가를 통해, K-DCT가 특히 적은 샘플링 단계의 영역에서 기존의 SOTA 샘플러들을 능가함을 보여주었다.

결과

저자들은 Fréchet Inception Distance (FID)(샘플 품질)와 Negative Log-Likelihood (NLL)(통계적 적합도)라는 두 가지 주요 지표를 사용하여 K-DCT 모델을 휴리스틱, 대각 및 저계수 공분산 모델과 비교 평가하였다.

성능: K-DCT 모델은 모든 데이터셋과 모든 학습 목적 함수(OCM 및 NPR)에 대해 대각 및 저계수 베이스라인보다 일관되게 낮은 FID와 낮은 NLL을 달rod했다.
적은 단계 영역 (Few-Step Regime): 개선 효과는 샘플링 단계( $K$ )가 적을 때(예: 10~25 단계) 가장 두드러졌다. 이러한 영역에서 대각 근사는 필요한 사후 구조를 포착하는 데 실패하는 반면, K-DCT는 높은 충실도를 유지한다.
트레이드오프: 이 방법은 기존 방법들보다 FID와 NLL 사이에서 우수한 트레이드오프를 달성한다. 증류된(distilled) 1단계 모델들이 빠른 생성을 제공할 수는 있지만, K-DCT 방식이 보유한 핵심 장점인 다루기 쉬운 가능도(likelihood) 추정 능력은 부족하다.
오버헤드: 실험을 통해 K-DCT 파라미터화가 LSUN Bedroom (256x256)과 같은 고해상도 데이터셋에서도 대각 모델에 비해 무시할 수 있는 수준의 실제 실행 시간(wall-clock time) 오버헤드만을 발생시킨다는 것을 확인했다.

의의 및 주장

본 논문은 디노이징 사후 분포의 비대각 구조를 모델링하는 것이 품질 저하 없이 확산 샘플링을 가속화하는 데 매우 중요하다고 주장한다. 이 연구의 의의는 다음과 같다:

격차 해소: 이론적인 2차 정보의 필요성과 실제적인 메모리 및 계산 제약 사이의 간극을 메운다.
통계적 구조: 자연 이미지가 공간-색상 분리 가능한 상관관계와 멱법칙 스펙트럼이라는 특정 통계적 특성을 가지고 있으며, 이를 K-DCT 구조를 통해 효율적으로 활용할 수 있음을 강조한다.
한계 및 향후 과제: 저자들은 K-DCT가 성능을 개선하긴 하지만, 아직 증류된 1단계 모델의 FID에는 미치지 못한다는 점을 겸허히 언급했다. 이는 스킵 단계의 사후 분포가 가우시안에서 멀리 떨어져 있기 때문일 수 있으며, 이는 완벽한 공분산 모델이라 할지라도 가우시안 가정 자체가 위배된다면 샘플링 오차를 완전히 교정할 수 없음을 시사한다. 또한, 이 방법이 이미지용으로 설계되었으나, 오디오 및 음성 데이터에 대한 예비 개념 증명 결과에서 알 수 있듯 근사적인 이동 불변성(translation invariance)을 가진 다른 도메인에도 적용될 수 있을 것이라고 추측한다.