📊 statistics

Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD

이 논문은 기존 이산 확산 모델 증류 방법의 한계를 극복하고 텍스트 및 이미지 데이터에서 고품질과 다양성을 유지하며 때로는 교사 모델을 능가하는 '이산 모멘트 매칭 증류 (D-MMD)'라는 새로운 방법을 제안합니다.

원저자: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans

게시일 2026-03-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"한 번에 토큰 하나만?"을 넘어선 혁신: 디스crete 확산 모델의 '요약' 기술

이 논문은 인공지능이 텍스트나 이미지를 만들 때, 매우 느리고 비싼 과정을 매우 빠르고 똑똑하게 바꾸는 새로운 방법을 소개합니다.

핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

1. 문제점: "조각조각 맞추는 퍼즐"의 비효율성

기존의 '이산 확산 모델 (Discrete Diffusion Model)'은 그림을 그리거나 글을 쓸 때, 한 번에 한 조각 (토큰) 만을 만들어내는 방식입니다.

비유: 마치 거대한 퍼즐을 맞추는데, 한 번에 한 조각만 집어넣고 "이게 맞을까?"라고 확인하는 과정을 수백 번 반복하는 것과 같습니다.
문제: 이 방식은 컴퓨터 자원을 엄청나게 많이 쓰면서도, 한 조각이 잘못되면 그 뒤의 모든 조각이 엉망이 될 수 있습니다 (오류가 누적됨). 마치 "한 번에 한 글자만 쓰는 작가"가 100 번의 수정을 거쳐야 한 편의 소설을 끝내는 꼴입니다.

2. 기존 해결책의 한계: "연속 모델"은 잘 되는데 "이산 모델"은 안 돼요

이미지 생성 분야에서는 '확산 모델'을 몇 단계만 거치더라도 아주 빠르게 좋은 결과를 내는 '증류 (Distillation)' 기술이 이미 있습니다. 하지만 텍스트나 이산적인 데이터 (숫자, 글자) 에서는 이 기술이 작동하지 않았습니다.

이유: 텍스트는 글자 하나하나가 독립적이지 않고 서로 긴밀하게 연결되어 있기 때문입니다. (예: "사과"라는 단어를 만들 때 '사'와 '과'는 따로 떼어낼 수 없는 관계)

3. 이 논문의 해결책: D-MMD (이산 모멘트 매칭 증류)

저자들은 "연속 모델에서 성공한 기술을 어떻게 이산 모델에 적용할까?"를 고민하다가 D-MMD라는 새로운 방법을 개발했습니다.

🎓 비유: "명문대 교수 (선생님) 와 천재 학생 (생성기)"의 관계

이 기술은 **선생님 (Teacher Model)**과 **학생 (Student Generator)**의 관계를 통해 설명할 수 있습니다.

선생님: 아주 똑똑하지만, 한 번에 한 조각씩만 만들어내는 느린 전문가입니다. (수백 번의 수정이 필요함)
학생: 선생님의 답을 빠르게 따라 하려고 하지만, 처음엔 엉뚱한 답을 내놓습니다.
D-MMD 의 마법 (교수 - 조교 - 학생 삼각 관계):
- 보통은 학생이 선생님의 답을 그대로 베끼려다 실패합니다.
- 하지만 D-MMD 는 **조교 (Auxiliary Model)**라는 제 3 의 인물을 끼웁니다.
- 학생은 "선생님의 답"과 "조교의 답"을 비교하며, 조교는 "학생의 답"과 "선생님의 답" 사이에서 균형을 잡으려 노력합니다.
- 이 **치열한 경쟁 (Adversarial Training)**을 통해 학생은 단순히 답을 외우는 게 아니라, 선생님이 왜 그 답을 냈는지 '논리 (확률 분포)'를 이해하게 됩니다.

✨ 결과: "단 16 단계로 1024 단계의 퀄리티" 달성

이 과정을 거친 학생은 **선생님보다 훨씬 적은 노력 (단계)**으로 선생님보다 더 좋은 결과를 내기도 합니다.

이미지 (CIFAR-10): 1024 단계를 거친 선생님보다, 32 단계만 거친 학생이 더 선명한 그림을 그렸습니다.
텍스트: 256 단계의 선생님보다 16 단계의 학생이 더 자연스러운 글을 썼습니다.

4. 왜 학생이 선생님보다 잘할 수 있을까요? (역설)

"선생님이 더 똑똑한데, 학생이 어떻게 더 잘할 수 있죠?"라는 의문이 들 수 있습니다.

이유: 선생님은 "모든 가능한 답을 다 포함하려 (Mode-covering)" 노력합니다. 반면, 학생은 가장 확실하고 좋은 답 (Mode) 에 집중하도록 훈련받습니다.
비유: 선생님은 "모든 종류의 꽃을 다 보여줘야 해"라고 생각하지만, 학생은 "가장 아름다운 장미 한 송이만 뽑아내야 해"라고 생각하며 집중합니다. 결과적으로 학생이 더 예쁜 장미 (고품질 샘플) 를 뽑아냅니다.

5. 새로운 평가 기준: "기울기 모멘트 (Gradient Moment)"

이 논문은 단순히 "글이 매끄러운가?"를 보는 기존 방식 (Perplexity) 대신, 새로운 평가 도구를 제안했습니다.

기존 방식 (Perplexity): "이 글이 문법적으로 맞는가?"를 봅니다. 하지만 "하하하하하"처럼 반복되는 글도 문법만 맞으면 점수가 높게 나올 수 있어 문제가 있습니다.
새로운 방식 (Gradient Moment): "이 글이 진짜 인간이 쓴 데이터와 얼마나 닮았는지"를 측정합니다.
- 비유: 만약 AI 가 만든 글이 진짜 데이터와 너무 다르면, 전문가 (참조 모델) 가 "이건 이상해!"라고 지적하며 **수정하려는 충동 (기울기)**이 생깁니다. D-MMD 는 이 충동이 거의 0 이 될 때까지 훈련시켜, 전문가가 "이건 진짜네!"라고 착각할 정도로 자연스럽게 만듭니다.

📝 한 줄 요약

"천천히 한 조각씩 맞추던 퍼즐 (기존 모델) 을, D-MMD 라는 새로운 지도법으로 가르쳐, 몇 번의 시도만으로 전문가 못지않은 (심지어 그보다 더 좋은) 완성도를 내게 만든 혁신적인 기술입니다."

이 기술은 AI 가 글을 쓰거나 그림을 그릴 때, 계산 비용을 획기적으로 줄이면서도 품질은 높이는 길을 열었습니다.

논문 개요

이 논문은 이산 (Discrete) 확산 모델 (Discrete Diffusion Models) 의 샘플링 단계를 획기적으로 줄이면서도 품질과 다양성을 유지하는 새로운 증류 (Distillation) 기법인 **이산 모멘트 매칭 증류 (Discrete Moment Matching Distillation, D-MMD)**를 제안합니다. 기존 연속 (Continuous) 영역의 확산 모델 증류 기술은 성공적이었으나, 이산 영역 (텍스트, 이미지 토큰 등) 에서는 기존 방법들이 품질 저하나 다양성 붕괴 (Mode Collapse) 를 겪는 문제가 있었습니다. D-MMD 는 이를 해결하여 적은 계산 비용으로 교사 모델을 능가하는 생성기를 학습할 수 있음을 증명합니다.

1. 문제 정의 (Problem)

이산 확산 모델의 비효율성: 이산 확산 모델은 노이즈가 제거된 데이터를 생성하기 위해 많은 수의 샘플링 단계 (Sampling Steps) 가 필요합니다. 각 토큰이 이전 토큰에 조건부로 독립적으로 모델링되는 특성상, 단계별 오류가 누적되어 합리적인 생성을 위해 많은 반복이 필요합니다.
기존 증류 방법의 한계: 연속 확산 모델에서는 증류를 통해 샘플링 단계를 몇 단계로 줄일 수 있는 다양한 방법이 존재하지만, 이산 확산 모델에 적용된 기존 증류 방법 (예: SDTT, Di4C 등) 은 종종 품질이 급격히 떨어지거나 (collapse), 생성된 샘플의 다양성이 손실되는 문제가 있었습니다.
평가 지표의 부재: 이산 확산 모델은 확률적 생성 과정이므로 표준적인 퍼플렉시티 (Perplexity) 와 같은 확률 기반 지표를 직접 적용하기 어렵습니다. 기존에 사용되던 생성적 퍼플렉시티 (Generative Perplexity) 는 샘플링 온도를 낮추면 인위적으로 좋은 점수를 받는 등 신뢰도가 낮다는 문제가 있었습니다.

2. 방법론 (Methodology)

A. D-MMD 알고리즘 (Discrete Moment Matching Distillation)

저자들은 연속 영역에서 성공한 **모멘트 매칭 증류 (MMD)**의 개념을 이산 영역으로 일반화했습니다.

핵심 아이디어: 증류된 생성기 (Student) 와 교사 모델 (Teacher) 이 생성하는 데이터 분포의 조건부 기대값 (Conditional Expectation) 을 일치시키는 것을 목표로 합니다.
Min-Max 최적화:
- 생성기 (Generator, $\eta$ ): 교사 모델의 손실을 최소화하면서 보조 모델 (Auxiliary Model, $\phi$ ) 의 손실을 최대화하도록 학습합니다. 이는 생성기가 교사 모델의 분포를 따르되, 보조 모델이 이를 구별하지 못하도록 유도하는 적대적 (Adversarial) 구조입니다.
- 보조 모델 (Auxiliary, $\phi$ ): 생성기와 교사 모델의 예측을 모두 잘 맞추도록 학습되며, 교사 모델과 가까워지도록 정규화됩니다.
이산 데이터 처리:
- 이산 데이터 (Categorical 샘플) 에서는 직접적인 기울기 (Gradient) 전파가 어렵습니다. 따라서 하드 샘플링 대신 **소프트 확률 벡터 (Soft Probability Vector)**를 사용하여 기대값을 직접 매칭합니다.
- 손실 함수는 로그 확률 (Log-probability) 공간에서의 차이를 기반으로 설계되어, 생성기가 출력 엔트로피를 줄이고 상관관계를 학습하도록 유도합니다.

B. 새로운 평가 지표: Gradient Moment (GPT-2 GM)

기존 퍼플렉시티의 한계를 극복하기 위해 **참조 모델의 기울기 노름 (Gradient Moment)**을 새로운 평가 지표로 제안했습니다.
원리: 훈련된 언어 모델 (예: GPT-2) 이 훈련 데이터 분포 $q(x)$ 에 대해 학습이 완료되면, 해당 분포에서의 손실 기울기 기대값은 0 이 됩니다.
측정: 생성된 샘플 $x$ $x$ 에 대해 참조 모델의 기울기 $\nabla_\theta \log p(x)$ $\nabla_{θ} lo g p (x)$ 를 계산하고, 이를 훈련 데이터의 기울기 기대값과 비교합니다.
- 수식: $\| \mathbb{E}_g[\nabla_\theta \log p(x)] - \mathbb{E}_q[\nabla_\theta \log p(x)] \|^2$
- 값이 0 에 가까울수록 생성된 샘플이 실제 데이터 분포와 유사함을 의미합니다. 이 지표는 샘플이 단순히 반복되거나 모드로만 치우치는 것을 감지하는 데 더 강력합니다.

C. 추가 기술적 세부사항

노이즈 조건부 학습 (Noise Conditioning): 마스크 확산 (Masked Diffusion) 의 경우, 생성기에 추가적인 가우시안 노이즈를 입력으로 주면 생성기가 출력 분포를 더 효과적으로 붕괴시켜 (collapse) 품질을 높일 수 있음이 발견되었습니다.
Temperature 및 Top-p 증류: 생성 시 사용되는 Temperature 조절이나 Top-p 샘플링 기법을 증류 과정에 통합하여, 생성기가 교사 모델의 모드 탐색 (Mode-seeking) 성향을 학습하도록 합니다.

3. 주요 기여 (Key Contributions)

D-MMD 알고리즘 제안: 이산 확산 모델을 위한 최초의 효과적인 증류 프레임워크를 제시하여, 적은 단계 (Few-step) 로도 고품질 생성이 가능하게 함.
교사 모델 능가 (Outperforming Teachers): 증류된 생성기가 교사 모델보다 더 적은 계산 비용 (NFE, Number of Function Evaluations) 으로 더 높은 품질 (FID, GPT-2 GM) 을 달성함을 증명. 이는 증류 과정에서 생성기가 교사 모델의 모드 커버링 (Mode-covering) 성향을 개선하여 모드 집중 (Mode-collapsing) 을 적절히 조절했기 때문으로 분석됨.
새로운 평가 지표 (Gradient Moment): 이산 확산 모델의 품질을 평가하기 위해 퍼플렉시티보다 더 신뢰할 수 있는 Gradient Moment 지표를 제안하고 검증함.
범용성: 텍스트 (Open Web Text) 와 이미지 (CIFAR-10) 데이터셋 모두에서 유효성을 입증.

4. 실험 결과 (Results)

이미지 생성 (CIFAR-10):
- Uniform Diffusion: 1024 단계의 교사 모델 (FID 7.5) 대비, D-MMD 는 32 단계에서 FID 3.7을 기록하여 훨씬 더 좋은 성능을 보임.
- Masked Diffusion: 1024 단계 교사 모델 (FID 6.4) 대비, D-MMD 는 64 단계에서 FID 3.5를 기록.
- 기존 방법 (Di4C 등) 과 비교했을 때, D-MMD 는 더 적은 단계로 더 낮은 FID 를 달성함.
텍스트 생성 (Open Web Text):
- GPT-2 GM 지표: Masked D-MMD 는 16 단계에서 교사 모델 (256 단계) 보다 낮은 GPT-2 GM 점수 (0.236 vs 0.275) 를 기록하며 더 좋은 분포 일치를 보임.
- 퍼플렉시티 vs Gradient Moment: 기존 퍼플렉시티 지표는 저온 샘플링 시 인위적으로 좋은 점수를 주지만, Gradient Moment 는 샘플의 실제 품질과 다양성을 더 잘 반영하여 D-MMD 의 우월성을 명확히 보여줌.
블록 자동회귀 (Block Autoregressive):
- 전체 시퀀스 생성이 아닌 블록 단위 생성에서도 16 단계 D-MMD 가 256 단계 교사 모델과 동등한 성능을 보임.

5. 의의 및 결론 (Significance & Conclusion)

계산 효율성 혁신: 이산 확산 모델이 가진 높은 계산 비용 (많은 FLOPs) 문제를 해결하여, 실시간 적용이 가능한 적은 단계의 생성기를 가능하게 함.
품질과 다양성의 동시 달성: 기존 증류 방법들이 겪던 "품질 저하" 또는 "다양성 붕괴"의 딜레마를 해결하고, 오히려 교사 모델보다 우수한 성능을 내는 역설적인 현상을 설명하고 구현함.
이산 확산 모델의 성숙: D-MMD 는 이산 확산 모델이 자동회귀 (AR) 모델과 경쟁할 수 있는 잠재력을 가지며, 텍스트 및 이미지 생성 분야에서 실용적인 대안이 될 수 있음을 시사함.

요약하자면, 이 논문은 D-MMD를 통해 이산 확산 모델의 증류 문제를 해결하고, 새로운 평가 지표를 도입하여 생성 모델의 효율성과 품질을 동시에 비약적으로 향상시킨 획기적인 연구입니다.