Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison

논문 요약: 자기회귀 (AR) 와 마스킹 확산 (MDLM) 언어 모델의 통제된 비교

이 논문은 최근 등장한 **마스킹 확산 언어 모델 (Masked Diffusion Language Models, MDLM)**과 기존에 지배적인 자기회귀 (Autoregressive, AR) 언어 모델 간의 성능 차이를 분석하기 위해, 데이터, 컴퓨팅 자원, 하드웨어를 완전히 동일하게 유지한 통제된 실험을 수행했습니다.

1. 문제 제기 (Problem)

• 현재 상황: 대부분의 언어 모델 (GPT, LLaMA 등) 은 자기회귀 (AR) 방식을 사용합니다. 이는 효율적인 학습과 강력한 퍼플렉시티 (Perplexity) 를 제공하지만, 순차적 생성의 한계로 인해 과거 토큰을 수정할 수 없고, 가장 확률이 높은 접두어 (prefix) 에 갇혀 반복적인 출력을 생성하는 경향이 있습니다.
• 새로운 대안: 이미지 생성의 혁신을 이끈 확산 (Diffusion) 모델을 텍스트에 적용한 MDLM 이 등장했습니다. 하지만 기존 연구들은 모델 크기, 데이터셋, 컴퓨팅 예산 등이 서로 달라, 관찰된 성능 차이가 생성 패러다임 자체의 차이인지 다른 변수 (Confounding variables) 에 의한 것인지를 구분하기 어려웠습니다.
• 연구 목표: 생성 패러다임 (AR vs. MDLM) 의 고유한 특성이 학습 동역학, 수렴 행동, 생성 품질에 미치는 영향을 분리하여 규명하기 위해 동일한 조건에서의 정밀한 비교가 필요했습니다.

2. 방법론 (Methodology)

저자는 AR 모델과 MDLM 모델을 완전히 동일한 조건에서 학습시켰습니다.

• 통제된 변수 (Identical):
  • 데이터: TinyStories 데이터셋 (5 천만 토큰).
  • 컴퓨팅 예산: 20,000 스텝, 배치 크기 32, 시퀀스 길이 512.
  • 하드웨어: NVIDIA H100 80GB.
  • 공유 하이퍼파라미터: 옵티마이저 (AdamW), 모델 차원 (d_model=768), 레이어 수 (12), 헤드 수 (12) 등.
• 패러다임별 차이 (Inherent Differences):
  • AR: 인과적 (Causal) 어텐션, 다음 토큰 예측 (Next-token prediction).
  • MDLM: 양방향 (Bidirectional) 어텐션, 마스킹된 토큰 예측, 시간 단계 (Timestep) 조건부 모듈 포함.
  • 참고: MDLM 은 시간 단계 임베딩 모듈 추가로 인해 AR 보다 약 31.6% 더 많은 파라미터 (162.7M vs 123.6M) 를 가지지만, 이는 MDLM 의 아키텍처적 필수 요건으로 간주되었습니다.
• 생성 방식:
  • AR: Nucleus sampling 사용.
  • MDLM: 100 스텝의 반복적 언마스킹 (Unmasking), 온도 어닐링, 반복 패널티 적용.

3. 주요 기여 (Key Contributions)

1. 엄격하게 통제된 실험 설정: 동일한 데이터, 예산, 하드웨어에서 AR 과 MDLM 을 비교한 가장 정밀한 소규모 비교 연구입니다.
2. 학습 동역학 분석: AR 은 빠르게 수렴하지만 일찍 과적합되는 반면, MDLM 은 느리게 수렴하지만 지속적으로 개선됨을 확인했습니다.
3. 처리량 동등성 발견: 확산 학습이 AR 보다 훨씬 비용이 많이 든다는 통념을 깨고, MDLM 의 학습 속도가 AR 의 95.5% 수준 (벽시계 시간 4.7% 차이) 에 불과함을 증명했습니다.
4. 다양성 - 유창성 트레이드오프 정량화: AR 은 유창하지만 구조적으로 반복적이고, MDLM 은 문법적 오류가 있을 수 있으나 구조적 다양성이 압도적으로 높음을 수치로 입증했습니다.
5. 완전한 재현성: 모든 코드, 학습된 체크포인트, 데이터 파이프라인을 오픈소스로 공개했습니다.

4. 주요 결과 (Results)

가. 학습 효율성 (Training Efficiency)

• 처리량: AR 은 초당 50,620 토큰, MDLM 은 48,343 토큰을 처리하여 MDLM 이 AR 대비 약 4.5% 느렸습니다.
• 학습 시간: 20,000 스텝 학습에 AR 은 107.9 분, MDLM 은 113.0 분이 소요되어 벽시계 시간 차이는 불과 5.1 분에 불과했습니다. 이는 확산 학습의 오버헤드가 Transformer 의 순전파/역전파 비용에 비해 미미함을 시사합니다.

나. 수렴 동역학 (Convergence Dynamics)

• AR: 14,000 스텝에서 검증 손실 (Validation Loss) 이 최저점 (1.589) 에 도달한 후 20,000 스텝까지 다시 상승하여 **과적합 (Overfitting)**이 발생했습니다.
• MDLM: 20,000 스텝까지 손실이 꾸준히 감소 (3.412) 하며 수렴하지 않았습니다. 이는 MDLM 이 AR 보다 더 긴 학습 시간을 필요로 하거나, 다른 최적의 학습 구간을 가질 수 있음을 의미합니다.

다. 생성 다양성 (Generation Diversity)
1,000 개의 샘플을 생성하여 분석한 결과, 구조적 다양성에서 극명한 차이가 나타났습니다.

• 시작 단어: AR 샘플의 **99.8%**가 "Once"로 시작하는 반면, MDLM 은 **36.1%**가 고유한 첫 단어로 시작했습니다.
• 5-gram 시작: AR 은 3.3% 만 고유한 5 단어 시작을 가졌으나, MDLM 은 **93.4%**가 고유한 시작을 가졌습니다.
• 지표: MDLM 이 Distinct-n 지표에서 더 높고 Self-BLEU 는 더 낮아 (다양성 높음) AR 의 "접두어 모드 붕괴 (Prefix Mode Collapse)" 현상을 피하고 있음을 확인했습니다.
• 유창성: AR 은 문법적으로 유창하고 일관성이 높았으나, MDLM 은 때때로 문법적 불일치를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 상호보완성: AR 과 MDLM 은 서로 경쟁하는 관계가 아니라 상호보완적입니다.
  • AR: 번역, 요약, 코드 생성 등 유창성과 일관성이 최우선인 작업에 적합합니다.
  • MDLM: 창의적 글쓰기, 데이터 증강, 브레인스토밍 등 다양성이 중요한 작업에 유리합니다.
• 학습 비용에 대한 오해 해소: 확산 모델 학습이 AR 보다 훨씬 비싸다는 통념을 반박하며, 실제 학습 비용은 거의 동등함을 증명했습니다.
• 향후 과제: 소규모 실험의 한계 (데이터셋, 파라미터 수 불일치, 단일 시드 등) 를 인정하며, 향후 대규모 스케일에서의 검증, 더 긴 학습 시간의 MDLM 성능 평가, 그리고 하류 작업 (Downstream tasks) 평가가 필요함을 강조했습니다.

이 연구는 생성 모델의 패러다임 선택이 단순히 성능 지표가 아닌, **목표하는 출력의 특성 (유창성 vs 다양성)**에 따라 달라져야 함을 시사하며, 확산 기반 언어 모델의 실용성을 입증하는 중요한 기초 작업입니다.