1. 연구 배경 및 문제 정의 (Problem)

최근 확산 모델 (Diffusion Models) 은 자기회귀 (Autoregressive, AR) 모델과 경쟁할 수 있는 텍스트 생성 품질과 제어력을 보여주며 주목받고 있습니다. 특히 확산 모델은 모든 토큰을 병렬로 생성할 수 있어 추론 속도의 잠재적 이점이 있습니다. 그러나 실제 배포 환경, 특히 빠른 추론을 위한 few-step(소수 단계) 샘플링에서 다음과 같은 두 가지 핵심 병목 현상이 발생합니다.

1. 학습 - 추론 간 자기 조건부 (Self-conditioning) 불일치:

   • 확산 모델의 성능을 높이기 위해 이전 예측값을 조건 (condition) 으로 재사용하는 '자기 조건부' 기법이 널리 쓰입니다.
   • 그러나 학습 시에는 정답 (Ground-truth) 을 조건으로 사용할 수 있지만, 추론 시에는 모델 자신의 불완전한 이전 예측을 조건으로 사용해야 합니다.
   • 특히 few-step 설정에서는 노이즈가 높은 단계에서 이루어진 예측과 노이즈가 낮은 단계의 예측 간 차이가 커져, 재사용된 자기 조건부 신호가 편향 (bias) 되어 오히려 샘플 품질을 급격히 저하시키고 오류가 누적됩니다.

2. 후기 학습 단계의 손실 포화 (Loss Saturation):

   • 확산 언어 모델은 학습 초기에 빠르게 수렴하지만, 후기 단계에서는 손실 (Loss) 이 정체되는 현상이 발생합니다.
   • 이는 균일한 노이즈 스케줄링이 모델이 이미 잘 예측하는 '쉬운 토큰'에 집중하게 만들어 학습 신호가 비효율적이기 때문입니다. 즉, 모델이 이미 확신하는 토큰에 대한 학습이 불필요하게 반복되어 최적화 효율이 떨어집니다.

2. 제안 방법: FastDiSS (Methodology)

저자들은 위 두 가지 문제를 해결하기 위해 FastDiSS라는 새로운 학습 프레임워크를 제안합니다. 이는 기존 확산 모델 아키텍처에 두 가지 핵심 구성 요소를 결합한 것입니다.

A. 자기 조건부 교란 (Self-conditioning Perturbation, SCP)

• 목적: 학습 시와 추론 시의 자기 조건부 불일치를 줄이고 few-step 추론의 안정성을 높입니다.
• 원리: 학습 과정에서 자기 조건부 신호에 인위적인 교란 (Perturbation) 을 가합니다.
  • 구체적으로, 더 많은 노이즈가 추가된 포워드 프로세스를 통해 약하고 노이즈가 많은 예측값 ($z'_t$) 을 생성합니다.
  • 이 교란된 신호를 조건으로 사용하여 네트워크를 학습시킴으로써, 추론 시 발생할 수 있는 '불완전한 이전 예측'과 유사한 환경에 모델을 노출시킵니다.
  • 이는 추론 시 발생할 수 있는 오류를 학습 단계에서 미리 경험하게 하여 샘플 드리프트 (Sampling Drift) 를 줄이고 few-step 설정에서도 안정적인 생성을 가능하게 합니다.

B. 모델 인식 노이즈 스케일링 (Model-aware Noise Scaling, MANS)

• 목적: 학습 후기 단계의 손실 포화 현상을 해결하고 최적화 효율을 높입니다.
• 원리: 토큰 단위 (Token-level) 로 노이즈 할당을 동적으로 조절합니다.
  • 모델이 이미 높은 확신 (High-confidence) 으로 토큰을 재구성할 수 있는 경우, 해당 토큰에 더 높은 노이즈를 인위적으로 적용하여 학습 난이도를 높입니다.
  • 반대로 모델이 아직 확신이 없는 토큰은 기존 노이즈 수준을 유지합니다.
  • 이를 통해 모델이 '쉬운' 토큰에 대한 학습을 멈추지 않고, 여전히 유익한 그라디언트를 받도록 하여 학습 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 문제 식별 및 분석: few-step 샘플링 환경에서 자기 조건부 확산 언어 모델을 제한하는 두 가지 병목 현상 (이산화에 의한 불일치, 후기 학습 포화) 을 체계적으로 분석하고 그 원인을 규명했습니다.
2. FastDiSS 프레임워크 제안:
   • SCP: 추론 시의 노이즈 패턴을 학습에 반영하여 자기 조건부의 안정성을 확보.
   • MANS: 토큰의 예측 확신도에 기반한 동적 노이즈 할당을 통해 학습 효율성 향상.
3. 광범위한 실험 검증: 6 가지 벤치마크 (기계 번역, 요약, 문장 단순화 등) 에서 FastDiSS 가 기존 확산 모델 및 비자기회귀 (NAR) 모델들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 및 효율성:
  • FastDiSS 는 few-step(예: 5 단계) 샘플링에서도 many-step(예: 20 단계 이상) 샘플링과 유사하거나 더 나은 품질 (BLEU 점수 등) 을 달성했습니다.
  • 기존 확산 모델 (DiffuSeq, DINOISER 등) 대비 4 배에서 최대 400 배까지 추론 속도가 향상되었습니다.
  • 1 단계 (One-step) 확산 모델들과 비교했을 때도 경쟁력 있는 성능을 보이며, 증류 (Distillation) 나 Flow-matching 과 같은 복잡한 기법 없이도 우수한 결과를 냈습니다.
• 다양성 (Diversity):
  • 품질 향상과 동시에 Self-BLEU 를 통한 다양성 유지가 확인되었습니다. 즉, 품질을 높이기 위해 생성의 다양성이 희생되지 않았습니다.
• 적용 범위:
  • 기계 번역 (IWSLT14, WMT), 텍스트 요약 (Gigaword), 질문 재표현 (QQP), 텍스트 단순화 (Wiki-Auto) 등 다양한 시퀀스 - 투 - 시퀀스 작업에서 일관된 개선을 보였습니다.
  • 추론 benchmark 인 GSM8K(수학 추론) 와 MDLM(이산 확산 모델) 에 대한 확장 실험에서도 SCP 가 낮은 계산 비용 (few-step) 환경에서 정확도 저하를 크게 완화함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 확산 기반 언어 모델이 실제 응용 분야에서 실용화되기 위해 필수적인 빠른 추론 (Fast Inference) 문제를 해결하는 중요한 이정표입니다.

• 실용성 증대: 기존 확산 모델의 치명적인 약점이었던 '많은 추론 단계 필요' 문제를 해결하여, AR 모델에 버금가는 속도를 제공하면서도 확산 모델의 병렬 생성 이점을 살렸습니다.
• 학습 - 추론 정렬 (Alignment): 학습 과정에 추론 시의 불확실성을 명시적으로 포함시킴으로써 (SCP), 모델의 강건성을 높이는 새로운 패러다임을 제시했습니다.
• 효율적 최적화: 모델의 학습 상태를 실시간으로 반영하여 노이즈를 조절하는 (MANS) 방식은 확산 모델의 학습 효율성을 높이는 새로운 접근법으로 평가됩니다.

결론적으로 FastDiSS 는 확산 언어 모델이 단순한 연구 단계를 넘어, 실제 NLP 태스크에서 속도와 품질을 모두 만족시키는 실용적인 솔루션이 될 수 있음을 보여줍니다.