DUEL: Exact Likelihood for Masked Diffusion via Deterministic Unmasking

이 논문은 결정적 언마킹을 통해 마스킹 확산 모델 (MDM) 에 정확한 가능도 계산과 퍼플렉시티 평가를 가능하게 하는 'DUEL' 프레임워크를 제안하여, 기존 ELBO 의 한계를 극복하고 MDM 의 성능이 autoregressive 모델보다 훨씬 우수할 수 있음을 입증합니다.

핵심

🍳 배경: AI 가 요리를 하는 두 가지 방식

AI 가 글을 쓰거나 그림을 그릴 때, 크게 두 가지 방식이 있습니다.

1. ** autoregressive (자동 회귀) 방식:**

   • 비유: 한 번에 한 숟가락씩 밥을 떠서 입에 넣는 순서대로 먹는 식사.
   • 특징: "오늘 아침에 무엇을 먹었지?"라고 생각하면, "밥"을 먼저 먹고 그다음에 "국"을 먹습니다. 순서가 정해져 있어서 매우 정확하지만, 한 번에 하나씩만 처리하므로 느립니다.

2. Masked Diffusion (마스크 확산) 방식:

   • 비유: 빈 접시 위에 모든 음식이 가려진 상태에서 시작합니다. AI 는 "어디에 무엇을 올려야 할지" 고민하다가, 가장 확실한 부분부터 하나씩 가리를 벗겨내며 음식을 채워갑니다.
   • 특징: "밥"과 "국"을 동시에 채울 수도 있어서 매우 빠릅니다. 하지만... 여기서 큰 문제가 생깁니다.

🚨 문제: "맛있는 요리"인지 어떻게 알 수 있을까?

지금까지 이 '마스크 확산 방식 (MDM)'은 **정확한 맛 평가 (Likelihood/Perplexity)**를 할 수 없었습니다.

• 기존의 평가 방법 (ELBO):
  • 비유: 요리사가 요리를 할 때, 무작위로 숟가락을 집어 음식을 골랐다고 가정하고 점수를 매기는 것입니다.
  • 문제: 실제 요리사는 가장 확실한 부분부터 골랐는데, 평가는 "무작위로 골랐을 때"의 점수를 줍니다. 그래서 실제 맛보다 훨씬 나쁘게 평가받거나, 혹은 정확한 점수를 알 수 없는 상황이었습니다. 마치 "요리사가 가장 맛있는 순서로 차렸는데, 평가자는 '아무거나 섞어서 먹었을 때'의 점수를 주는" 꼴입니다.

💡 해결책: DUEL (Deterministic Unmasking Exact Likelihood)

이 논문은 **"DUEL"**이라는 새로운 프레임을 제안합니다.

• 핵심 아이디어:
  • AI 가 실제로 요리를 할 때, 무작위로가 아니라 가장 확실한 순서대로 (Deterministic) 가리를 벗겨냈다면, 그 실제 순서대로 점수를 매기자는 것입니다.
  • 비유: 요리사가 "밥 -> 국 -> 반찬" 순서로 차렸다면, 그 순서대로 맛을 평가하는 것입니다. 이렇게 하면 **정확한 점수 (Exact Likelihood)**를 얻을 수 있습니다.

🌟 DUEL 이 가져온 놀라운 변화

이 간단한 아이디어가 가져온 결과는 매우 큽니다.

1. 과소평가된 실력 발견:

   • 기존에 MDM 은 "자동 회귀 방식 (순서대로 먹는 방식) 보다 훨씬 못한다"고 생각했습니다.
   • 하지만 DUEL 로 정확히 평가해보니, 실제 성능은 훨씬 더 좋았습니다. (기존 평가보다 32%~82% 까지 격차가 줄어들었습니다.)
   • 결론: "MDM 은 생각보다 훨씬 똑똑하고 빠르다!"

2. 빠른 방법 비교가 가능해짐:

   • MDM 은 속도를 위해 여러 단계를 동시에 처리할 수 있습니다. 하지만 어떤 순서로 처리하는 게 가장 좋은지 알 수 없었습니다.
   • DUEL 은 어떤 순서 (규칙) 로 가리를 벗겨내도 정확한 점수를 줍니다. 덕분에 개발자들은 "어떤 방법이 가장 빠르고 좋은가?"를 신뢰할 수 있게 비교할 수 있게 되었습니다.

3. 아직 도달하지 않은 천장 (Oracle Search):

   • 연구진은 "만약 AI 가 가장 완벽한 순서로 요리를 차릴 수 있다면 어떨까?"라고 상상해봤습니다.
   • 결과: AI 가 최적의 순서만 선택할 수 있다면, 기존에 가장 빠르고 정확하다고 알려진 '자동 회귀 방식'을 압도적으로 뛰어넘을 수 있음이 밝혀졌습니다. 아직 MDM 의 잠재력은 100% 발휘되지 않았다는 뜻입니다.

📝 한 줄 요약

"기존에 AI 의 속도와 정확성을 평가하던 방법이 엉뚱해서, MDM 이 생각보다 훨씬 못한다고 오해받았어요. DUEL 이라는 새로운 평가 도구로 '실제 먹은 순서'대로 점수를 매겼더니, MDM 의 실력이 훨씬 더 훌륭했고, 아직 더 발전할 여지가 많다는 것을 발견했습니다!"

이제 우리는 더 빠르고 똑똑한 AI 모델을 만들 수 있는 길을 열었습니다! 🚀

기술 요약

DUEL: Deterministic Unmasking을 통한 Masked Diffusion 의 정확한 Likelihood 계산

이 논문은 DUEL (Deterministic Unmasking Exact Likelihood) 프레임워크를 제안하여, 이산적 도메인 (텍스트) 에서 작동하는 Masked Diffusion Models (MDMs) 의 근본적인 한계를 해결합니다. 기존 MDM 들은 생성 성능은 우수하지만, 모델의 확률 분포를 정확히 평가할 수 있는 정확한 가능도 (Exact Likelihood) 계산 방법이 부재했다는 점이 주요 문제였습니다.

1. 문제 정의 (Problem)

• MDM 의 한계: Masked Diffusion Models 는 텍스트 생성 시 마스킹된 위치를 순차적으로 선택하고 (Position Selection), 해당 위치의 토큰을 예측하는 (Token Prediction) 과정을 반복합니다.
• 평가 지표의 부재:
  • ELBO (Evidence Lower Bound) 의 문제: 기존 MDM 평가에 사용되던 ELBO 는 훈련 시 사용되는 '균일 무작위 마스킹 제거' 분포를 기반으로 계산됩니다. 그러나 실제 추론 (Test-time) 에서는 'Greedy Confidence', 'Probability Margin' 등 결정론적 (Deterministic) 인 마스킹 제거 정책이 사용됩니다. 따라서 ELBO 는 실제 추론 분포를 반영하지 못하며, 로그 가능도에 대한 느슨한 하한선 (Loose Bound) 일 뿐입니다.
  • Generative Perplexity 의 문제: 생성된 샘플을 외부 참조 모델 (예: GPT-2) 로 평가하는 방식은 참조 모델의 편향을 포함하며, 모드 붕괴 (Mode Collapse) 가 발생하더라도 높은 점수를 받을 수 있어 신뢰성이 떨어집니다.
• 핵심 질문: MDM 이 실제로 생성하는 분포에 대한 정확한 확률 (Likelihood) 과 이를 기반으로 한 Perplexity 를 계산할 수 있는가?

2. 방법론 (Methodology)

논문은 DUEL 프레임워크를 통해 결정론적 마스킹 제거 정책을 사용하는 MDM 에 대해 정확한 가능도 계산을 가능하게 합니다.

2.1 DUEL Sampler

DUEL 은 두 가지 구성 요소의 쌍으로 정의됩니다:

1. Denoising Network ($x_\theta$): 마스킹된 시퀀스를 입력받아 각 위치의 토큰 확률 분포를 예측합니다.
2. Unmasking Rule ($F$): 마스킹된 위치 중 다음에 어떤 위치를 드러낼지 결정하는 결정론적 함수입니다. (예: Greedy Confidence, Probability Margin 등)

2.2 정확한 가능도 계산의 핵심 통찰

기존 MDM 의 가능도 계산은 모든 가능한 마스킹 제거 순서 (Ordered Partitions) 에 대해 확률을 합산 (Marginalization) 해야 하므로, 순서 수 ($L!$) 가 기하급수적으로 커져 계산이 불가능했습니다.

하지만 DUEL은 다음과 같은 논리를 통해 이를 해결합니다:

• 결정론적 정책의 효과: Unmasking Rule $F$ 가 결정론적이므로, 주어진 부분 마스킹 시퀀스에 대해 다음에 선택될 위치는 유일하게 결정됩니다.
• 단일 경로 축소: 무작위성이 없으므로, 생성 과정에서 고려해야 할 모든 순서 중 오직 하나의 유효한 순서 ($\sigma^*$) 만 존재합니다.
• 계산 알고리즘: 따라서 복잡한 합산이 필요 없이, 생성 과정과 동일한 경로로 토큰의 로그 확률을 누적하면 정확한 로그 가능도 (Exact Log-Likelihood) 를 얻을 수 있습니다. 이는 알고리즘 2 (Algorithm 2) 로 구현됩니다.

2.3 Any-Order Autoregressive (AO-ARM) 관점

논문은 MDM 을 '임의 순서 자기회귀 모델 (AO-ARM)'로 해석합니다.

• 생성 과정은 위치 선택 (Policy) 과 토큰 예측 (Denoiser) 으로 분해됩니다.
• 결정론적 정책 하에서 유도된 분포 $p_{\pi_F}^\theta(x)$ 는 단일 경로를 따르므로, 이 분포에 대한 정확한 Perplexity 를 계산할 수 있게 됩니다.

3. 주요 기여 (Key Contributions)

1. DUEL 프레임워크 정립: 사전 학습된 디노이저와 결정론적 마스킹 제거 규칙을 결합하여, MDM 에 대해 정확한 가능도 계산을 가능하게 하는 이론적 근거와 알고리즘을 제시했습니다.
2. 적절한 MDM Perplexity 정의: ELBO 나 Generative Perplexity 의 한계를 극복하고, MDM 의 실제 추론 분포를 직접 측정하는 정당한 Perplexity 지표를 최초로 도입했습니다.
3. MDM 과 AR 모델 간 격차 재평가: DUEL 을 통해 계산된 Perplexity 는 기존 ELBO 기반 평가보다 MDM 의 성능을 훨씬 더 높게 평가합니다.
   • In-domain 데이터에서 MDM-AR Perplexity 격차가 최대 32% 감소.
   • Zero-shot 벤치마크에서 최대 82% 감소.
   • 이는 MDM 이 AR 모델보다 훨씬 더 가깝게 접근하고 있음을 시사합니다.
4. 샘플링 전략 비교 가능: ELBO 는 정책 ($F$) 을 무시하고, Generative Perplexity 는 편향된 평가이므로 불가능했던 샘플링 전략 (Unmasking Rule) 간의 공정한 비교를 가능하게 했습니다.
   • Probability Margin 전략이 낮은 계산 비용 (NFE) 에서 가장 우수한 성능을 보임을 확인했습니다.
5. MDM 성능의 한계 (Oracle) 규명: 모든 순서를 탐색하는 Oracle 검색을 통해, 최적의 마스킹 제거 순서를 선택할 경우 MDM 이 AR 모델보다 훨씬 뛰어난 성능 (AG News 에서 Perplexity 36.47 vs 52.11) 을 발휘할 수 있음을 보여주었습니다.

4. 실험 결과 (Results)

• Perplexity Gap 축소: OpenWebText (OWT), LM1B 등 다양한 데이터셋에서 DUEL 기반 평가는 ELBO 기반 평가보다 MDM 의 성능을 훨씬 더 높게 평가했습니다. 이는 기존 평가 방식이 MDM 의 잠재력을 과소평가하고 있었음을 의미합니다.
• 샘플링 전략 비교:
  • DUEL Perplexity: 계산 비용 (NFE) 이 낮을 때 Probability Margin이 가장 낮은 Perplexity 를 보였습니다.
  • Generative Perplexity 실패: 낮은 NFE 에서 Degenerate Text(반복적인 텍스트) 를 생성하는 Left-to-Right 전략이 오히려 낮은 Generative Perplexity 를 기록하는 등 일관되지 않은 평가를 보여주었습니다. DUEL 은 이러한 왜곡 없이 일관된 순위 매기기가 가능했습니다.
• Oracle 성능: 블록 단위 확산 모델 (BD3-LM) 에서 블록 내 모든 순열을 탐색하는 Oracle 은 AR 모델보다 훨씬 낮은 Perplexity (36.47) 를 달성하여, MDM 이 생성 순서의 유연성을 통해 AR 모델의 한계를 뛰어넘을 수 있음을 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 Masked Diffusion Models가 언어 모델링 분야에서 autoregressive 모델과 경쟁할 수 있는 강력한 대안임을 입증하는 중요한 전환점이 됩니다.

• 평가의 표준화: MDM 연구 커뮤니티에 정확한 Perplexity라는 표준 평가 지표를 제공하여, 모델 비교와 발전 방향을 올바르게 설정할 수 있게 했습니다.
• 모델 설계의 통찰: 생성 순서 (Unmasking Order) 가 모델 성능에 지대한 영향을 미친다는 것을 보여주며, 단순한 디노이저 성능 향상이 아니라 적절한 샘플링 전략의 중요성을 강조합니다.
• 미래 방향: DUEL 은 강화학습 (GRPO), Speculative Decoding, 그리고 단백질 설계 등 확률 기반 평가가 필수적인 과학적 도메인에서의 MDM 적용을 위한 기반을 마련했습니다.

요약하자면, DUEL 은 MDM 의 '블라인드' 상태였던 평가 방식을 해결하고, 이 모델들이 실제로 얼마나 강력한지, 그리고 어떻게 더 발전시킬 수 있는지에 대한 명확한 지도를 제시했습니다.