기술적 요약: 이산 확산 언어 모델에 대한 샘플러 중심 평가

1. 문제 제기

이산 확산 언어 모델 (dLLMs) 은 반복적 탈노이즈를 통한 병렬 업데이트를 가능하게 함으로써 자기회귀 모델 (ARMs) 에 대한 유망한 대안을 제시합니다. 그러나 dLLMs 를 평가하는 데는 고유한 어려움이 존재합니다. 표준 지표들은 이론적으로는 분리 가능하지만 실제적으로는 얽혀 있는 두 가지 서로 다른 오차 원인을 혼동합니다.

1. 모델 근사 오차: 제한된 모델 용량이나 훈련 제약으로 인해 학습된 탈노이저 $p_\theta(x_0 | z_t)$가 실제 사후확률 $p(x_0 | z_t)$에서 벗어나는 편차.
2. 샘플링 역학 오차: 병렬 디코딩에서의 조건부 독립 가정이나 유한 시간 단계로 인한 이산화 오차와 같이 생성 절차 자체에서 도입되는 체계적 편향.

정확한 조상 샘플링을 통해 학습된 분포를 완벽하게 반영하는 ARMs 과 달리, dLLM 샘플링 절차는 모델의 품질과 무관하게 근사치를 도입합니다. 따라서 기존 지표들 (예: Perplexity, GenPPL, MAUVE) 은 생성 품질이 열악한 이유가 약한 탈노이저 때문인지 결함 있는 샘플러 때문인지 구분할 수 없습니다. 본 논문은 현재 평가 방식이 샘플러로 인한 오차를 분리해 내지 못하여, 소수 단계 이산 확산의 근본적인 한계를 가릴 수 있다고 주장합니다.

2. 방법론: 오라클 프레임워크

샘플러 오차를 분리하기 위해 저자들은 모델 근사 오차를 구조적으로 제거하는 샘플러 중심 오라클 프레임워크를 도입합니다.

2.1 정답 오라클

학습된 신경 탈노이저를 사용하는 대신, 저자들은 알려진 전이 커널 $P'$을 가진 정답 이산 마르코프 체인으로 데이터 분포를 정의합니다.

• 전진 과정: 표준 마스킹 과정이 깨끗한 시퀀스 $x_0$를 노이즈 상태 $z_t$로 오염시킵니다.
• 정확한 사후확률: 사전분포가 마르코프 체인이므로, 부분 관측 하의 정확한 사후확률 주변분포 $p^*(x_i | z_t)$는 은닉 마르코프 모델 (HMM) 전진 - 역진 추론을 통해 효율적으로 계산할 수 있습니다.
• 오라클 탈노이저: 이 정확한 사후확률이 학습된 $p_\theta$를 대신하는 "오라클 탈노이저"로 작용합니다. 따라서 최종 출력과 정답 분포 간의 모든 편차는 오직 샘플러의 업데이트 규칙에 기인합니다.

2.2 샘플러 구체화

이 프레임워크는 원래 샘플링 논리를 유지하면서 학습된 탈노이저를 정확한 HMM 오라클 사후확률로 대체하여 네 가지 대표적인 dLLM 샘플러를 평가합니다.

• SEDD: 오라클 사후확률을 사용하여 $\tau$-리핑을 위한 정확한 구체적 스코어 비율을 유도합니다. 저자들은 또한 스코어 선명화를 시뮬레이션하기 위해 온도 스케일링 ($\beta > 1$) 을 도입합니다.
• MDLM: 병렬 언마스킹을 위해 학습된 범주형 분포를 인수화된 오라클 주변분포로 대체합니다.
• LLaDA: 병렬 예측을 위해 오라클 주변분포를 사용하지만, 신뢰도 기반 선택 및 리마스킹 전략은 유지합니다.
• ReMDM: 학습된 탈노이저를 오라클 사후확률로 대체하면서 신뢰도 기반 및 루프 기반 리마스킹 일정을 유지합니다.

2.3 평가 지표

저자들은 정확성을 평가하기 위한 계층적 지표를 제안합니다.

• 전이 수준 정확성 (주요): 경험적 전이 분포 $\hat{p}(x_{t+1}|x_t)$와 오라클 커널 $P'$ 간의 일치도를 측정합니다. 시퀀스 NLL, 전이 KL, 전이 엔트로피를 포함합니다.
• 표면 수준 지표: n-그램 다양성 및 중복률.
• 외부 지표: 사전 훈련된 GPT-2 Large 모델을 사용하여 평가한 생성 퍼플렉시티 (GenPPL) 및 MAUVE.

3. 주요 기여 및 결과

3.1 소수 단계 샘플러는 분포적으로 정확하지 않음

핵심 발견은 소수 단계 이산 확산 샘플러가 정확한 오라클 탈노이저를 제공받더라도 분포적으로 정확하지 않다는 것입니다.

• 전이 수준 불일치: SEDD, MDLM, ReMDM, LLaDA 전반에 걸쳐 소수 단계에서 전이 수준 통계 (KL 발산, NLL) 에서 상당한 불일치가 지속됩니다.
• 수렴 조건: 자기회귀 기준 (정답) 에 대한 수렴은 확산 단계 수가 시퀀스 길이에 근접할 때 ($S \approx T$) 만 발생합니다. 이는 주변분포 예측을 통한 병렬 업데이트가 과정이 거의 순차적이지 않는 한 결합 시퀀스 의존성을 포착하지 못함을 시사합니다.

3.2 표준 지표의 한계

본 연구는 일반적인 평가 지표가 샘플러 정확성에 대해 오해의 소지가 있음을 보여줍니다.

• GenPPL 및 NLL: 이러한 가능성 기반 지표는 전이 수준 정확성이 저하됨에도 불구하고 편향된 샘플링 (예: SEDD 의 스코어 선명화) 하에서 개선될 수 있습니다. 지역적 선명화는 확률 질량을 집중시켜 NLL/GenPPL 을 낮추지만, 다양성과 전이 충실도를 파괴합니다.
• MAUVE: 이 지표는 일관되게 높게 유지되며 중요한 전이 수준 오차에 둔감합니다. 전이 KL 이 높을지라도 샘플러 역학으로 인한 분포 유사성 저하를 감지하지 못합니다.
• 결론: GenPPL, NLL, 또는 MAUVE 의 개선이 샘플러가 목표 분포를 올바르게 복원하고 있음을 의미하지는 않습니다.

3.3 LLaDA 의 샘플러 - 탈노이저 결합

저자들은 오라클 설정 하에서 LLaDA의 독특한 실패 모드를 관찰합니다.

• LLaDA 는 소수 단계에서 낮은 시퀀스 NLL 을 달성하지만, 전이 KL, 엔트로피, 다양성에서는 심각한 저하를 보입니다.
• 생성된 텍스트는 점점 더 템플릿 기반이 되고 반복적이 됩니다.
• 해석: LLaDA 의 신뢰도 기반 선택 규칙은 학습된 탈노이저의 신뢰도 구조와 긴밀하게 결합되어 있습니다. 이를 훈련된 신경망의 고수준 언어적 사전지식이 없는 정확한 HMM 오라클로 대체할 때, 신뢰도 기반 리마스킹 전략은 확률 질량을 소수의 고빈도 패턴에 집중시켜 붕괴를 초래합니다. 이는 LLaDA 의 성능이 샘플러 논리 자체뿐만 아니라 샘플러와 학습된 탈노이저의 특정 인공물 간의 상호작용에 의존함을 시사합니다.

4. 의의 및 주장

본 논문은 dLLMs 에서 샘플러로 인한 오차를 모델 근사 오차와 분리하는 최초의 통제된 평가 프레임워크를 제공한다고 주장합니다.

• 방법론적 기여: "오라클 세계" (정확한 HMM 사후확률 사용) 가 확산 샘플링 역학의 고유한 정확성을 평가하기 위한 필수적인 통제 조건임을 확립합니다.
• 이론적 통찰: 결과는 소수 단계 병렬 샘플링이 목표 분포를 충실히 근사할 수 있다는 가정에 도전합니다. 저자들은 전이 수준 정확성은 샘플링 단계가 시퀀스 길이와 일치할 때만 달성되며, 이는 소수 단계 생성에서 병렬화의 효율성 이점을 사실상 무효화한다고 주장합니다.
• 평가 지침: 본 논문은 평가 우선순위의 전환을 주장합니다. 표면 수준 지표 (GenPPL, MAUVE) 는 샘플러 품질을 진단하기에 불충분합니다. 대신, 샘플러가 목표 역과정에 충실한지 검증하기 위해 전이 인식 평가 (오라클 커널에 대한 경험적 전이 비교) 가 필요합니다.

저자들은 완벽한 탈노이저를 갖춘 현재 dLLM 샘플러조차 소수 단계 체제에서 구조적 편향을 겪으며, 기존 지표들이 이러한 근본적인 한계를 종종 은폐한다고 결론지었습니다.