기술 요약: 이산 확산 모델(Discrete Diffusion Model)은 무엇을 학습하는가?

문제 정의

이산 확산 모델은 텍스트와 같은 범주형 데이터에 대한 생성 모델링을 위한 강력한 프레임워크로 부상했습니다. 이 모델들은 데이터를 노이즈로 오염시키는 순방향 노이징 과정(연속 시간 마르코프 연쇄, CTMC)을 통해 작동하며, 이 과정을 역전시키는 법을 학습합니다. 그러나 기존 문헌은 학습된 역과정(reverse process)을 몇 가지 서로 다른 것처럼 보이는 파라미터화 방식으로 제시합니다: 디노이저(clean token을 예측), 스코어 비율(noisy conditional의 비율), 그리고 브릿지 플러그인(bridge plug-ins) 또는 캐비티 법칙(cavity laws)(로컬 노이즈 토큰은 무시하고 컨텍스트를 통해 clean token을 예측).

이 분야에는 중요한 모호함이 존재합니다: 이들이 서로 다른 객체인가, 아니면 동일한 기저 프로세스의 서로 다른 좌표계인가? 본 논문은 신경망의 출력을 "잘못된" 좌표계로 읽는 것이 최적화 및 샘플링되는 연속 시간 마르코프 연쇄를 변화시킨다고 주장합니다. 구체적으로, 균등 확산(uniform diffusion)에서 표준 브릿지 플러그인 목적 함수는 일반적인 디노이저가 아닌 캐비티 법칙을 학습하며, 이는 마스크 확산(masked diffusion)에서는 두 개념이 일치하기 때문에 가려지는 차이점입니다. 또한, 증거 하한(ELBO)을 단순히 가능도(likelihood)의 느슨한 대용치로 해석하는 것은 그것의 진정한 본질인 경로 공간 다이버전스(path-space divergence)를 가립니다.

방법론

저자들은 CTMC에 기반한 연속 시간 이산 확산에 관한 엄밀하고 자기 완결적인 이론을 개발합니다. 그들의 접근 방식은 다음과 같습니다:

1. 일반 CTMC ELBO 유도: 변분 오토인코더(VAE) 프레임워크에서 시작하여, 유한 상태 점프 프로세스(finite-state jump processes)를 위한 연속 시간 ELBO를 유도합니다. 결정적으로, 문헌에서 흔히 생략되는 경계 항(boundary terms)($t_1$에서의 재구성 및 $t_2$에서의 터미널 사전 분포)을 유지함으로써, 목적 함수가 유효한 가능도 상한이 되고 서로 다른 노이징 프로세스 간에 비교 가능하도록 보장합니다.
2. 오라클 거리 항등식(Oracle Distance Identity): 저자들은 음의 ELBO(NELBO)가 단순한 상한이 아니라 다음과 같은 정확한 분해임을 증명합니다:
   $$\text{NELLO} = H(q_0) + \text{KL}(P^\star_{[t_1, t_2]} \parallel P^\theta_{[t_1, t_2]}) + \text{Boundary Terms}$$
   여기서 $H(q_0)$는 데이터 엔트로피이며, KL 항은 오라클 역과정(진정한 주변 역역학)과 학습된 프로세스 사이의 경로 공간 다이버전스입니다.
3. 역율 투영(Reverse-Rate Projection): ELBO의 모집단 최적화 도구(population optimizer)는 **주변 역 점프율(marginal reverse jump rate)**임을 입증합니다. 이는 현재의 노이즈 상태가 주어졌을 때 clean-conditioned 역율의 사후 기대값입니다. 이를 통해 ELBO가 투영 문제임을 확립합니다.
4. 좌표 사전(Coordinate Dictionary): 토큰 분해 가능한 노이징 프로세스에 대해, 최적의 역율에 대한 세 가지 좌표 간의 정확한 폐쇄형 변환을 유도합니다:
   • 디노이저(Denoiser): $\pi^\star_i(z^i_0 | z_t)$
   • 캐비티(Cavity): $\mu^\star_i(z^i_0 | z^{\setminus i}_t)$
   • 스코어(Score): $s^\star_i(z^i_t, y | z^{\setminus i}_t)$
5. 정보 이론적 분석: 저자들은 ELBO의 불가피한 비용이 정보 손실률 $-\frac{d}{dt}I(Z_0; Z_t)$임을 식별하며, 노이징 프로세스와 관계없이 NELBO의 보편적 하한이 데이터 엔트로피 $H(q_0)$임을 증명합니다.

주요 기여

1. 오라클 거리 정리 (The Oracle Distance Theorem)

본 논문은 NELBO를 최소화하는 것이 학습된 역역학과 진정한 오라클 역역학 사이의 경로 법칙 KL 다이버전스를 최소화하는 것과 동일함을 증명합니다. 이는 ELBO를 느슨한 변분 상한에서 궤적 불일치의 정확한 메트릭으로 변환합니다. 유일한 최적화 도구는 주변 역율이며, 불가피한 비용은 데이터 엔트로피입니다.

2. 파라미터화의 통합

저자들은 디노이저, 캐비티 법칙, 스코어가 동일한 최적 역율의 세 가지 정확한 좌표라는 것을 보여주는 "사전"을 제공합니다.

• 변환: 이 좌표들 사이를 변환하는 폐쇄형 공식들을 제공합니다 (예: 디노이저는 로컬 순방향 커널에 의해 재가중된 캐비티 법칙입니다).
• 시사점: 변환 없이 캐비티 법칙을 위해 설계된 손실 함수로 디노이저 헤드를 학습시키는 것은 하위 최적(suboptimal) 학습을 초래합니다.

3. 마스크 vs 균등 구분 해소

본 논문은 왜 마스크 확산(MDM)과 균등 확산(UDM)이 다르게 작동하는지 설명합니다:

• 마스크 확산: 마스킹된 위치에서 로컬 관측값은 정보를 제공하지 않습니다. 결과적으로 디노이저와 캐비티 법칙가 일치하게 됩니다 ($\pi^\star = \mu^\star$). 이 덕분에 표준 디노이징 교차 엔트로피가 완벽하게 작동합니다.
• 균등 확산: 로컬 관측값이 정보를 가집니다. 디노이저와 캐비티 법칙은 다릅니다. 본 논문은 균등 확산에서 디노이저 파라미터화를 사용할 경우, 무정보 사전 분포가 역율 계산에서 특이 몫(singular quotients)을 생성하기 때문에 초기화 시($t \to 0$) ELBO가 발산함을 증명합니다. 반면, 캐비티(브릿지 플러그인) 파라미터화는 유한하고 잘 보정된 상태를 유지합니다.

4. 실무적 보정 및 진단

• 초기화 체크: 저자들은 보정 항등식을 유도합니다: 무정보 캐비티 헤드(균등 분포)는 정확히 $\log V$ ($V$는 어휘 사전 크기)의 토큰당 NELBO를 산출합니다. 이는 구현의 정확성을 검증하는 디버깅 도구로 사용됩니다.
• 경계 항: 경계 항을 누락하면 ELBO 값이 서로 다른 노이징 프로세스(예: 마스크 vs 균등) 간에 비교 불가능해짐을 보여줍니다.

5. 오류 원인의 분리

프레임워크는 두 가지 오류 원인을 명확히 분리합니다:

1. 역율 오류(Reverse-Rate Error): 모델의 역율과 오라클 역율 사이의 간극이며, ELBO가 이를 측정합니다.
2. 팩터화 오류(Factorization Error): 결합 역 단계를 토큰 단위 단계의 곱으로 근사할 때 발생하는 오류(병렬 샘플링)입니다. 이 오류는 ELBO에는 보이지 않지만, 오라클 모델에서도 생성 퍼플렉시티(generative perplexity)로 나타납니다.

결과 및 검증

이론적 주장은 정확히 풀 수 있는 토이 모델(8개 토큰에 대한 균질 바이그램 체인)을 통해 수치적으로 검증되었습니다.

• 오라클 거리: 실험을 통해 초과 NELBO(데이터 엔로피 바닥 위로의 값)가 모델이 학습함에 따라 0으로 감소함을 확인하였으며, 이는 경로 KL 예측과 일치합니다.
• 좌표 페널티: 잘못된 좌표로 역율을 읽는 것(예: 캐비티 출력을 디노이저로 취급)이 적절한 변환을 적용하지 않을 경우 NELBO와 생성 퍼플렉시티에 상당한 페널티를 부여함을 수치 테스트로 보여줍니다.
• 발산: 실험은 균등 디노이저 헤드가 초기화 시 발산하는 반면, 균등 캐비티 헤드는 안정적임을 확인합니다.
• 보정: 무정보 캐비티 헤드에 대한 $\log V$ 항등식이 정확하게 성립함을 확인했습니다.

의의 및 주장

본 논문은 이산 확산 모델을 단일한 기하학적 및 정보 이론적 프레임워크 아래에서 통일하는 최초의 엄밀하고 일반적인 연속 시간 이산 확산 이론을 제공한다고 주장합니다.

• 이론적 명확성: 이산 확산 모델이 실제로 무엇을 학습하는지에 대한 오랜 혼란을 해결하며, 주변 역율이 진정한 목적 함수이고 ELBO가 경로 다이버전스임을 식별합니다.
• 실무적 지침: 실무자들에게 구체적인 규칙을 제공합니다:
  • 균등 및 하이브리드 확산에는 캐비티(브릿지 플러그인) 파라터리제이션을 사용하십시오.
  • 마스크 확산에는 디노이저 파라미터제이션을 사용하십시오.
  • 학습 또는 샘플링 중에 파라미터 간을 전환할 때는 항상 폐쇄형 변환을 적용하십시오.
  • 방법론 간의 공정한 비교를 위해 ELBO 계산 시 경계 항을 포함하십시오.
• 한계: 저자들은 검증이 작은 규모의 솔루션 가능한 모델에서 이루어졌음을 언급합니다. [GJS+26]의 연구가 대규모 균등 확산에 대한 증거를 제공하지만, 이러한 이점이 대규모 언어 모델 규모에서도 확인되는 것이 필수적인 다음 단계라고 밝힙니다. 또한, 본 분석은 "교사 강제(teacher-forced)" 상태(진정한 순방향 프로세스로 학습)를 가정하고 있음을 명시하며, 샘플링 드리프트(자체 생성된 상태로의 일반화)는 ELBO 목적 함수 자체에서 다루지 않는 별개의 과제임을 분명히 합니다.

요약하자면, 본 논문은 이산 확산이 임의적인 방법들의 집합이 아니라, 파라미터화의 선택이 곧 좌표계의 선택이며, 손실 함수의 선택은 최적의 역역학으로의 수렴을 보장하기 위해 해당 좌표계와 일치해야 하는 통일된 프로세스라고 주장합니다.