Path-Dependent Denoising: A Non-Conservative Field Perspective on Order Collapse in Diffusion Language Models

기술 요약: 확산 언어 모델에서의 경로 의존적 노이즈 제거

문제 제기

확산 언어 모델 (DLM) 은 토큰 업데이트를 임의의 순서로 또는 병렬로 수행할 수 있게 함으로써 자기회귀 (AR) 모델에 대한 구조적 대안을 제시하며, 이론적으로는 왼쪽에서 오른쪽으로 생성하는 직렬 병목 현상을 우회합니다. 그러나 실제 적용에는 근본적인 모순이 존재합니다. DLM 인터페이스는 임의의 순서를 허용하지만, 학습된 행동은 종종 AR 과 유사한 궤적으로 편향되며, 높은 수준의 병렬성은 생성 품질을 저하시킵니다. 기존 설명들은 이를 언어의 본질적 직렬성이나 사고연쇄 (chain-of-thought) 감독의 탓으로 돌립니다. 본 논문은 이러한 설명들이 핵심적인 구조적 질문을 충분히 구체화하지 못했다고 주장합니다. 고정된 역시간 단계에서, 노이즈 제거기가 제공하는 국소 조건부 분포의 집합이 단일한 순서 불변 결합 분포를 구성하는지, 아니면 서로 다른 업데이트 순서 간에 양립할 수 없는 국소 규칙들만을 정의하는지 여부입니다.

방법론 및 프레임워크

본 논문은 조건부 지정 분포 및 마르코프 무작위장 (Markov Random Fields) 에 관한 문헌을 차용하여 **조건부 양립성 (conditional compatibility)**의 관점에서 문제를 형식화합니다. 핵심 방법론은 **순서 유도 의사결정 (order-induced pseudo-joints)**과 **국소 순환 (curl)**이라는 지표를 정의하고 분석하는 것을 포함합니다.

1. 순서 유도 의사결정: 해결되지 않은 위치들의 블록 $B$와 순열 $\pi$에 대해, 노이즈 제거기는 해당 특정 인수분해 경로를 따라 국소 조건부들의 순차적 곱으로 정의된 의사결정 분포 $Q^\pi_{\theta,t}$를 유도합니다. 순서 없는 생성을 위해서는 이러한 의사결정이 순열 간에 불변이어야 합니다 ($Q^\pi \approx Q^{\pi'}$).
2. 국소 순환 (Curl): 본 논문은 두 개의 인접한 위치 $i$와 $j$의 업데이트 순서를 바꾸어 형성된 두 의사결정 간의 로그 비율로 정의된 국소 순서 curl $C^{a,b}_{ij}$를 정의합니다.
   $$C^{a,b}_{ij} = \log \frac{Q^{i \to j}(a,b)}{Q^{j \to i}(a,b)}$$
   이 지표는 가산적 로짓 시프트에 불변이며, 양립 불가능성의 국소적 증거 역할을 합니다.
3. 경로 의존성 분해: 저자들은 임의의 두 의사결정 간의 글로벌 로그 비율 (경로 의존성) 이 인접한 스왑들의 시퀀스를 따라 국소 순환들의 합으로 정확히 분해됨을 확립합니다.
4. 실패 모드 분리: 본 프레임워크는 병렬 디코딩 실패의 세 가지 명확한 원인을 구분합니다.
   • 양립 불가능성 (Curl): 순서 민감성을 유발하는 비영국소 순환.
   • 조건부 의존성: 순환이 영 (zero) 이더라도, 해결되지 않은 좌표들이 높은 조건부 총 상관관계 (TC) 를 가질 경우 독립적인 병렬 업데이트는 실패합니다.
   • 순서별 추정 오차: 모델이 특정 인수분해 경로 (예: 왼쪽에서 오른쪽) 에서 더 나은 성능을 보일 수 있습니다. 이는 해당 컨텍스트에서 조건부 추정 오차가 낮기 때문이며, 근본적인 데이터 분포가 양립 가능하더라도 발생할 수 있습니다.

주요 기여

본 논문은 네 가지 주요 이론적 기여를 제공합니다.

• 양립성 공식화: 임의 순서 노이즈 제거를 의사결정 불변성 문제로 재구성하여, 모델 수준의 조건부 지정과 디코딩 수준의 연산자 선택을 분리합니다.
• 국소 순환 진단: 기본 curl 이 스왑된 의사결정의 로그 비율과 정확히 일치하며, 한 순서 하에서의 그 기대값이 두 순서 유도 분포 간의 KL 발산과 같음을 증명합니다.
• 경로 의존성 특성화: DLM 이 블록에서 진정으로 임의 순서인 것은 도달 가능한 모든 "기본 사각형" (쌍별 스왑) 이 curl-free 일 때에만 성립한다는 정확한 구조적 사실을 제공합니다. 글로벌 순서 격차는 국소 순환들의 누적임이 입증됩니다.
• 실패 모드 분리: 베이지안 최적 균일 마스킹은 영 curl 을 의미함을 (데이터의 방향성만으로는 양립 불가능성을 강제하지 않음) 명확히 합니다. 또한, 조건부 총 상관관계로 인해 영 curl 에서도 병렬 저하가 발생할 수 있으며, 순서 선호도는 순서별 조건부 추정 오차에 의해 지배됨을 보여줍니다.

결과 및 이론적 발견

본 논문은 DLM 행동의 메커니즘을 명확히 하는 여러 정리를 유도합니다.

• 정리 3 (베이지 한계): 베이지안 최적 균일 마스킹 하에서 국소 curl 은 소멸합니다. 이는 실제 모델에서 관찰되는 비영 curl 이 언어 데이터의 직렬성 때문이 아니라, 유한한 용량, 불완전한 최적화, 또는 마스킹 컨텍스트의 불완전한 커버리지에서 비롯됨을 시사합니다.
• 정리 4 (병렬 독립성 오차): 양립성 curl 이 영이더라도, 한 번의 독립적인 병렬 업데이트는 블록의 조건부 총 상관관계 (TC) 와 동일한 패널티를 부과합니다. 이는 모델이 완벽하게 양립 가능하더라도 병렬 디코딩이 실패할 수 있는 이유를 설명합니다.
• 정리 5 (순서 선호): 선호되는 디코딩 순서는 누적 기대 국소 조건부 추정 오차를 최소화하는 순서입니다. 모델이 임의의 혼합 마스킹 컨텍스트보다 접두사 유사 컨텍스트를 더 쉽게 추정할 수 있다면, 모델은 자연스럽게 왼쪽에서 오른쪽 스케줄로 편향됩니다.

중요성 및 주장

본 논문은 특정 모델 성능에 대한 실증 연구가 아닌 메커니즘 지향적 프레임워크로 자신을 위치시킵니다. 그 중요성은 다음을 제공하는 데 있습니다.

1. 정확한 구조적 진단: 엔트로피나 신뢰도 같은 휴리스틱 지표에 의존하는 대신, 의사결정 순서 격차와 국소 curl 을 측정하여 DLM 디코딩이 진정으로 순서 자유로운지 테스트할 수 있는 방법.
2. 통합적 설명: 양립 불가능성으로 인한 경로 의존성과 조건부 의존성 및 추정 오차를 분리함으로써 관찰된 현상 (AR 과 같은 붕괴, 병렬 실패) 을 통합하는 프레임워크.
3. 검증 인터페이스: 재학습 없이 기존 모델에 적용하여 병렬성 실패의 원인을 진단할 수 있는 구체적인 일련의 운영 테스트 (예: 교환자 진단, 순서별 오차 프로파일링).

저자들은 겸손하게 이것이 검증 가능한 구조적 가설이라고 주장합니다. 본 논문이 아직 모든 DLM 계열에 걸쳐 이러한 지표가 실패를 예측하는 데 더 간단한 대리 지표 (예: 토큰 엔트로피) 보다 우월함을 입증하는 광범위한 실증 증거를 제공하지는 못함을 인정합니다. 양립 불가능성, 조건부 의존성, 추정 오차로 분해하는 접근법은 개념적으로 깔끔하지만 실제 운영상 아직 유일하지는 않다고 제시됩니다. 이 연구는 DLM 이 진정으로 병렬적이기 위해서는 세 가지 조건을 동시에 만족해야 함을 시사합니다. 즉, 순서 간에 안정적인 의사결정, 관리 가능한 블록 수준의 조건부 의존성, 그리고 서로 다른 스케줄에 걸친 안정적인 컨텍스트 분포 지원입니다.