기술 요약: 언제 계획하고, 언제 다듬을 것인가

문제 정의

표준적인 이산 확산 언어 모델(Discrete Diffusion LMs)은 전체 디노이징 궤적 동안 고정된 **토큰 단위 입도(tokenwise granularity)**로 작동합니다. 이러한 모델에서는 노이즈 수준과 관계없이 훈련 시의 손상(마스킹)과 추론 시의 결정(토큰 드러내기)이 모두 개별 토큰 수준에서 발생합니다.

저자들은 이러한 고정된 입도가 **계획(planning)**이 필요한 작업(예: 장문 스토리텔링, 구조적 글쓰기)에 있어 근본적인 한계라고 주장합니다.

• 문제점: 높은 노이즈 수준(초기 디노이징 단계)에서 균일한 토큰 단위 마스킹은 모델에게 일관된 의미적 증거 대신, 흩어져 있는 고립된 단어 파편들("단어 부스러기", word crumbs)만을 남깁니다. 결과적으로 모델은 초기 단계에서 일관된 글로벌 구조(하나의 "골격")를 형성하는 대신, 약한 단서에 의존하여 로컬 토큰을 추측해야 하는 상황에 처하게 됩니다.
• 공백: 계층적 계획 방법(예: "Plan and Write" 시스템 또는 블록 수준 확산)이 존재하지만, 이는 명시적인 플래너, 블록 수준 잠재 변수, 또는 다단계 설계를 필요로 합니다. 본 논문은 기존의 구조적 복잡성을 추가하지 않고도, 기존의 노이즈 수준을 입도 신호로 활용하여 단일 레벨의 확산 LM이 어떻게 초기 계획과 후기 다듬기를 본질적으로 지원할 수 있는지에 대해 질문합니다.

방법론: 노이즈 의존적 입도 제어 (NDGC)

저자들은 훈련 노출의 입도와 추론 결정의 입도를 노이즈 수준($t$)에 정렬시키는 방법인 **노이즈 의존적 입도 제어(Noise Dependent Granularity Control, NDGC)**를 제안합니다. 핵심 직관은 다음과 같습니다: 높은 노이즈 = 계획 (거친 그룹); 낮은 노이즈 = 다듬기 (세밀한 토큰).

1. 구조적 노출 (훈련)

토큰을 독립적으로 마스킹하는 대신, NDGC는 노이즈 의존적 스팬(span) 마스킹 전략을 도입합니다.

• 입도 계수 ($s(t)$): 노이즈 수준 $r(t)$의 함수로, 0(낮은 노이즈)에서 1(높은 노이즈)까지 스케일링됩니다.
• 그룹 크기 ($B(t)$): 목표 그룹 길이는 $B(t) = \max(1, \text{round}(1 + s(t)(B_{\max} - 1)))$로 계산됩니다.
• 메커니즘: 높은 노이즈에서 모델은 연속적인 토큰 그룹(스팬) 단위로 훈련됩니다. 그룹이 마스킹되면 스팬 전체가 숨겨지고, 노출되면 스팬 전체가 보입니다. 이를 통해 높은 노이즈 상태에서도 모델이 흩어진 부스러기가 아닌 일관된 의미 블록을 볼 수 있도록 보장합니다.
• 주변 확률 보존 (Marginal Preservation): 이 방법은 각 토큰에 대한 주변 마스킹 확률 $r(t)$를 보존하여, 기대 손상율이 표준 확산 모델과 동일하게 유지되도록 합니다. 즉, 오직 손상의 상관관계만을 변경합니다.

2. 일치된 결정 (추론)

훈련과 추론 사이의 불일치를 방지하기 위해, 추론 과정은 훈련의 입도를 모방합니다.

• 그룹화된 결정 (Grouped Commitment): 높은 노이즈 단계에서 샘플러는 전체 그룹의 확신도를 평가합니다(마스킹된 그룹 내 토큰들의 확신도를 평균함).
• 선택: 확신도가 높은 그룹들이 함께 결정(노출)됩니다.
• 정교화: 노이즈가 감소함에 따라 $B(t)$가 줄어들어, 결국 낮은 노이즈에서는 표준적인 토큰 단위 결정 및 정교화 단계로 돌아갑니다.

3. 정렬 (Alignment)

핵리의 혁신은 노출과 결정의 정렬입니다. 동일한 노이즈 의존적 스케줄 $s(t)$를 훈련과 추론 모두에 사용함으로써, 모델은 명시적인 플래너 없이도 초기에 거친 의미 구조를 형성하고 나중에 어휘를 정교화하는 "거친 단계에서 세밀한 단계로(coarse-to-fine)"의 디노이징 과정을 시뮬레이션하도록 학습됩니다.

주요 기여

1. 한계 식별: 본 논문은 고정된 토큰 입도가 초기 구조 형성을 방해하여, 글로벌 계획보다는 로컬 추측에 의존하게 만든다는 점을 밝혀냈습니다.
2. NDGC 제안: 노이즈 수준을 입도 신호로 사용하는 단일 레벨 확산 방법을 도입하여, 구조적 스팬 노출(훈련)과 일치된 그룹 결정(추론)을 결리시켰습니다.
3. 실증적 검증: NDGC가 유니폼 토큰 단위 베이스라인에 비해 구조 형성(skeleton formation)을 디노이징 궤적의 더 이른 시점으로 이동시키고, 주제의 순차적 회복을 개선하며, 퇴보된 출력(반복)을 줄임을 입증했습니다.

실험 결과

저자들은 SYNTHETIC-V4(순서가 있는 잠재 토픽 골격을 가진 통제된 벤치마크)와 WritingPrompts(자연스러운 이야기 생성 데이터셋)에서 NDGC를 평가했습니다.

SYNTHETIC-V4 (BD3LM 백본)

• 베이스라인 실패: 표준 유니폼 토큰 단위 확산은 이 작업에서 심각하게 실패했습니다(최종 토픽 커버리지 27.8%, 불량 출력률 99.7% - 반복 및 다양성 부족에 기인).
• NDGC 성능: NDGC ($B_{\max}=16$)는 **84.2%**의 최종 토픽 커버리지, **79.8%**의 순서 정확도를 달이트했으며, 불량 출력을 **3.7%**로 줄였습니다.
• 조기 형성: 결정적으로, NDGC는 베이스라인(28.7% 및 27.5%)에 비해 현저히 높은 **조기 회복(Early Recovery, 79.1%)**과 **조기 순서(Early Order, 77.0%)**를 보여주었습니다. 이는 구조가 단순히 마지막에 수리되는 것이 아니라 더 일찍 형성됨을 증명합니다.
• 절제 연구 (Ablations):
  • 구조적 결정만 적용 (Structured Commitment Only): 커버리지는 개선되었으나 불량 출력을 해결하지 못했습니다(89.0%), 이는 추론 휴리스틱만으로는 불충분함을 나타냅니다.
  • 구조적 노출만 적용 (Structured Exposure Only): 건강한 출력은 개선되었으나 높은 정확도의 골격 일치를 달성하지 못했습니다. 이는 훈련-추론 간의 불일치를 나타냅니다.
  • 토큰 단위 조기 결정 (Tokenwise Early): 구조적 훈련을 적용하더라도 높은 노이즈에서 토큰 단위 결정을 강제하면 골격 형성이 지연되었습니다.

교차 백본 및 자연스러운 데이터 검증

• MDLM & SEDD: NDGC는 다른 백본(MDLM, SEDD)에서도 골격 회복을 개선하고 건강한 출력을 유지했습니다.
• WritingPrompts: 골격(gold skeleton)이 없는 자연스러운 데이터에서도, NDGC는 출력의 건강도(불량 출력 22.8% $\rightarrow$ 10.9% 감소)를 개선하고 참조 정렬 세그먼트 유사도(RASC-best)를 높였으며, 반복을 줄였습니다.

의의 및 주장

본 논문은 노이즈 수준이 단일 레벨 확산 언어 모델을 위한 의미적 입도 축(semantic granularity axis) 역할을 할 수 있다고 주장합니다.

• 메커니즘: 훈련 노출과 추론 결정을 정렬함으로써, NDGC는 모델이 증거가 부족할 때(높은 노이즈) "계획"(일관된 스팬 결정)하고, 증거가 풍부할 때(낮은 노이즈) "다듬기"(토큰 결정)를 수행할 수 있게 합니다.
• 효율성: 이 접근 방식은 명시적인 플래너, 계층적 구조, 또는 다단계 파이프라인 없이도 계획과 유사한 동작을 달성합니다.
• 겸허한 태도: 저자들은 자신들의 가장 강력한 증거가 통제된 SYNTHETIC-V4 설정에서 나왔음을 인정합니다. WritingPrompts는 출력의 건강함과 일관성에 대한 결과는 뒷받침하지만, 잠재적 골격 회복에 대한 직접적인 증거를 제공하지는 않습니다. 향후 연구에서는 학습 가능한 의미적 경계와 더 긴 문서를 탐구할 수 있다고 언급했습니다.

요약하자면, 본 논문은 표준 확산 모델의 "부스러기" 문제가 디노이징 과정의 입도를 동적으로 조정함으로써 해결 가능하며, 이를 통해 단일 레벨 모델이 자연스럽게 구조적 계획에서 어휘적 정교화로 전환할 수 있음을 주장합니다.