기술 요약: 공진화 연속 이산 확산 (CCDD)

1. 문제 정의

최근 대규모 언어 모델 (LLM) 의 발전은 표준 자기회귀 (AR) 아키텍처, 특히 스도쿠, 그래프 연결성, 형식 언어 인식과 같은 복잡한 추론 작업과 관련하여 한계를 부각시켰습니다. 이론적 분석에 따르면, 표준 트랜스포머는 로그 (logarithmic) 체인 오브 생각 (CoT) 단계가 있더라도 복잡도 클래스 $TC^0$로 제한되는 반면, 루프형 트랜스포머 (LT) 와 연속 추론 방법은 이론적으로 $TC^1$ 또는 그 이상에 도달할 수 있습니다.

그러나 이론적 표현력과 경험적 성능 사이에는 상당한 격차가 존재합니다:

• 루프형 트랜스포머 (LT): 이론적으로 더 높은 표현력을 가지지만, 중간 감독의 부재로 인해 훈련성이 떨어지며, 추론 시 루프 깊이가 훈련 시와 다를 경우 분포 외 (OOD) 문제를 초래합니다.
• 연속 확산 모델 (CDM): 이러한 모델들은 연속 잠재 공간에서 작동하고 루프형 트랜스포머를 일반화함으로써 이론적으로 이산적 대응물보다 표현력이 우월합니다. 그러나 경험적으로는 이산 확산 모델 (DDM) 과 AR 모델보다 성능이 낮습니다. 저자들은 이를 실제 훈련의 어려움, 즉 큰 결정 공간, 낮은 품질의 임베딩, 그리고 연속 표현을 이산 토큰으로 디코딩하는 데 따른 조합적 복잡성 때문이라고 설명합니다.
• 이산 확산 모델 (DDM): 훈련성이 매우 높고 효과적이지만, 명시적 토큰 공간에서 작동하여 각 단계에서 '로그its $\to$ 샘플 $\to$ 임베딩' 양자화 과정에서 정보를 잃을 수 있습니다.

핵심 문제는 표현력 - 훈련성 딜레마입니다: 높은 이론적 표현력을 가진 모델 (CDM, LT) 은 훈련하기 어렵고, 훈련성이 매우 높은 모델 (DDM, AR) 은 복잡한 작업을 위한 필요한 잠재 추론 능력을 결여할 수 있습니다.

2. 방법론: 공진화 연속 이산 확산 (CCDD)

이 논문은 단일 프레임워크 내에서 연속 및 이산 확산 과정을 통합하는 새로운 언어 모델링 패러다임인 **공진화 연속 이산 확산 (CCDD)**을 제안합니다.

2.1 결합 확산 과정

CCDD 는 이산 토큰 공간 ($X = \Omega^L$) 과 연속 표현 공간 ($Z = \mathbb{R}^{L \times d}$) 의 합집합에 대한 결합 확산 과정을 정의합니다.

• 전진 과정: 손상 과정은 분해되지만 두 모드에 동시에 적용됩니다.

  • 이산 구성 요소: 연속 시간 마르코프 체인 (CTMC) 을 통해 진화하며, 일반적으로 마스크된 노이즈 (흡수 상태) 또는 균일 노이즈를 사용합니다.
  • 연속 구성 요소: 컨텍스트가 부여된 임베딩 공간 (예: Qwen3-Embedding 과 같은 사전 훈련된 모델에서 파생된 공간) 에서 확률 미분 방정식 (SDE) 또는 확률 흐름 ODE (PF-ODE) 를 통해 진화합니다.
  • 결합 전진 커널은 개별 커널의 곱입니다: $q_t(x_t, z_t | x_0, z_0) = q_t^{disc}(x_t | x_0) q_t^{cont}(z_t | z_0)$.

• 역과정: 단일 시간 조건부 네트워크 $f_\theta(\cdot, t)$가 노이즈가 섞인 쌍 $(x_t, z_t)$를 입력으로 받아 모드별 헤드를 출력합니다.

  • 역 업데이트는 분해됩니다: $p_\theta(x_s, z_s | x_t, z_t) = p_\theta^{disc}(x_s | x_t, z_t) p_\theta^{cont}(z_s | x_t, z_t)$.
  • 핵심적으로, 업데이트 규칙은 분해되지만 각 모드에 대한 추정은 두 상태 모두에 조건부로 이루어집니다. 이산 디코더는 연속 잠재 $z_t$를 보고, 연속 디코더는 이산 토큰 $x_t$를 봅니다. 이를 통해 연속 구성 요소는 이산 구성 요소에 풍부한 의미적 안내 (암시적 추론) 를 제공하고, 이산 구성 요소는 연속 구성 요소에 명시적 구조를 제공합니다.

2.2 훈련 목적 함수

훈련 손실은 연속 및 이산 손실의 가중 합입니다:
$$\mathcal{L}_{CCDD} = \gamma_{cont} \cdot \mathcal{L}_{cont} + \gamma_{disc} \cdot \mathcal{L}_{disc}$$

• $\mathcal{L}_{cont}$: 노이즈 또는 원래 연속 표현을 예측하기 위한 표준 MSE 손실 (예: $\epsilon$-예측).
• $\mathcal{L}_{disc}$: 원래 이산 토큰을 예측하기 위한 교차 엔트로피 손실 (일반적으로 마스크된 위치에서).

2.3 아키텍처 설계

이 논문은 Diffusion Transformers(DiT) 기반의 결합 노이즈 제거 네트워크에 대한 여러 아키텍처를 소개합니다:

1. MDiT (Multimodal DiT): 트랜스포머 블록 이전에 연속 및 이산 임베딩을 혼합합니다. 이산 전용 기준 모델에 비해 매개변수와 FLOPs 를 거의 증가시키지 않습니다.
2. MMDiT: 멀티모달 상호작용을 위해 교차 어텐션과 자기 어텐션 블록을 교차 배치하여 사용하며, 매개변수와 FLOPs 를 두 배로 증가시킵니다.
3. MoEDiT (Mixture of Experts DiT): 공유 어텐션 메커니즘 내에서 이산 및 연속 토큰을 위한 별도의 MLP 를 유지하며, MoE 라우팅을 사용하여 토큰의 상태에 따라 동적으로 토큰을 처리합니다. 이는 매개변수 효율성과 표현력을 균형 있게 조화시킵니다.

2.4 추론 기법

• 분류기 없는 안내 (CFG): 연속 표현은 이산 토큰 생성을 위한 자체 생성 안내로 작용합니다. 모델은 연속 임베딩을 0 으로 만드는 확률 $p_{drop}$으로 훈련되어 (무조건부), 샘플링 중 CFG 스케일링을 통해 품질을 향상시킬 수 있습니다.
• 유연한 샘플링: CCDD 는 효율성을 위한 소수 단계 결정론적 샘플링 (ODE 를 통해) 과 고품질 생성을 위한 다단계 확률적 샘플링 (SDE 를 통해) 을 모두 지원합니다.

3. 주요 기여

3.1 이론적 분석

• 표현력 계층 구조: 저자들은 연속 확산 모델 (CDM) 이 궤적 수준의 표현력 측면에서 이산 확산 모델 (DDM) 을 엄격하게 우세하게 지배한다고 증명합니다. CDM 은 절대적으로 연속적인 주변 분포를 생성하는 반면, DDM 은 유한한 원자 지원에 제한되어 각 이산 샘플링 단계에서 정보 손실이 발생합니다.
• 루프형 트랜스포머의 일반화: 이 논문은 연속 확산 샘플러가 동일한 아키텍처와 매개변수 수로 루프형 트랜스포머 롤아웃을 시뮬레이션할 수 있음을 보여줍니다. 반대로, 결정론적 루프형 트랜스포머는 연속 확산이 생성하는 비퇴화 확률 경로를 시뮬레이션할 수 없습니다.
• 훈련성 분석: 이 논문은 CDM 의 경험적 실패를 LT 의 중간 감독 부재와 CDM 의 디코딩 복잡성/표현 부족 때문이라고归결합니다. CCDD 는 CDM 의 표현력을 유지하면서 명시적 토큰 감독을 통해 DDM 의 훈련성을 획득하는 해결책으로 제안됩니다.

3.2 경험적 결과

• 언어 모델링: LM1B 및 OpenWebText (OWT) 데이터셋에서 CCDD 는 이산 기준 모델 (MDLM, SEDD) 과 자기회귀 모델을 크게 능가합니다.
  • LM1B 에서 CCDD-MDiT 는 동일한 매개변수 (92.1M) 를 가진 이산 기준 모델 대비 검증 퍼플렉시티를 25% 이상 감소시켰습니다.
  • OWT 에서 CCDD 는 이산 기준 모델 대비 퍼플렉시티를 35% 이상 감소시켰습니다.
  • CCDD 는 25 배 빠른 훈련 수렴 (기준 모델의 100 만 회 대비 4 만 회 반복) 으로 이러한 결과를 달성했습니다.
• 소수 단계 생성: CCDD 는 우수한 소수 단계 생성 능력을 보입니다. 단 8 개의 노이즈 제거 단계만 사용한 모델이 256 단계를 사용하는 이산 기준 모델 (MDLM) 을 능가하여, 품질 손실 없이 생성 속도를 16 배 가속화했습니다.
• 복잡한 추론: 강력한 계획 수립 및 백트래킹이 필요한 작업 (스도쿠, 3-SAT, 카운트다운) 에서 CCDD 는 자기회귀 모델, 마스크된 이산 확산, 루프형 트랜스포머를 포함한 모든 이전 방법을 능가했습니다. 예를 들어, CCDD 는 단 2 단계로 스도쿠에서 100% 정확도를 달성하여 최상의 루프형 트랜스포머 결과와 일치했습니다.

4. 중요성과 주장

이 논문은 CCDD 가 언어 모델링에서 이론적 표현력과 실제 훈련성 사이의 격차를 성공적으로 메웠다고 주장합니다. 결합 확산 과정을 정의함으로써 CCDD 는 연속 잠재 공간의 강력한 표현력(암시적 추론, 계획 수립, 전역 컨텍스트 유지 가능) 을 활용하면서도 훈련성과 디코딩 안정성을 보장하기 위해 이산 토큰을 활용합니다.

저자들은 CCDD 가 단순한 혼합이 아닌 원칙적인 통합이라고 강조하며, 이는 다음을 수행합니다:

1. 기존 패러다임 (CDM, DDM, LT) 을 단일 프레임워크로 일반화합니다.
2. 스도쿠 및 3-SAT 와 같은 복잡한 작업에 필수적인 연속 공간에서의 "잠재 추론" 수행 능력을 유지합니다.
3. 유연한 추론 시간 스케일링 (소수 단계 ODE 대 다단계 SDE) 을 허용하고 루프형 트랜스포머보다 빠른 훈련 수렴을 달성함으로써 효율성을 향상시킵니다.
4. 특히 하류 벤치마크 및 복잡한 추론 시나리오에서 부분의 합을 초과하는 성능 향상을 달성할 수 있음을 시연합니다.

이 연구는 효과적인 훈련을 보장하기 위해 명시적 이산 감독이 유지된다면, 추론을 위해 연속 잠재 표현을 활용하기 위해 미래의 언어 모델링 패러다임이 순수한 이산 토큰 공간을 넘어설 것을 시사합니다.