기술 요약: 연속 확산은 언어 분야에서 이산 확산과 경쟁력 있게 확장됨

문제 제기

확산 모델이 언어 모델링에서 상당한 주목을 받아 왔으나, 연속 확산은 역사적으로 이산 확산 및 자기회귀 (AR) 모델보다 확장성이 낮다고 간주되어 왔습니다. 이전 연구, 특히 원래의 Plaid 작업은 AR 모델의 가능도 (likelihood) 를 맞추기 위해 연속 확산이 64 배의 상당한 계산 격차를 보인다고 보고했습니다. 이러한 성능 차이는 연속 확산이 대규모 언어 작업에 본질적으로 확장 불가능하다는 지배적인 서사를 초래했습니다. 이 논문이 다루는 핵심 과제는 이 격차가 연속 확산의 고유한 한계인지, 아니면 호환되지 않는 실험 설정 및 확장 분석의 결과인지를 규명하는 것입니다.

방법론

저자들은 현대적인 이산 확산 언어 모델 (DLM) 관행과 엄격하게 정렬되도록 설계된 RePlaid를 소개합니다. 이는 Plaid의 가능도 기반 연속 확산 언어 모델 (DLM) 의 개정판입니다.

1. 아키텍처 정렬

공정한 비교를 보장하기 위해 RePlaid는 Sahoo 등 [51] 이 정의한 최첨단 이산 모델 (MDLM 및 Duo) 과 동일한 아키텍처 및 훈련 프로토콜을 채택합니다. 주요 정렬 기능은 다음과 같습니다:

• 트랜스포머 백본: 양방향 주의, RoPE (회전 위치 임베딩), 그리고 AdaLN-Zero 변조를 갖춘 확산 트랜스포머 (DiT) 활용.
• 최적화: 이산 기준 모델과 동일한 하이퍼파라미터 (AdamW, 코사인 학습률 스케줄, 가중치 감쇠) 및 데이터셋 (SlimPajama).
• 수치 정밀도: 원래 Plaid 에서 사용된 FP32 전용 로짓 헤드를 제거하여 수치적 혼란 요인을 제거.
• 임베딩: Plaid 의 핵심 혁신인 학습 가능한 저차원 ($d_e=16$), 길이 정규화 임베딩을 유지. 이는 다른 연속 모델에서 사용되는 고차원 원-핫 임베딩보다 계산 비용이 훨씬 적음.

2. 통합 확장 분석

이 논문은 연속 및 이산 DLM 을 비교하는 최초의 IsoFLOP 분석을 수행합니다. 다양한 크기의 모델을 고정된 계산 예산 ($C \in \{6 \times 10^{18}, \dots, 1 \times 10^{20}\}$ FLOPs) 까지 훈련하여 계산 최적 모델 크기와 검증 손실을 식별합니다. 이를 통해 RePlaid, MDLM, Duo, 그리고 AR 기준 모델 간의 확장 법칙을 직접 비교할 수 있습니다.

3. 이론적 조사

저자들은 휴리스틱 방법 (예: 교차 엔트로피 또는 흐름 매칭) 이 어려움을 겪을 수 있는 곳에서 가능도 기반 훈련이 성공하는 이유를 이해하기 위해 증거 하한 (ELBO) 목적 함수를 분석합니다. 그들은 다음을 조사합니다:

• 학습된 노이즈 스케줄과 제거 잡음 (denoising) 난이도의 분포 간의 관계.
• 가능도 최적화 대 교차 엔트로피 최적화 하에서 학습된 토큰 임베딩의 기하학적 특성.

주요 기여

1. RePlaid 및 벤치마킹

저자들은 RePlaid를 소개했는데, 이는 OpenWebText 에서 최첨단 퍼플렉시티 (PPL) 22.1을 달성하여 연속 DLM 중 가장 좋은 성적을 거두었습니다. 이는 원래 Plaid(24.4) 와 LangFlow(32.2) 와 같은 동시대의 연속 모델보다 우수하며, 이산 모델 Duo(25.2) 를 능가하고 MDLM(23.1) 의 성능에 근접합니다.

2. 통합 확장 법칙

통합된 설정에서 RePlaid는 연속 확산이 이산 확산과 경쟁력 있게 확장됨을 보여줍니다:

• 계산 격차: RePlaid는 AR 모델의 검증 손실에 도달하기 위해 AR 모델 대비 20 배의 계산 오버헤드만 요구합니다 (이전 인용된 64 배에서 감소).
• 파라미터 효율성: RePlaid는 AR 기준 모델보다 3.4 배 적은 파라미터로, MDLM 및 Duo 보다 1.8 배 적은 파라미터로 계산 최적 프론티어를 달성하면서 Duo 의 손실보다 우수한 성능을 보입니다.
• 과훈련 영역: 계산 최적 예산을 초과하여 훈련하는 과훈련 영역에서 RePlaid 는 MDLM 을 일관되게 능가하여, 추론 중심 시나리오에서 더 뛰어난 효율성을 시사합니다.

3. 이론적 통찰

이 논문은 RePlaid의 성공에 대한 이론적 설명을 제공합니다:

• 자동 노이즈 스케줄링: ELBO 의 분산을 최소화하도록 노이즈 스케줄을 최적화하면, 시간이 지남에 따라 자연스럽게 선형 교차 엔트로피 (정보 손실) 스케줄이 도출됩니다. 이는 다른 연구에서 사용되는 휴리스틱 시간 재매개변수화 없이 제거 잡음 난이도를 고르게 분배합니다.
• 임베딩 기하학: 가능도 경계를 통해 임베딩을 최적화하면 잠재 공간에 구조화된 저랭크 기하학이 생성됩니다. 반면, 교차 엔트로피 항을 추가하거나 고정된 임베딩을 사용하면 이러한 구조가 방해받아 토큰 분산과 더 높은 퍼플렉시티로 이어집니다. 이 논문은 임베딩 기하학을 학습하는 것이 성능 향상의 주요 동력임을 보여줍니다.

결과

• 가능도: OpenWebText 에서 RePlaid(자기 조건부 포함) 는 22.1의 PPL 을 달성하여 연속 DLM 중 가장 우수하며 Duo(25.2) 와 LangFlow(32.2) 보다 뛰어납니다.
• 생성 품질: 표준 DDPM 샘플링을 사용하여 RePlaid 는 모든 샘플링 단계에서 Duo 및 기타 연속 모델보다 더 높은 품질 (더 낮은 GenPPL) 의 텍스트를 생성합니다.
• 다양성과 품질의 트레이드오프: RePlaid 는 유리한 GenPPL-엔트로피 프론티어를 유지합니다. 자기 조건부는 매우 높은 샘플링 단계에서 엔트로피를 낮출 수 있지만, RePlaid 는 일반적으로 품질과 다양성을 모두 포착하는 MAUVE 지표에서 이산 모델 (Duo, MDLM) 과 다른 연속 모델 (FLM, LangFlow) 보다 우수합니다.
• 샘플링 효율성: 고차 ODE 솔버 (예: DPM-Solver++) 는 저단계 샘플링을 개선하지만, 고단계 수에서는 1 차 DDIM 솔버의 성능으로 수렴하며, 이때 계보적 DDPM 샘플러가 가장 잘 수행됩니다.

중요성과 주장

이 논문은 원칙적인 가능도 기반 목적 함수 (ELBO) 를 통해 훈련되고 현대적인 아키텍처 표준과 정렬된 연속 확산은 이산 DLM 에 대한 매우 경쟁력 있고 확장 가능한 대안이라고 주장합니다.

저자들은 이전에 보고된 64 배의 계산 격차가 주로 호환되지 않는 확장 분석과 비최적 설정의 산물이었음을 보여줌으로써 본질적인 확장 불가능성에 대한 서사에 도전합니다. 격차를 20 배로 좁히고 우수한 파라미터 효율성을 입증함으로써, 이 작업은 연속 확산이 ODE 솔버를 통한 제어 가능성 및 가속화 잠재력을 활용하여 효율적인 텍스트 생성을 위한 실현 가능한 길을 제시한다고 시사합니다.

이 논문은 AR 모델 대비 20 배의 계산 격차가 여전히 존재함을 겸손하게 인정하고, RePlaid의 성공에 있어 학습 가능한 토큰 임베딩이 결정적인 요소임을 지적합니다. 향후 연구는 더 풍부한 컨텍스트 인코더와 잠재 공간 추론 시간 확장 가능성을 탐구할 것을 제안하지만, 현재의 기여는 가능도 기반 연속 확산의 경쟁력 있는 확장 법칙과 이론적 기반을 확립하는 것으로 엄격히 제한됩니다.