기술 요약: 임베디드 언어 흐름 (ELF)

문제 제기

확산 (Diffusion) 및 흐름 기반 모델은 이미지와 비디오와 같은 연속 데이터 생성 분야에서 최첨단 (state-of-the-art) 기술로 자리 잡았습니다. 그러나 언어 모델링 (확산 언어 모델 또는 DLM) 에의 적용은 상당한 난관에 부딪혀 왔습니다. 현재 주류 DLM 들은 언어가 본질적으로 이산적 (discrete) 이기 때문에 주로 이산 토큰을 기반으로 작동합니다. 연속 DLM 이 존재하지만, 종종 이산형 모델의 성능을 따라가지 못합니다.

기존 연속 DLM 은 일반적으로 두 가지 제한 사항 중 하나에 시달립니다:

1. 이산 공간과의 긴밀한 결합: 많은 방법들 (예: Diffusion-LM, CDCD) 은 연속 임베딩 공간에서 노이즈 제거를 수행하지만, 매 단계마다 이산 토큰 공간으로 연속 궤적을 되돌리는 교차 엔트로피 (cross-entropy) 와 같은 단계별 이산화 손실 (discretization losses) 이나 심플렉스 투영 (simplex projections) 과 같은 제약을 의존합니다. 이는 흐름 역학의 유연성을 제한합니다.
2. 아키텍처의 복잡성: 다른 접근법들 (예: 언어 생성을 위한 잠재 확산) 은 압축된 잠재 공간에서 작동하며, 연속 표현을 이산 토큰으로 매핑하기 위해 별도로 훈련된 디코더가 필요하여 추론 시 오버헤드와 복잡성을 추가합니다.

본 연구가 다루는 핵심 질문은 연속 DLM 과 이산 DLM 간의 성능 격차가 언어의 본질적인 이산성에서 기인하는 것인지, 아니면 연속 형식화에서의 비최적 알고리즘 설계 선택에서 비롯된 것인지 여부입니다.

방법론: 임베디드 언어 흐름 (ELF)

저자들은 **임베디드 언어 흐름 (ELF)**을 제안합니다. 이는 **흐름 매칭 (Flow Matching)**에 기반한 연속 DLM 클래스로, 최종 생성 단계까지 이산화를 유보하면서 거의 전적으로 연속 임베딩 공간 내에서 작동합니다.

핵심 공식화

1. 연속 임베딩 공간: ELF 는 사전 훈련된 인코더 (예: T5) 를 사용하여 이산 입력 토큰 $s$를 연속 임베딩 $x$로 매핑합니다. 별도의 디코더가 필요한 잠재 확산 방법과 달리, ELF 는 노이즈 제거와 디코딩 모두에 공유 가중치 네트워크를 사용합니다.
2. 직선화된 흐름을 통한 흐름 매칭: 모델은 가우시안 노이즈 $\epsilon$에서 깨끗한 데이터 $x$까지 선형 보간 (직선화된 흐름) 을 사용하여 연속 흐름 경로를 정의합니다: $z_t = tx + (1-t)\epsilon$, 여기서 $t \in [0, 1]$입니다. 속도장은 $v = x - \epsilon$로 정의됩니다.
3. 예측 목표 ($x$-예측): 속도 $v$를 직접 예측하는 대신, ELF 는 깨끗한 임베딩 $x$를 예측합니다. 이 선택은 고차원 표현에 중요하며, 최종 디코딩 목표와 자연스럽게 부합합니다.
4. 이중 모드 훈련:
   • 노이즈 제거 모드 (대부분의 단계): 네트워크는 평균 제곱 오차 (MSE) 손실을 사용하여 노이즈가 있는 입력 $z_t$로부터 깨끗한 임베딩 $x$를 예측합니다.
   • 디코딩 모드 (최종 단계 $t=1$): 네트워크는 "디코딩" 모드로 전환합니다. 이는 깨끗한 임베딩의 손상된 버전 (비자명한 훈련 입력을 보장하기 위해) 을 받아 학습 가능한 언임베딩 행렬 $W$를 통해 투영하여 토큰 로짓을 생성합니다. 이 단계는 토큰 단위 교차 엔트로피 (CE) 손실을 통해 지도 학습됩니다.
   • 가중치 공유: 동일한 네트워크 파라미터가 이진 "모드" 토큰에 조건부로 두 모드 모두에 사용됩니다.

샘플링 및 가이드

• 샘플링: ELF 는 결정론적 ODE 솔버와 각 단계에서 작은 양의 노이즈를 재주입하여 오류를 보정하는 확률적 SDE 영감 샘플러를 모두 지원합니다.
• 분류기 없는 가이드 (CFG): ELF 는 연속 공간에서 작동하므로 이미지 생성에서 널리 사용되지만 이산 DLM 에서는 덜 탐구된 기법인 CFG 를 자연스럽게 지원합니다. 저자들은 추론 시 여러 번의 순방향 전달을 필요로 하지 않고 생성 품질을 조절하기 위해 훈련 시간 CFG와 자기 조건부 (self-conditioning) (이전 단계의 예측을 조건으로 사용) 를 결합하여 구현합니다.

주요 기여

1. 최소한의 이산화 전략: ELF 는 노이즈 제거 궤적을 완전히 연속 임베딩 공간에 유지하고 이산화를 최종 시간 단계 ($t=1$) 에서만 적용함으로써 연속 DLM 이 매우 효과적일 수 있음을 보여줍니다. 이는 기존 연속 방법들이 요구하는 제약과 단계별 지도 학습을 피합니다.
2. 통합 아키텍처: 노이즈 제거와 디코딩에 공유 가중치 네트워크를 활용함으로써 ELF 는 별도의 디코더가 필요 없게 하여 잠재 확산 접근법과 비교하여 아키텍처를 단순화하고 추론 시 구성 요소를 줄입니다.
3. 이미지 영역 기법의 적응: 연속 형식화는 이미지 확산에서 고급 기법, 특히 **분류기 없는 가이드 (CFG)**와 자기 조건부를 직접 적용할 수 있게 하여 생성 품질과 다양성을 크게 향상시킵니다.
4. 데이터 효율성: 이 방법은 기존 베이스라인에 비해 훨씬 적은 훈련 토큰으로 강력한 성능을 달성합니다.

실험 결과

저자들은 무조건적 생성 (OpenWebText), 기계 번역 (WMT14 De-En), 그리고 요약 (XSum) 에서 ELF 를 평가합니다.

• 무조건적 생성: ELF 는 주요 이산 DLM(MDLM, Duo) 과 동시 연속 DLM(FLM, LangFlow) 을 능가합니다.
  • 품질 vs 단계: ELF 는 1024 단계가 필요한 베이스라인에 비해 더 적은 샘플링 단계 (예: 32 단계) 로 더 낮은 생성 퍼플렉시티 (Gen. PPL) 를 달성합니다.
  • 데이터 효율성: ELF 는 이러한 결과를 10 배 적은 훈련 토큰(베이스라인의 약 500B+ 대비 45B) 으로 달성하며 증류가 필요하지 않습니다.
  • 확장: 모델 크기 (ELF-B, ELF-M, ELF-L) 를 확장하면 일관되게 품질 - 다양성 프론티어가 개선됩니다.
• 조건부 생성: ELF 는 유사한 파라미터 수의 자기회귀 및 확산 기반 베이스라인을 능가하는 WMT14 De-En(BLEU 26.4) 및 XSum(ROUGE-1 36.0) 에서 최첨단 결과를 달성합니다.
• 절대 실험 (Ablation Studies):
  • 임베딩: 사전 훈련된 컨텍스트 임베딩 (고정된 T5) 이 가장 좋은 균형을 제공합니다.
  • 예측 목표: $x$-예측은 특히 고차원에서 $v$- 또는 $\epsilon$-예측보다 우월합니다.
  • 샘플러: SDE 영감 샘플러는 소수 단계 영역에서 ODE 샘플링보다 일관되게 우수합니다.
  • 가이드: CFG 는 다양성과 품질 간의 균형을 효과적으로 조절하며, 중간 규모 (예: 2.0–3.0) 가 최적의 결과를 산출합니다.

중요성과 주장

본 논문은 ELF 가 효과적인 연속 DLM 을 향한 유망한 길을 제시한다고 주장합니다. 결과는 연속 DLM 과 이산 DLM 간의 성능 격차가 언어의 본질적인 이산성 때문이 아니라, 미탐구된 알고리즘 설계 선택 때문임을 시사합니다.

연속 시간 흐름 매칭을 사용하여 연속 임베딩 공간에서 언어 생성을 공식화하고 이산화를 최종 단계로 유보함으로써 ELF 는 다음과 같은 이점을 제공합니다:

• 이미지 확산의 강력한 기법 (CFG 등) 을 언어로 직접 이전할 수 있게 합니다.
• 더 적은 샘플링 단계와 훨씬 작은 훈련 예산으로 우수한 생성 품질을 달성합니다.
• 별도의 디코더가 필요 없는 단순하고 통합된 아키텍처를 제공합니다.

저자들은 연속 DLM 이 매우 경쟁력이 있으며 제안된 접근법이 확산 기반 언어 모델링에서 중요한 진전임을 결론지었습니다.