기술 요약: FLUID – 자동회귀 (AR) 에서 확산 (Diffusion) 으로

1. 문제 제기

자동회귀 (AR) 언어 모델은 논리적 일관성과 훈련 안정성으로 인해 현대 자연어 처리 (NLP) 의 핵심이 되었으나, 치명적인 병목 현상에 직면해 있습니다: 추론 지연 시간이 시퀀스 길이에 비례하여 선형적으로 증가하여 지연 시간에 민감한 시나리오에서의 배포를 방해합니다. 이산 확산 모델 (DLMs) 은 반복적 탈노이즈를 통해 병렬 토큰 생성을 가능하게 함으로써 유망한 대안을 제시합니다. 그러나 표준 확산 모델과 사전 훈련된 AR 백본 사이에는 근본적인 구조적 불일치가 존재합니다:

• 구조적 비호환성: 표준 확산 모델은 전역 컨텍스트를 모델링하기 위해 양방향 어텐션에 의존하는 반면, 사전 훈련된 AR 모델 (예: Llama, GPT) 은 엄격한 인과적 (단방향) 귀납적 편향을 가집니다. 이러한 비호환성은 기존 AR 체크포인트의 효율적 재사용을 방해하여, 계산적으로 prohibitive 한 처음부터의 훈련을 필요로 합니다.
• 엔트로피 - 지평 딜레마: 최근의 "블록 확산" 전략은 고정된 크기의 블록과 준자동회귀 설계를 사용하여 이 격차를 메우려 시도합니다. 그러나 해당 논문은 경직된 고정 크기 윈도우가 자연어의 동적 엔트로피와 정렬되지 못한다고 지적합니다. 고엔트로피 영역 (예: 복잡한 추론) 에서 큰 고정 블록은 "인과적 지평"의 급격한 감소를 초래하여 병렬화 이득을 상쇄하는 공격적인 오류 수정을 요구합니다. 반면, 저엔트로피 영역에서는 보수적인 블록이 병렬 디코딩 잠재력을 활용하지 못합니다. 이러한 정적 접근법은 생성 리듬을 텍스트의 고유한 의미적 리듬과 분리시킵니다.

2. 방법론: FLUID 프레임워크

저자들은 구조적 무결성을 유지하면서 AR 백본을 효율적으로 병렬 디퓨저로 적응시키기 위해 설계된 FLUID(Flexible Unidirectional Inference Diffusion, 유연한 단방향 추론 확산) 프레임워크를 제안합니다. 방법론은 두 가지 핵심 혁신으로 구성됩니다:

A. 엄격한 인과적 정렬

구조적 불일치를 해결하기 위해 FLUID 는 엄격한 인과적 정렬 메커니즘을 강제합니다. 양방향 어텐션을 사용하는 표준 확산 모델과 달리, FLUID 는 확산 과정에서 단방향 (하삼각형) 어텐션 마스크를 부과합니다.

• 메커니즘: Transformer 에 구조적 제약이 주입되어, 토큰 $x_i$를 복원할 조건부 확률이 오직 그 역사 $x_{<i}$에만 의존하도록 보장합니다.
• 이점: 이는 사전 훈련된 AR 백본의 귀납적 편향을 보존하여, 대규모 사전 훈련 없이도 표준 GPT 스타일 체크포인트에서 원활한 초기화를 가능하게 합니다. 이는 인과적이지 않은 미래 위치로의 연결을 효과적으로 제거하여 논리적 일관성을 유지합니다.

B. 탄성 지평 모델링

엔트로피 - 지평 딜레마를 해결하기 위해 FLUID 는 고정된 블록 경계를 실시간 엔트로피 추정에 기반한 탄성 지평 (Elastic Horizons) 으로 대체합니다.

• 확률론적 지평 추정기: 동결된 백본에 경량 "Diffusion K-Head"(2 층 MLP) 가 추가됩니다. 이는 은닉 상태 $h_t$를 가능한 지평 길이 $k \in \{1, \dots, K_{max}\}$에 대한 범주형 분포로 매핑합니다.
• 역량 경계 감독: 명시적 레이블이 부재한 상태에서, 모델은 고신뢰도 생성의 최대 범위로 정의된 "오라클 지평" $K^*_t$를 학습합니다. K-Head 는 Kullback-Leibler (KL) 발산을 사용하여 이 오라클 경계를 중심으로 한 가우시안 소프트 타겟과 예측 분포를 정렬하도록 훈련됩니다.
• 동적 추론: 추론 중 K-Head 는 생성 스트라이드 $K_t$를 동적으로 조절합니다. 결정론적 단계 (저엔트로피) 에서는 지평이 확장되어 예측 가능한 구간을 "달려가는" 식으로 처리합니다. 고엔트로피 전환 (복잡한 추론) 에서는 지평이 세분화되고 신중한 속도로 수축합니다.
• 신뢰도 게이팅: 지평 내 미래 예측에 신뢰도 임계값 $\gamma$가 적용됩니다. 토큰의 신뢰도가 $\gamma$ 미만으로 떨어지면 체인이 잘리고 모델은 세분화된 자동회귀로 복귀하여 엄격한 인과적 정확성을 보장합니다.

훈련 전략

FLUID 는 2 단계 커리큘럼을 사용합니다:

1. 1 단계 (공동 인과적 백본 훈련): K-Head 를 동결한 상태에서 백본을 미세 조정합니다. 하이브리드 손실 함수는 접두사에 대한 표준 자동회귀 손실 ($L_{AR}$) 과 목표 스패인에 대한 마스크된 탈노이즈 손실 ($L_{Diff}$) 을 결합하며, 10% 노이즈를 주입하는 확률적 복원으로 강화됩니다.
2. 2 단계 (확률론적 지평 훈련): 백본을 동결하고 K-Head 만 백본의 고유 불확실성에서 도출된 역량 경계 분포에 맞춰 최적화합니다.

3. 주요 기여

1. AR 와 확산의 연결: 해당 논문은 엄격한 인과적 어텐션을 강제함으로써 사전 훈련된 AR 모델을 확산 패러다임에 성공적으로 적응시키고 처음부터의 훈련 필요성을 우회하는 프레임워크를 제시합니다.
2. 탄성 지평: 지역 정보 밀도에 기반하여 탈노이즈 스트라이드를 동적으로 조절하는 엔트로피 기반 메커니즘을 제안하여, 고정 블록 전략에 내재된 추론 속도와 생성 품질 간의 트레이드오프를 해결합니다.
3. 효율적 적응: 이 접근법은 강력한 AR 사전 지식을 효과적으로 재사용할 수 있음을 입증하여, 처음부터 확산 모델을 훈련하는 것에 비해 훈련 비용을 수 orders of magnitude(수 차수) 감소시킵니다.

4. 실험 결과

실험은 2 단계 과정을 통해 적응된 OpenPangu-7B 체크포인트를 사용하여 수행되었습니다. 모델은 일반 이해 (MMLU, IFEVAL), 수학적 추론 (GSM8K, MATH500), 코드 생성 (HumanEval, MBPP) 에서 평가되었습니다.

• 성능: FLUID-7B 는 확산 모델 중 최첨단 성능을 달성했으며 최상위 AR 모델과 대등한 수준을 보였습니다.
  • 수학: GSM8K 에서 91.9, MATH500 에서 61.8점을 기록하여 Dream-7B 및 LLaDA-8B 와 같은 확산 베이스라인을 유의미한 차이 (예: GSM8K 에서 +10.9) 로 상회했으며 Qwen-2.5-7B(91.6) 와 대등한 수준을 보였습니다.
  • 코드: HumanEval 에서 60.4점을 기록하여 LLaMA-3-8B-Instruct 및 LLaDA-8B 를 능가했습니다.
• 효율성: FLUID 는 반복적 정제 필요성을 줄여 표준 확산 베이스라인 (LLaDA, Dream) 대비 약 2 배의 속도 향상을 달성했습니다. 고엔트로피 오류와 관련된 "대기 비용"을 피함으로써 공격적인 고정 블록 베이스라인보다 더 높은 처리량 (초당 18.82 토큰) 을 보여주었습니다.
• Ablation 연구:
  • 인과적 마스크 제거 (양방향 어텐션 사용) 는 GSM8K 성능을 9.4% 하락시켜 논리적 일관성을 위한 인과적 정렬의 필요성을 확인했습니다.
  • 탄성 지평을 고정 블록으로 대체한 결과 HumanEval 에서 5.5% 의 부족이 발생하여 구조적 무결성을 위한 동적 지평 조절의 중요성을 입증했습니다.
• 의미적 품질: Skywork-Reward-V2 선호도 모델을 사용하여 FLUID 는 모든 도메인, 특히 추론 집약적 작업에서 가장 높은 보상 점수를 달성하여 인간의 의도와 논리적 일관성에 대한 우수한 정렬을 확인했습니다.

5. 중요성과 주장

이 논문은 FLUID 가 구조적 무결성이나 논리적 일관성을 훼손하지 않고 확립된 AR 기반을 효율적인 병렬 디퓨저로 변환하는 확장 가능한 기반을 확립한다고 주장합니다.

• 패러다임 전환: 이는 훈련 효율성, 추론 지연 시간, 논리적 일관성을 우수하게 균형 잡는 패러다임으로서 "엄격한 인과적 확산"을 검증합니다.
• 비용 절감: 표준 GPT 스타일 체크포인트에서의 원활한 초기화를 가능하게 함으로써, 훈련 비용을 수 orders of magnitude(수 차수) 감소시킵니다 (적응에 27 억 토큰 사용 vs 사전 훈련에 수조 토큰 사용).
• 동적 유연성: 이 연구는 (탄성 지평을 통해) 인과적 일관성과 동적 유연성을 정렬하는 것이 고정 크기 전략에 내재된 "의미적 단절"을 효과적으로 완화하면서 비자동회귀 텍스트 합성의 잠재력을 완전히 unlocking 하는 핵심임을 보여줍니다.

저자들은 성능이 본질적으로 소스 AR 모델의 능력에 의해 제한되며, 고도로 전문화된 도메인이나 다른 아키텍처 (예: MoE 모델) 에 대해서는 추가 검증이 필요하다고 지적합니다.