기술 요약: 인과적 자기회귀 확산 언어 모델 (CARD)

문제 정의

현재 대규모 언어 모델(LLM)은 인과적 자기회귀 모델(ARM)이 주도하고 있으며, 이들은 안정적인 학습과 예측 가능한 스케일링을 제공하지만, 순차적 디코딩 병목 현상으로 인해 추론 처리량(throughput)에 한계가 있습니다. 반면, 텍스트 확산 모델(Text Diffusion Models)은 병렬 추론 및 반복적 정제 측면에서 이론적 이점을 제공하지만, 다음과 같은 중대한 과제에 직면해 있습니다:

1. 추론 비효율성: 표준 이산 확산 모델(예: MDLM)은 양방향 어텐션을 사용하므로 키-값(KV) 캐싱을 사용할 수 없으며, 이로 인해 ARM보다 추론 속도가 느립니다.
2. 학습 오버헤드: 블록 확산(예: BD3LM)과 같은 하이브리드 접근 방식은 시퀀스를 고정된 블록으로 분할하여 인과성을 도입하려고 시도합니다. 그러나 이는 복잡한 어텐션 마스킹과 입력 중복을 초래하여 학습 지연 시간을 최대 3배, 메모리 소비를 2배까지 증가시킵니다.
3. 최적화 불안정성: 확산을 엄격하게 인과적 프레임워크 내에 적용하면 "정보 붕괴(Information Collapse)"가 발생합니다. 인과적 마스크 내에서 초기 토큰은 역사적 맥락이 부족하며, 만약 이들이 마스킹되면 모델은 순수 노이즈로부터 예측을 강요받게 되어 높은 분산의 그래디언트와 불안정한 최적화를 초래합니다.

방법론: CARD 프레임워크

저자들은 ARM의 학습 효율성과 확산 모델의 병렬 추론 능력을 엄격한 인과적 정식화를 통해 통합하는 인과적 자기회귀 확산(Causal Autoregressive Diffusion, CARD) 프레임워크를 제안합니다.

1. 시프트된 인과적 어텐션 (Shifted Causal Attention)

CARD는 엄격한 인과적 어텐션 마스크 내에서 확산 과정을 재정의합니다. 다음 토큰을 깨끗한 히스토리로부터 예측하는 방식(ARM 방식)이나 전체 시퀀스를 양방향 맥락으로부터 예측하는 방식(MDLM 방식) 대신, CARD는 연속 시간 확산 과정에서 샘플링된 오염된 접두사(corrupted prefix) $x_{<n}^t$를 조건으로 원래의 토큰 $x_n$을 예측합니다.

• 메커니즘: 이를 통해 모델은 단일 순방향 패스(forward pass)에서 표준 ARM의 $O(L)$ 효율성을 유지하면서 전체 시퀀스에 걸쳐 조밀한 토큰별 감독(per-token supervision)을 생성할 수 있습니다.
• 추론: 인과적 구조는 KV 캐싱을 가능하게 합니다. 모델은 접두사에 가변적인 수의 [MASK] 토큰을 추가하고, 신뢰도에 기반한 동적 병렬 디코딩을 통해 반복적인 디노이징(denoising)을 수행하며 이들을 병렬로 디코딩할 수 있습니다.

2. 소프트 테일 마스킹 (Soft Tail Masking)

초기 토큰이 맥락을 결여하여 발생하는 "정보 붕괴"를 해결하기 위해, CARD는 소프트 테일 마스킹 전략을 채택합니다.

• 문제: 인과적 모델에서의 균등 무작위 마스킹은 시퀀스의 시작 부분을 손상시켜, 모델이 후속 토큰을 예측하기 위한 히스토리를 갖지 못하게 만들 수 있습니다.
• 해결책: 노이즈는 동적인 테일 윈도우 $[max(0, L-\lambda t \cdot L), L]$에 집중됩니다. 이는 모델이 예측을 고정할 수 있는 깨끗하고 유효한 역사적 접두사를 보장하는 동시에, 테일 부분에 혼합 상태 전이 구역을 생성합니다. 이는 (엄격한 테일 마스킹과 달리) 로컬 의존성을 보존하면서도 충분한 글로벌 히스토리를 보장합니다.

3. 맥락 인식 재가중치 부여 (Context-Aware Reweighting)

표준 글로벌 가중치 방식(예: $1/t$)은 로컬 노이즈 수준이 가변적인 인과적 모델에는 불충분합니다. CARD는 신호 대 잡음비 원리에서 유도된 맥락 인식 재가중치 부여 메커니즘을 도입합니다.

• 메커니즘: 각 토큰의 손실 가중치는 다음 세 가지 차원을 집계하는 로컬 모호성 점수 $S_{local}$에 따라 적응적으로 조정됩니다:
  • 양(Quantity): 히스토리에 마스킹된 토큰의 총 개수.
  • 거리(Distance): 타겟 토큰과 노이즈 사이의 근접성 (즉각적인 맥락이 더 높은 가중치를 가짐).
  • 밀도(Density): 연속적인 부패 (마스크의 구간).
• 효과: 이는 고도의 모호성과 심하게 오염된 맥락에서의 예측에 대한 가중치를 낮추어, EMA(Exponential Moving Average)에 크게 의존하지 않고도 그래디언트 분산을 줄이고 최적화를 안정화합니다.

4. 신뢰도 기반 블록 추론 (Confidence-Based Block Inference)

생성을 위해 CARD는 신뢰도 기반 블록 샘플링 전략을 사용합니다. 마스크 토큰 블록을 초기화하고 반복적인 병렬 디노이징을 수행합니다. 토큰은 예측 확률이 임계값 $\tau$를 초과하는 경우에만 업데이트됩니다. 만약 단계 제한 내에 블록이 완전히 디노이징되지 않으면, 남은 마스크들은 즉시 디코딩됩니다. 이를 통해 처리량과 품질 사이의 동적 제어가 가능합니다.

주요 결과

저자들은 300B 토큰으로 학습된 1B 파라미터 모델을 사용하여 ARM, MDLM, BD3LM과 비교하여 CARD를 평가했습니다.

• 성능: CARD는 평균 제로샷 정확도 **53.2%**를 달성하여 기존 확산 베이스라인(MDLM 및 BD3LM)보다 5.7 포인트 이상 높은 성능을 보였으며, ARM의 생성 품질과 대등한 수준을 기록했습니다. 또한 평가된 8개 도메인 중 6개에서 가장 낮은 퍼플렉서티(perplexity)를 달성했습니다.
• 학습 효율성: CARD는 블록 확산(BD3LM) 대비 학습 지연 시간을 3배 단축했으며, 블록 벡터화의 오버헤드 없이 표준 ARM의 처리량과 일치하는 성능을 보여주었습니다.
• 추론 속도: 신뢰도 기반 디코딩을 통해 CARD는 품질 저하를 거의 없이 ARM 대비 1.7배에서 4.0배 빠른 실제 실행 시간(wall-clock speedup)을 달성했습니다.
• 데이터 효율성: 스케일링 분석에 따르면 CARD는 데이터가 제한적인 환경에서 ARM보다 높은 데이터 효율성을 가집니다. 조기에 포화되는 ARM과 달리, CARD는 반복 학습을 통해 성능을 지속적으로 개선하며, FineWeb-Edu의 일부 데이터셋에서 약 11 에포크 이후 ARM을 능가합니다.

의의 및 주장

본 논문은 CARD가 다음과 같이 이전에 상충되었던 두 가지 목표를 조화시킴으로써 차세대 효율적 LLM을 위한 강력한 패러다임을 구축한다고 주장합니다:

1. 간극 해소: ARM의 학습 안정성과 확산 모델의 병렬 추론 이점 사이의 간극을 성공적으로 메웠습니다.
2. 구조적 제약 극복: 소프트 테일 마스킹을 포함한 엄격한 인과적 정식화를 사용하여, 블록 기반 아키텍처의 계산 오버헤드와 양방향 확산의 추론 지연 문제를 피했습니다.
3. 데이터 잠재력: CARD 프레-워크는 고품질 데이터가 부족한 시나리오에서 우수한 스케일링 솔루션을 제공합니다. 이는 ARM이 보이는 조기 포화 현상을 피하고, 고정된 데이터 분포로부터 여러 에포크에 걸쳐 더 많은 신호를 추출하기 때문입니다.

저자들은 결 결론적으로 CARD가 인과적 확산 설정에서의 조밀한 토큰별 감독이 ARM과 경쟁 가능한 성능을 내는 동시에 병렬 생성의 지연 시간 이점을 끌어낼 수 있음을 입증했다고 밝히고 있습니다.