AR-MAP: Are Autoregressive Large Language Models Implicit Teachers for Diffusion Large Language Models?

기술 요약: AR-MAP

문제 정의

확산 대규모 언어 모델(Diffusion Large Language Models, DLLMs)은 병렬 토큰 생성을 가능하게 하여 추론 효율성을 크게 향상시킴으로써 자기회귀(Autoregressive, AR) 모델의 유망한 대안을 제시합니다. 그러나 DLLM을 인간의 선호도에 정렬(Alignment)하는 것은 여전히 중요한 병목 구간입니다. AR 모델과 달리, DLLM은 훈련 시 ELBO(Evidence Lower Bound) 우도 추정에 의존합니다. 이 방식은 두 가지 근본적인 문제를 야기합니다:

1. 높은 분산(High Variance): ELBO는 타임 스텝과 마스킹된 데이터에 대한 중첩된 기댓값을 포함하므로, 이중 확률적 몬테카를로(doubly stochastic Monte Carlo) 추정이 필요합니다. 이는 선호도 최적화(예: DPO) 과정에서 훈련을 불안정하게 만드는 높은 분산을 초래합니다.
2. 계산 오버헤드: 이러한 분산을 완화하기 위한 기존 방법들(예: VRPO와 같이 디코딩 타임 스텝을 늘리는 방식)은 막대한 계산 비용을 발생시켜, 확산 패러다임이 가진 효율성의 이점을 상쇄합니다.

결과적으로, DLLM 정렬에 있어 생성 품질과 계산 비용 사이의 최적의 균형을 달하는 것은 여전히 해결되지 않은 과제로 남아 있습니다.

방법론: AR-MAP

저자들은 선호도가 정렬된 AR-LLM을 활용하여, 확산 모델에 대한 직접적이고 분산이 높은 훈련 없이도 DLLM 정렬을 가이드하는 전이 학습 프레임워크인 AR-MAP(Autoregressive Large Language Models as Implicit Teachers for Diffusion Large Language Models)을 제안합니다.

핵심 개념

이 프레임워크는 효율적이고 결정론적으로 훈련되는 AR-LLM이 DLLM으로 전이될 수 있는 강력한 선호도 정렬 지식을 보유하고 있다는 가설을 바탕으로 구축되었습니다. 이 방법은 기본 AR-LLM과 선호도가 정렬된 버전 사이의 가중치 차이를 하나의 "태스크 벡터(task vector)"로 취급합니다. 이 벡터는 이후 DLLM으로 전이됩니다.

주요 단계

1. 태스크 벡터 추출:

   • 표준 DPO를 사용하여 AR-LLM을 미세 조정함으로써 정렬된 AR 모델($W_{AR}^{aligned}$)을 생성합니다.
   • 태스크 벡터($\tau_{pref}$)는 정렬된 AR 가중치와 기본 AR 가중치의 차이로 계산됩니다: $\tau_{pref} = W_{AR}^{aligned} - W_{AR}$.
   • 마찬가지로, 확산 적응 벡터($\tau_{diffusion}$)는 기본 AR 가중치와 기본 DLLM 가중치의 차이로부터 도출됩니다.

2. 스펙트럼 분석 및 스케일링 법칙:

   • 저자들은 특이값 분해(SVD)를 통해 "스펙트럼 섀도잉(Spectral Shadowing)" 현상을 관찰했습니다. 즉, 확산 적응 벡터($\tau_{diffusion}$)의 스펙트럼 노름(spectral norms)이 선호도 정렬 벡터($\tau_{pref}$)보다 수 자릿수 더 큽니다.
   • 개입이 없다면, 거대한 확산 가중치가 더 작은 선호도 신호를 "가려버려(shadowing)" 전이를 효과적이지 않게 만듭니다.
   • 해결책: 선호도 태스크 벡터는 병합 전 신호 대 잡음비(SNR)를 증폭시키기 위해 반드시 크게 스케일링($\gamma \cdot \tau_{pref}$)되어야 합니다.

3. 보상 기반 탐색 알고리 알고리즘:

   • 최적의 스케일링 인자 $\gamma$를 결정하기 위해, 저자들은 보상 기반 탐색 전략을 제안합니다.
   • 복잡한 우도 추정에 의존하는 대신, 이 알고리즘은 **배치 보상 정확도(Batch Reward Accuracy)**를 최대화하는 $\gamma$를 탐색합니다. 이 지표는 샘플링된 훈련 배치 상에서 병합된 모델이 선호되는 응답($y_w$)에 대해 비선호되는 응답($y_l$)보다 더 높은 암묵적 보상을 할당하는 일관성을 측정합니다.
   • 최적의 $\gamma$는 쌍체 판별 능력(pairwise discrimination capability)을 최대화하도록 선택됩니다: $\hat{\gamma} = \arg \max_{\gamma} \frac{1}{|B|} \sum I[r_\gamma(x, y_w) > r_\gamma(x, y_l)]$.

4. 가중치 전이:

   • 최종 DLLM 가중치는 기본 DLLM에 스케일링된 선호도 태스크 벡터를 병합하여 얻습니다: $W_{DLLM}^{final} \approx W_{DLLM} + \gamma \cdot \tau_{pref}$.

주요 기여

1. 가중치 매핑 규명: 본 논문은 서로 다른 아키텍처(AR-LLM 및 DLLM) 간의 가중치 매핑 관계를 입증하여, 정렬 지식이 가중치 보간(weight interpolation)을 통해 전이될 수 있음을 보여주는 첫 번째 증거를 제시합니다.
2. 효율적인 정렬 프레임워크 (AR-MAP): 저자들은 DLLM의 고분산 ELBO 훈련을 우회하는 새로운 프레임워크인 AR-MAP을 도입합니다. 안정적이고 효율적인 AR-LLM을 훈련하고 그 결과물인 태스크 벡터를 전이함으로써, AR-MAP은 최소한의 계산 오버헤드로 정렬을 달성합니다.
3. 스펙트럼 섀도잉 및 스케일링 법칙: 본 연구는 확산 가중치가 선호도 신호를 압도하는 "스펙트럼 섀도잉" 효과를 식별했습니다. 또한 태스크 벡터 스케일링의 필요성을 확립하고, 최적의 스케일링 인자를 자동으로 결정하는 보상 기반 탐색 알고리즘을 제안했습니다.
4. 탐색적 발견: 실험을 통해 도메인에 따라 흡수(absorption) 정도가 달라짐을 밝혔습니다. AR-MAP은 논리적 추론에서는 "보존 모드(Preservation Mode)"(보수적인 이득)로 작동하지만, 개방형 생성(open-ended generation)에서는 "유의미한 강화(Significant Enhancement)" 엔진으로서 확산 모델의 선호도 공백을 효과적으로 채워줍니다.

실험 결과

저자들은 SDAR-8B 및 Dream-7B와 같은 모델을 사용하여 6가지 작업(진실성, 유용성, 수학적 추론)에 대해 AR-MAP을 평가했습니다.

• 성능: AR-MAP은 모든 작업과 모델에 대해 평균 **69.08%**의 점수를 기록하며, 기존의 DLLM 전용 정렬 방법들을 능가했습니다.
  • SDAR-8B 백본에서 AR-MAP은 72.23을 달성하여, 분산을 줄이기 위해 비용이 많이 드는 샘플링을 요구하는 방법인 VRPO(70.32)를 앞질렀습니다.
  • Dream-7B 백본에서 AR-MAP은 65.94를 기록하여, VRPO(64.23) 및 SimPO(56.30)를 크게 상회했습니다.
• 효율성: 이 방법은 직접적인 DLLM 정렬에 필요한 반복적이고 고분산인 훈련 루프를 피하고, 대신 효율적인 AR-LLM 훈련과 간단한 가중치 병합 단계를 활용합니다.
• 일반화: 이 접근 방식은 다른 모델 병합 기법(예: Ties, DARE)과도 호환됨을 보여주었으나, 성능은 특정 병합 알고리즘의 가중치 스케일링 민감도에 따라 차이가 있었습니다.

의의

본 논문은 AR-MAP이 어떻게 자기회귀 아키텍처와 확산 아키텍처 사이의 간극을 성공적으로 메우는지 주장합니다. AR-LLM을 "암묵적 스승(implicit teachers)"으로 취급함으로써, 이 프레임워크는 DLLM이 ELBO 기반 최적화의 고유한 불안정성을 겪지 않고도 고품질의 선호도 정렬 능력을 상속받을 수 있게 합니다. 이는 DLLM의 확장을 위한 실질적인 경로를 제공하며, DLLM이 병렬 생성의 이점을 유지하면서도 자기회귀 모델과 경쟁할 수 있는 성능을 갖추도록 합니다. 본 연구는 "태스크 벡터" 패러다임이 근본적으로 다른 생성 패러다임 간에 지식을 전이하는 강력한 메커리즘임을 시사합니다.