💬 NLP

Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed

본 논문은 블록 단위 어텐션 패턴과 위치 의존적 토큰 마스킹을 활용하여 사전 학습된 자기회귀 모델을 고효율 확산 언어 모델로 변환하는 Efficient-DLM 프레임워크를 소개하며, 이를 통해 최첨단 모델 대비 뛰어난 정확도와 처리량을 달성함을 보여줍니다.

원저자: Yonggan Fu, Lexington Whalen, Zhifan Ye, Xin Dong, Shizhe Diao, Jingyu Liu, Chengyue Wu, Hao Zhang, Enze Xie, Song Han, Maksim Khadkevich, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yonggan Fu, Lexington Whalen, Zhifan Ye, Xin Dong, Shizhe Diao, Jingyu Liu, Chengyue Wu, Hao Zhang, Enze Xie, Song Han, Maksim Khadkevich, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "Efficient-DLM: Autoregressive 에서 Diffusion 언어 모델로, 그리고 속도 그 이상으로"라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 풀어낸 것입니다.

큰 그림: 교통 체증 vs 고속도로

이야기를 쓰는 두 가지 방식을 상상해 보세요.

오래된 방식 (자기회귀/AR): 이는 일차로와 같습니다. 한 단어를 쓴 다음, 그다음 단어를 쓰고, 또 그다음 단어를 씁니다. 첫 번째 단어가 완성되기 전에는 두 번째 단어를 쓸 수 없습니다. 매우 정확하지만, 모든 단어를 기다리며 줄을 서야 하므로 속도가 느립니다.
새로운 방식 (Diffusion/DLM): 이는 다차로 고속도로와 같습니다. 많은 단어를 동시에 (병렬로) 쓸 수 있습니다. 이론적으로는 훨씬 빨라야 합니다. 하지만 과거에는 이러한 "고속도로"가 울퉁불퉁하고 혼란스러웠으며, 일차로 방식보다 품질이 낮은 이야기를 자주 만들어냈습니다. 또한 건설 (학습) 비용도 매우 비쌌습니다.

문제: 과학자들은 일차로의 품질을 유지하면서 고속도로의 속도를 원했지만, 처음부터 다시 시작하지 않고 (이는 천문학적인 비용이 듭니다) 이를 구축하는 방법을 찾지 못했습니다.

해결책: 이 논문의 저자들은 기존에 존재하는 고품질 "일차로" 모델을 가져와서 빠르고 정확한 "고속도로" 모델로 변환하는 방법을 찾아냈습니다. 그들은 이 새로운 모델 군을 Efficient-DLM이라고 부릅니다.

어떻게 했는가: 세 가지 핵심 비법

이 논문은 이러한 변환을 성공시키기 위해 지켜야 할 세 가지 주요 "규칙"을 제시합니다.

1. "깨끗한 문맥" 규칙 (블록 방식)

과거의 실수: 이전 시도들은 모델이 아직 messy 하거나 누락된 부분까지 포함한 전체 문장을 한 번에 보게 하려 했습니다. 반이나 빈 조각이 있는 퍼즐을 풀면서, 빈 공간이 채워진 것처럼 보게 하는 것과 같습니다. 이는 모델을 혼란스럽게 하여 이전에 배운 것을 잊게 만들었습니다.
해결책: 저자들은 문장을 작은 블록 (책의 장과 같은) 으로 나누기로 결정했습니다.
- 모델은 이미 완성되고 깨끗한 이전 장들을 봅니다.
- messy 한 현재 장만 고치려고 노력합니다.
- 비유: 건설 팀을 생각해 보세요. 그들은 건물을 한 번에 모두 고치려 하지 않습니다. 기초와 1 층 (깨끗한 문맥) 을 완성한 후 2 층 (messy 한 블록) 을 고치러 올라갑니다. 이렇게 하면 구조가 안정적으로 유지되며, 이미 지은 것을 기억하기 위한 "단축키"(KV 캐싱) 를 사용할 수 있어 과정이 훨씬 빨라집니다.

2. "토큰 이동 금지" 규칙 (다음 단계 추측 중단)

과거의 실수: 기존 모델을 변환할 때, 연구자들은 오래된 일차로 모델처럼 모델이 다음 단어를 추측하게 만들었습니다.
해결책: 저자들은 모델이 "다음" 단어를 추측할 필요가 없다는 것을 발견했습니다. 모델은 바로 앞의 누락된 단어를 고치기만 하면 됩니다.
비유: 문서를 편집한다고 상상해 보세요.
- 오래된 방식: 문장을 읽은 후, 현재 문장을 편집하기도 전에 바로 다음 문장을 예측해 봅니다.
- 새로운 방식: 현재 단락의 빈칸을 채우는 데만 집중합니다. 미래를 예측하는 것보다 빈칸을 채우는 것이 더 쉽고 정확하다는 것이 밝혀졌습니다.

3. "위치 의존적 마스킹" 규칙 (왼쪽에서 오른쪽으로의 편향)

문제: 모델을 훈련시킬 때, 과거에는 단어를 무작위로 가렸습니다 (복권 번호 뽑기처럼). 하지만 모델을 실제로 사용할 때 (추론 시), 인간이 읽는 것처럼 자연스럽게 왼쪽에서 오른쪽으로 단어를 완성하는 경향이 있습니다. 이는 훈련과 실제 테스트 간의 불일치를 초래했습니다.
해결책: 저자들은 훈련 방식을 변경하여 모델이 블록의 시작 부분보다 끝 부분의 단어를 가릴 확률이 더 높도록 했습니다.
비유: 선생님이 시험을 채점한다고 상상해 보세요.
- 과거 훈련: 선생님이 페이지의 무작위 질문들을 가립니다.
- 새로운 훈련: 선생님은 학생들이 보통 섹션의 마지막 몇 문제에서 막힌다는 것을 깨닫습니다. 따라서 선생님은 섹션의 끝부분을 가리는 연습을 특별히 합니다. 이는 모델이 왼쪽에서 오른쪽으로 문장을 완성해야 하는 현실 세계에 대비하게 합니다.

결과: 속도와 지능

이 규칙들을 따름으로써, 저자들은 Efficient-DLM 계열 (1.5B, 4B, 8B 크기) 을 만들었습니다.

속도: 기존 최고의 모델들보다 훨씬 빠릅니다. 예를 들어, 그들의 8B 모델은 "Dream"이라는 경쟁 모델보다 4.5 배 빠르고, "Qwen3 4B"보다 2.7 배 빠릅니다.
정확도: 더 빠르지만, 수학, 코딩, 추론 작업에서 그들이 이긴 모델들보다 실제로 더 정확합니다.
유연성: 여러 단어를 한 번에 생성할 수 있기 때문에 튜닝이 가능합니다. 속도가 필요하면 한 번에 많은 단어를 생성하고, 극도의 정밀도가 필요하면 한 번에 적은 단어를 생성합니다. 이는 "레이싱 모드"와 "크루징 모드"를 즉시 전환할 수 있는 차와 같습니다.

요약

논문의 결론은 다음과 같습니다: "우리는 느리지만 정확한 모델을 가져와 고속도로에서 달릴 수 있도록 가르쳤습니다. 이를 위해 작업을 깨끗한 블록으로 조직화하고, 미래를 추측하는 것을 멈추게 하며, 문장의 끝부분에 집중하도록 훈련시켰습니다. 그 결과, 현재 최첨단 모델들보다 더 빠르고 더 똑똑한 모델 군을 만들었습니다."

또한, 이러한 모델들은 양방향으로 텍스트를 볼 수 있기 때문에 검색 및 임베딩 작업에서 텍스트의 "의미"를 이해하는 데 놀라울 정도로 뛰어나며, 기존 단방향 모델들을 능가한다고 지적했습니다.

다음은 논문 "Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed."에 대한 상세한 기술 요약입니다.

1. 문제 제기

자기회귀 (Autoregressive, AR) 대규모 언어 모델 (LLM) 은 최첨단 정확도를 달성하지만, 한 번에 하나의 토큰을 생성하는 순차적 디코딩 병목 현상으로 인해 처리량과 하드웨어 활용도가 제한받으며, 특히 메모리 제약이 있는 시나리오에서 이러한 한계가 두드러집니다.

**확산 언어 모델 (Diffusion Language Models, dLMs)**은 반복적 탈노이즈를 통한 병렬 비자기회귀 생성을 가능하게 함으로써 유망한 대안을 제시합니다. 그러나 기존 dLM 은 두 가지 중요한 과제를 안고 있습니다:

학습 효율성: dLM 을 처음부터 학습시키는 것은 모든 가능한 토큰 순열을 학습해야 하므로 과도하게 비용이 많이 들며, 반면 AR 모델은 왼쪽에서 오른쪽으로의 의존성만 학습합니다.
성능 격차: 사전 학습된 AR 모델을 dLM 으로 변환할 때, 기존 방법들 (종종 완전 양방향 어텐션을 사용함) 은 상당한 정확도 저하를 겪으며 Key-Value (KV) 캐싱을 완전히 활용하지 못해 실제 환경에서는 AR 모델보다 추론 속도가 느립니다.

이 연구가 다루는 핵심 질문은 다음과 같습니다: 사전 학습된 AR 모델을 어떻게 효율적으로 dLM 으로 변환하여 높은 작업 정확도를 유지하면서도 훨씬 빠른 병렬 생성 속도를 달성할 수 있을까요?

2. 방법론: Efficient-DLM 프레임워크

저자들은 사전 학습된 AR 모델을 효율적인 dLM 으로 변환하기 위한 체계적인 접근법인 **연속 사전 학습 (Continuous Pretraining)**을 제안합니다. 그들의 방법론은 다음 세 가지 핵심 기둥에 초점을 맞춥니다:

A. 어텐션 패턴 최적화

이 논문은 어텐션 패턴이 AR 에서 dLM 으로 변환하는 데 있어 가장 결정적인 요소임을 규명합니다.

완전 양방향 어텐션의 한계: 기존 방법들은 전체 시퀀스를 손상시키고 모든 토큰이 서로에게 어텐션할 수 있게 합니다. 이는 원래 AR 모델로부터의 큰 가중치 이동을 초래하고, 인과성을 깨뜨리며, KV 캐싱을 복잡하게 만듭니다.
제안된 해결책: 클린 컨텍스트를 활용한 블록 단위 어텐션:
- 블록 단위 인과성: 시퀀스를 블록으로 나눕니다. 어텐션은 블록 간에는 인과적으로 (한 블록은 이전 블록들만 참조) 작용하지만, 블록 내에서는 양방향으로 작용합니다.
- 클린 컨텍스트 조건부 학습: 학습 중에는 노이즈가 있는 블록이 손상된 컨텍스트가 아닌, 모든 선행 블록의 클린 (완전히 디코딩된) 컨텍스트에 조건부로 학습됩니다.
- 효과: 이 설계는 테스트 시간 추론 과정 (이전 블록들이 완전히 디코딩됨) 을 모방하여 사전 학습된 AR 모델로부터의 가중치 이동을 최소화하고, 네이티브 KV 캐싱을 가능하게 합니다.

B. 위치 의존적 토큰 마스킹

저자들은 토큰 마스킹 전략에서 **학습 - 테스트 간격 (training-test gap)**을 규명합니다.

간격: 기존 dLM 은 균일 마스킹 (위치에 관계없이 토큰을 무작위로 마스킹) 을 사용합니다. 그러나 신뢰도 기반 샘플링을 통한 추론 중에는 탈노이즈가 자연스럽게 왼쪽에서 오른쪽으로 향하는 경향 (신뢰도가 높아짐에 따라 토큰이 왼쪽에서 오른쪽으로 순차적으로 디코딩됨) 을 보입니다.
제안된 해결책: 블록 내 토큰 위치가 끝으로 갈수록 (특히 낮은 노이즈 수준에서) 토큰을 마스킹할 확률이 증가하는 위치 의존적 마스킹 전략입니다.
- 이는 하이퍼파라미터 $\beta$ (또는 반감기 비율 $\lambda$ ) 로 제어됩니다.
- 목표: 학습 분포를 추론 행동과 일치시키기 위해 모델이 학습 중 "더 어려운" 경우 (블록 내 후속 토큰) 를 더 효과적으로 학습하도록 강제하는 것입니다.

C. 학습 역동성과 토큰 시프트

토큰 시프트: 이 논문은 "토큰 시프트" 메커니즘 (마스킹된 토큰 자체가 아닌 다음 토큰을 예측하는 것, 일부 AR-to-dLM 변환에서 일반적임) 이 불필요하며 잠재적으로 해로울 수 있음을 발견했습니다. 이를 제거하면 정확도가 향상됩니다.
학습 예산: 저비용 학습 (~~10B 토큰) 은 대부분의 AR 정확도를 회복하지만, 확장된 학습 (~~100B+ 토큰) 은 가능성 추정 (likelihood estimation) 을 크게 개선하여 정확도 손실 없이 더 공격적인 병렬 디코딩 (더 높은 처리량) 을 가능하게 합니다.

3. 주요 기여

Efficient-DLM 모델 패밀리: Qwen2.5 및 Qwen3 AR 모델에서 변환된 새로운 모델 패밀리 (1.5B, 4B, 8B) 를 공개하여 최첨단 AR 및 dLM 베이스라인 모두를 능가합니다.
클린 컨텍스트를 활용한 블록 단위 어텐션: AR 가중치 분포를 보존하고 KV 캐싱을 가능하게 하는 새로운 학습 방식으로, 정확도 - 효율성 트레이드오프를 해결합니다.
위치 의존적 마스킹: 학습 - 추론 간격을 해소하는 전략으로, 공격적인 병렬 디코딩 설정 하에서 성능을 크게 향상시킵니다.
종합 분석: 블록 크기, 어텐션 패턴, 학습 역동성에 대한 체계적인 연구를 통해 커뮤니티에 실행 가능한 지침을 제공합니다.

4. 실험 결과

Efficient-DLM 모델은 12 가지 작업 (수학, 코딩, 추론 등) 에서 최첨단 AR 모델 (Qwen3, Llama3.2) 과 dLM(Dream, LLaDA) 에 대해 벤치마크되었습니다.

정확도 vs 처리량:
- Efficient-DLM 8B는 Dream 7B보다 4.5 배 높은 처리량으로 +5.4% 더 높은 정확도를 달성합니다.
- Qwen3 4B와 비교할 때, Efficient-DLM 8B 는 2.7 배 높은 처리량으로 +2.7% 더 높은 정확도를 달성합니다.
- Qwen3 8B 보다 정확도에서 우위를 점하면서도 훨씬 더 나은 처리량을 제공합니다.
유연성: 단일 Efficient-DLM 모델은 추론 중 신뢰도 임계값을 조정하여 정확도와 속도를 동적으로 균형 잡을 수 있으며, 다양한 배포 시나리오를 위한 "원스톱 솔루션"을 제공합니다.
텍스트 임베딩: 양방향 특성으로 인해 Efficient-DLM 은 동일한 크기의 AR 모델보다 텍스트 임베딩 작업 (MTEB 벤치마크) 에서 크게 우위를 점하며, 약 7-10% 의 평균 향상을 보입니다.
애블레이션 연구:
- 양방향 어텐션에서 클린 컨텍스트를 활용한 블록 단위 어텐션으로 전환하면 평균 정확도가 약 19% 향상되었습니다.
- 위치 의존적 마스킹을 추가하면 공격적인 병렬 디코딩 하에서 정확도가 약 2.6% 향상되었습니다.

5. 중요성과 영향

패러다임 전환: 이 연구는 변환 과정이 올바르게 최적화된다면 dLM 이 AR 모델보다 더 빠르고 더 정확할 수 있음을 보여줍니다. dLM 이 본질적으로 더 느리거나 정확도가 낮다는 통념에 도전합니다.
실용적 배포: KV 캐싱과 병렬 디코딩을 가능하게 함으로써 Efficient-DLM 은 제한된 하드웨어에서도 고투과량 LLM 추론을 실현 가능하게 하여, 실제 응용 프로그램의 주요 병목 현상을 해결합니다.
확장성: 이 연구 결과는 기존 대규모 AR 모델 (Qwen, Llama 등) 을 처음부터 학습할 필요 없이 효율적인 dLM 으로 변환할 수 있는 확장 가능한 레시피를 제공하여, 확산 기반 생성 채택 비용을 획기적으로 줄입니다.
향후 방향: 이 논문은 dLM 이 생성을 위한 대안에 그치는 것이 아니라, 양방향 컨텍스트 (임베딩 등) 와 계획이 필요한 작업에 더 우수한 후보임을 시사합니다.

요약하자면, Efficient-DLM은 신중한 아키텍처 설계 (블록 단위 어텐션) 와 학습 전략 정렬 (위치 의존적 마스킹) 을 통해 효율성과 정확도 병목 현상을 해결함으로써 확산 언어 모델의 새로운 최첨단 기준을 확립합니다.