💬 NLP

Esoteric Language Models: A Family of Any-Order Diffusion LLMs

이 논문은 인과적 어텐션(causal attention)을 사용하여 KV 캐싱과 병렬 생성을 가능하게 함으로써 무조건적 생성(unconditional generation)의 속도-품질 파레토 프런티어에서 새로운 최첨단 성능을 확립하는, 자기회귀(autoregressive) 및 마스크 확산(masked diffusion) 패러다임을 결합한 새로운 확산 언어 모델 제품군인 Eso-LMs를 소개한다.

원저자: Subham Sekhar Sahoo, Zhihan Yang, Yash Akhauri, Johnna Liu, Deepansha Singh, Zhoujun Cheng, Zhengzhong Liu, Eric Xing, John Thickstun, Arash Vahdat

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Subham Sekhar Sahoo, Zhihan Yang, Yash Akhauri, Johnna Liu, Deepansha Singh, Zhoujun Cheng, Zhengzhong Liu, Eric Xing, John Thickstun, Arash Vahdat

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이야기를 쓰려고 노력하고 있다고 상상해 보세요. 하지만 당신에게는 두 가지 매우 다른 방식이 있습니다.

기존 방식 (자기회귀 모델 - Autoregressive Models):
이것은 문장을 왼쪽에서 오른쪽으로 한 번에 한 단어씩 쓰는 것과 같습니다. 당신은 "그"를 쓰고, 그다음 단어를 생각한 뒤 "고양이가"를 쓰고, 그다음 "앉았다"를 쓰는 식입니다. 이 방식은 매우 정확하고 품질이 높지만, 매우 느립니다. 왜냐하면 이전 단어를 끝내기 전까지는 다음 단어를 쓸 수 없기 때문입니다. 마치 키보드로 타이핑하는 한 사람과 같습니다. 한 사람이 동시에 두 개의 키를 누를 수는 없는 법이죠.

"디퓨전(Diffusion)" 방식 (마스크드 디퓨전 모델 - Masked Diffusion Models):
이제, 모든 단어가 마스크(예: "____") 뒤에 숨겨져 있는 빈 페이지를 상상해 보세요. 단어를 하나씩 쓰는 대신, 당신은 동시에 많은 단어를 추측합니다. 첫 번째, 세 번째, 다섯 번째 단어를 동시에 추측할 수 있습니다. 그런 다음 당신의 추측을 확인하고, 틀린 부분을 수정하고, 다시 추측합니다. 이 방식은 페이지 전체를 한꺼번에 작업하기 때문에 매우 빠릅니다. 하지만 한 번에 너무 많은 것을 추측하다 보니 이전 작업 내용을 확인하지 못해 실수를 할 수 있고, 결과적으로 최종 이야기가 "기존 방식"만큼 완벽하지 않을 수 있습니다. 또한, 지금까지 이 방식은 비효율적이었습니다. 왜냐로 인해 매번 새로운 추측을 할 때마다 이미 해결된 부분까지 포함하여 페이지 전체를 처음부터 다시 읽어야 했기 때문입니다.

새로운 솔루션: "에소테릭 언어 모델" (Esoteric Language Models, Eso-LMs)

연구진은 Eso-LMs(Esoteric Language Models)라는 새로운 방법을 개발했습니다. 그들은 이 모델이 두 방식 사이의 기묘한 경계를 탐구하며 다소 독특하기 때문에 "에소테릭(Esoteric, 난해한/비전의)"이라고 부릅니다.

Eso-LMs를 다음과 같은 하이브리드 팀이라고 생각해 보세요. 이 팀은 두 방식의 장점만을 결합했습니다.

"그룹 추측" 단계 (The "Group Guessing" Phase): 먼저, 모델은 디퓨전 방식처럼 행동합니다. 페이지 전체를 보고 동시에 여러 단어를 추측합니다. 이는 빠르며 넓은 범위를 빠르게 커버합니다.
"다듬기" 단계 (The "Polishing" Phase): 그룹이 어느 정도 시작을 잘 마쳤다면, 모델은 남은 빈칸을 채우기 위해 "기존 방식"(한 단어씩 쓰는 방식)으로 전환합니다.

이것이 왜 중요한 일인가요?

이 논문은 세 가지 주요 돌파구를 주장합니다.

1. "메모리 뱅크" (KV 캐싱 - KV Caching)
기존의 디퓨전 방식에서는 모델이 단어를 추측할 때마다 이미 해결된 부분을 포함하여 이야기 전체를 처음부터 다시 읽어야 했습니다. 이는 마치 학생이 하나의 사실을 확인하려고 책 한 권을 통째로 다시 읽는 것과 같습니다.
Eso-LMs는 "메모리 뱅크"(KV 캐싱이라 불림)를 도입했습니다. 일단 단어가 결정되면, 모델은 그것을 메모리에 저장합니다. 다음 단어를 추측해야 할 때, 모델은 전체를 다시 읽는 대신 이 메모리 뱅크를 살펴봅니다.

결과: 이 모델은 긴 이야기를 작성할 때 기존 디퓨전 방식보다 14배에서 65배 더 빠르며, 이전의 "블록(block)" 방식보다도 3~4배 더 빠릅니다.

2. 완벽한 균형 (파레토 최적 - The "Pareto Frontier")
보통, 당신은 속도와 품질 중 하나를 선택해야 합니다. 빠르게 만들고 싶다면 엉망이 되고, 완벽하게 만들고 싶다면 느려집니다.
Eso-LMs는 부드러운 슬라이딩 스케일을 제공합니다. 당신은 모델에게 이렇게 말할 수 있습니다: "나는 80%의 속도와 20%의 완벽함을 원해", 또는 "나는 20%의 속도와 80%의 완벽함을 원해".

결과: 이 모델은 새로운 "최첨단 성능(State of the Art)"을 달성합니다. 단순히 중간에 머무는 것이 아니라, 모든 속도 설정에서 이전 방식들을 압도합니다. 매우 빠르게 작동할 때조차도, 이전의 "블록" 방식이 가졌던 문제인 '쓰레기 같은 텍스트를 생성하는 현상'이 나타나지 않습니다.

3. "진정한 점수" 계산 (Calculating the "True Score")
머신러닝에서 디퓨전 모델이 얼마나 "좋은지" 정확히 아는 것은 어렵습니다. 왜냐하면 수학적 계산이 너무 복잡하여 정확한 해를 구하기 어렵기 때문입니다.
Eso-LMs는 특정 유형의 어텐션(Attention, 모델이 단어를 바라보는 방식)을 사용하기 때문에, 연구진은 처음으로 모델의 정확한 점수(Likelihood)를 계산할 수 있는 방법을 찾아냈습니다.

결과: 이를 통해 더 나은 훈련과 테스트가 가능해졌으며, 모델을 더욱 똑똑하게 만들기 위한 고급 기술(예: 강화 학습)을 사용할 수 있는 길을 열었습니다.

요약하자면

이 논문은 여러 단어를 동시에 추측하는 속도와 단어를 하나씩 써 내려가는 정확도를 결합한 새로운 텍스트 생성 방식을 제시합니다. "메모리 뱅크"를 빠른 방식에 추가함으로써, 그들은 디퓨전 모델을 오랫동안 가로막았던 속도 문제를 해결하고 놀라운 효율성을 달 수 있었습니다. 그들이 이를 "에소테릭(Esoteric)"이라고 부르는 이유는, 두 가지 서로 다른 철학을 영리하고 약간은 이례적인 방식으로 혼합하여 각각의 방식보다 더 나은 결과를 만들어냈기 때문입니다.

기술 요약: 에소테릭 언어 모델 (Esoteric Language Models, Eso-LMs)

문제 정의

확산 언어 모델(Diffusion Language Models, MDMs)은 병렬 및 제어 가능한 생성을 가능하게 함으로써 자기회귀(Autoregressive, AR) 모델에 대한 매력적인 대안을 제시한다. 그러나 기존의 MDM들은 두 가지 결정적인 한계에 직면해 있다:

추론 효율성: 병렬 생성 능력에도 불구하고, MDM은 **KV 캐싱(KV caching)**의 부재로 인해 실제 적용 시 AR 모델보다 현저히 느리다. 표준 MDM은 양방향 어텐션을 사용하므로 디노이징 과정 동안 키-값(key-value) 상태를 재사용할 수 없다.
생성 품질: MDM은 복잡한 언어 작업에서 일반적으로 AR 모델보다 높은 퍼플렉시티(낮은 가능도)를 보인다.
보간 접근 방식의 한계: 고정된 길이의 블록을 순차적으로 수행하는 블록 디퓨전(Block Diffusion, BD3-LMs)과 같은 최근의 시도들은 낮은 샘플링 단계(low NFE)에서 샘플 품질이 저하되며, 불완전한 KV 캐싱(블록 간에는 캐싱되지만 블록 내부에서는 되지 않음)만을 제공한다.

방법론

저자들은 AR과 마스크 디퓨전(Masked Diffusion) 패러다임을 융합한 하이브리드 프레임워크인 **에소테릭 언어 모델(Esoteric Language Models, Eso-LMs)**을 제안한다. 핵심 혁신은 생성 과정을 전체 디퓨전과 전체 자기회귀 사이의 매끄러운 보간으로 취급하며, 이를 $\alpha_0$ (디퓨전을 통해 생성될 것으로 기대되는 토큰의 비율)라는 파라미터에 의해 제어하는 데 있다.

1. 하이브리드 생성 프로세스

Eso-LMs는 생성 과정을 두 단계로 분해한다:

디퓨전 단계 (Diffusion Phase): MDM 구성 요소가 부분적으로 마스킹된 시퀀스를 병렬로 생성한다.
순차 단계 (Sequential Phase): AR 구성 요소가 나머지 마스크 토큰을 왼쪽에서 오른쪽으로 순차적으로 채운다.
모델은 AR과 MDM 목적 함수를 결합한 **하이브리드 손실(hybrid loss)**로 학습되어, 두 패러다임의 퍼플렉시티 사이를 보간할 수 있게 한다.

2. 어텐션 메커니즘 및 KV 캐싱

단일 트랜스포머 내에서 두 가지 생성 스타일을 모두 지원하기 위해, 저자들은 유연한 **어텐션 바이어스 행렬(attention bias matrix)**을 도입한다.

인과적 어텐션 (Causal Attention): 이전의 MDM들이 양방향 어텐션을 사용하는 것과 달리, Eso-LMs는 인과적(왼쪽에서 오른쪽 방향) 어텐션을 채택한다.
셔플링 전략 (Shuffling Strategy): 디퓨전 단계를 위한 학습 과정 중, 입력 시퀀스는 깨끗한 토큰이 마스킹된 토큰보다 앞에 오도록 셔플링된다. 이를 통해 모델은 표준 인과적 어텐션을 사용하면서도 무작위 순서로 토큰을 예측하는 법(Any-Order AR)을 학습할 수 있다.
정확한 KV 캐싱 (Exact KV Caching): 인과적 어텐션을 강제함으로써, 모델은 디노이징되는 토큰에 대한 키와 값을 캐싱할 수 있다. 저자들은 현재 업데이트될 마스크 토큰 세트와 깨끗한 토큰에 대해서만 순전파(forward pass)를 제한하는 **통합 디노이징 스케줄(unified denoising schedule)**을 구현하여, 불필요한 계산을 제거하고 MDM 최초로 정확한 KV 캐싱을 가능하게 했다.

3. 계산 가능한 가능도 추정 (Tractable Likelihood Estimation)

이 논문의 중요한 이론적 기여는 MDM을 위한 최초의 (점근적으로) 정확한 가능도 공식을 도출한 것이다.

MDM과 Any-Order AR 모델 간의 연결 고리를 활용하여, 저자들은 특정 입력 시퀀스의 순열을 사용하여 단 한 번의 순전파만으로 NELBO(Negative Evidence Lower Bound)를 계산할 수 있음을 보여준다.
저자들은 샘플 수가 증가함에 따라 정확한 가능도로 수렴하는 중요도 가중치(Importance-Weighted, IW) 경계를 제안하며, 이는 양방향 특성 때문에 기존의 표준 MDM에서는 다루기 힘들었던 과제였다.

주요 기여

새로운 하이브리드 프레임워크: 디퓨전의 이점을 유지하면서 AR의 퍼플렉시티와의 격차를 좁히는, 디퓨전과 AR 사이의 미세한 보간을 가능하게 하는 Eso-LMs를 도입했다.
최첨단 효율성: 디퓨전 중 정확한 KV 캐싱을 가능하게 하면서도 병렬 생성을 유지함으로써, Eso-LMs는 무조건적 생성(unconditional generation)에 대한 새로운 **속도-품질 파레토 프런티어(speed-quality Pareto frontier)**를 달 수성했다.
우수한 저-NFE 성능: 낮은 샘플링 단계에서 품질이 크게 떨어지는 BD3-LMs와 달리, Eso-LMs는 저-NFE 영역에서는 MDM과 경쟁력을 유지하고, 고-N로 영역에서는 AR 모델과 경쟁력을 유지한다.
긴 컨텍스트에서의 속도 향상: 긴 컨텍스트에서 Eso-LMs는 표준 MDM보다 14~65배 빠르며, 블록 디퓨전 베이스라인(BD3-LMs)보다 3~4배 빠르다.
정확한 가능도 공식: MDM을 위한 최초의 정확한 가능도 공식을 도출하여, GRPO와 같은 강화 학습(RL) 기법을 디퓨전 모델에 적용할 수 있는 길을 열었다.

실험 결과

저자들은 LM1B 및 OpenWebText 데이터셋에서 Eso-LMs를 평가했다.

퍼플렉시티: Eso-LMs는 디퓨전과 AR의 퍼플렉시티 사이를 매끄럽게 보간한다. 순수 디퓨전 모드( $\alpha_0=1$ )는 (인과적 어텐션으로의 전환으로 인해) MDLM보다 약간 높은 퍼플렉시티를 보이지만, 경쟁력 있는 성능을 달성한다.
속도-품질 트레이드오프: 무조건적 생성 작업에서 Eso-LMs는 새로운 SOTA 파레토 프런티어를 구축한다. 이들은 낮은 샘플링 단계에서 나타나는 BD3-LMs의 품질 붕괴 현상을 방지한다.
지연 시간 (Latency): 시퀀스 길이가 8192일 때, Eso-LMs는 MDLM보다 약 65배 빠르고 BD3-LMs보다 3.8배 빠르다.
제로샷 성능: 모델은 다운스트림 제로샷 가능도 작업에서 경쟁력 있는 정확도를 유지한다.

의의 및 주장

본 논문은 Eso-LMs가 AR과 디퓨전 모델의 강점을 성공적으로 통합함으로써 언어 모델링의 패러다임 전환을 나타낸다고 주장한다.

격차 해소: 본 연구는 생성 속도와 샘플 품질 사이의 트레이드오프가 고정된 것이 아니며, 두 패러다임을 융합함으로써 최적화될 수 있음을 입증한다.
실용적 생존 가능성: 디퓨전 모델의 KV 캐싱 병목 현상을 해결함으로써, 본 논문은 디퓨전 기반 언어 모델이 현재 AR 모델이 지배하고 있는 실시간 애플리케이션(예: 채팅 시스템)에서 실행 가능한 수준이 될 수 있다고 주장한다.
이론적 발전: MDM에 대한 정확한 가능도 공식의 도출은, 이전에는 계산적으로 불가능했던 가능도 기반 목적 함수(예: RL)를 사용하여 디퓨전 모델을 훈련하고 미세 조정하는 새로운 경로를 열어준다.

저자들은 Eso-LMs를 단순한 점진적 개선이 아니라, 최적의 효율성과 품질을 달기 위해 디노이징 트랜스포머 아키텍처를 근본적으로 재고하고 언어 모델 설계의 "에소테릭(esoteric, 비의적)"한 경계를 탐구하는 모델로 규정한다.