💬 NLP

Unifying Masked Diffusion Models with Various Generation Orders and Beyond

본 논문은 기존 이산 확산 모델보다 우수한 언어 생성 성능을 달성하기 위해 다양한 생성 순서를 통합하고, 확산 백본과 함께 순서 정책들을 처음부터 공동으로 최적화하는 Order-Expressive Masked Diffusion Model(OeMDM) 프레임워크와 그 학습 가능한 변형인 LoMDM을 소개합니다.

원저자: Chunsan Hong, Sanghyun Lee, Jong Chul Ye

게시일 2026-05-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chunsan Hong, Sanghyun Lee, Jong Chul Ye

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "다양한 생성 순서 및 그 이상을 위한 마스킹 확산 모델 통합 (Unifying Masked Diffusion Models with Various Generation Orders and Beyond)"이라는 논문을 쉬운 언어와 창의적인 비유로 설명한 내용입니다.

큰 그림: "무작위 화가"를 고치기

로봇에게 그림을 그리도록 가르치려 한다고 상상해 보세요. 하지만 인간 예술가처럼 빈 캔버스에서 시작해 한 번에 한 붓씩 추가하는 대신, 완전히 회색 물감으로 덮인 캔버스에서 시작합니다.

로봇의 임무: 로봇은 회색 물감 중 어떤 부분을 지워야 최종 이미지가 드러나는지 파악해야 합니다. 이것이 **마스킹 확산 모델 (MDM)**이 텍스트를 작성하는 방식입니다. "마스킹 (회색 물감)"으로 가득 찬 문장으로 시작해, 완전한 문장이 나타날 때까지 단어를 하나씩 마스킹을 제거해 나갑니다.

문제점: 이전 버전의 로봇은 회색 물감을 지우는 순서가 무작위였습니다. 문장의 마지막 단어를 먼저 지우고, 그 다음 첫 번째 단어, 그리고 중간 단어를 지울 수도 있습니다.

비유: 퍼즐을 맞추려는데, 눈을 감고 가방에서 조각을 꺼내야 한다고 상상해 보세요. 하늘 중앙에 모서리 조각을 끼워 넣으려 할지도 모릅니다. 결국은 해결되지만 비효율적이며, 최종 그림은 종종 다소 지저분해 보입니다.

이 논문은 로봇이 단어를 추측하는 능력만큼이나 단어를 드러내는 순서가 중요하다고 주장합니다.

1 부: "범용 번역기" (OeMDM)

저자들은 먼저 **OeMDM(순서 표현형 마스킹 확산 모델)**이라는 새로운 프레임워크를 구축했습니다. 이는 서로 다른 작성 방식에 대한 범용 번역기와 같습니다.

기존 방식:
- 자기회귀 모델 (ARMs): "첫 번째 단어를 쓰고, 그 다음 두 번째, 그 다음 세 번째를 써야 한다"고 말하는 엄격한 선생님처럼 행동합니다. (왼쪽에서 오른쪽으로)
- 블록 확산: "처음 네 단어를 쓰고, 그 다음 네 단어를 써라"고 말하는 선생님처럼 행동합니다.
- 무작위 확산: "다음에 쓰고 싶은 단어를 아무거나 골라라"고 말하는 선생님처럼 행동합니다.
OeMDM 의 혁신: 저자들은 이러한 서로 다른 방법들이 사실은 동일한 기계의 서로 다른 설정에 불과하다는 것을 깨달았습니다. 그들은 **스케줄 (다음에 어떤 단어를 드러낼지 결정하는 규칙)**을 변경하는 것이 전체 과정을 어떻게 바꾸는지 보여주는 수학적 "렌즈"를 만들었습니다.
- 비유: 지휘자를 상상해 보세요. 이전에는 행진곡용 엄격한 지휘자 (왼쪽에서 오른쪽), 재즈 즉흥 연주용 지휘자 (무작위), 그리고 블록 리듬용 지휘자가 있었습니다. 저자들은 악보 (스케줄) 만 변경하면 어떤 스타일이든 지휘할 수 있는 슈퍼 지휘자를 만들어, 이 모두가 동일한 오케스트라의 일부임을 증명했습니다.

2 부: "스마트 지휘자" (LoMDM)

범용 번역기를 만든 후, 그들은 이렇게 물었습니다. "왜 우리가 수동으로 스케줄을 선택해야 할까요? 왜 로봇이 스스로 가장 좋은 스케줄을 배우지 않나요?"

이것은 그들의 주요 발명품인 **LoMDM(학습 가능 순서 마스킹 확산 모델)**으로 이어졌습니다.

작동 원리: 로봇이 단순히 단어를 추측하는 대신, 이제 문장의 맥락에 따라 다음에 어떤 단어를 드러낼지 결정하는 **두 번째 뇌 (스케줄러)**를 갖게 됩니다.
- 비유: 복잡한 요리를 하는 셰프를 상상해 보세요.
  - 구형 로봇: 셰프가 재료를 무작위 순서로 냄비에 던져 넣고 수프가 맛있기를 바랍니다.
  - LoMDM: 셰프는 "좋습니다, 수프가 끓고 있지만 당근을 넣기 전에 지금 소금이 필요합니다. 당근은 기다려도 됩니다"라고 속삭이는 스마트한 조력자를 가지고 있습니다.
- 로봇은 "the"나 "and"와 같은 단어들이 구조적이며 문장의 뼈대를 만들기 위해 일찍 드러나야 한다는 것을 학습합니다. 반면 특정 명사나 동사와 같은 단어들은 맥락이 더 명확해질 때 나중에 드러나야 합니다.
마법 같은 트릭: 로봇은 "단어"와 "순서"를 동시에 단일 목표를 통해 학습합니다. 두 개의 별도의 학습 단계가 필요하지 않습니다. 마치 페달을 밟는 법을 먼저 배우고 나중에 균형을 잡는 법을 배우는 대신, 자전거를 타면서 동시에 균형을 잡는 것과 같습니다.

3 부: 결과 (경주)

저자들은 여러 언어 작업에서 기존 로봇과 새로운 로봇 (LoMDM) 을 비교 테스트했습니다.

결과: LoMDM 은 더 빠르고 더 우수했습니다.
- 속도: 기존 최우수 모델과 동일한 품질 수준에 도달하는 데 20% 미만의 시간(또는 학습 단계) 이 소요되었습니다.
- 품질: 더 일관성 있고 "퍼플렉시티 (perplexity)"가 낮은 텍스트를 생성했습니다. (텍스트가 덜 혼란스럽고 더 자연스럽다는 것을 나타내는 고급 용어)
- "거칠기에서 정밀함으로" 발견: LoMDM 이 어떻게 작성하는지 살펴보면 패턴이 드러났습니다. 왼쪽에서 오른쪽으로 쓰지 않았습니다. 대신 구조를 먼저, 세부 사항을 나중에 작성했습니다.
  - 예시: "on", "the", "mat"(세부 사항) 을 드러내기 전에 "The", "cat", "sat"(뼈대) 를 드러냈습니다. 벽지를 붙이기 전에 집의 뼈대를 먼저 짓는 것과 같습니다.

한 문장으로 요약한 내용

저자들은 무엇을 말할지 언제 말할지를 동시에 학습하는 새로운 AI 시스템을 구축하여, 순서를 무작위로 추측하거나 엄격한 규칙을 따르는 이전 방법들보다 훨씬 빠르고 자연스럽게 텍스트를 작성할 수 있게 했습니다.

이 논문이 주장하지 않는 것

이것이 의료 도구나 임상 장비라고 주장하지 않습니다.
이것이 인간 작가를 완전히 대체하거나 모든 AI 문제를 해결할 것이라고 주장하지 않습니다.
이것이 이미지나 오디오에 작동한다고 주장하지 않습니다 (텍스트/언어에 특화되어 있습니다).
이것이 "최종" 해결책이라고 주장하지 않으며, 확산 모델이 텍스트를 처리하는 방식에서 중요한 진전이라고 주장합니다.

기술 요약: 다양한 생성 순서 및 그 이상을 위한 마스킹 확산 모델의 통합

문제 제기

마스킹 확산 모델 (MDM) 은 언어 생성을 위한 자기회귀 모델 (ARM) 의 유망한 대안으로 부상했습니다. 그러나 MDM 의 생성 품질은 생성 순서(토큰이 마스킹 해제되는 순서) 에 결정적으로 의존합니다. 기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

고정된 순서: 고전적인 MDM 은 종종 균일한 무작위 마스킹 일정을 사용하여 텍스트에 비최적인 무작위 생성 순서를 초래합니다.
하드코딩된 스케줄러: Block Diffusion(BD3LM) 과 같은 방법은 수동으로 설계된 스케줄러를 통해 특정 구조(예: 블록 단위 왼쪽에서 오른쪽) 를 부과하여 유연성을 제한합니다.
2 단계 최적화: 생성 순서 정책 (예: 샘플러의 사후 학습) 을 학습하는 접근 방식은 추가적인 계산 비용을 발생시키며, 확산 백본과 순서 정책의 분리된 최적화 때문에 종종 비최적 해에 수렴합니다.
통합 부재: 다양한 패러다임 (ARM, 표준 MDM, 블록 확산, 그리고 어휘 의존적 스케줄러) 을 표현하면서도 생성 순서와 확산 백본의 공동 학습을 가능하게 하는 단일 이론적 프레임워크는 존재하지 않습니다.

방법론

본 논문은 이러한 문제들을 해결하기 위한 통합 프레임워크와 구체적인 모델 아키텍처를 제안합니다.

1. 순서 표현형 마스킹 확산 모델 (OeMDM)

저자들은 노이즈 스케줄러를 고정된 함수가 아닌 학습 가능한 위치 의존적 구성 요소로 취급하는 일반화된 프레임워크인 OeMDM을 소개합니다.

일반화된 스케줄러: OeMDM 은 입력 컨텍스트 (예: 전체 시퀀스 $x$ 또는 현재 상태 $z_t$ ) 에 의존할 수 있는 "자유 형식 스케줄러" 클래스 $\alpha_F$ 를 정의합니다. 이를 통해 전방 오염 과정이 서로 다른 위치에 서로 다른 노이즈율을 적용하여 명시적인 생성 우선순위를 확립할 수 있습니다.
일반화된 NELBO: 저자들은 OeMDM 에 대한 일반화된 부정 증거 하한 (Negative Evidence Lower Bound, NELBO) 을 유도합니다. 목적 함수는 두 항으로 분해됩니다:
- 재구성 손실 ( $L_{main}$ ): "속도" $A$ (마스킹 해제율) 로 가중된 표준 토큰 예측 손실.
- 속도 불일치 손실 ( $L_{velocity}$ ): 실제 전방 사후 속도 ( $A$ ) 와 매개변수화된 역과정 속도 ( $\hat{A}$ ) 사이의 격차를 정량화하는 항.
통합: 이 프레임워크는 표준 MDM, ARM, Block Diffusion(BD3LM), 그리고 어휘 의존적 스케줄러 (GenMD4) 가 모두 스케줄러 함수의 특정 선택을 통해 달성된 OeMDM 의 특수한 경우임을 이론적으로 증명합니다.

2. 학습 가능 순서 마스킹 확산 모델 (LoMDM)

OeMDM 을 기반으로 저자들은 단일 목적 함수를 통해 생성 순서와 확산 백본을 처음부터 공동으로 학습하는 LoMDM을 제안합니다.

컨텍스트 인식 스케줄링: 제한된 스케줄러를 학습하거나 샘플러를 사후 학습하는 기존 방법과 달리, LoMDM 은 전체 시퀀스 컨텍스트에 조건부인 위치 의존적 스케줄러를 매개변수화합니다.
아키텍처:
- 확산 백본 $\theta$ 는 특징 추출기로 작용합니다.
- 두 개의 경량 네트워크인 $\phi$ (전방 스케줄러) 와 $\psi$ (역방향 스케줄러) 가 백본에 연결됩니다. 이들은 컨텍스트를 기반으로 각 토큰의 생성 우선순위 (속도) 를 예측합니다.
- 스케줄러는 속도가 유효한 범위 내에 있도록 보장하고 상대적 생성 우선순위를 정규화하기 위해 정규화된 시그모이드 활성화 함수를 사용합니다.
학습 알고리즘:
- 학습 목적 함수는 단일 NELBO 를 최소화합니다.
- 전방 과정에서의 샘플링을 포함하는 스케줄러의 기울기를 처리하기 위해 저자들은 REINFORCE Leave-One-Out(RLOO) 추정기를 사용합니다. 이는 단순한 REINFORCE 에 비해 기울기 추정의 분산을 줄여 백본과 스케줄러의 안정적인 공동 학습을 가능하게 합니다.
- 모델은 스케줄러 업데이트 단계에서 백본을 스케줄러에 대한 고정된 특징 추출기로 취급하기 위해, 스케줄러의 손실을 계산할 때 백본 특징을 분리 (stop-gradient) 하는 메커니즘을 사용합니다.

주요 기여

통합 이론적 프레임워크 (OeMDM): 본 논문은 무작위, 왼쪽에서 오른쪽, 블록 단위, 그리고 어휘 의존적 등 다양한 생성 순서를 단일 마스킹 확산 프레임워크 하에서 통합하는 일반화된 NELBO 공식을 제공합니다. 또한 ARM 이 특정 스케줄러를 가진 OeMDM 의 극한 사례로 간주될 수 있음을 증명합니다.
순서와 백본의 공동 학습 (LoMDM): 저자들은 이전 연구들의 2 단계 최적화 함정을 피하면서 단일 목적 함수를 사용하여 처음부터 생성 순서와 확산 모델을 공동으로 학습하는 최초의 방법을 제안합니다.
컨텍스트 의존적 생성: LoMDM 은 문장의 특정 컨텍스트에 적응하는 스케줄러를 학습하여, 모델이 경직되거나 무작위인 순서를 따르는 대신 "다음에 무엇을 생성할지"와 "어디에서 생성할지"를 동적으로 결정할 수 있게 합니다.
효율적인 학습 메커니즘: RLOO 추정기의 통합은 이산 샘플링 정책 학습과 관련된 고분산 문제를 극복하면서 확산 백본과 함께 스케줄러 매개변수의 안정적인 학습을 가능하게 합니다.

실험 결과

저자들은 다양한 이산 확산 베이스라인 (MDLM, BD3LM, GenMD4 포함) 과 자기회귀 트랜스포머에 대해 표준 언어 모델링 벤치마크 (LM1B 및 OpenWebText) 에서 LoMDM 을 평가했습니다.

Perplexity(PPL): LoMDM 은 이산 확산 모델 중 최첨단 테스트 퍼플렉시티를 달성합니다. LM1B 와 OpenWebText 에서 MDLM 보다 유의미한 차이 (예: PPL 3 점 이상 낮음) 로 우위를 점합니다. 또한 작은 블록 크기를 가진 BD3LM 과 GenMD4 보다도 성능이 뛰어납니다.
Zero-Shot 일반화: LoMDM 은 7 개의 다양한 데이터셋 (PTB, WikiText, Lambada 포함) 에서 우수한 제로샷 일반화를 보여주며, 모든 7 개 데이터셋에서 MDLM 을 능가하고 4 개 데이터셋에서는 자기회귀 트랜스포머보다도 더 나은 성능을 보입니다.
생성 품질: 사전 학습된 GPT-2 Large 로 평가한 생성적 퍼플렉시티 측면에서 LoMDM 은 MDLM 베이스라인을 크게 능가합니다. 이는 학습된 속도 $\hat{A}$ 가 단순히 가능성 하한뿐만 아니라 실제 텍스트 생성 품질을 향상시킨다는 것을 시사합니다.
학습 효율성: LoMDM 은 "빠르고 효율적인 학습자"임이 입증되었습니다. 1M 스텝 MDLM 학습 실행의 성능에 도달하는 데 약 0.18M 스텝 (약 18% 의 토큰) 만 소요되어 월시계 학습 시간을 약 3 배 단축합니다.
생성 궤적 분석: 생성 과정 분석은 LoMDM 이 "거칠기에서 정밀하게(coarse-to-fine)" 전략을 채택함을 보여줍니다. 즉, 디코딩 과정 초기에는 구조적 단어 (관사, 전치사) 생성을 우선시하고 나중에 의미적 내용 (명사, 동사) 을 채워 넣습니다. 이는 의미적 내용을 더 일찍 생성하는 경향이 있는 MDLM 과 달리, ARM 의 엄격한 왼쪽에서 오른쪽 편향과도 다릅니다.

중요성 및 주장

본 논문은 LoMDM이 다음과 같은 이유로 이산 확산 언어 모델링에서 중요한 진전을 이루었다고 주장합니다:

순서 병목 현상 해결: MDM 의 품질이 생성 순서에 결정적으로 의존하는 문제를 해결하기 위해, 순서를 고정된 하이퍼파라미터나 사후 추가가 아닌 학습 가능한 컨텍스트 인식 구성 요소로 만듭니다.
이론적 통합: AR, 블록 확산, 표준 확산 등 다양한 생성 패러다임을 이해하고 비교할 수 있는 단일 이론적 렌즈 (OeMDM) 를 제공하여 그들의 관계와 한계를 명확히 합니다.
실용적 효율성: 순서와 모델을 공동으로 최적화함으로써 LoMDM 은 별도의 학습 단계나 고정된 스케줄러가 필요한 방법들보다 더 높은 샘플 품질과 더 빠른 수렴을 달성합니다.

저자들은 그들의 접근 방식이 무작위나 경직된 왼쪽에서 오른쪽 순서보다 더 효과적인 컨텍스트 의존적 순서로 텍스트를 생성할 수 있게 하여, 특히 무조건적 생성 작업에서 확산 모델의 성능을 향상시킨다고 결론지었습니다. 또한 현재 결과는 무조건적 생성에 초점을 맞추고 있지만, 학습된 스케줄러의 적응성은 조건부 작업에서도 잠재력을 가지며 이는 향후 연구 영역이라고 언급합니다.