💬 NLP

Masked Language Flow Models

이 논문은 기존의 마스크드 디퓨전(Masked Diffusion) 및 플로우 언어 모델(Flow Language Models)의 한계를 극복하기 위해 연속적 플로우 기반 생성과 이산적 토큰 마스킹을 결합하여, 다운스트림 언어 작업에 대해 확장 가능하고 효율적이며 다단계 추론 능력을 가능하게 하는 새로운 아키텍처인 마스크드 언어 플로우 모델(MLFMs)을 소개한다.

원저자: Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

게시일 2026-06-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이야기를 쓰려고 노력하고 있다고 상상해 보세요. 하지만 당신에게는 빠진 단어를 채워 넣을 수 있는 마법의 펜이 있습니다. 이 종이는 이 펜을 사용하는 새로운 방법인 **마스크 언어 흐름 모델(Masked Language Flow Models, MLFMs)**을 소개합니다. 이는 컴퓨터가 텍스트를 작성하는 현재 방식의 특정 문제를 해결하고자 합니다.

다음은 쉬운 비유를 사용한 분석입니다:

문제점: "한 번에 하나씩" 대 "단계별"의 딜레마

이 새로운 발명품을 이해하려면, 먼저 기존의 두 가지 방식을 살펴봐야 합니다.

기존 방식 (자기회귀 모델 - Autoregressive Models): 이야기를 왼쪽에서 오른쪽으로 엄격하게 한 단어씩 써 내려가는 것을 상상해 보세요. "고양이가"라고 쓰고, 다음 단어를 생각하기 위해 잠시 멈춘 뒤 "앉아"라고 쓰고, 다시 멈추는 식입니다.
- 문제점: 느립니다. 긴 책을 쓰고 싶다면, 다음 단어를 쓰기 위해 매번 모든 단어가 다 써질 때까지 기다려야 합니다.
"병렬" 방식 (마스크 확산 모델 - Masked Diffusion Models): 빈 페이지가 있고, 모든 단어를 포스트잇(마스크)으로 덮어 놓았다고 상상해 보세요. 컴퓨터는 한꺼번에 모든 단어를 추측하고, 포스트잇을 제거한 뒤 자신이 무엇을 맞혔는지 확인합니다. 만약 어떤 단어가 틀려 보이면, 다시 포스트잇을 붙이고 다시 시도합니다.
- 문제점: 여러 단어를 동시에 추측하기 때문에 빠릅니다. 하지만, 문맥을 보지 않고 한 번에 전체 문장을 추측하려는 것과 같습니다. 만약 문장이 복적인 논리(예: 수학 문제)를 필요로 한다면, 단어들이 서로 어떻게 의존하는지를 무시하기 때문에 실수가 자주 발생합니다.
"매끄러운 흐름" 방식 (흐름 언어 모델 - Flow Language Models): 텍스트가 개별적인 단어가 아니라, 부드럽고 연속적인 페인트 흐름이라고 상상해 보세요. 컴퓨터는 회색 노이즈 한 양동이에서 시작하여, 페인트를 서서히 흘려보내 명확하고 선명한 문장의 이미지를 만들어냅니다.
- 문제점: 매우 효율적이며 단 한두 단계만으로도 가능합니다. 하지만 너무 경직되어 있습니다. 컴퓨터가 모든 단어를 정확히 동시에 결정하도록 강요합니다. 따라서 "단계별로 생각하기"가 필요한 작업(예: 1단계를 쓰고, 확인하고, 그 결과를 이용해 2단계를 찾아야 하는 수학 문제)을 수행할 때 어려움을 겪습니다.

해결책: 마스크 언어 흐름 모델 (MLFMs)

저자들은 두 세계의 장점을 결합한 하이브리드 시스템을 만들었습니다. 이것을 스마트한 건설 현장이라고 생각해 보세요.

설정: 건설 중인 건물이 있습니다. 일부 부분은 완성되었고(깨끗한 단어), 일부 부분은 비계(scaffolding, 가설물)로 덮여 있습니다(마스크된 단어).
마법: 전체 건물을 한꺼번에 짓는 대신(너무 위험함), 또는 벽돌을 하나씩 쌓는 대신(너무 느림), MLFM은 비계 안을 채우기 위해 **연속적인 흐름(continuous flow)**을 사용합니다.
반전: 컴퓨터가 비계를 채우는 동안, 자신의 작업을 끊임없이 확인합니다. 특정 벽돌(단어)에 대해 확신이 생기면, 즉시 비계를 제거하고 그 벽돌을 고정합니다.
효과: 일단 벽돌이 고정되면, 그것은 다음 부분을 위한 견고한 토대가 됩니다. 이를 통해 컴퓨터는 복잡한 다단계 추론(수학이나 지시 사항 이행 등)을 할 수 있습니다. 왜냐하면 마지막까지 기다려 결과가 맞는지 확인하는 대신, 하나의 올바른 단계를 "확정"하고 그것을 다음 단계를 안내하는 가이드로 사용할 수 있기 때문입니다.

제작 방법 (적응 - Adaptation)

새로운 모델을 처음부터 만드는 것은 비용이 많이 들고 느립니다. 저자들은 영리한 지름길을 찾아냈습니다:

그들은 이미 단어를 잘 추측하는 기존의 강력한 모델(마스크 확산 모델)을 가져왔습니다.
그들에게 "연속적인 흐름"의 언어로 말하는 법을 가르쳐주는 "번역기"(경량 어댑터)를 제공했습니다.
이를 통해 엔진 전체를 새로 만들지 않고도, 기존의 강력한 엔진을 더 똑똑한 새 엔진으로 업그레이드할 수 있었습니다.

새로운 "샘플러" (건설 팀)

연구진은 또한 **온라인 토큰 프로모션(Online Token Promotion)**이라 불리는, 컴퓨터가 글을 쓰는 동안 "생각"하는 새로운 방식을 도입했습니다.

기존 방식: 컴퓨터는 마지막 순간까지 모든 추측을 "미정" 더미에 보관했다가 마지막에 최종 단어를 선택합니다.
새로운 방식: 컴퓨터가 특정 단어에 대해 99% 확신을 갖는 즉시, 그 단어를 "미정" 더미에서 "완료" 더-미로 옮깁니다.
이점: 이는 컴퓨터가 글을 써 내려가는 과정에서 문장의 모습을 더 명확하게 파악할 수 있게 하여, 남은 단어들에 대해 더 나은 결정을 내릴 수 있도록 돕습니다. 이는 마치 요리사가 소스의 맛을 보고 완벽하다는 것을 깨닫자마자, 요리가 다 끝날 때까지 기다려 맛을 보는 것이 아니라 즉시 냄비에 넣어 다음 재료의 풍미에 영향을 미치게 하는 것과 같습니다.

결과: 효과가 있었는가?

팀은 이 새로운 시스템을 두 가지 어려운 과제로 테스트했습니다:

수학 문제 (GSM8K): 초등학교 수준의 수학 문장제 문제 해결.
지시 이행 (MT-Bench): 복잡한 질문에 답하고 사용자의 지시 사항 따르기.

연구 결과:

지시 이행 및 대화 측면에서, 새 모델은 이전의 "병렬" 모델보다 성능이 뛰어났으며, 비슷한 크기의 "한 번에 한 단어씩" 생성하는 모델보다도 우수했습니다.
수학의 경우, 아직 매우 전문화된 수학 모델들을 압도하지는 못했지만, 매우 중요한 사실을 처음으로 증명했습니다: 흐름 기반 모델(Flow-based models)이 실제로 복잡한 추론 작업을 수행할 수 있다는 점입니다. 이전에는 사람들이 흐류 모델이 단순한 단일 단계 생성에만 적합하다고 생각했었습니다.

요약

이 논문은 컴퓨터가 "부드럽고 연속적인 사고"와 "단계별 논리"를 혼합하여 텍스트를 작성할 수 있게 하는 새로운 도구를 제시합니다. 이는 컴퓨터가 진행 과정에서 정답을 확정할 수 있게 함으로써, 전통적인 방식보다 훨씬 빠르게 복잡한 지시 이행이나 문제 해결과 같은 작업을 수행할 수 있게 합니다.

기술 요약: 마스크드 언어 플로우 모델 (Masked Language Flow Models)

문제 정의

자기회귀 모델(Autoregressive Models, ARMs)은 언어 생성 분야를 지배하고 있으나, 각 토큰이 이전의 모든 토큰에 의존함에 따라 발생하는 순차적 추론 병목 현상 문제를 겪고 있다. 마스크드 확산 모델(Masked Diffusion Models, MDMs)은 토큰을 반복적으로 언마스킹(unmasking)함으로써 병렬 디코딩의 대안을 제시하지만, 마스킹된 위치 간의 조건부 독립을 가정하는 인수분해된 역전이(factorized reverse transition)에 의존한다. 이러한 근사는 무한 단계(infinitesimal-step) 극한에서는 유효하지만, 병렬 생성이 가장 효율적인 적은 단계(few-step) 샘플링 레지메에서는 성능이 크게 저하되며, 이는 토큰 간의 의존성을 무시하여 품질 저하를 초래한다.

반면, 플로우 언어 모델(Flow Language Models, FLFMs)은 연속적인 임베딩 공간에서 작동하며, 노이즈를 깨끗한 시퀀스로 운송하는 플로우를 학습한다. FLM은 플로우 맵 증류(flow map distillation)를 통해 효율적인 단일 단계 생성을 지원할 수 있지만, 일반적으로 생성을 단일 궤적으로 붕괴시키는 경ologies가 있다. 이러한 구조는 다단계 추론이 필요한 작업에서 어려움을 겪는데, FLM은 부분적으로 완료된 중간 상태를 후속 정제를 위한 컨텍스트로 활용하기보다는 모든 토큰을 동시에 디코딩하도록 강제되기 때문이다.

방법론: 마스크드 언어 플로우 모델 (MLFMs)

저자들은 MDM의 마스킹 메커니즘을 FLM의 연속적 플로우 역학에 통합하는 프레임워크인 **마스크드 언어 플로우 모델(MLFMs)**을 제안한다.

1. 프레임워크 및 확률적 보간법 (Stochastic Interpolant)

MLFM은 브라운 다리(Brownian bridge)를 사용하는 확률적 보간법을 사용하여 유클리드 공간에서의 순방향 과정을 정의한다. 이 다리는 다음을 연결한다:

부분적으로 마스킹된 시퀀스: 언마스킹된 토큰은 깨끗한 임베딩으로, 마스킹된 토큰은 특정 [MASK] 임베딩으로 표현된다.
깨끗한 시퀀스: 깨끗한 토크 임베딩으로 표현된다.

시퀀스 $X$ 에 대해, 마스킹 확률 $s$ 와 노이징 시간 $t$ 에서 상태 $z_{s,t}$ 는 다음과 같이 구성된다:

언마스킹된 위치( $U_s$ )는 깨끗한 임베딩 $E X_\ell$ 에 고정되어 유지된다.
마스킹된 위치( $M_s$ )는 [MASK] 임베딩( $m$ )과 깨끗한 임베딩( $E X_\ell$ ) 사이의 브라운 다리를 통해 진화한다.

이러한 설계는 모델이 깨끗한 토큰을 생성하기 위한 결합된 연속적 플로우를 학습하는 동시에, MDM의 정밀한 임의 위치 조건화(any-position conditioning) 구조를 유지할 수 있게 한다.

2. 학습 및 적응 (Training and Adaptation)

주요 기여 중 하나는 사전 학습된 MDM을 사용하여 MLFM 학습을 웜 스타트(warm-start) 할 수 있는 능력이다.

이론적 등가성: 엔드포인트 $t=0$ 에서 MLFM의 확률적 보간법은 MDM에서 사용되는 임베딩된 부분 마스킹 시퀀스와 정확히 일치한다. 결과적으로 $t=0$ 에서의 MLFM 손실은 MDM 손실과 일치한다.
적응 전략: 저자들은 사전 학습된 양방향 트랜스포머(MDM으로부터)를 다음과 같이 적응시킨다:
1. 토큰 임베딩 레이어를 고정한다.
2. 트랜스포머 블록을 동결하고, 연속적인 시간 $t$ 에 대한 조건화를 위한 AdaLN 및 연속적인 오염 임베딩에 적응하기 위한 LoRA 어댑터를 추가한다.
3. LoRA 어댑터를 사용하여 출력 헤드를 적응시킨다.
  이 접근 방식은 처음부터 학습하는 것에 비해 계산 비용을 크게 줄인다.

3. 샘플링 전략: 온라인 토큰 프로모션이 포함된 CCFG

다단계 추론의 한계를 해결하기 위해, 저자들은 두 가지 메커니즘을 결합한 새로운 샘플링 스킴을 도입한다:

컨텍스트-오염된 분류기 없는 가이드 (Context-Corrupted Classifier-Free Guidance, CCFG): 분류기 없는 가이드의 변형으로, 참조 속도장(reference velocity field)은 컨텍스트 토큰을 오염시켜(순방향 오염 마진을 적용) 계산하는 반면, 가이드된 필드는 깨끗한 컨텍스트를 사용한다. 이 차이는 예측된 방향에 대한 깨끗한 컨텍스트의 기여도를 분리해낸다.
온라인 토큰 프로모션 (Online Token Promotion, OTP): 샘플링 중에 마스킹된 토큰의 사후 모드(posterior mode)가 신뢰 임계값( $1-\epsilon$ )에 도달하면, 해당 토큰은 즉시 "프로모션(promotion)" 된다. 해당 토큰은 깨끗한 임베딩으로 고정되며, 이후의 모든 디노이징 단계에서 관찰된 컨텍스트로 취급된다. 이를 통해 모델은 고신뢰도 예측을 즉각적인 컨텍스트로 활용하여 반복적인 추론을 모사할 수 있다.

주요 기여

마스킹과 플로우의 통합: MLFM은 브라운 다리를 사용하여 MDM의 이산적 마스킹과 FLM의 연속적 플로우 사이의 간극을 메움으로써, 병렬 효율성과 반복적 정제를 모두 지원하는 조건부 생성을 가능하게 한다.
효율적인 적응: $t=0$ 에서의 엔드포인트 등가성을 활용하여, 경량 적응(LoRA/AdaLN)을 통해 사전 학습된 MDM을 MLFM으로 전환할 수 있음을 입증하였다.
새로운 샘플러: CCFG와 온라인 토큰 프로모션을 결합하여, 잠재 상태를 깨끗한 컨텍스트로 동적으로 전환함으로써 다단계 추론을 용이하게 하는 새로운 샘플러를 제안하였다.
다운스트림 태스크로의 확장: 비조건부 생성을 넘어 수학적 추론 및 지시 이행(instruction-following) 태스크로 플로우 기반 언어 모델을 성공적으로 확장한 첫 사례이다.

실험 결과

저자들은 사전 학습된 SMDM으로부터 적응된 1.028B 파라미터 MLFM을 GSM8K(수학적 추론) 및 MT-Bench(지시 이행)에서 평가하였다.

MT-Bench: MLFM은 2.27의 첫 번째 턴 점수를 기록하며, SMDM 베이스라인(1.60)과 유사한 크기의 AR 베이스라인(1.57)을 크게 상회하였다. 주목할 점은, 이것이 SMDM의 256 단계 중 절반인 128 단계만으로 달성되었다는 것이다.
GSM8K: MLFM은 **31.24%**의 정확도를 달了했다. 이는 태스크 특화 미세 조정된 SMDM(58.5%) 및 LLaMA-2(58.6%)에는 뒤처지지만, 저자들은 이를 MLFM에 사용된 광범위한 지시어 혼합 미세 조정 프로토콜과 베이스라인에 사용된 태스크 특화 프로토콜의 차이 때문이라고 설명한다.
절제 연구(Ablations): CCFG와 온라인 토큰 프로모션이 모두 성능을 크게 향상시킨다는 점을 확인했다. 더 큰 가이드 스케일과 더 많은 샘플링 단계는 일반적으로 결과를 개선했으며, MLFM은 16 단계의 샘플링에서도 베이스라인보다 높은 성능을 보이며 MT-Bench에서 우위를 점했다.

의의 및 주장

본 논문은 플로우 기반 언어 모델이 다운스트림 추론 및 지시 이행 태스크를 해결할 수 있다는 첫 번째 증거를 제공한다고 주장한다. 플로우 모델의 병렬 생성 잠재력과 마스크드 모델의 반복적 추론 능력을 결합함으로써, MLFM은 복잡한 다단계 생성을 지원하는 유연한 아키텍처를 제공한다. 이 연구는 플ow 기반 모델이 단순히 비조건부 생성이나 단순한 증류에 국한되지 않고, MDM 적응을 통한 효율적인 학습을 통해 실질적인 조건부 다운스트림 애플리케이션에 적응될 수 있음을 보여준다.