🤖 AI

PreDiff-LM: Pretrained Discrete Masked Diffusion Language Modeling with Hybrid Attention

PreDiff-LM은 관찰된 프롬프트에 대해서는 인과적 어텐션(causal attention)을 유지하면서 마스킹된 타겟에 대해서는 양방향 어텐션(bidirectional attention)을 가능하게 하는 하이브리드 어텐션 메커니로를 도입하여, 사전 학습된 자기회귀 트랜스포머를 이산 마스크 확산 언어 모델링(discrete masked diffusion language modeling)에 효과적으로 적응시키고 이전의 확산 베이스라인 모델들보다 퍼플렉시티와 생성 품질 면에서 상당한 개선을 달enc하였으나, 동일한 규모에서는 최적화된 자기회귀 모델이 여전히 더 우수하다.

원저자: Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Jesson Wang, Siheng Wang, Guang Yang, Haoyan Xu, Chenhao Wei, Zhengqing Yuan, Youran Shen, Yanfang Ye, Junhao Dong

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhengtao Yao, Runhao Li, Xupeng Chen, Jiayi Cheng, Chenqian Le, Michael Yue, Jesson Wang, Siheng Wang, Guang Yang, Haoyan Xu, Chenhao Wei, Zhengqing Yuan, Youran Shen, Yanfang Ye, Junhao Dong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

위대한 텍스트 생성기 대결: 두 작가의 이야기

당신이 로봇에게 이야기를 쓰는 법을 가르치려 한다고 상상해 보세요. 수년 동안 이 작업을 수행하는 가장 좋은 방법은 로봇에게 사람이 키보드로 타이핑하는 것처럼, 즉 왼쪽에서 오른쪽으로 한 번에 한 단어씩 쓰도록 가르치는 것이었습니다. 이것을 "자기회귀적(autoregressive)" 글쓰기라고 부릅니다. 이 방식은 문장을 따라가는 데는 뛰어나지만, 만약 문단 중간의 빈칸을 채우거나 나중에 발생한 실수를 수정하라고 요청하면 혼란에 빠집니다. 왜냐로 이 방식은 빈칸 뒤에 올 단어들을 볼 수 없기 때문입니다.

최근 과학자들은 "확산(diffusion)"이라고 불리는 다른 접근 방식을 시도했습니다. 이 방식은 단어를 하나씩 쓰는 대신, 페이지 전체를 잡음(또는 "마스크 처리된" 단어들)으로 가득 채운 상태에서 시작하여, 전체 페이지를 한꺼번에 살펴보며 무엇이 적절한지 판단하며 서서히 정교하게 다듬어 나갑니다. 이는 마치 조각가가 돌덩어리에서 시작해 조각상이 나타날 때까지 불필요한 부분을 깎아내는 것과 같습니다. 이 방식은 모든 방향에서 빈칸을 채울 수 있기 때문에 매우 강력합니다. 하지만 이러한 "확산형" 로봇들은 대개 기존의 "키보드" 로봇들에 비해 글쓰기 능력이 형편없었습니다. 종종 반복적이거나 터무니없는 말을 내뱉곤 했기 때문입니다.

연구자들이 던진 핵심 질문은 이것입니다. "이미 엄청난 양의 텍스트로 학습된 똑똑한 '키보드' 로봇을 데려와서, 그 지능을 잃지 않으면서도 '조각가' 방식으로 글을 쓰도록 가르칠 수 있을까?" 답은 간단하지 않습니다. 왜냐하면 두 방식은 단어를 "생각"하는 방식 자체가 완전히 다르기 때문입니다. 이 논문인 PreDiff-LM은 우리가 두 방식의 장점을 모두 결합할 수 있는지 확인하기 위해 바로 이 문제에 파고듭니다.

논문의 핵심 아이디어: 하이브리드 마스크(The Hybrid Mask)

PreDiff-LM의 연구진은 "조각가" 로봇들이 실패했던 주요 원인이 단순히 텍스트를 정교하게 다듬는 수학적 계산법 때문이 아니라, 그 과정에서 단어를 바라보는 방식 때문이라는 것을 발견했습니다.

"키보드" 로봇을 책을 처음부터 끝까지 엄격하게 읽는 엄격한 사서라고 생각해 보세요. 만약 당신이 중간에 빠진 단어를 추측하라고 요청한다면, 이 사서는 오직 그 앞의 단어들만 볼 수 있습니다. 반면 "조각가" 로봇은 페이지 전체를 한꺼번에 보아야 합니다. 문제는 엄격한 사서에게 갑자기 조각가가 되라고 강요할 때 발생합니다. 만약 사서에게 "이제 모든 곳을 다 봐!"라고 말한다면, 사서는 이미 알고 있는 단어들(프롬프트)에 대해 혼란을 느껴 지금까지 써 내려온 이야기의 기억을 망가뜨리게 됩니다.

저자들의 해결책은 **하이브리드 어텐션(Hybrid Attention)**이라 불리는 영리한 트릭입니다. 선생님(로봇)이 학생들에게 이야기를 읽어주는 교실을 상상해 보세요.

프롬프트 (지금까지의 이야기): 선생님은 이미 작성된 이야기 부분을 읽습니다. 여기서 선생님은 엄격한 사서처럼 행동하며, 오직 앞을 향해서만 시선을 둡니다. 미래의 이야기는 이미 확정된 것이므로 학생들이 엿보게 하지 않습니다.
타겟 (빠진 단어들): 빈칸을 채울 시간이 되면, 선생님은 갑자기 조각가로 변신합니다. 선생님은 빈칸의 앞과 뒤를 모두 살펴보고, 심지어 자신이 채우려는 다른 빈칸들까지도 살피며 완벽한 조각을 찾아냅니다.

이 "하이브리드 마스크"는 로봇이 이미 작성된 이야기의 강력한 기억력을 유지하면서도, 누락된 부분을 창의적으로 채울 수 있는 자유를 부여합니다.

연구 결과

연구팀은 이 아이디어를 유명한 AI인 GPT-2를 기반으로 한 모델을 사용하여 테스트했습니다. 그들은 이 새로운 "하이브리드" 로봇을 모든 곳을 한꺼번에 보려고 시도하는 로봇(균일 양방향 어텐션, Uniform Bidirectional Attention) 및 원래의 "키보드" 로봇과 비교했습니다.

결과: 하이브리드 로봇은 큰 성공을 거두었습니다. 이 모델은 "혼란 지수"(퍼플렉시티, Perplexity)를 34.1에서 28.7로 낮추었습니다. 이는 엄청난 도약입니다! 또한 이전의 시도들보다 훨씬 더 자연스럽고 덜 반복적인 텍스트를 작성했습니다.
속도 향상: 가장 멋진 발견 중 하나는 하이브리드 로봇이 얼마나 빨리 학습하는가였습니다. 처음부터 학습한 로봇은 괜찮은 수준에 도달하기까지 약 **350,000단계(steps)**가 걸렸습니다. 반면, 스마트한 시작점을 사용한 PreDiff-LM 로봇은 단 8,000단계 만에 동일한 숙련도에 도달했습니다. 이는 마치 대륙을 가로질러 걸어가는 것에서 고속열차를 타는 것으로 바뀐 것과 같습니다.
한계점: 이러한 모든 개선에도 불구하고, 하이브리드 로봇은 해당 작업에 맞춰 특별히 미세 조정(fine-tuning)된 원래의 "키보드" 로봇만큼에는 아직 미치지 못했습니다. 키보드 로봇의 혼란 지수는 18.9였던 반면, 하이브리드 로봇은 28.7이었습니다. 따라서 하이브리드 로봇은 기존의 확산 모델보다는 훨씬 뛰어나지만, 아직 최고의 "키보드" 작가들을 완전히 이기지는 못했습니다.

이것이 중요한 이유 (그리고 그렇지 않은 이유)

저자들은 자신들이 AI 글쓰기를 "해결"한 것은 아니라는 점을 분명히 밝히고 있습니다. 그들은 모든 면에서 키보드 로봇보다 빠르고 뛰어난 로봇을 만든 것이 아닙니다. 사실, 키보드 로봇이 텍스트 생성 속도가 더 빠르고 품질도 약간 더 좋습니다.

하지만 이 논문은 똑똑한 사전 학습된 로봇을 가져와서, 그 지능을 망가뜨리지 않고도 새로운 방식(빈칸 채우기, 실수 수정 등)으로 글을 쓰도록 가르칠 수 있다는 것을 증명합니다. "하이브리드 어텐션" 트릭이 바로 이 능력을 여는 열쇠입니다. 이는 AI 글쓰기의 미래가 단순히 한 가지 방식을 선택하는 것이 아니라, 언제 엄격한 사서가 되어야 하고 언제 창의적인 조각가가 되어야 하는지를 아는 것에 달려 있음을 시사합니다.

연구진은 또한 이 새로운 로봇이 반복적인 루프(예: "그 그 그"라고 말하는 것)를 피하는 데 더 뛰어나며, 이야기의 다음 문장을 추측하는 것과 같은 작업에서 기존의 확산 모델보다 더 나은 성능을 보인다는 것을 보여주었습니다. 비록 아직 AI 글쓰기의 최종 보스는 아니지만, 이 모델은 유연한 "조각가 스타일"의 로봇을 실제로 유용하게 만드는 데 있어 거대한 진전입니다.

기술 요약: PreDiff-LM

문제 정의

이산 마스크 확산 언어 모델(Discrete masked diffusion language models)은 양방향 생성 및 인필링(infilling) 능력을 제공하여, 엄격하게 좌측에서 우측으로 진행되는 자기회귀(autoregressive, AR) 모델의 한계를 해결한다. 그러나 처음부터 학습된 확산 모델과 유사한 크기의 AR 모델 사이에는 상당한 성능 격차가 존재한다. 최근 연구들은 사전 학습된 AR 가중치(예: DiffuGPT, Dream)로 확산 모델을 초기화하는 것이 유효한 전략임을 입증했으나, 다음과 같은 구체적인 미해결 과제가 남아 있다: 양방향 디노이징을 위해 인과적(causal) AR 가중치를 재사용할 때 어텐션 메커즘을 어떻게 적응시킬 것인가?

AR 가중치는 엄격하게 인과적 어텐션 마스크( $j \le i$ ) 하에서 학습되었다. 이를 전체 시퀀스에 대해 균일한 양방향 마스크로 단순히 교체하면 컨디셔닝 프롬프트의 표현 체계가 무너지는 반면, 완전한 인과성을 유지하면 타겟 토큰이 필요한 양방향 컨텍스트를 활용하지 못하게 된다. 본 논문은 비대칭 어텐션 패턴이 이러한 상충하는 요구 사항을 조화시킬 수 있는지 조사한다.

방법론: PreDiff-LM

제안된 PreDiff-LM(Pretrained Discrete Masked Diffusion Language Modeling) 프레임워크는 하이브리드 어텐션 메커니즘과 사전 학습된 인과적 트랜스포머를 이산 확산 모델로 적응시키기 위한 특정 학습 레시피를 도입한다.

1. 하이브리드 인과-양방향 어텐션 (Hybrid Causal-Bidirectional Attention)

핵심 혁신은 입력 데이터를 프롬프트 접두사(prompt prefix, $p$ )와 타겟 영역(target region, $x_t$ )으로 분할하는 비대칭 4D 어텐션 마스크( $M$ )이다:

프롬프트 토큰: 원래의 인과적 어텐션 패턴( $j \le i$ )을 유지한다. 이는 AR 가중치가 사전 학습되었던 내부 표현 체계를 보존하여, 컨디셔닝 프롬프트가 원래 학습된 방식대로 처리되도록 보장한다.
타겟 토큰: 완전한 양방향 어텐션이 허용된다. 이들은 전체 프롬프트와 모든 타겟 토큰(좌우 컨텍스트 모두)을 참조할 수 있다.
제약 조건: 오염된 타겟 토큰으로부터의 정보가 프롬프트 표현을 업데이트하기 위해 역류할 수 없다 ( $i \in prompt, j \in target \implies M_{ij}=0$ ).

2. 학습 및 추론 구성 요소

하이브리드 어텐션을 지원하기 위해, 모델은 확산 적응을 위한 몇 가지 표준적이지만 중요한 구성 요소를 포함한다:

셀프 컨디셔닝 (Self-Conditioning): 동시에 마스킹된 토큰들 사이의 불일치를 완화하기 위해, 모델은 이전 패스에서의 소프트 예측값을 임베딩 잔차(embedding residual) 형태로 네트워크에 다시 입력한다. 이는 높은 마스크 비율에서 매우 중요하다.
마스크 비율 시간 임베딩 (Mask-Rate Time Embedding): 노이즈 수준(마스크 비율 $t$ )은 사인파 인코딩과 MLP를 통해 주입되어, 네트워크가 디노이징 단계를 조건화할 수 있도록 한다.
신뢰도 기반 언마스킹 (Confidence-Aware Unmasking, CAU): 추론 과정에서, 토큰들은 신뢰도 점수에 따라 반복적으로 언마스킹된다. 언마스킹되는 토큰의 수는 코사인 스케줄을 따르며, 적은 수의 토큰(높은 불확실성)에서 시작하여 컨텍스트가 축적됨에 따라 가속화된다.

3. 목적 함수

모델은 마스킹된 위치에 대해 기대 크로스 엔트로피를 최소화하며, 이는 이산 마스크 확산 목적 함수(예: MDLM)와 일치하지만, 사전 학습된 AR 모델(GPT-2 또는 Llama-3.2)로부터 초기화된 가중치로 학습된다.

주요 기여

어텐션 적응 공식화: 본 논문은 어텐션 적응을 AR-to-diffusion 전이의 별도 구성 요소로 분리한다. 저자들은 프롬프트 측의 인과성을 보존하면서 타겟 측의 양방향성을 허용하는 하이브리드 인과-양방향 마스크를 도입하며, 이것이 균일한 양방향 어텐션보다 우수함을 입증한다.
적응의 결합 가능성: 본 연구는 어텐션 수준의 적응과 목적 함수 수준의 적응(DiffuGPT 스타일)이 상호 보완적임을 보여준다. 두 가지를 결합했을 때(26.9 PPL)가 각각을 단독으로 사용했을 때보다 더 나은 결과를 얻는다.
엄격한 평가: 저자들은 계산량이 매칭된 파인튜닝된 AR 대조군, 반복에 민감한 지표(Rep-4, Self-BLEU), 다운스트림 제로샷 태스크, 그리고 블라인드 인간 선호도 감사를 제공한다. 이를 통해 확산 모델이 AR 모델에 비해 도달할 수 있는 수준을 명확한 베이스라인과 함께 제시한다.
효율성 분석: 본 연구는 학습 효율성(확산 모델이 AR 초기화로부터 큰 이득을 얻는 부분)과 추론 지연 시간(최적화된 AR 디코딩이 표준 운영 지점에서 여전히 더 빠른 부분)을 구분한다.

실험 결과

실험은 GPT-2 백본(133M ~ 1.56B 파라미터)과 Llama-3.2 백본을 사용하여 WikiText-103 데이터셋에서 수행되었다.

퍼플렉시티 (PPL): 매칭된 설정(GPT-2 Medium, 90K 스텝)에서, 하이브리드 어텐션을 적용한 PreDiff-LM은 28.7 PPL을 달성하여, 균일 양방향 어텐션 대조군(34.1 PPL) 및 DiffuGPT(42.8 PPL), MDLM(51.2 PPL)과 같은 다른 확산 베이스라인보다 유의미한 개선을 보였다.
- 참고: 매칭된 파인튜닝된 AR 모델은 18.9 P P L로 여전히 더 강력했다.
학습 효율성: 사전 학습된 초기화는 PPL < 50에 도달하는 데 필요한 단계를 극적으로 줄였다. PreDiff-LM은 약 350K 스텝이 걸린 MDLM과 달리 8K 스텝 만에 이 임계값에 도달했다.
생성 품질: PreDiff-LM은 다른 확산 베이스라인에 비해 분포 품질(MAUVE: 0.78 vs 0.71)이 개선되었고, 반복 현상(Rep-4: 0.012)이 감소했으며, 제로샷 다운스트림 태스크(LAMBADA, HellaSwag 등)에서 더 나은 성능을 보였으나, 여전히 AR 대조군에는 뒤처졌다.
추론 속도: 32 디노이징 스텝(주요 품질 결과 설정)에서 PreDiff-LM은 최적화된 AR 디코딩(1,120 tokens/s)보다 느렸다(450 tokens/s). 그러나 8 스텝에서는 낮은 품질(35.4 PPL)과 함께 경쟁력 있는 처리량(1,800 tokens/s)을 달성하여, 조절 가능한 속도-품질 트레이드오프를 제공했다.
인간 선호도: 블라인드 평가에서 PreDiff-LM은 MDLM(64.2%) 및 SEDD(72.5%)보다 선호되었으나, AR GPT-2 Medium 대조군에 비해서는 34.2%의 승률만을 기록했다.

의의 및 주장

본 논문은 하이브리드 어텐션을 사전 학습된 인과적 백본을 확산 모델로 적응시키기 위한 보완적인 메커니즘으로 규정한다. 저자들은 다음과 같이 명시적으로 주장한다:

효과성: 하이브리드 어텐션은 AR 가중치로 초기화된 확산 모델의 품질을 균일 양방향 어텐션에 비해 유의미하게 향상시킨다.
효율성: 사전 학습된 초기화는 적응 과정을 매우 효율적으로 만들며, 처음부터 학습하는 것보다 수십 배 적은 학습 단계를 요구한다.
성능 격차에 대한 겸손함: 저자들은 확산 모델이 품질이나 추론 속도 면에서 AR 모델을 넘어섰다고 주장하지 않는다. 매칭된 파인튜닝된 AR 모델이 PPL에서 여전히 우위에 있으며, 최적화된 AR 디코딩이 더 빠르다는 점을 인정한다.
격차 식별: 본 연구는 확산 모델이 최적화된 AR 시스템과 직접 경쟁하기 위해 해결해야 할 매칭된 품질, 디코딩 효율성, 롱 컨텍스트 강건성 측의 남은 과제들을 강조한다.

요약하자면, PreDiff-LM은 인과적 AR 지식을 이산 확산으로 전이할 때 세심한 어텐션 적응이 결정적임을 입$, 증하며, 이를 통해 최첨단 자기회귀 모델과 완전히 대등하지는 않더라도 고품질의 양방향 생성을 가능하게 하면서 사전 학습된 표현의 이점을 유지할 수 있음을 보여준다.