💬 NLP

Forward-Free Diffusion Language Models

이 논문은 인위적인 부패 스킴을 모델이 생성한 초안을 사용하는 재귀적 분포 정제 과정으로 대체함으로써, 기존의 디퓨전 베이스라인 대비 상당한 속도 향상과 함께 우수한 추론 및 코딩 성능을 달ach하는 포워드 프리(forward-free) 디퓨전 언어 모델인 FReDA를 소개한다.

원저자: Haotian Sun, Rushi Qiang, Yuqian Zheng, Bo Dai

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haotian Sun, Rushi Qiang, Yuqian Zheng, Bo Dai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "나쁜 편집자" vs "실제 초안"

로봇에게 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요.

기존 방식 (자기회귀 방식, Autoregressive): 로봇이 사람이 타이핑하는 것처럼 왼쪽에서 오른쪽으로 한 번에 한 단어씩 써 내려갑니다. 만약 초반에 실수를 하면, 그 실수를 그대로 안고 가야 합니다.
새로운 방식 (확산 모델, Diffusion): 로봇이 낙서가 가득하거나 빈칸인 페이지에서 시작하여, 문장이 말이 될 때까지 단어 하나하나를 정성스럽게 다듬어 나갑니다. 이 방식은 이야기의 어느 부분이든 한꺼번에 수정할 수 있기 때문에 매우 강력합니다.

문제는 여기에 있습니다:
로봇에게 이 난장판을 어떻게 정리하는지 가르치기 위해, 연구자들은 보통 "훈련 시뮬레이션"을 만들어야 했습니다. 그들은 완벽한 문장을 가져와서, 의도적으로 아주 특정한 방식으로 망가뜨렸습니다 (예를 들어, 단어를 무작위로 [MASK]나 [BLANK]로 대체하는 식입니다). 그러고 나서 로봇에게 그 특정한 형태의 난장판을 되돌리는 법을 가르쳤습니다.

논문의 통찰:
저자들은 이 훈련 시뮬레이션에 결함이 있다는 것을 깨달았습니다. 이는 소방관에게 특정 종류의 성냥으로 불을 지른 화재 상황만을 연습하게 하며 불을 끄는 법을 가르치는 것과 같습니다. 하지만 실제 세상에서 불은 훨씬 더 예측 불가능한 방식으로 시작됩니다. 로봇은 그 특정한 인위적인 난장판을 고치는 데는 능숙해졌지만, 실제 사용 중에 자신이 직접 생성한 지저분한 초안을 마주했을 때는 어려움을 겪었습니다.

해결책: FReDA (Forward-Free Diffusion)

저자들은 FReDA를 제안합니다. 이는 Forward-Free Diffusion Language Model의 약자입니다.

사람 설계자가 만든 인위적인 난장판을 고치는 법을 강요하는 대신, FReDA는 로봇이 자신의 초안을 고치며 배우도록 합니다.

비유: 스스로 교정하는 작가
타이핑 실력이 형편없는 작가를 상상해 보세요.

기존 방식: 선생님이 작가의 완벽한 에세이를 가져와서 단어들을 무작위로 삭제한 뒤 말합니다. "여기에 난장판이 있다. 이제 원래 문장으로 다시 써라." 작가는 그 특정한 삭제 패턴을 고치는 법을 암기합니다.
FReDA 방식: 작가가 에세이를 쓰려고 노력합니다. 그는 엉망인 첫 번째 초안을 만들어냅니다. 그러고 나서 자신의 초안을 읽으며 문장이 매끄럽지 않다는 것을 깨닫고, 더 좋게 다시 씁니다. 이 과정을 반복합니다.
- "선생님"(훈련 알고리즘)은 가짜 난장판을 만들어내지 않습니다.
- "선생님"은 그저 이렇게 말할 뿐입니다. "방금 쓴 초안을 가져와서, 그것을 훨씬 더 낫게 만들어 봐."
- 로봇은 자신이 생성한 무엇이든 다듬는 법을 배우며, 이를 통해 훈련 과정이 실제 생성 과정과 완벽하게 일치하게 됩니다.

작동 원리 (두 가지 기술)

논문은 로봇이 초안을 다듬는 두 가지 방법을 설명합니다.

자기 정교화 (Self-Refinement, 독고다이 편집자):
로봇은 현재의 초안을 보고 직접 개선합니다. 이는 작가가 자신의 글을 읽으며 오타를 잡거나 어색한 문장을 한 번에 고치는 것과 같습니다.
Best-of-N 정교화 (Best-of-N Refinement, 심사위원단):
이것은 "파워 유저" 모드입니다.
- 로봇은 정교하게 다듬어진 초안을 N개의 서로 다른 버전으로 생성합니다 (예: 단락을 고치는 4가지 서로 다른 방법).
- 작고 빠른 "스코어러"(심사위원)가 이 4가지 버전을 살펴보고 가장 좋은 것을 고릅니다.
- 로봇은 그 승자를 가져와서 다시 한번 다듬습니다.
- 비유: 사진을 편집한다고 상상해 보세요. 필터를 하나만 적용하는 대신, 4가지 다른 필터를 생성한 뒤 친구에게 어떤 것이 가장 좋아 보이는지 묻습니다. 그중 가장 좋은 것을 골라, 그 특정 사진에 두 번째 편집 단계를 적용하는 것과 같습니다.

이것이 왜 중요한가 (결과)

저자들은 이 새로운 방법을 상대적으로 작은 규모(40억 개의 파라미터)의 모델로 테스트했습니다. 그리고 "인위적인 난장판"을 사용한 기존의 훨씬 더 큰 확산 모델들(70억~80억 개의 파라미터)과 비교했습니다.

더 똑똑함: 작은 규모의 FReDA 모델은 수학 및 코딩 작업에서 기존의 더 큰 모델들을 실제로 능가했습니다. 정확도가 최대 15% 더 높았습니다.
더 빠름: 모델이 자신의 초안을 정교하게 다듬는 능력이 뛰어나기 때문에, 좋은 답을 얻기 위해 많은 단계가 필요하지 않습니다. 경쟁 모델보다 1.5배에서 1.8배 더 빠릅니다.
유연함: 빠른 답변이 필요하면 프로세스를 일찍 멈출 수 있고, 완벽한 답변이 필요하면 더 오래 실행할 수 있습니다. 생각하는 시간이 길어질수록 품질은 꾸준히 향 بهبود됩니다.

핵심 요약

FReDA는 게임의 규칙을 바꿉니다. 언어 모델에게 가짜의 인위적인 문제를 해결하도록 가르치는 대신, 자신의 실수를 바로잡도록 가르칩니다. 이를 통해 모델은 텍ante 생성 능력이 좋아지고, 추론은 더 똑똑해지며, 이전 방식보다 적은 컴퓨팅 자원을 사용하면서도 더 빠르게 결과를 전달할 수 있게 됩니다.

기술 요약: Forward-Free Diffusion Language Models (FReDA)

문제 정의

확산 언어 모델(Diffusion Language Models)은 텍text 생성을 반복적인 노이즈 제거 과정으로 정형화함으로써 자기회귀(Autoregressive, AR) 생성의 유망한 대안을 제시합니다. 그러나 이산적 언어 공간에서는 근본적인 과제가 존재합니다. 이미지와 같은 연속적 도메인에서는 가우시안 섭동(Gaussian perturbation)이 자연스러운 유클리드 근방을 활용할 수 있는 반면, 이산적 토큰 공간에는 내재된 메트릭(metric)이 없습니다. 결과적으로 기존의 확산 언어 모델들은 노이징 궤적을 정의하기 위해 수동으로 설계된 순방향 부패 과정(예: 흡수 상태 마스킹 또는 구조화된 전이 커널)에 의존합니다.

저자들은 이러한 규정된 순방향 과정이 생성 중에 발생하는 실제 초안(drafts) 및 오류(errors)와는 수학적으로는 편리하지만 실제로는 일치하지 않는 중간 상태를 생성한다고 주장합니다. 이러한 불일치는 모델이 인위적인 부패를 역전하는 법을 배우는 것이 아니라 실제 모델 출력을 정제하는 법을 배워야 함에도 불구하고, 인위적인 부패를 역전하는 법을 배우게 만들어 샘플 품질 저하와 AR 모델 대비 성능 격차를 초래합니다.

방법론: FReDA

이를 해결하기 위해 저자들은 사전 정의된 순방향 부패 과정이 필요 없는 FReDA (Forward-Free Diffusion Language Model) 프레임워크를 제안합니다. 대신, FReDA는 확산 언어 모델링을 **재귀적 분포 정제(recursive distribution refinement)**로 정형화합니다.

핵심 메커니즘: 재귀적 주변 분포 정제 (Recursive Marginal Refinement)

FReDA에서 "중간 상태"는 외부 노이징 스케줄에 의해 생성되는 것이 아니라, 모델 자체에 의해 생성된 암묵적 초안입니다. 프로세스는 다음과 같이 작동합니다:

초기화: 모델은 초기 초안 분포 $p_{\theta, T}$ (종종 빈 시퀀스 또는 거친 예측값)에서 시작합니다.
정제 전이: 모델은 현재의 초안 분포를 타겟 데이터 분포 $p_0$ 로 매핑하는 전이 커널 $K_{\theta, t}$ 를 학습합니다.
재귀적 적용: 모델은 자신의 출력을 반복적으로 정제합니다. 학습 목표는 타겟 분포와 커널에 의해 유도된 정제된 주변 분포 사이의 쿨백-라이블러(KL) 발산을 최소화하도록 유도됩니다.

결정적으로, 학습 목표(식 11)는 타겟 $x$ 와 모델 생성 초안 $x'$ 사이의 음의 로그 가능도(negative log-likelihood)를 최소화하는 다루기 쉬운 대리 함수입니다:
$\min_{\theta} \mathbb{E}_{x \sim p_0, x' \sim p_{\theta, t}} [-\log K_{\theta, t}(x | x')]$
이는 모델이 인위적인 노이즈를 역전하는 대신 자신의 초안을 정제하는 법을 배우게 함으로써, 학습 역학을 생성 역학과 직접적으로 일치시킵니다.

파라미터화 설계

이 프레임워크는 유연한 정제 파라미터화를 지원하며, 논문에서는 두 가지 구체적인 설계로 구현되었습니다:

자기 정제 (Self-Refinement): 모델은 자신의 초안 시퀀스를 직접 수정합니다. 현재의 초안에 조건화되어 토큰별 정제 확률을 출력하며, 실질적으로 확률적 고정점 반복(stochastic fixed-point iteration)을 수행합니다.
확률적 Best-of-N 정제 (Stochastic Best-of-N Refinement): 탐색 공간을 확장하기 위해, 모델은 현재 초안으로부터 $N$ 개의 후보 시퀀스를 병렬로 생성합니다. 학습된 스코어러 헤드( $Q_\psi$ )가 제안 가능도(proposal likelihood)와 학습된 교정 신호의 조합을 기반으로 후보들을 평가하고 가장 유망한 것을 선택합니다. 이 선택은 학습 중 미분 가능성을 보장하기 위해 Gumbel-Max 트릭을 따릅니다.

구현 세부 사항

아키텍처: Qwen3-4B-Base 백본을 기반으로 구축되었습니다.
어텐션: 블록 단위 세미-코절 어텐션(blockwise semi-causal attention, 블록 크기 4)을 사용하여, 효율성을 위해 블록 간에는 인과적 구조를 유지하면서 블록 내에서는 양방향 어텐션을 허용하여 전역적 정제를 수행합니다.
학습: 두 단계로 진행됩니다: (1) 자기 정제 목표를 통한 지속적 사전 학습(Continued pretraining), (2) 랭킹 목표를 사용한 Best-of-N 스코어러 헤드의 선택적 학습.
추론: 유연한 중단 기준을 지원합니다. 사용자는 추가적인 정제 반복을 수행하거나 신뢰도 임계값을 기반으로 한 조기 종료 전략을 사용하여 계산량과 품질 사이의 균형을 맞출 수 있습니다.

주요 기여

Forward-Free 패러다임: 이산 공간에서 수동으로 설계된 순방향 부패 과정에 대한 의존성을 제거하는 FReDA를 제안했습니다. 이는 모델 생성 초안을 유일한 중간 상태로 취급하여, 접근 방식을 **근방 독립적(neighborhood-agnostic)**이고 **모델 복잡도 인식적(model-complexity-aware)**으로 만듭니다.
재귀적 정제 정형화: 확산을 재귀적 주변 정제로 프레이밍하는 이론적 프레임워크를 제공하며, 학습된 정제 연산자가 최적 상태에서 타겟 분포를 보존하고 이상적인 조건 하에서 단조로운 개선을 제공한다는 공식적인 근거를 제시합니다.
유연한 파라미터화: 자기 정제와 Best-of-N 정제 전략을 모두 입증하여, 모델이 가용 컴퓨팅 자원에 따라 탐색 전략을 조정할 수 있음을 보여주었습니다.
실증적 검증: 4B 파라미터 FReDA 모델이 더 큰(7B–8B) 확산 베이스라인 모델들을 능가하고 유사한 크기의 AR 모델들과 경쟁한다는 광범위한 평가를 수행했습니다.

실험 결과

저자들은 일반 지식, 수학적 추론, 코드 생성 벤치마크에 대해 FReDA-4B를 여러 최첨단 확산 베이스라인(예: DiffuLLaMA-7B, LLaDA-8B, Dream-7B) 및 AR 베이스라인과 비교 평가했습니다.

성능: FReDA-4B (Best-of-N)는 추론 및 코딩 벤치마크(예: GSM8K, MATH-500, HumanEval)에서 더 큰 7–8B 확산 베이스 모델 대비 **5%에서 15%**의 절대적 이득을 달립다.
AR과의 비교: FReDA-4B는 대부분의 벤치마크에서 Qwen3-4B AR 베이스 모델과 대등하거나 이를 능가하였으며, 확산 모델과 자기회귀 방식 간의 격차를 크게 좁혔습니다.
효율성 (Pareto Frontier): FReDA는 우수한 품질-속도 트레이드오프를 확립했습니다. 유사하거나 더 나은 정확도를 유지하면서 확산 베이스라인 대비 1.5–1.8배의 평균 속도 향상을 달성했습니다. 이는 다른 병렬 디코딩 방법에서 나타나는 전형적인 품질 저하 없이 더 많은 토큰을 한 번의 포워드 패스당 생성(TPF)합니다.
스케일링: 정제 반복 횟수가 증가함에 따라 일관된 성능 향상을 보여줌으로써 재귀적 정제 가설을 검증했습니다.

의의 및 주장

이 논문은 FReDA가 효율적이고 고품질인 확산 기반 언어 생성을 위한 유망한 방향임을 주장합니다. FReDA는 정제 과정을 인위적인 순방향 섭동으로부터 분리함으로써, 학습 목표를 실제 생성 역학과 일치시킵니다.

저자들은 이 접근 방식이 **근방 독립적(neighborhood-agnostic)**이며, 이산 공간에서의 임의적인 토큰 수준 거리를 정의할 필요가 없음을 강조합니다. 또한, 이는 **모델 복잡도 인식적(model-complexity-aware)**이어서, 유용한 정제 단계의 수가 학습된 모델의 표현력에 따라 자연스럽게 적응할 수 있게 합니다. 결과는 forward-free 재귀적 정제가 확산 모델과 자기회귀 모델 사이의 성능 격차를 실질적으로 줄일 수 있으며, 샘플 품질을 희생하지 않으면서도 확장 가능한 병렬 텍스트 생성을 위한 실행 가능한 경로를 제공함을 시사합니다.