💬 NLP

Learning from the Self-future: On-policy Self-distillation for dLLMs

이 논문은 디퓨전 대규모 언어 모델(dLLM)에 특화된 최초의 온-폴리시 자기 증류 프레임워크인 d-OPSD를 소개하며, 이는 기존 베이스라인들과 비교하여 우수한 성능과 샘플 효율성을 달성하기 위해 자기 생성 접미사 조건화와 단계별 감독을 활용한다.

원저자: Yifu Luo, Zeyu Chen, Haoyu Wang, Xinhao Hu, Yuxuan Zhang, Zhizhou Sha, Shiwei Liu

게시일 2026-06-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yifu Luo, Zeyu Chen, Haoyu Wang, Xinhao Hu, Yuxuan Zhang, Zhizhou Sha, Shiwei Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 로봇에게 역방향으로 생각하는 법 가르치기

매우 똑똑한 로봇(확산 대규모 언어 모델, 또는 dLLM)이 수학 문제나 스도쿠와 같은 복잡한 퍼즐을 푸는 법을 배우고 있다고 상상해 보세요.

보통 로봇은 질문을 읽고 나서 왼쪽에서 오른쪽으로 한 단어씩 답을 추측하며 배웁니다. 하지만 이 특정 로봇은 다릅니다. 이 로봇은 대리석 덩어리에서 시작하는 조각가처럼 작동합니다. 빈 캔버스(마스크 시퀀스)를 보고, 단어를 하나씩 내뱉는 대신 노이즈를 조금씩 깎아내며 한꺼번에, 혹은 큰 덩어리로 정답을 드러냅니다.

문제는 무엇일까요? 이 로봇은 아직 배우는 중이라는 점입니다. 연구진은 인간 교사나 아주 똑똑한 '멘토' 로봇 없이도 이 로봇이 더 잘 배울 수 있도록 가르치길 원했습니다. 그래서 그들은 d-OPSD라는 새로운 방법을 만들어냈습니다.

기존 방식의 문제점

과거에 '자기 증류(Self-Distillation, 스스로를 가르치는 것)'를 통해 로봇을 가르치고자 했을 때, 사람들은 단어 단위로 작동하는 로봇을 위해 설계된 방식을 사용해야 했습니다.

기존 방식: 로봇에게 질문을 주고, 정답의 앞부분(문장 시작 부분의 힌트 같은 것)을 보여준 뒤, "자, 이제 나머지를 완성해 봐"라고 말하는 식입니다.
실패한 이유: 우리의 '조각가' 로봇은 왼쪽에서 오른쪽으로 작동하지 않습니다. 이 로봇은 정답의 끝을 보고 앞부분을 파악할 수 있습니다. 기존 방식은 마치 누군가에게 그림을 그리는 법을 가르치면서 왼쪽 상단 구석만 보여주는 것과 같았습니다. 이는 전체 그림을 한 번에 보는 로봇의 독특한 방식과 맞지 않았습니다.

해결책: "자기 미래로부터 배우기 (Learning from Self-Future)"

연구진은 로봇을 가르치는 새로운 방법인 d-OPSD를 발명했습니다. 작동 방식은 다음과 같습니다. 시간 여행 비유를 들어 설명하겠습니다.

1. 시간 여행 교사

로봇이 시험을 치르는 학생이라고 상상해 보세요.

학생: 로봇은 처음부터 문제를 풀려고 노력합니다. 정답을 생성하지만, 몇 가지 실수를 할 수도 있습니다.
'미래'의 교사: 연구진은 정답의 시작 부분을 보는 대신, 로봇이 만든 최종 답변(비록 완벽하지 않더라도)을 가져와서 이를 '미래로부터 온 힌트'로서 로봇에게 보여줍니다.
마법 같은 일: 그들은 로봇에게 이렇게 말합니다. "네가 이미 정답을 알고 있다고 상상해 봐. 방금 네가 쓴 이 답을 보고, 네가 어떻게 여기까지 도달했는지 그 과정을 파악해 봐."

이것을 **"자기 미래로부터 배우기"**라고 부릅니다. 이것은 마치 인간이 하는 백일몽과 같습니다. "만약 다음에 무슨 일이 일어날지 미리 알 수 있다면, 나는 이 대화를 어떻게 시작했을까?" 이처럼 '미래'(완성된 답변)를 보고 '과거'(생성 과정)를 가이드함으로써, 로봇은 자신의 사고 패턴을 훨씬 빠르게 학습합니다.

2. 단계별 코치

기존의 교수법은 로봇의 작업을 단어 단위로 체크했습니다(마치 선생님이 문장의 철자를 하나하나 교정하는 것과 같습니다).

새로운 방식: 이 로봇은 '단계(step)' 단위로 작동하므로(노이즈를 깎아내는 과정), 새로운 방식은 조각 과정의 매 단계마다 로봇의 진행 상황을 체크하는 코치처럼 행동합니다.
단순히 "그 단어는 틀렸어"라고 말하는 대신, 코치는 "이 특정 과정의 순간에, 다음 덩어리를 드러내려는 네 계획이 '미래' 버전과 비교했을 때 약간 어긋났어"라고 말합니다.

이것이 왜 중요한가

연구진은 이 방법을 네 가지 어려운 추론 작업(수학, 스도쿠 등)에 테스트했고, 두 가지 놀라운 사실을 발견했습니다.

훨씬 빠릅니다 (샘플 효율성):
강아지를 훈련시킨다고 상상해 보세요. 기존 방식(RLVR)은 공을 1,000번 던지며 강아지가 잡기를 바라는 것과 같습니다. 새로운 방식(d-OPSD)은 강아지에게 공이 지나가는 경로를 보여주어 단 100번의 던지기만으로 기술을 익히게 하는 것과 같습니다. 논문에 따르면, 이 방법은 다른 방법들이 동일한 지능 수준에 도달하는 데 필요한 학습 단계의 약 **10%**만 필요합니다.
더 똑똑합니다:
로봇은 자신의 '미래' 답변으로부터 배우기 때문에, 단순히 추측만 해서는 찾을 수 없었던 새로운 사고 방식을 발견하게 됩니다. 이는 단순히 암기하는 것이 아니라, 솔루션의 패턴을 이해하는 것입니다.

주의할 점

논문은 작은 경고도 덧붙였습니다. 모든 집중 훈련과 마찬가지로, 로봇을 너무 강하게 몰아붙이면 가끔 혼란을 겪거나 '붕괴(collapse)'(다시 나쁜 답을 내놓기 시작하는 현상)될 수 있습니다. 이는 이러한 유형의 학습에서 알려진 문제이지만, 이 방법은 이전의 방식들에 비해 여전히 엄청난 개선을 보여줍니다.

요약

이 논문은 '조각가 스타일'의 AI 모델을 훈련시키는 새로운 방법인 d-OPSD를 소개합니다. 과거로부터 단어 단위로 가르치는 대신, 완성된 답변인 '미래'를 보고 문제를 해결하는 법을 배우게 합니다. 이는 모델에게 자신의 작업물을 검토할 수 있는 타임머신을 제공하는 것과 같으며, 이를 통해 모델은 이전보다 더 빠르게 배우고 더 깊게 생각할 수 있습니다.

기술 요약: 자기-미래로부터의 학습 (d-OPSD)

1. 문제 정의

On-policy Self-distillation (OPSD)은 사후 학습(post-training) 단계의 자기회귀 대규모 언어 모델(AR-LLM)에 효과적임이 입증되었으나, 확산 대규모 언어 모델(dLLM)에 대한 적용은 아직 탐구되지 않았습니다. 기존의 OPSD 프레임워크는 본질적으로 AR 모델을 위해 설계되었으며, 이를 dLLM에 적용할 때 두 가지 근본적인 불일치가 발생합니다:

최적화되지 않은 교사 구축 (Suboptimal Teacher Construction): AR 기반 OPSD는 특권 정보(예: 참조 솔루션)를 프롬프트의 *접두사(prefix)*로 주입하며, 이는 좌측에서 우측으로 향하는 조건부 확률 $p(\text{suffix}|\text{prefix})$ 에 의존합니다. 이는 비자기회귀적(non-autoregressively)으로 시퀀스를 생성하고, 접미사(suffix)에 조건화되는 $p(\text{prefix}|\text{suffix})$ 능력을 포함하여 임의의 순서로 생성을 지원하는 dLLM과 충돌합니다. 또한, 정적인 참조 솔루션은 자기 증류(self-distillation)의 "on-policy" 성격과 일치하지 않습니다.
호환되지 않는 감독 수준 (Incompatible Supervision Level): AR 모델은 다음 토큰 예측에 기반한 토큰 단위 발산(token-level divergence) 감독을 활용합니다. 반면, dLLM은 반복적인 디노이징(denoising) 과정을 통해 작동하며, 각 단계에서 여러 토큰을 동시에 예측하고 일부는 드러내고 나머지는 마스킹된 상태로 유지합니다. 따라서 토큰 단위의 감독은 dLLM의 단계별 상태 전이(step-wise state transitions)와 호환되지 않습니다.

결과적으로, 외부의 더 강력한 교사 모델에 의존하지 않고도 효율적인 자기 개선을 가능하게 하기 위해 dLLM의 고유한 생성 메커니즘을 활용할 수 있는 맞춤형 OPSD 프레임워크가 필요합니다.

2. 방법론: d-OPSD

저자들은 dLLM을 위해 특별히 설계된 최초의 OPSD 프레임워크인 d-OPSD(diffusion On-Policy Self-distillation)를 제안합니다. 이 방법은 학생과 교사 역할을 모두 수행하는 단일 모델 $p_\theta$ 를 사용하여 두 가지 핵심 혁신을 활용합니다.

A. "자기-미래(Self-Future)"를 통한 자기-교사 구축

정적인 참조 솔루션을 접두사로 붙이는 대신, d-OPSD는 dLLM의 양방향 조건화 능력을 활용합니다.

메커니즘: 학생은 완전히 마스킹된 상태에서 깨끗한 응답 $y_0$ 에 이르기까지 전체 궤적 $Y = \{y_T, \dots, y_0\}$ 를 샘플링합니다.
교사 입력: 교사는 학생이 생성한 최종 응답 $y_0$ 의 토큰 일부를 접미사(suffix) 조건으로 드러냄으로써 구축됩니다. 구체적으로, 각 디노이징 단계 $t$ 에서 교사 입력 $y_{\text{teacher},t}$ 는 현재의 노이즈가 섞인 시퀀스와 (최종 답변에서 선택된) 인덱스 집합 $S_t$ 가 드러난 상태로 구성됩니다.
개념: 이를 통해 학생은 자신의 "미래 경험"(자신이 생성한 답변)을 접미사로 조건화하여 학습할 수 있으며, 모든 데이터가 학생 자신에 의해 생성된다는 엄격한 on-policy 패러다임을 준수합니다.

B. 단계별 발산 감독 (Step-Level Divergence Supervision)

dLLM이 다음 토큰 예측이 아닌 다음 단계(next-step) 예측을 통해 디코딩한다는 점을 인식하여, 저자들은 감독 목표를 토큰 단위에서 단계 단위로 전환합니다.

메커니션: 각 디노이징 단계 $t$ 에서 모델은 모든 토큰에 대한 분포를 계산합니다. 감독은 현재 마스킹된 위치들 중 상위- $k$ 개의 가장 확신도가 높은 토큰들(상태 전이 $t$ 에서 $t-1$ 로 결정하는 부분집합 $K_t$ )에만 집중합니다.
목표: 손실 함수는 각 단계의 이 특정 부분집합 $K_t$ 에 대해 학생의 분포와 교사의 분포 사이의 Kullback-Leibler (KL) 발산을 최소화합니다:
$L_t = \frac{1}{|K_t|} \sum_{i \in K_t} D_{KL}(P_{\text{student},t}^i \parallel P_{\text{teacher},t}^i)$
전체 목표는 전체 $T$ -단계 궤적에 걸쳐 이 단계별 손실을 합산합니다.

3. 주요 기여

최적성 결여 식별: 본 논문은 기존의 AR 중심 OPSD 공식(접두사 조건화 및 토큰 단위 감독)이 dLLM과 근본적으로 정렬되지 않음을 식별했습니다.
새로운 프레임워크 (d-OPSD): 저자들은 다음을 특징으로 하는 dLLM을 위한 최초의 OPSD 프레임워크를 도입합니다:
- 접미사 기반 자기-교사 구축: 자가 생성된 답변을 특권 정보로 사용하여 "자기-미래 경험"으로부터의 학습을 가능하게 합니다.
- 단계별 발산 감독: 확산 모델의 반복적인 디노이징 메커니즘과 일치하도록 설계되었습니다.
실증적 검증: 광범에한 실험을 통해 d-OPSD가 검증 가능한 보상을 사용하는 강화학습(RLVR) 및 지도 미세 조정(SFT) 베이스라인을 모두 능가함을 입증했습니다.

4. 실험 결과

실험은 GSM8K, MATH500 (수학적 추론), Countdown, Sudoku (계획)의 네 가지 추론 벤치마크에서 수행되었습니다. 사용된 베이스 모델은 LLaDA-8B-Instruct입니다.

추론 성능: d-OPSD는 모든 태스크와 시퀀스 길이에 걸쳐 RLVR(예: diffu-GRPO) 및 SFT 베이스라인을 지속적으로 능가하거나 대등한 성능을 보였습니다. 예를 들어, GSM8K (256 토큰)에서 d-OPSD는 81.0%의 정확도를 달성하여 diffu-GRPO(79.8%)와 SFT(78.8%)를 앞질렀습니다.
샘플 효율성: d-OPSD는 압도적으로 우수한 샘플 효율성을 보여주며, RLVR에 필요한 최적화 단계의 약 10% 내에 수렴합니다. 예를 들어, GSM8K에서 d-OPSD는 425단계만을 필요로 했던 반면, diffu-GRPO는 7,700단계가 필요했습니다.
AR 스타일 OPSD와의 비교: 접미사 기반 교사를 AR 스타일의 접두사 기반 교사로 대체한 절제 연구(ablation study) 결과, 제안된 접미사 구성이 AR 대응 모델보다 유의미하게 우수한 성능을 보였습니다. "Overlap Top-K" 지표 분석 결과, AR 스타일 방식은 새로운 지식을 도입하지 못하는 반면(높은 중복도), d-OPSD 접미사 방식은 학생이 학습할 수 있는 적절한 범위의 새로운 사고 패턴을 제공함을 확인했습니다.
절제 연구 결과:
- 발산 목표: 역(Reverse) KL이 순방향(Forward) KL보다 우수했습니다.
- 유지 비율: 유지 비율( $\rho_{\text{teacher}}$ )이 0.25일 때 최적의 결과를 보였으나, 0.10에서도 상당한 이득을 제공했습니다.
- Top-k 선택: 교사 분포로부터 파생된 top- $k$ 부분집합을 사용하는 것이 학생 분포를 사용하는 것보다 더 나은 성능을 보였습니다.
- 안정성: 피크 성능 이후 정책 붕괴(policy collapse)를 방정하기 위해 포인트와이즈(pointwise) KL 클리핑이 필수적임을 발견했습니다. 이는 RLVR과 클리핑되지 않은 d-OPSD 모두에서 관찰된 실패 모드입니다.

5. 의의 및 주장

본 논문은 자기 증류가 확산 모델에도 효과적으로 적응될 수 있음을 확립함으로써 dLLM 사후 학습을 위한 유망한 경로를 열었다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

효율성: RLVR에 비해 획기적으로 줄어든 계산 비용(샘플 효율성)으로 최첨단 추론 성능을 달eric하는 방법을 제공합니다.
이론적 정렬: 특권 정보를 "자기-미래" 접미사로 재정의하고 감독을 단계별 발산으로 재구성함으로써, 온-정책 학습과 확산 메커니즘 사이의 간극을 성공적으로 메웠습니다.
자기 개선: 생성 궤적이 올바르게 활용된다면, 더 강력한 외부 모델이나 정적인 참조 데이터셋 없이도 단일 모델이 스스로의 교사 역할을 할 수 있음을 입증했습니다.

저자들은 이 접근 방식이 효과적이긴 하지만, 피크 성능에 도달한 후 발생하는 정책 붕괴에 취약하다는 점에서 RLVR과 유사한 특성을 공유하므로, 향후 안정화 기술에 대한 연구가 필요하다고 언급했습니다.