💬 NLP

Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models

본 논문은 이질적인 8B 및 16B 교사 모델로부터 0.6B 학생 모델로 지식을 성공적으로 전이하여 코드 생성과 같은 벤치마크에서 자기회귀 기반 모델을 크게 능가하는 세 가지 새로운 구성 요소를 활용하는 확산 대형 언어 모델의 교차 아키텍처 증류용 최초의 프레임워크인 TIDE 를 소개합니다.

원저자: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan

게시일 2026-04-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 천재적인 세계적 수준의 요리사 (교사) 가 있다고 상상해 보세요. 이 요리사는 놀라운 요리를 만들 수 있지만, 이를 위해 수십억 달러 가치의 장비가 갖춰진 거대한 산업용 주방이 필요합니다. 당신은 재능 있는 젊은 견습생 (학생) 이 같은 요리를 할 수 있도록 가르치고 싶지만, 견습생에게는 작은 휴대용 캠핑 스토브와 작은 배낭만 있습니다.

문제는 무엇일까요? 요리사와 견습생은 서로 다른 언어를 사용하고, 서로 다른 레시피를 사용하며, 주방이 너무 어둡거나 지저분할 때 요리사가 혼란을 겪기도 합니다.

이 논문은 그 격차를 해소하도록 설계된 새로운 교육 프레임워크인 TIDE를 소개합니다. 이는 거대하고 복잡한 AI 모델에서 작고 단순한 모델로 지식을 성공적으로 전이할 수 있는 최초의 시스템으로, 두 모델이 서로 다르게 구축되어 있고 서로 다른 "언어"를 사용하더라도 가능합니다.

이제 TIDE 가 이 "요리 수업"의 세 가지 주요 문제를 해결하는 방식을 간단한 비유로 설명합니다.

1. 타이밍의 문제 (TIDAL)

도전 과제: 이 논문에서 사용하는 AI 유형인 확산 모델 (Diffusion models) 의 세계에서, 교사 모델은 주방이 잘 조명될 때만 신뢰할 수 있는 요리사와 같습니다.

초기 단계 (저 노이즈): 주방은 밝습니다. 요리사는 레시피 전체를 명확하게 보고 완벽한 지시를 내립니다.
후기 단계 (고 노이즈): 주방은 칠흑처럼 어둡습니다. 요리사는 막연하게 추측만 할 뿐입니다.

만약 견습생이 어둠 속에서 요리사의 추측을 듣도록 허용한다면, 견습생은 나쁜 습관을 배우게 될 것입니다.

TIDE 의 해결책 (TIDAL):
TIDAL 은 스마트 디머 스위치처럼 작용합니다. 주방이 어두울 때 (고 노이즈) 는 교사 목소리의 볼륨을 자동으로 낮추고, 주방이 밝을 때 (저 노이즈) 는 볼륨을 높입니다. 또한 수업이 얼마나 진행되었는지에 따라 볼륨을 조절합니다. 이를 통해 견습생은 교사가 실제로 정답을 확신할 때만 교사의 말을 듣게 됩니다.

2. 맥락 부재의 문제 (COMPDEMO)

도전 과제: 때로는 요리사가 요리를 하도록 요청받지만, 다른 절반이 안개 (마스크) 로 가려져 있어 재료를 절반만 보여줍니다. 안개가 짙을 때 요리사는 좋은 추측을 내리기 위해 충분한 정보를 보지 못합니다.

TIDE 의 해결책 (COMPDEMO):
안개 낀 사진을 요리사에게 두 번 보여주는 대신, TIDE 는 안개를 나눕니다.

1 차 통과: 요리사는 재료의 왼쪽 절반을 명확하게 보고 오른쪽 절반을 추측합니다.
2 차 통과: 요리사는 재료의 오른쪽 절반을 명확하게 보고 왼쪽 절반을 추측합니다.
결과: 견습생은 두 가지 관점에서의 최상의 추측을 결합한 "슈퍼 레시피"를 얻습니다. 이는 요리사에게 빈칸을 채울 두 번째 쌍의 눈을 제공하는 것과 같아, 안개 속에서도 지시가 훨씬 명확해집니다.

3. 서로 다른 언어의 문제 (Reverse CALM)

도전 과제: 교사는 "프랑스어" (토큰이라고 불리는 특정 단어 블록 집합) 를 사용하고, 학생은 "스페인어"를 사용합니다. "교사가 'Pomme'(사과) 라고 말했다"고 학생에게 단순히 말해줄 수 없습니다. 학생은 그 단어를 모르기 때문입니다. 표준 교육 방법은 여기서 무너집니다.

TIDE 의 해결책 (Reverse CALM):
단어 대 단어 번역을 시도하는 대신, TIDE 는 개별 단어보다 의미의 덩어리(전체 문장이나 구) 를 살펴봅니다.

기법: 대부분의 교육 방법은 학생이 교사의 확률과 정확히 일치하도록 강제하려 합니다. 이는 언어가 완벽하게 일치하지 않을 때 (0 으로 나누기를 시도하는 것과 같은) 수학적 폭발을 일으킵니다.
해결책: TIDE 는 방식을 뒤집습니다. 학생이 교사와 일치하도록 요구하는 대신, 교사가 학생이 무엇을 말할지 예측하도록 요구합니다. 이는 언어 불일치의 "노이즈"를 필터링하는 안정적이고 안전한 학습 경로를 만듭니다. 이는 마치 교사가 각 단어의 특정 철자가 아니라 아이디어를 기준으로 학생의 에세이를 채점하는 것과 같습니다.

결과: 그 무게를 뛰어넘는 작은 모델

연구진들은 160 억 파라미터의 거대 교사 모델과 80 억 파라미터의 교사 모델을 가져와 6 억 파라미터의 작은 학생 모델로 증류하여 이를 테스트했습니다.

메모리: 거대한 교사 모델은 슈퍼컴퓨터와 같은 31GB 의 메모리가 필요했습니다. 반면, 작은 학생 모델은 일반 노트북과 같은 1.4GB 만 필요합니다. 이는 22 배 감소입니다.
속도: 학생 모델은 거대한 교사 모델보다 5 배 빠릅니다.
성능: 비록 작지만, 학생 모델은 원래의 "표준" 소형 모델보다 우수한 성능을 발휘했습니다. 가장 인상적으로, 코딩 작업(컴퓨터 프로그램 작성 등) 에서 학생 모델은 표준 테스트에서 48.78점을 기록한 반면, 최상의 표준 소형 모델은 32.3점만 기록했습니다.

결론

TIDE 는 슈퍼컴퓨터가 없어도 초지능적인 결과를 얻을 수 있음을 증명합니다. 학생이 언제 듣는지, 교사가 어떻게 설명하는지, 그리고 서로 다른 언어 간에 어떻게 번역하는지를 신중하게 관리함으로써, 거대 AI 의 천재성을 일상적인 하드웨어에서 실행 가능한 작고 휴대 가능한 패키지로 압축할 수 있습니다.

"Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

확산 기반 대규모 언어 모델 (dLLMs) 은 병렬 디코딩과 양방향 문맥과 같은 autoregressive(AR) 모델 대비 상당한 장점을 제공합니다. 그러나 최첨단 dLLMs 는 경쟁력 있는 성능을 달성하기 위해 막대한 파라미터 수 (8B~100B+) 를 요구하여 배포에 장벽이 되고 있습니다.

지식 증류 (knowledge distillation) 는 모델 압축을 위한 표준적인 해결책이지만, 기존 dLLM 을 위한 방법들 (예: CDLM, DDD) 은 단일 아키텍처(동일한 교사 및 학생 아키텍처/토크나이저) 내에서 스텝 압축에만 집중합니다. 이는 교사 및 학생이 다음 사항에서 상이한 교차 아키텍처 증류 (Cross-Architecture Distillation) 문제를 다루지 못합니다:

아키텍처 및 어텐션: (예: MoE 대 Dense, 양방향 대 인과적).
토크나이저: 서로 다른 어휘는 표준 토큰 수준 가능성 매칭을 수학적으로 적용 불가능하게 만듭니다.
시간적 역학: 확산 모델에서 교사의 신뢰도는 노이즈 수준 (타임스텝) 에 따라 극적으로 변동하는 반면, AR 모델에서는 교사가 항상 전체 왼쪽 문맥을 봅니다.

2. 방법론: TIDE 프레임워크

저자들은 다양한 아키텍처의 dLLM 증류를 위한 최초의 통합 프레임워크인 TIDE(Turning the TIDE) 를 제안합니다. 이는 시간적, 공간적, 어휘적 장벽을 극복하도록 설계된 세 가지 모듈식 구성 요소로 이루어져 있습니다.

A. TIDAL (Time-Iteration Dual-Axis Lambda Modulation)

과제: 교사의 신뢰도는 확산 타임스텝 ( $t$ ) 에 따라 변합니다. 고노이즈 ( $t \approx 1$ ) 일 때 교사는 추측을 하고, 저노이즈 ( $t \approx 0$ ) 일 때 교사는 신뢰할 수 있습니다. 또한, 학생의 용량은 훈련 과정에서 진화합니다.
해결책: TIDAL 은 두 축을 따라 증류 강도 ( $\lambda_t$ $λ_{t}$ ) 를 조절합니다:
1. 확산 타임스텝: $\lambda_t = \lambda_{train} \times (1 - t)$ . 노이즈가 증가함에 따라 노이즈가 있는 신호를 학습하는 것을 피하기 위해 교사 의존도가 감소합니다.
2. 훈련 진행도: $\lambda_{train}$ 은 코사인 스케줄을 따르며, 붕괴를 방지하기 위해 낮게 시작 (학생 주도) 하여 훈련이 안정화됨에 따라 높게 증가 (교사 주도) 합니다.
메커니즘: 목표 분포는 계산 그래프에서 분리된 학생 및 교사 로짓 간의 보간으로, 혼합된 목표를 통한 그래디언트 흐름을 방지합니다.

B. COMPDEMO (Complementary Demonstration-Conditioned Denoising)

과제: 과도한 마스킹 (고노이즈) 하에서 교사는 불충분한 문맥을 받아들이게 되어 예측이 저하됩니다.
해결책: 마스킹된 위치 ( $M$ $M$ ) 는 두 개의 보완적 부분집합 ( $M_A, M_B$ $M_{A}, M_{B}$ ) 으로 나뉩니다.
- 1 차 통과: 교사는 $M_A$ 가 드러나 있고 (클린) $M_B$ 가 마스킹된 상태를 봅니다.
- 2 차 통과: 교사는 $M_B$ 가 드러나 있고 (클린) $M_A$ 가 마스킹된 상태를 봅니다.
메커니즘: 두 통과에서 얻은 교사의 로짓이 병합됩니다. 이는 교사의 문맥을 풍부하게 하여 "유효 타임스텝"을 효과적으로 낮추고, 고노이즈 수준에서도 학생에게 더 높은 품질의 증류 신호를 제공합니다.

C. Reverse CALM (Cross-Token Alignment via Reverse Likelihood)

과제: 교사와 학생이 서로 다른 토크나이저 ( $V_T \neq V_S$ ) 를 사용할 때, 토큰 수준 KL 발산은 정의되지 않습니다. 표준 청크 수준 정렬 (CALM 등) 은 종종 "Forward" 이진 교차 엔트로피 (BCE) 손실을 사용합니다.
Forward CALM 의 문제점: 그래디언트에는 $p_t^c / p_s^c$ 항이 포함됩니다. 학생이 교사가 확신하는 청크에 낮은 확률을 할당할 경우 ( $p_s \to 0, p_t \to 1$ ), 그래디언트가 폭발합니다.
해결책: Reverse CALM은 BCE 손실 방향을 반전시킵니다: $L = -[p_s \log p_t + (1-p_s) \log(1-p_t)]$ .
메커니즘:
- 유계 그래디언트: 그래디언트 계수는 고정된 교사에만 의존하며 유계인 $\log(p_t / (1-p_t))$ 가 됩니다.
- 양단 노이즈 필터링: 정렬이 잘되지 않은 청크 ( $p_t \approx 0.5$ ) 는 계수를 0 으로 만들고, 낮은 학생 확률은 노이즈를 억제합니다. 이는 스칼라 공간에서 "모드 탐색 (mode-seeking)" 목적 함수로 작용합니다.

3. 실험 설정

학생 모델: 0.6B 파라미터 Block Diffusion 모델 (BD3LM).
교사 모델:
1. LLaDA2.0-mini (16B MoE): 이질적 아키텍처, 고유 토크나이저 (교차 토크나이저 파이프라인).
2. WeDLM-8B-Instruct (8B Dense): 공유 토크나이저 패밀리 (공유 토크나이저 파이프라인).
벤치마크: 추론 (GSM8K, MATH, BBH), 지식 (MMLU, MMLU-Pro), 상식 (HellaSwag), 코드 (HumanEval, MBPP) 를 포함한 8 가지 작업.

4. 주요 결과

전체 성능: 증류된 0.6B 모델은 모든 벤치마크에서 증류되지 않은 0.6B 기준 모델보다 평균 +1.53 점 더 높은 성능을 기록했습니다.
코드 생성 (HumanEval): 증류된 모델은 성능에서 엄청난 도약을 이루었습니다:
- 48.78(증류) 대 32.30(동일 크기 AR 기준).
- 이는 +16.48 점의 향상을 의미하며, 증류된 dLLMs 가 코드와 같은 구조화된 생성 작업에서 뛰어남을 보여줍니다.
파이프라인 특이성:
- 교차 토크나이저: Reverse CALM 전략이 우수했으며, 이는 불일치 어휘에 대한 유계 그래디언트의 필요성을 확인시켜 주었습니다.
- 공유 토크나이저: TIDAL + COMPDEMO 전략이 우수했으며, 점진적 커리큘럼 학습을 위해 정확한 토큰 정렬을 활용했습니다.
효율성:
- 메모리: 16B 교사 대비 22 배 감소 (31.3 GB 대비 1.4 GB).
- 속도: 16B 교사 대비 5 배 빠른 추론.
- 오버헤드: 증류는 증류되지 않은 학생 모델에 비해 무시할 만한 오버헤드만 추가합니다 (처리량 약 2.6% 감소).

5. 의의 및 기여

최초 교차 아키텍처 프레임워크: TIDE 는 이전까지 탐구되지 않았던 다양한 아키텍처 및 토크나이저를 가진 dLLM 간의 지식 전이를 가능하게 하는 선구적인 작업입니다.
새로운 구성 요소:
- TIDAL은 확산 증류의 시간적 불안정성을 해결합니다.
- COMPDEMO는 마스킹 확산에서의 문맥 부족 문제를 해결합니다.
- Reverse CALM은 그래디언트 폭발을 방지하는 교차 토크나이저 증류를 위한 수학적으로 안정적인 해결책을 제공합니다.
실용적 배포: 이 프레임워크는 고성능 dLLMs 를 상용 하드웨어에서 실행 가능한 소형 배포 모델 (0.6B) 로 압축할 수 있음을 입증하며, 확산의 양방향 및 병렬 장점을 유지합니다.
코드 생성 돌파구: 결과는 강력한 교사의 안내 하에 확산 디코딩의 병렬 특성이 프로그래밍과 같은 전역적 일관성이 필요한 작업에 고유하게 적합함을 시사합니다.

결론

TIDE 는 크고 비싼 확산 모델과 작고 배포 가능한 모델 간의 격차를 성공적으로 메꿉니다. 시간적 신뢰성, 문맥 부족, 어휘 불일치라는 고유한 도전을 해결함으로써 효율적인 dLLM 배포를 위한 새로운 기준을 수립하며, 특히 코드 생성에서 확산 모델의 잠재력을 강조합니다.