💬 NLP

Token Time Continuous Diffusion for Language Modeling

이 논문은 토큰별 시간 스케줄링을 활용하여 노이즈를 토큰으로 결정론적으로 매핑함으로써 기존의 이산 모델 대비 조건부 생성과 고속 추론에서 우수한 성능을 달성하는 연속 공간 확산 언어 모델인 Token Time Continuous Diffusion(TTCD)을 소개한다.

원저자: Parikshit Bansal, Sujay Sanghavi

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Parikshit Bansal, Sujay Sanghavi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 이야기를 쓰는 법을 가르치려 한다고 상상해 보세요. 오랫동안 이 작업을 수행하는 가장 좋은 방법은 로봇이 한 번에 한 단어씩 추측하게 만드는 것이었습니다. 마치 현재의 칸에 들어갈 정답만 볼 수 있는 낱말 맞추기 퍼즐을 푸는 것과 같았죠. 이 방식은 잘 작동하지만, 로봇이 단어 하나를 쓸 때마다 멈춰서 생각해야 하기 때문에 속도가 느립니다. 최근 과학자들은 "디퓨전(diffusion)"이라는 다른 접근 방식을 시도했습니다. 문장 전체를 한꺼번에 추측하는 대신, 정지 화면 같은 노이즈로 가득 찬 페이지에서 시작하여 이를 천천히 깨끗하게 닦아내어 단어가 나타나게 하는 방식입니다. 이는 진흙탕물이 서서히 맑은 연못으로 변하는 과정을 지켜보는 것과 같습니다.

하지만 문제가 하나 있습니다. 페이지 전체를 매우 빠르게(단 몇 단계 만에) 정화하려고 하면 로봇이 혼란에 빠집니다. 로봇은 여러 단어를 동시에 결정하려고 하지만, 이들을 한꺼번에 바라보기 때문에 실수를 저지릅니다. 이는 마치 조각 조각을 한 움큼 집어 들고 나서 각 조각이 어디에 들어갈지 한꺼번에 추측하며 퍼즐을 맞추려는 것과 같습니다. 한 곳에 맞는 조각을 먼저 찾은 다음 다음 단계로 넘어가는 것이 아니라 말이죠. 이 논문은 이 난장판을 해결할 수 있는 새로운 방법을 소개하며, 각 단어에 자신만의 개인적인 스케줄을 부여함으로써 로봇이 더 빠르고 더 정확하게 글을 쓸 수 있도록 해줍니다.

논문: 토큰 타임 연속 디퓨전 (Token Time Continuous Diffusion, TTCD)

이 논문의 저자인 파릭시트 반살(Parikshit Bansal)과 수제이 상하비(Sujay Sanghavi)는 **토큰 타임 연속 디퓨전(TTCD)**이라는 새로운 방법을 제안합니다. 이들의 아이디어는 모든 문장의 단어에 각자의 개인용 스톱워치를 주는 것과 같습니다.

이전의 "디퓨전" 모델에서는 문장 전체를 하나의 그룹처럼 취급했습니다. 모두가 동시에 노이즈 상태에서 시작하여 정확히 같은 순간에 명확한 단어가 되어야 했습니다. 저자들은 이것이 문제였다는 점을 깨달았습니다. 현실 세계에서는 어떤 단어(예: "the" 또는 "I")는 맞히기 쉽지만, 어떤 단어(예: 특정 이름이나 복잡한 동사)는 어렵습니다. 쉬운 단어들이 어려운 단어들을 기다리게 만드는 것은 속도를 늦출 뿐만 아니라, 속도를 높이려 할 때 오류를 발생시킵니다.

TTCD는 규칙을 바꿉니다. 문장 전체를 위한 하나의 전역 시계 대신, 각 단어는 자신만의 "토큰 타임(token time)"을 갖습니다.

쉬운 단어들: 모델이 단어에 대해 확신이 높다면(불확실성이 낮다면), 이 단어는 빠른 경로를 갖습니다. 노이즈에서 명확한 단어로 빠르게 이동합니다.
어려운 단어들: 모델이 혼란스러워한다면, 그 단어는 천천히 움직이며 스스로를 파악하는 데 시간을 들입니다.

교사가 질문을 던지는 교실을 상상해 보세요. 기존 시스템에서는 학급 전체가 정확히 같은 초에 손을 들어야 합니다. 한 학생이 느리면 모두가 기다려야 하죠. TTCD 시스템에서는 답을 아는 학생들이 즉시 손을 들고, 생각 중인 학생들은 몇 초 더 걸리더라도 나중에 손을 듭니다. AI인 교사는 누가 무엇을 알고 있는지 확인하고, 그 정보를 사용하여 다른 학생들이 답을 더 빨리 찾을 수 있도록 돕습니다.

테스트 방법

이 "개인별 스케줄" 아이디어가 효과가 있는지 확인하기 위해, 연구진은 두 가지 매우 다른 방식으로 테스트를 진행했습니다.

스도쿠 테스트: 모델에게 9x9 스도쿠 퍼즐을 풀게 했습니다. 이는 엄격한 논리가 필요하기 때문에 아주 좋은 테스트입니다. 숫자 하나만 틀려도 퍼즐 전체가 실패하기 때문입니다.
- 결과: 모델이 단 2단계만으로 퍼즐을 풀려고 했을 때, 기존 방식들은 12% 미만의 성공률을 보이며 처참하게 실패했습니다. 그러나 새로운 TTCD 방식은 스도쿠의 **31.51%**를 정확하게 풀어냈습니다. 이 방식만이 속도를 유지하면서도 무너지지 않고 문제를 해결할 수 있었습니다.
이야기 테스트: 모델이 이야기를 얼마나 잘 쓸 수 있는지 확인하기 위해 인터넷 텍ек스트(OpenWebText)의 방대한 양으로 모델을 학습시켰습니다. 연구진은 이 방식을 더 똑똑한 스승으로부터 배우는 "증류(distilled, 더 빠르게 만들기 위해 학습된 방식)"된 모델을 포함한 다른 최고 수준의 모델들과 비교했습니다.
- 결과: 단 1~4단계 내에 텍스트를 생성해야 하는 테스트에서, TTCD는 다른 모델들보다 더 높은 품질의 글을 만들어냈습니다. 텍스트가 반복되거나 엉뚱한 소리를 하지 않으면서도 다양하고 흥미로운 내용을 유지할 수 있었습니다. 논문은 모델의 일반적인 품질은 타 모델과 대등하지만, "조건부 생성(conditional generation)"—즉, 시작 문장(프롬프트)을 주었을 때 이야기를 이어가는 능력—에 있어서는 경쟁 모델들보다 훨씬 뛰어나다고 언급합니다.

발견한 점 (그리고 발견하지 못한 점)

저자들은 자신들의 "토큰별 시간(per-token time)" 아이디어가 특정 문제, 즉 "팩터라이제이션 문제(factorization problem)"를 해결한다고 확신합니다. 이는 충분한 생각 없이 여러 단어를 동시에 추측하려고 할 때 모델이 저지르는 실자를 뜻하는 전문 용어입니다. 단어들이 각기 다른 속도로 "정화" 과정을 마칠 수 있게 함으로써, TTCD는 이 함정을 피합니다.

하지만 이 논문은 이 방식이 모든 것을 해결하는 마법의 탄환이라고 주장하지는 않습니다.

규모(Scale): 테스트에 사용된 모델은 1억 6천만 개의 파라미터를 가진 상대적으로 작은 규모였습니다. 저자들은 이 기술이 현재의 거대 AI 모델들과 진정으로 경쟁하려면 10억 개의 파라미터 규모로 키워야 한다는 점을 인정했습니다.
속도 대 품질: TTCD는 높은 속도(적은 단계)에서 훌륭하지만, 이 논문이 모든 속도에서 절대적으로 최고라고 주장하는 것은 아닙니다. 더 느린 다단계 시나리오에서는 다른 모델들도 성능이 근접했습니다.
"지름길(Shortcut)": 모델을 더 빠르게 만들기 위해, 그들은 "자기 증류(self-distillation, 혹은 '지름길 모델')"라는 기술을 사용했습니다. 이를 통해 고품질을 유지하면서도 단 몇 단계 만에 텍스트를 생성할 수 있는 버전의 TTCD를 만들 수 있었습니다.

결론

이 논문은 우리가 AI에게 글쓰기를 가르치는 방식이 반드시 경직된, 일률적인 과정일 필요는 없다는 점을 시사합니다. 각 단어에 자신만의 속도를 부여함으로써—확신이 있는 단어는 질주하게 하고, 확신이 없는 단어는 조깅하게 함으로써—AI는 더 빠르고 더 정확하게 글을 쓸 수 있습니다. 이는 혼란스럽고 노이즈 가득한 난장판을 잘 조직된 경주로 바꾸는 영리한 수정이며, 때로는 모두가 각자의 속도로 움직이게 하는 것이 앞으로 나아가는 최선의 방법임을 증명합니다.

기술 요약: 언어 모델링을 위한 토큰 시간 연속 확산 (Token Time Continuous Diffusion)

문제 정의

현재의 확산 언어 모델(Diffusion LMs)은 주로 이산적 토큰 공간(discrete token space)에서 작동하며, null 토큰을 언마스킹하거나 균등한 무작동성으로부터 디노이징하는 것과 같은 반복적인 정제 과정을 활용합니다. 이러한 모델들은 경쟁력 있는 벤치마크 성능을 달성하지만, 고속 가속(high-speedup, 적은 단계의 생성) 설정에서 발생하는 **팩터화 문제(factorization problem)**라는 치명적인 한계에 직면합니다. 여러 토큰이 단일 단계에서 동시에 디노이징될 때, 모델은 실제 기저의 결합 분포(joint distribution)가 아닌 곱 주변 분포(product marginal distribution)로부터 샘플링하게 됩니다. 이는 생성 단계 수가 감소함에 따라 텍스트 품질의 심각한 저하를 초래합니다.

또한, 기존의 연속 공간 확산 모델은 토큰 임베딩이 높은 노이즈 수준에서는 정보가 없고 낮은 노이즈 수준에서는 매우 확실해지는 "급격한 전이(sudden transition)" 문제에 직면해 있으며, 중간 전이 구간이 매우 좁습니다. 이를 글로벌 타임 워핑(global time warping)으로 해결하려는 이전의 시도들은 시퀀스 내 서로 다른 토큰을 추론하는 난이도의 본질적인 가변성을 고려하지 못했습니다. 아울러, 글로벌 타임 모델은 깨끗한 입력 프롬프트와 생성이 필요한 노이즈 캔버스를 구분하는 데 어려움을 겪어, 최적의 조건부 생성을 수행하지 못합니다.

방법론: 토큰 시간 연속 확산 (TTCD)

저자들은 연속 임베딩 공간에서 작동하며 토큰별 시간(per-token times) 개념을 도입한 새로운 프레임워크인 **토큰 시간 연속 확산(TTCD)**을 제안합니다.

핵심 메커니즘

연속 공간 진화: TTCD는 가우시안 노이즈(시간 $t=0$ )를 깨끗한 토큰 임베딩(시간 $t=1$ )으로 결정론적으로 매핑하며, 중간 샘플링 단계를 거치지 않음으로써 이산 공간 특유의 팩터화 문제를 회피합니다.
토큰별 시간: 모든 토큰에 단일한 글로벌 노이즈 레벨( $t_g$ $t_{g}$ )을 부과하는 이전 방식과 달리, TTCD는 각 토큰 $l$ $l$ 에 고유한 로컬 타임 $t_l$ $t_{l}$ 을 할당합니다.
- 순위 할당: 각 토큰에는 순위 $u_l \in [0, 1]$ 가 할당됩니다.
- 시간 함수: 로컬 타임은 함수 $t_l = F(t_g, u_l)$ 에 의해 결정됩니다. 저자들은 $t_l$ 이 베타 분포를 따르도록 $F$ 를 선택하여, 순위가 높은 토큰(추론하기 쉬운 토큰)이 낮은 순위의 토큰보다 노이즈에서 데이터로 더 빠르게 진행되도록 보장합니다.
- 속성: 함수 $F$ 는 $t_g=0$ 일 때 모든 토큰이 노이즈이고, $t_g=1$ 일 때 모두 데이터임을 보장하며, 로컬 타임의 평균은 글로벌 타임과 일치합니다.
동적 디노이징: 추론 과정에서 토큰들은 할당된 순위에 따라 서로 다른 속도로 디노이징됩니다. "확실한(sure)" 토큰(낮은 엔트로피)은 높은 순위를 부여받아 더 일찍 디노이징되며, "불확실한(unsure)" 토큰은 나중에 디노이징됩니다. 이를 통해 모델은 이미 결정된 "확실한" 토큰들에 기반하여 어려운 토큰의 생성을 조건화함으로써, 토큰 간 의존성을 더 잘 모델링할 수 있습니다.
조건부 생성: 접두사 조건부(prefix-conditioned) 작업의 경우, 입력 프롬프트 토큰은 과정 전반에 걸쳐 고정된 시간 $t=1$ (깨끗함)을 할당받는 반면, 캔버스 토큰은 $t=0$ 에서 $t=1$ 로 진화합니다. 이는 프롬프트와 생성될 콘텐츠를 명시적으로 구분합니다.
아키텍처 수정: 모델은 적응형 레이어 정규화(adaptive LayerNorm, adaLN)의 글로벌 타임 컨디셔닝을 토큰별 타임 컨디셔닝으로 교체하여 확산 트랜스포머(Diffusion Transformer, DiT) 아키텍처를 조정합니다. 이 수정은 추가 파라미터를 도입하지 않습니다.
증류 (Shortcut 모델): 추론을 가속화하기 위해 저자들은 "숏컷(shortcut)" 모델을 사용하는 자기 증류(self-distillation) 전략을 사용합니다. 모델은 임의의 시작 및 종료 글로벌 타임 사이의 평균 흐름 속도(flow velocity)를 토큰 타임에 따라 예측하도록 미세 조정되며, 이를 통해 매우 적은 단계(예: 1-4 단계)에서도 고품질의 생성을 가능하게 합니다.

주요 기여

토큰별 속도를 가진 연속 공간: 토큰의 정체성이 서로 다른 수준의 추론 가능성을 가진다는 아이디어를 공식화하여, 토큰들이 서로 다른 속도로 디노이징되는 연속 공간 확산 언어 모델을 도입했습니다.
파라미터 프리 아키텍처 변경: 파라미터 수를 늘리지 않고도 토큰별 타임 컨디셔닝을 지원하도록 표준 DiT 아키텍처를 수정했습니다.
최첨단 적은 단계 성능: TTCD가 고속 가속(적은 단계 생성) 환경에서 기존의 이산 및 연속 확산 모델보다 우수한 성능을 보임을 입증했습니다.
효과적인 증류: 연속 흐름 모델에 숏컷 기반 자기 증류를 성공적으로 적용하여, 매우 적은 단계의 생성을 위한 최첨단 결과를 달ей했습니다.

실험 결과

저자들은 세 가지 작업에 대해 TTCD를 평가했습니다:

스도쿠 풀기 (알고리즘 추론):
- 2단계 생성 예산이 주어진 9x9 스도쿠 풀기에서 TTCD는 **31.51%**의 정확도를 달성했습니다.
- 이는 이산 마스킹 베이스라인(엔트로피 기반 언마스킹 시 11.65%)과 단순 연속 방식(0%에 근접)을 크게 상회하는 수치입니다.
- 이 결과는 토큰을 확실성에 따라 올바르게 순위 매기고, 병렬 샘플링의 문제를 일으키는 팩터화 오류를 피하는 TTCD의 능력을 강조합니다.
OpenWebText 언어 생성:
- 160M 파라미터 규모의 TTCD 모델을 학습시키고 자기 증류했습니다.
- 무조건 생성(Unconditional Generation): 1-4단계 생성에서, 증류된 TTCD는 생성 퍼플렉서티(Gen PPL)와 텍text 엔트로피 측면에서 이산 베이스라인(Duo, MDLM) 및 연속 베이스라인(FLM)과 대등하거나 이를 능가했습니다. 특히, TTCD는 엔트로피 붕괴를 겪는 FLM에 비해 더 높은 엔트로피(다양성)를 유지했습니다.
- 조건부 생성(Conditional Generation): 접두사 조건부 작업(프롬프트가 주어졌을 때 32 또는 128개 토큰 생성)에서, TTCD는 Duo와 FLM의 증류 버전을 포함한 모든 베이스라인을 크게 앞질렀습니다. 토큰별 타임 메커니즘은 깨끗한 프롬프트와 노이즈가 섞인 캔버스 사이의 차이를 처리하는 데 자연스럽게 적합함을 입증했습니다.
분자 생성 (QM9):
- 분류기 없는 가이드(classifier-free guidance) 실험에서, 토큰 타임을 사용하는 연속 공간 방식(TTCD)은 이산 베이스라인에 비해 더 많은 유효 분자를 생성하고 더 나은 프런티어 성능을 달성했습니다.

의의 및 주장

본 논문은 TTCD가 이산 확산 모델의 근본적인 "팩터화 문제"를 연속 공간 작동을 통해 해결하고, 기존 연속 모델의 "급격한 전이" 문제를 토큰별 타임을 도입함으로써 해결한다고 주장합니다.

저자들은 다음과 같이 단언합니다:

고속 가속 가능성: TTCD는 이산 모델이 일반적으로 실패하는 고속 가속(적은 단계 생성) 설정에서 경쟁력 있거나 우수한 성능을 보이는 최초의 확산 언어 모델입니다.
조건부 생성의 우월성: 명시적인 토큰별 타임 처리는 고정된 입력 프롬프트와 진화하는 출력 시퀀스를 자연스럽게 구분할 수 있게 하여 우수한 조건부 생성을 가능하게 합니다.
확장성: 동일한 데이터에서 유사한 크기의 자기 증류 베이스라인을 능가하는 160M 파라미터 모델 학습을 통해 효과적인 확장성을 입증했습니다.

저자들은 현재 결과가 100M-160M 파라미터 규모에 국한되어 있다는 점을 언급하며, 멀티 토큰 예측 자기회귀(autoregressive) 모델과 완전히 비교하기 위해서는 1B 이상의 파라미터로 확장하는 것이 필요하다고 밝히며 겸손한 태도를 유지했습니다. 또한, 토큰 타임 개념이 향후 연구에서 균등 노이징 이산 모델로 확장될 수 있음을 시사했습니다.