💬 NLP

A Continuous-Time Markov Chain Framework for Insertion Language Models

이 논문은 삽입 언어 모델(Insertion Language Models)을 위한 원칙적인 확산 스타일의 디노이징 목적 함수를 도출하기 위해 연속 시간 마르코프 체인 프레임워크를 구축하며, 기존 방법들이 이 접근 방식의 특수한 사례임을 입증하는 동시에 경쟁력 있는 성능과 향상된 샘플링 유연성을 달성한다.

원저자: Dhruvesh Patel, Benjamin Rozonoyer, Soumitra Das, Tahira Naseem, Tim G. J. Rudner, Andrew McCallum

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dhruvesh Patel, Benjamin Rozonoyer, Soumitra Das, Tahira Naseem, Tim G. J. Rudner, Andrew McCallum

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 이야기를 쓰려고 노력 중이라고 상상해 보세요. 하지만 당신에게는 매우 엄격한 규칙이 하나 있습니다. 바로 첫 번째 글자부터 마지막 글자까지 모든 단어를 순서대로 써야 한다는 것입니다. 이것이 현재 대부분의 AI 언어 모델이 작동하는 방식(이를 '자기회귀(Autoregressive)' 모델이라고 부릅니다)입니다. 이들은 마치 단 하나의 선로 위에서만 앞으로 나아갈 수 있는 기차와 같습니다. 만약 기차가 초반에 길을 잘못 들거나 멈춰버린다면, 전체 여정을 수정하기란 매우 어렵습니다.

다른 모델들은 문장 중간의 빈칸을 추측하여 채워 넣는 방식(예: '마스크드 디퓨전 모델(Masked Diffusion Models)')으로 더 유연하게 대처하려고 시도합니다. 하지만 이러한 모델들은 문장의 길이를 정확히 어떻게 정해야 할지 파악하는 데 어려움을 겪거나, 사건의 순서에 대해 혼란을 느낄 수 있습니다.

이 논문은 AI에게 글쓰기를 가르치는 새로운 방법인 **확산 기반 삽입 언어 모델(Diffusion-based Insertion Language Models, DILM)**을 소개합니다. 이해를 돕기 위해 쉬운 비유를 들어 설명하겠습니다.

핵심 아이디어: "가위와 풀" 게임

저자들은 AI에게 글쓰기를 가르치기 위해 역순으로 진행되는 게임을 상상했습니다.

노이징 과정 (가위):
완벽하고 완전한 문장이 있다고 상상해 보세요: "The quick brown fox jumps over the lazy dog." (빠른 갈색 여우가 게으른 개를 뛰어넘는다.)
AI의 선생님은 가위를 들고 무작위로 단어를 하나씩 잘라내기 시작합니다.
- 먼저 "lazy"를 잘라냅니다.
- 그다음 "brown"을 잘라냅니다.
- 그다음 "jumps"를 잘라냅니다.
- 결국, 몇 개의 단어만 남거나 심지어 빈 공간만 남게 됩니다.
  논문에서는 이 잘라내는 과정을 설명하기 위해 **연속 시간 마르코프 체인(Continuous-Time Markov Chain)**이라는 수학적 프레임워크를 사용합니다. 이것을 과학적으로 표현하자면, "문장이 사라질 때까지 일정한 속도로 단어를 제거하겠다"는 뜻입니다.
학습 과정 (풀):
이제 AI는 이 게임을 역순으로 수행해야 합니다. AI는 빈 공간(또는 남아 있는 몇 개의 단어)에서 시작하여 어떻게 단어를 다시 집어넣을지 알아내야 합니다.
- AI는 "The"와 "quick" 사이에 "brown"을 넣을 수 있습니다.
- "over"와 "dog" 사이에 "lazy"를 넣을 수 있습니다.
- 심지어 여러 개의 빈틈에 한꺼번에 여러 단어를 삽입할 수도 있습니다.

이것이 왜 특별한가요?

이 논문은 이 방식이 두 세계의 장점을 결합했다고 주장합니다.

유연성: "선로 위의 기차" 모델과 달리, 이 AI는 처음부터 전체를 다시 쓸 필요 없이 문장 중간의 실수를 고치거나 세부 사항을 추가할 수 있습니다.
멈출 때를 아는 능력: 이러한 "빈칸 채우기" 모델이 겪는 흔한 문제는 문장이 언제 끝나는지 모른다는 점입니다. 그들은 계속해서 단어를 추가하거나 너무 일찍 멈출 수 있습니다.
- 저자들은 AI에게 **"남은 길이(length-to-go)"**를 예측하도록 가르침으로써 이 문제를 해결했습니다. AI에게 연료 게이지가 있다고 상상해 보세요. AI가 단어를 삽격할 때마다 연료 게이지는 내려갑니다. 게이지가 0에 도달하면, AI는 "좋아, 문장이 완성되었다"라고 판단하고 자연스럽게 멈춥니다.

새로운 모델의 두 가지 버전

논문은 이 "풀칠(삽입)"을 수행하는 두 가지 구체적인 방법을 제안합니다.

DILM-S (단일 삽입): AI가 한 번에 한 곳을 선택하여 한 개의 단어를 삽입합니다. 이는 레고 블록을 하나씩 조심스럽게 놓는 것과 같습니다. 매우 정밀합니다.
DILM-M (다중 삽입): AI가 모든 빈 공간을 한꺼번에 살펴보고 여러 개의 빈틈을 동시에 채울 수 있습니다. 이는 한 움큼의 레고 블록을 잡아 한꺼번에 끼워 맞추는 것과 같습니다. 더 빠릅니다.

무엇을 발견했나요?

연구진은 두 가지 유형의 작업에서 새로운 모델을 테스트했습니다.

계획 작업 ("스타 그래프" 게임):
중앙 허브와 여러 갈래의 경로가 있는 지도를 상상해 보세요. AI는 시작점에서 도착점까지의 올바른 경로를 찾아내야 합니다.
- 결과: 새로운 모델들(DILM-S 및 DILM-M)은 이 작업에서 거의 완벽했습니다. 표준적인 "선로 위의 기차" 모델이나 다른 "빈칸 채우기" 모델보다 훨씬 뛰어났습니다. 그들은 전체 그림을 보고 경로를 올바르게 계획할 수 있었습니다.
이야기 쓰기 (언어 모델링):
그들은 뉴스 기사와 일반 텍스트를 쓰는 테스트를 진행했습니다.
- 결과: 새로운 모델들은 일관성 있는 텍스트를 쓰는 데 있어 기존의 가장 우수한 모델들과 대등한 성능을 보였습니다.
- 큰 보너스: 저자들은 이 새로운 방법을 통해 **속도와 품질 사이의 절충(trade-off)**이 가능하다는 것을 발견했습니다. 만약 AI가 단어를 삽입하는 데 더 많은 "단계(시간)"를 들인다면, 글의 품질은 더 좋아집 서. 반대로 서두르면 더 빠르지만 약간 덜 완벽해집니다. 이는 사용자가 자신에게 필요한 결과물을 얻기 위해 조절할 수 있는 '노브(knob)'를 갖게 해줍니다.

요약

요약하자면, 이 논문은 시행착오를 거치는 "빈칸 채우기"의 무질서한 과정을 탄탄한 수학적 토대 위에 올려놓았습니다. 단어를 자르고 붙이는 연속적인 게임처럼 이 과정을 다룸으로써, 어떤 순서로든 글을 쓸 수 있고, 언제 멈춰야 할지 정확히 알며, 사용자의 필요에 따라 빠르거나 매우 높은 품질로 조정할 수 있는 AI를 만들어냈습니다.

기술 요약: 삽입 언어 모델을 위한 연속 시간 마르코프 체인 프레임워크

문제 정의

자기회귀 언어 모델(Autoregressive Language Models, ARMs)은 시퀀스를 엄격하게 왼쪽에서 오른쪽 방향으로 생성하므로, 계획(planning)이나 하위 목표 기반의 인필링(infilling)과 같이 비순차적 생성이 필요한 작업에서의 유연성이 제한됩니다. 마스크 확산 모델(Masked Diffusion Models, MDMs)은 임의의 생성 순서와 다중 토큰 단계를 허용하지만, 패딩 토큰을 일반적인 어휘 항목으로 취급하여 생성 품질에 영향을 미치고 블록 기반의 좌측-우측 절차로 샘플링을 제한하기 때문에 가변 길이 시퀀스를 처리하는 데 어려움을 겪는 경우가 많습니다.

기존의 삽입 언어 모델(Insertion Language Models, ILMs)은 임의의 위치에 토큰을 반복적으로 삽입함으로써 이러한 한계를 해결하며, 가변 길이 및 상대적 순서 제약을 자연스럽게 처리합니다. 그러나 현재의 ILM 공식은 엄격한 확률적 기초가 결여된 임시방편적인(ad-hoc) 학습 목적 함수와 샘플링 절차에 의존하고 있습니다. 또한, 기존 ILM은 생성을 언제 멈출지 결정하는 문제에 어려움을 겪는 경우가 많습니다.

방법론

저자들은 가변 길이 시퀀스의 공간상에서 **연속 시간 마르코프 체인(Continuous-Time Markov Chain, CTMC)**을 사용하여 제1원리로부터 도출된 원칙적인 프레임워크인 **확산 기반 삽입 언어 모델(Diffusion-based Insertion Language Models, DILMs)**을 제안합니다.

1. 노이징 과정 (The Noising Process)

순방향 노이징 과정은 시간 간격 $[0, T]$ 동안 정답 시퀀스 $x_0$ 로부터 토큰을 무작위로 삭제하는 CTMC로 공식화됩니다.

상태 공간: 상태 공간은 시퀀스 내용과 그 길이를 모두 포함합니다.
삭제 메커니즘: 토큰은 시간 의존적 비율 $\sigma_t$ 에 따라 한 번에 하나씩(또는 독립적인 비율로) 삭제됩니다.
두 가지 변형:
- 결합 노이징 (Joint Noising): 삭제는 단일 이벤트로 발생하며, 삭제되는 토큰의 수는 포아송 분포를 따르고 위치는 균등하게 선택됩니다.
- 독립 노이징 (Independent Noising): 각 위치는 이항 분포를 통해 모델링된 독립적인 삭제 비율을 가집니다.

2. 생성 과정 (역방향 CTMC)

생성 과정은 노이징 과정의 시간 역전(time reversal)이며, 토큰을 삽입하여 시퀀스를 구축합니다. 저자들은 이 역과정 하에서 데이터 로그 가능도(log-likelihood)에 대한 증거 하한(Evidence Lower Bound, ELBO)을 도출합니다. 이들은 역방로율 행렬(reverse rate matrix) $\hat{R}^\theta_t$ 에 대해 두 가지 파라미터화 방식을 제안합니다:

DILM-S (단일 삽입): 삽입 위치와 어휘 항목의 결합 확률, 그리고 "남은 삽입 길이"(삽입되어야 할 남은 토큰 수)를 모델링합니다. 이 파라미터화는 한 번에 하나의 삽입을 예측합니다.
DILM-M (다중 삽입): 독립적인 위치별 삽입 비율을 모델링합니다. 이를 통해 모델은 단일 단계에서 서로 다른 간극(gap)들에 걸쳐 여러 삽hi를 동시에 샘플링할 수 있습니다.

두 변형 모두 시간 $t$ 에 따라 조건화된 적응형 레이어 정규화(Adaptive Layer Normalization, AdaLN)를 갖춘 트랜스포머 백본을 활용합니다. 중단 조건(stopping condition)을 처리하기 위해, 모델은 별도의 중단 분류기나 하이퍼파라미터에 의존하는 대신, 예측된 삽입 비율이 0으로 떨어질 때 생성이 종료되도록 '남은 길이'(또는 간극 크기)를 예측합니다.

3. 샘플링 (Sampling)

샘플링은 오일러 이산화(Euler discretization, DILM-S용) 또는 제약된 $\tau$ -leaping 절차(DILM-M용)를 통해 수행됩니다. 이러한 방법들은 샘플 품질과 전방 패스(forward pass) 횟수 사이의 트레이드오프를 허용하며, 이는 표준 ILM에는 없는 유연성입니다.

주요 기여

원칙적인 프레임워크: 본 논문은 임시방편적인 공식을 넘어, CTMC 프레임워크를 사용하여 제1원리로부터 유도된 확산 스타일의 디노이징 목적 함수를 도출한 삽입 기반 생성 모델을 제시합니다.
통합: 제안된 샘플링 절차는 기존의 공식들을 이 더 넓은 프레임워크의 특수한 사례로 보여줌으로써 기존 ILM들을 통합합니다.
두 가지 파라미터화: 저자들은 삽입 비율을 모델링하는 방식(결합 vs 독립)이 다른 두 가지 변형(DILM-S 및 DILM-M)을 도입하여, 샘플링 효율성과 다중 토큰 생성의 유연성을 제공합니다.
이론적 근거: 본 연구는 ELBO의 엄격한 유도를 제공하며 훈련 및 샘플링에 대한 계산적 고려 사항을 논의합니다.

실험 결과

저자들은 합성 계획 작업과 언어 모델링 벤치마크에서 DILM을 평가합니다.

합성 계획 (Star Graph 작업): ARM과 MDM이 어려움을 겪는 가변 길이 계획 작업에서, DILM-S와 DILM-M은 기존 ILM과 유사한 수준의 완벽에 가까운 정확도를 달성하여, 확산 기반 접근 방식이 복잡한 구조적 작업에 대한 삽입 기반 생성의 이점을 유지함을 입증했습니다.
언어 모델링 (LM1B 및 OpenWebText):
- LM1B 벤치마크에서 DILM-S와 D_ILM-M은 토큰당 음의 로그 가능도(NLL) 측면에서 기존 ILM 및 MDM과 경쟁할 만한 성능을 보였습니다.
- OpenWebText에서 DILM 변형은 ILM 및 MDM 베이스라인을 능가했습니다.
- 샘플링 유연성: 핵심적인 발견은 생성 품질과 샘플링 단계 수 사이의 트레이드오프가 가능하다는 점입니다. 기존 ILM이 평탄하거나 불규칙한 퍼플렉시티 곡선을 보이는 것과 달리, DILM은 샘플링 단계가 증가함에 따라 생성 퍼플렉시티가 매끄럽게 개선되는 모습을 보입니다.

의의 및 주장

본 논문은 DILM이 기존 삽입 모델에 대한 확률적으로 원칙적인 대안을 제공하며, 엄격한 훈련 목적 함수와 샘플링 절차를 제공한다고 주장합니다. 이 프레임워크는 삽입 기반 생성의 핵심 장점인 유연한 생성 순서와 자연스러운 가변 길이 처리를 유지하면서도, 임시방편적인 중단 기준과 이론적 근거 부족이라는 한계를 해결합니다.

저자들은 DILM-M이 다중 삽hi를 허용하지만, 현재는 간극당 하나의 토큰으로 제한되어 있어 연속적인 토큰 상관관계를 모델링하는 데 한계가 있다고 언급했습니다. 이들은 다중 토큰 스팬(span) 삽입 및 더 큰 모델로의 확장을 향후 연구 과제로 식별했습니다. 이 연구는 삽입 기반 생성을 연속 시간 확산 프로세스로 다루는 기초를 마련하여, 이전의 휴리스틱한 접근 방식들을 하나의 단일한 이론적 틀 아래 통합합니다.