💬 NLP

LESS Is More: Mutual-Stability Sampling for Diffusion Language Models

이 논문은 상호 안정성 규칙을 통해 토큰 확정(token commitment)을 동적으로 결정함으로써 디퓨전 거대 언어 모델의 효율성과 정확도를 크게 향상시키고, 고정 예산 디코딩 대비 역과정 단계(reverse steps)를 72.1% 줄이는 학습이 필요 없는 모델 불가지론적 적응형 샘플러인 \textsc{LESS}를 소개한다.

원저자: Amr Mohamed, Guokan Shang, Michalis Vazirgiannis

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amr Mohamed, Guokan Shang, Michalis Vazirgiannis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 개념: "타이핑하는 동안 수정하기" 문제

당신이 이야기를 쓰고 있다고 상상해 보세요. 하지만 왼쪽에서 오른쪽으로 한 단어씩 타이핑하는 대신(표준적인 AI 방식), 모든 단어가 마스크 뒤에 숨겨진 빈 페이지에서 시작합니다. 당신은 한 번에 모든 마스크 안에 무엇이 들어갈지 추측한 다음, 이야기가 말이 될 때까지 그 추측을 반복해서 다듬어야 합니다.

이것이 **확산 언어 모델(Diffusion Language Models, dLLMs)**이 작동하는 방식입니다. 이 모델들은 문장 전체를 한꺼번에 볼 수 있기 때문에(마치 초안을 편집하는 것처럼) 강력합니다(단순히 이전 단어를 바탕으로 다음 단어를 예측하는 것보다 뛰어납니다).

문제점:
현재 이러한 모델의 작동 방식은 마치 시험을 치르는 학생이 수학 문제는 10분 만에 풀고 역사 문제는 5분 만에 끝낼 수 있음에도 불구하고, 반드시 시험 시간 256분을 꽉 채워 써야만 하는 상황과 같습니다.

이미 완벽한 답을 계속 "재검토"하며 시간을 낭비합니다.
시간이 다 되어 멈춰야 한다는 규칙 때문에, 아직 답이 확정되지 않았음에도 너무 일찍 잘못된 답을 확정 지어버리기도 합니다.

이 논문은 LESS(Mutual-Stability Sampling)라는 새로운 방법을 소개합니다. 이는 마치 똑똑한 감독관처럼 행동합니다. 학생이 정해진 시간이 다 될 때까지 기다리는 대신, 특정 질문에 대해 정답이라고 확신하는 그 즉시 작업을 멈출 수 있게 해줍니다.

LESS의 작동 원리: "3단계 체크" 규칙

논문은 모델의 "확신도(confidence)"(모델이 스스로 얼마나 확신하는지)만을 믿어서는 안 된다고 주장합니다. 때때로 모델은 매우 확신하지만 틀릴 수도 있고, 매 순간 생각을 바꿀 수도 있기 때문입니다.

특정 단어(또는 토큰)를 언제 더 이상 다듬지 않고 멈출지 결정하기 위해, LESS는 **결합 안정성 규칙(Joint Stability Rule)**을 사용합니다. 이것은 답을 "확정(lock in)"하기 전의 3단계 보안 점검과 같습니다.

확신도 체크 (The Confidence Check): "확실합니까?"
- 모델은 자신의 최우선 추측이 정답이라는 것에 대해 높은 확신을 가져야 합니다.
지속성 체크 (The Persistence Check): "최근에 마음을 바꿨습니까?"
- 모델은 지난 몇 번의 검토 단계 동안 동일한 최우선 단어를 선택했어야 합니다. 만약 "고양이"와 "강아지" 사이를 계속 왔다 갔다 한다면, 아직 안정적인 상태가 아닙니다.
변동성 체크 (The Motion Check): "전체적인 그림이 진정되고 있습니까?"
- 이것이 이 논문의 핵심 혁신입니다. 논문은 **젠슨-샤논 발산(Jensen-Shannon Divergence, JSD)**이라는 수학 도구를 사용합니다.
- 비유: 당신이 흐릿한 사진을 보고 있다고 상상해 보세요. 설령 당신이 90%의 확률로 그것이 개라고 확신하더라도, 배경의 사진이 여전히 흔들리고 흐릿하다면 그 답을 확정해서는 안 됩니다. JSD는 정답 주변의 "흐릿함"이 멈췄는지 측정합니다. 가능한 단어들의 분포가 여전히 변하고 있다면, 그 답은 안정적인 것이 아닙니다.

결과: 세 가지 조건이 모두 충족될 때만 단어가 "언마스킹(unmasked)"(드러나고 확정됨)됩니다.

이것이 왜 중요한가

연구진은 Dream-7B, LLaDA-8B, LLaDA-1.5-8B 등 세 가지 서로 다른 AI 모델을 대상으로 수학, 코딩, 일반 상식을 포함한 7가지 작업에서 LESS를 테스트했습니다.

연구 결과:

적은 노력, 동일하거나 더 나은 품질: LESS는 표준 방식보다 72% 적은 단계를 사용하여 작업을 마칠 수 있었습니다.
빠른 속도: AI가 "재검토"를 덜 하기 때문에 작업을 훨씬 빠르게 완료합니다. 테스트에서 수학 문제를 푸는 데 걸리는 시간을 약 19초에서 단 5초로 단축했습니다.
더 똑똑한 결정: 단순히 확신이 있다고 해서 답을 확정해 버리는 다른 방법들과 달리, LESS는 답이 정말로 안정적이 될 때까지 기다립니다. 이는 어려운 수학 및 코딩 작업에서 다른 "무료(재학습이 필요 없는)" 방법들보다 오히려 정확도를 향상시켰습니다.

"LESS is More" 비유

표준적인 AI 디코딩 과정을 조각가가 돌 블록을 깎아 나가는 과정이라고 생각해 보세요.

기존 방식: 조각가는 상황에 상관없이 정확히 100번을 깎으라는 명령을 받습니다. 그들은 이미 매끄러운 부분에 20번을 더 깎거나(노력 낭비), 혹은 50번만 깎았는데 제한에 걸려 거친 부분을 그대로 두는(지저분한 결과) 상황을 겪을 수 있습니다.
LESS 방식: 조각가는 조각의 각 부분을 관찰합니다. 특정 부분이 매끄럽고, 안정적이며, 정이 더 이상 흔들리지 않는다고 판단되면, 그 특정 부분에 대한 작업을 멈추고 다음으로 넘어갑니다. 그들은 전체 조각을 완성하는 데 총 횟수는 줄이면서도, 결과물은 종종 더 깔끔하게 만들어냅니다.

요약된 주장

논문은 단어를 "확정"하는 결정을 온라인 중단 문제(online stopping problem)(실시간 안정성에 기반하여 중단 시점을 결정하는 것)로 취급함으로써, LESS가 다음과 같은 성과를 낼 수 있다고 주장합니다:

계산 단계를 70% 이상 줄임.
텍스트 생성 시간을 단축함.
수학 및 코딩과 같은 복잡한 작업에서 정확도를 유지하거나 향상시킴.
이 모든 것을 AI 모델을 재학습할 필요 없이 수행함 (디코딩 방식에 대한 "플러그 앤 플레이" 업데이트).

저자들은 단순히 확신(confidence)보다 **안정성(stability)**이 더 중요하다는 결론을 내렸습니다. 단어가 확정되기 전에 그것이 진정으로 "안착"할 때까지 기다림으로써, 더 적은 컴퓨팅 자원으로 더 나은 결과를 얻을 수 있다는 것입니다.

기술 요약: LESS: 확산 언어 모델을 위한 상호 안정성 샘플링 (Mutual-Stability Sampling)

문제 정의

확산 대규모 언어 모델(dLLM)은 마스킹된 시퀀스의 반복적인 디노이징을 통해 병렬적인 토큰 업데이트와 양방향 조건화를 가능하게 함으로써, 자기회귀(AR) 디코딩의 유망한 대안을 제시합니다. 그러나 이들의 실질적인 효율성은 고정된 역방향 디노이징 스케줄에 의존하는 샘플링 절차에 의해 현재 병목 현상을 겪고 있습니다. 표준 샘플러는 정해진 횟수의 단계를 실행하는데, 이는 예측이 이미 안정화된 위치에서 계산을 낭비하거나, 불안정한 토큰에 성급하게 확정(commitment)할 위험을 초래합니다. 일단 확산 과정에서 토큰이 언마스킹(unmasked)되면 일반적으로 고정된 것으로 취급됩니다. 만약 경직된 스케줄로 인해 초기에 잘못된 토큰이 확정될 경우, 후속 역방향 단계에서 이를 수정할 수 없으므로 품질 저하로 이어집니다. 기존의 학습 불필요(training-free) 적응형 샘플러들은 신뢰도(confidence)나 마진(margin) 기반 기준을 사용하여 이를 부분적으로 해결하지만, 토큰의 예측 궤적에 대한 전체적인 시간적 및 분포적 안정성을 포착하는 데는 종종 실패합니다.

방법론

저자들은 LESS(Less is More)를 제안합니다. 이는 토큰 확정을 각 위치별 온라인 정지 문제(online stopping problem)로 프레임화한 학습 불필요, 모델 불가지론적(model-agnostic) 적응형 샘플러입니다. LESS는 **상호 안정성 샘플링(mutual-stability sampling)**을 구현하며, 여기에서 마스킹된 위치는 세 가지 특정 안정성 신호가 예측이 정착되었음을 공동으로 나타낼 때만 언마스킹될 자격을 얻습니다.

공동 안정성 규칙 (The Joint Stability Rule)

각 역방향 단계 $t$ 에서 마스킹된 위치 $i$ 에 대해, LESS는 모델의 예측 분포 $p_{t,i}$ 로부터 도출된 세 가지 신호를 평가합니다:

Top-1 예측 신뢰도 (Top-1 Predictive Confidence): 현재의 top-1 토큰( $w_{t,i}$ )에 할당된 확률입니다. 위치는 임계값 $c$ 를 초과해야 합니다.
Top-1 토큰 지속성 (Top-1 Token Persistence): 현재의 top-1 토큰은 최근 $P$ 번의 역방향 단계 동안 변하지 않고 유지되어야 합니다. 이는 현재 신뢰도가 높더라도 토큰이 방금 변경된 경우에 성급하게 확정하는 것을 방지합니다.
Top-K 단계 간 젠슨-섀넌 발산 (Top-K Inter-Step Jensen–Shannon Divergence, JSD): 이는 LESS의 참신한 기여입니다. 이는 연속적인 역방향 단계 사이의 예측 분포 자체의 안정성을 측정합니다.
- 비대칭적인 쿨백-라이블러(KL) 발산을 사용하는 대신, LESS는 대칭적이고 유계(bounded)인 JSD를 사용합니다.
- 계산 효율성을 보장하고 관련 후보에 집중하기 위해, JSD는 현재 단계와 이전 단계의 top- $K$ 토큰의 합집합으로 구성된 조밀화된 어휘집(coarsened vocabulary) 상에서 계산되며, 나머지 질량은 잔여 심볼(residual symbol)로 붕괴됩니다.
- JSD는 임계값 $d$ 보다 작아야 합니다.

위치는 다음 조건을 만족할 때만 언마스킹을 수락합니다:
$\text{accept}_{t,i} = (\text{conf}_{t,i} \ge c) \land \text{persist}_{t,i} \land (\text{JSD}_{t,i} \le d)$

언마스킹 정책 (Unmasking Policy)

LESS는 전체 시퀀스 확산 모델을 위해 **프런티어 우선 정책(frontier-first policy)**을 채택합니다. 만약 가장 왼쪽의 마스킹된 위치가 적격하다면 해당 위치를 언마스킹하려고 시도합니다. 그렇지 않을 경우, 룩어헤드 윈도우(look-ahead window)를 스캔하여 첫 번째로 적격한 위치를 찾습니다. 만약 적격한 위치가 없다면 해당 단계는 건너뜁니다. 종료를 보장하기 위해, $\Pi$ 번의 연속된 스킵 단계 이후에는 강제 언마스킹 폴백(forced-unmasking fallback)이 트리거되지만, 이 폴백은 "안정적인" 확정으로 간주되지 않습니다.

주요 기여

토큰 확정의 공식화: 본 논문은 dLLM에서의 적응형 언마스킹을 언마스킹의 비가역성에 의해 유도되는 위치별 온라인 정지 문제로 프레임화합니다.
Top-K 단계 간 JSD: 저자들은 유계되고 대칭적인 안정성 신호로서 top- $K$ 단계 간 젠슨-섀넌 발산을 도입했습니다. 이는 신뢰도만으로는 진행 중인 분포적 움직임을 감지할 수 없고 KL 발산은 방향성이 있으며 유계되지 않는 기존 연구의 한계를 해결합니다.
LESS 샘플러: 신뢰도, 토큰 지속성, 그리고 단계 간 JSD를 결리한 학습 불필요 샘플러입니다. 이는 모델 재학습을 요구하지 않으며 기존 dLLM 체크포인트와 호환됩니다.
실증적 검증: 세 가지 dLLM 제품군(Dream-7B, LLaDA-8B, LLaDA-1.5-8B)과 수학, 코드, 일반 지식을 다루는 7개의 벤치마크에 대한 종합적인 평가를 수행했습니다.

결과

평가는 LESS가 고정 예산 디코딩(Base) 및 다른 강력한 학습 불필요 적응형 샘플러(Prophet 및 KLASS)와 비교하여 정확도-효율성 트레이드오프를 유의미하게 개선함을 보여줍니다.

효율성: 세 가지 모델 제품군 전반에서, LESS는 고정 예산 디코딩(Base)에 비해 평균적으로 72.1% 적은 역방상 단계를 사용합니다.
정확도: LESS는 더 적은 단계를 사용하면서도 고정 예산 베이스라인 대비 평균 +0.91 포인트의 정확도 이득을 달성했습니다. 또한 모든 모델 제품군에서 평균 정확도 측면에서 Prophet과 KLASS를 능가합니다.
태스크 성능: 이득은 수학 및 코드 생성 작업에서 가장 두드러집니다. 예를 들어, Dream-7B에서 LESS는 64.3 단계(Base의 256 단계 대비)만으로 65.18%의 평균 정확도를 달리는 반면, Base는 63.30%를 기록했습니다.
컴퓨팅 절감: 각 역방향 단계는 트랜스포머 순전파(forward pass)를 필요로 하므로, 단계의 감소는 직접적으로 추론 컴퓨팅 감소로 이어집니다. Dream-7B GSM8K의 경우, LESS는 실제 실행 시간(wall-clock latency)을 19.45초에서 5.16초로 줄였으며, 높은 단계 예산에서 순전파 평가 횟수를 약 75% 줄였습니다.
절제 연구(Ablation Studies):
- 신호 상보성: 단일 신호(신뢰도, 지속성 또는 JSD)는 공동 규칙만큼 성능을 내지 못합니다. 신뢰도가 주요 동력이지만, 지속성과 JSD는 조기 확정 및 분포적 드리프트에 대한 필수적인 안전장치를 제공합니다.
- 강건성: 이 방법은 단일 글로벌 설정 $(c=0.75, d=0.040)$ 을 사용하여 서로 다른 모델과 디코딩 체제(전체 시퀀스 vs. 준-자기회귀 블록 단위)에서 일관되게 성능을 발휘합니다.

의의 및 주장

본 논문은 LESS가 예측이 확신할 수 있고, 시간적으로 지속되며, 분포적으로 안정적일 때만 토큰을 확정함으로써 확산 언어 모델 디코딩을 가속화하는 실용적인 학습 불필요 메커니즘을 제공한다고 주장합니다.

저자들은 안정성이 단순히 신뢰도 그 이상임을 강조합니다. top-1 토큰이 최근에 변경되었거나 확률 질량이 대안들 사이에서 여전히 이동 중이라면, 높은 신뢰도의 예측이라도 불안정할 수 있습니다. LESS는 안정성을 현재의 예측과 최근 궤적의 결합된 속성으로 다룸으로써 조기 확정의 함정을 피합니다.

이 연구는 다음과 같은 다른 가속화 방법들과 직교하며 상호 보완적인 위치에 있습니다:

역방향 과정을 단축하는 학습 시간 방법(예: 증류/distillation)을 보완합니다.
단계당 지연 시간을 줄이는 시스템 방법(예: 캐싱, 추측 디코딩)을 보완합니다.
기본 모델을 수정하지 않고 이러한 방법들과 결합할 수 있는 드롭인(drop-in) 추론 시점 정책으로 작용합니다.

결론적으로, 본 논문은 상호 안정성이 견고한 조기 토큰 확정을 위한 유효한 기준임을 밝히며, 이를 통해 dLLM이 생성 품질을 희생하지 않으면서도 더 높은 효율성을 달agi 할 수 있게 합니다. 저자들은 이 방법이 안정성 임계값에 의해 제어되는 품질-효율성 트레이드오프를 노출하며, 특정 모델이나 태스크를 위해 튜닝이 필요할 수 있음을 인정하지만, 고정된 글로벌 설정이 다양한 평가 세트에서 효과적임을 입증했습니다.