💬 NLP

dVoting: Fast Voting for dLLMs

이 논문은 확산 기반 대규모 언어 모델 (dLLM) 의 병렬 생성 특성을 활용하여 추가 학습 없이 불확실한 토큰을 식별하고 투표 방식으로 반복 정제함으로써 추론 성능을 획기적으로 향상시키는 'dVoting' 기법을 제안합니다.

원저자: Sicheng Feng, Zigeng Chen, Xinyin Ma, Gongfan Fang, Xinchao Wang

게시일 2026-02-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sicheng Feng, Zigeng Chen, Xinyin Ma, Gongfan Fang, Xinchao Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🗳️ DVOTING: diffusion 언어 모델의 '신속한 투표' 전략

이 논문은 dLLM(Diffusion Large Language Models, 확산 기반 대규모 언어 모델)이라는 새로운 종류의 AI 가 더 똑똑하게, 그리고 더 빠르게 생각할 수 있게 해주는 획기적인 방법인 'DVOTING(신속한 투표)을 소개합니다.

기존의 AI 는 글을 쓸 때 "한 글자, 한 글자" 순서대로 써나가는 방식 ( autoregressive ) 을 썼는데, dLLM 은 마치 퍼즐을 맞추듯 한 번에 여러 글자를 동시에 채워 넣을 수 있습니다. 하지만 dLLM 을 쓰면 계산 비용이 너무 많이 들어가는 문제가 있었죠. DVOTING 은 이 문제를 해결하면서도 AI 의 추론 능력을 크게 향상시킵니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

🧩 1. 배경: 퍼즐을 맞추는 두 가지 방식

기존 AI(autoregressive) : 레고 블록을 하나씩 쌓는 방식입니다. "나는 오늘" -> "나는 오늘" -> "나는 오늘 학교에" -> ... 이렇게 한 글자씩 이어가야 합니다. 느리지만 확실합니다.
dLLM(Diffusion) : 퍼즐을 한 번에 다 채우는 방식입니다. 빈칸이 많은 퍼즐을 보고, "여기엔 아마 이 글자가 들어갈 거야"라고 여러 칸을 동시에 채웁니다. 만약 틀리면 그 부분만 지우고 다시 채울 수 있습니다. 병렬 처리가 가능해서 매우 빠르고 유연합니다.

하지만 dLLM 이 퍼즐을 풀 때, 매번 처음부터 끝까지 다 지우고 다시 그리는 것은 비효율적입니다. 이미 맞춘 부분은 그대로 두고, 틀린 부분만 고치면 되는데 말이죠.

🎯 2. 핵심 발견: "대부분은 이미 맞다!"

연구팀이 dLLM 으로 같은 문제를 여러 번 풀어보게 했더니 놀라운 사실이 발견되었습니다.

"한 문제를 여러 번 풀 때, 대부분의 글자는 매번 똑같이 나옵니다. 하지만 몇몇 글자만 계속 달라집니다."

예를 들어, " Janet 의 오리는 하루에 16 개의 알을 낳습니다..."라는 문제를 풀 때, "Janet", "오리", "16" 같은 단어는 5 번 풀어도 5 번 다 똑같이 나옵니다. 하지만 "계산 결과"나 "마지막 숫자" 같은 부분만 계속 달라지는 거죠.

이것은 AI 가 이미 80% 는 확신하고 있고, 20% 만 헷갈려 한다는 뜻입니다.

🗳️ 3. DVOTING 의 작동 원리: "신속한 투표"

이제 이 발견을 바탕으로 DVOTING이 어떻게 작동하는지 비유해 보겠습니다.

🏛️ 비유: "회의실에서의 신속한 결정"

**초기 투표 **(Multiple Samples)
AI 에게 같은 문제를 5 명에게 물어봅니다 (5 번 샘플링).
- A: "18 달러입니다."
- B: "18 달러입니다."
- C: "18 달러입니다."
- D: "18 달러입니다."
- E: "18 달러입니다."
여기서 "18 달러"라는 답이 5 명 모두 일치하면, 이건 확실한 답이니까 더 이상 고민할 필요가 없습니다.
**불확실한 부분 찾기 **(Consistency Analysis)
만약 5 명 중 4 명은 "18 달러"라고 하고, 1 명만 "20 달러"라고 한다면?
DVOTING 은 "18 달러"라고 한 4 명은 이미 확신한 것이니 그대로 두고, "20 달러"라고 한 그 1 명만 다시 생각하게 합니다.
**재투표 **(Remasking & Regeneration)
AI 는 이미 확신한 글자 (18 달러) 는 **잠금 **(Preserve)해 두고, 헷갈려 하던 부분 (숫자) 만 **지우고 **(Remask) 다시 채우게 합니다.
마치 "너는 이미 정답을 알고 있으니, 이 부분만 다시 생각해보라"고 지시하는 것과 같습니다.
**수렴 **(Convergence)
이 과정을 반복하다가, 5 명 모두 같은 답을 내놓으면 투표를 종료하고 그 답을 최종 정답으로 채택합니다.

⚡ 4. 왜 이것이 혁신적인가?

**🚀 시간 절약 **(Fast)
기존 방식은 5 번 풀 때 매번 처음부터 끝까지 다 계산했습니다. 하지만 DVOTING 은 이미 맞춘 부분은 계산하지 않고, 헷갈리는 부분만 다시 계산합니다. 그래서 계산 비용이 훨씬 적게 들면서도 더 정확한 답을 냅니다.
**🧠 더 똑똑해짐 **(Better Reasoning)
실험 결과, 수학 문제 (GSM8K) 나 과학 문제 (ARC-C) 에서 기존 AI 보다 성능이 6~14% 정도 크게 향상되었습니다. 특히 어려운 문제일수록 이 방법이 더 효과적이었습니다.
**💰 추가 학습 불필요 **(Training-free)
이 방법은 AI 를 다시 가르칠 필요 (학습) 가 없습니다. 이미 만들어진 AI 모델에 이 '투표 전략'만 적용하면 바로 성능이 올라갑니다.

📊 5. 요약: 일상 언어로 정리하면?

"AI 가 문제를 풀 때, 매번 처음부터 다시 시작하지 마세요. 이미 확신한 부분은 그대로 두고, 헷갈리는 부분만 다시 생각하게 하세요. 그리고 여러 번 물어본 결과, 대다수가 동의하는 답을 선택하세요. 이것이 DVOTING 입니다."

이 기술은 AI 가 더 적은 전력과 시간으로 더 똑똑한 판단을 내릴 수 있게 해줍니다. 마치 회의에서 이미 합의된 안건은 다시 논의하지 않고, 쟁점 안건만 집중적으로 논의하여 결론을 빠르게 내는 것과 같습니다.

이제 dLLM 은 단순히 "빠르게" 글을 쓰는 것을 넘어, **효율적으로 "생각"**할 수 있게 되었습니다! 🎉

DVOTING: dLLMs 를 위한 고속 투표 기법

1. 문제 정의 (Problem)

배경: 확산 기반 대규모 언어 모델 (Diffusion Large Language Models, dLLMs) 은 autoregressive(자기회귀) 모델의 대안으로 등장하여, 임의의 위치에서 토큰을 병렬적으로 생성할 수 있는 유연한 디코딩 프로세스를 제공합니다. 이는 추론 시 (Test-time) 병렬 확장의 잠재력을 열어줍니다.
현황 및 한계:
- 기존 dLLMs 의 추론 성능 향상은 주로 강화학습 (RL) 기반의 훈련 시간 (Training-time) 접근법에 의존해 왔습니다.
- 추론 시 계산량을 늘려 성능을 높이는 'Test-time Scaling' 기법 (예: 다수결 투표, 체인 오브 씽킹 등) 은 autoregressive 모델에서는 연구되었으나, dLLMs 에서는 아직 미개척 상태입니다.
- 기존 dLLMs 의 Test-time Scaling 시도 (HEX, RFG 등) 는 성능을 향상시켰지만, 불필요한 중복 계산으로 인해 매우 높은 추론 비용 (Inference Overhead) 을 초래하는 문제가 있었습니다.
핵심 문제: dLLMs 의 병렬 생성 능력을 활용하여 추론 성능을 높이되, 기존 방법들의 과도한 계산 비용을 줄이는 효율적인 Test-time Scaling 전략이 필요합니다.

2. 방법론 (Methodology)

저자들은 dLLMs 의 특성을 분석하여 DVOTING이라는 새로운 전략을 제안합니다. 이는 훈련이 필요 없는 (Training-free) 방법론입니다.

핵심 관찰 (Key Observations):
1. 일관된 토큰의 반복 (Token Consistency): 동일한 프롬프트에 대해 여러 번 샘플링을 수행할 때, 많은 토큰 위치에서 예측 결과가 일관되게 나타납니다. 특히 정답을 맞춘 샘플들 사이에서는 높은 일관성을 보입니다.
2. 불확실한 토큰의 소수성: 성능을 결정하는 것은 전체 토큰 중 소수인 '불확실한 토큰 (Uncertain tokens)'들입니다. 대부분의 토큰은 재생성이 불필요합니다.
3. NUPR@k 지표: 여러 샘플에서 $k$ 개 이상의 샘플이 동일한 토큰을 공유하는 위치의 비율을 측정하는 지표 (Non-Unique Position Rate) 를 도입하여, 토큰 수준의 중복성이 매우 높음을 정량화했습니다.
DVOTING 알고리즘의 핵심 단계:
1. 초기 샘플링 및 일관성 분석: 입력 프롬프트에 대해 여러 번의 샘플링을 수행합니다.
2. 불확실한 토큰 식별 및 재마스크 (Remasking):
  - 여러 샘플 간 예측이 일치하는 토큰은 보존 (Preserve) 합니다.
  - 예측이 불일치하거나 불확실한 토큰은 마스크 (Mask) 처리하여 재생성 대상으로 선정합니다.
3. 반복적 정제 (Iterative Refinement): 보존된 토큰을 고정하고, 마스크된 토큰만 대상으로 다시 샘플링을 수행합니다. 이 과정을 수렴할 때까지 반복합니다.
4. 다수결 투표 (Voting): 최종적으로 생성된 여러 후보 답안들을 집계하여 다수결로 최종 답안을 결정합니다.
5. 조기 종료 (Early Stopping): 후보 답안들의 일관성이 일정 기준을 만족하면 샘플링을 중단하여 불필요한 계산을 줄입니다.
기술적 특징:
- dLLMs 의 '임의 위치 재마스크 (Arbitrary-position remasking)' 기능을 활용하여, 불필요한 토큰 생성을 생략하고 계산 자원을 불확실한 부분에만 집중시킵니다.
- 엔트로피 임계값 ( $\alpha$ ) 을 사용하여 낮은 엔트로피 (높은 확신) 를 가진 토큰은 즉시 확정하고, 높은 엔트로피 토큰만 재샘플링합니다.

3. 주요 기여 (Key Contributions)

새로운 관찰 및 메트릭: dLLMs 샘플링 과정에서 발생하는 '토큰 수준의 중복성'을 발견하고 이를 정량화하는 NUPR@k 메트릭을 제안했습니다.
DVOTING 전략 제안: dLLMs 의 재마스크 메커니즘을 활용한 효율적인 투표 전략을 최초로 제안했습니다. 이는 RL 기반 방법과 달리 추가 훈련 없이 적용 가능합니다.
효율성과 성능의 균형: 기존 Test-time Scaling 방법들 (Majority Voting, HEX, RFG) 에 비해 동일하거나 더 높은 성능을 달성하면서, 계산 비용 (단계 수) 을 획기적으로 줄였습니다.
광범위한 검증: 수학 (GSM8K, MATH500), 과학 (ARC-C), 일반 추론 (MMLU, GPQA) 등 다양한 벤치마크와 두 가지 주요 dLLM 아키텍처 (LLaDA, Dream) 에서의 유효성을 입증했습니다.

4. 실험 결과 (Results)

성능 향상:
- GSM8K: 6.22% ~ 7.66% 향상.
- MATH500: 4.40% ~ 7.20% 향상.
- ARC-C: 3.16% ~ 14.84% 향상.
- MMLU: 4.83% ~ 5.74% 향상.
- RL 기반 모델 (d1, wd1 등) 과 비교해도 경쟁력 있는 성능을 보였습니다.
효율성 (Speedup):
- Majority Voting 대비: 1.1 ~ 4.4 배 빠른 추론 속도.
- HEX 대비: 5.5 ~ 22.1 배 빠른 추론 속도.
- RFG 대비: 1.0 ~ 2.2 배 빠른 추론 속도.
- 동일한 성능 수준을 달성하는 데 필요한 디노이징 (Denoising) 단계 수가 현저히 적습니다.
강건성 (Robustness):
- 샘플링 상한치 ( $n$ ), 블록 크기 (Block size), 엔트로피 임계값 ( $\alpha$ ) 등 다양한 하이퍼파라미터 설정에서 일관된 성능 향상을 보였습니다.
- RL 로 강화된 모델 (LLaDA-1.5) 에 적용했을 때도 추가 비용 없이 성능을 더욱 향상시켰습니다.

5. 의의 및 결론 (Significance)

dLLMs 의 잠재력 개방: dLLMs 이 가진 병렬 생성의 고유한 장점을 활용하여, 추론 시 계산 자원을 효율적으로 배분하는 새로운 패러다임을 제시했습니다.
실용성 증대: RL 기반의 복잡한 훈련 과정 없이, 추론 단계에서 간단한 투표와 재마스크 전략만으로 고성능을 달성할 수 있어, 제한된 컴퓨팅 자원을 가진 환경에서도 dLLMs 의 실용적인 배포를 가능하게 합니다.
미래 연구의 기초: DVOTING 은 dLLMs 의 Test-time Scaling 을 위한 첫 번째 베이스라인을 제공하며, 향후 더 효율적인 추론 알고리즘 개발의 토대가 됩니다.

요약하자면, DVOTING은 dLLMs 의 특성 (재마스크 가능성) 과 데이터의 특성 (토큰 일관성) 을 결합하여, 불필요한 계산을 제거하고 불확실한 부분에만 집중함으로써 높은 추론 성능과 낮은 비용이라는 이상적인 균형을 달성한 혁신적인 방법론입니다.