💬 NLP

VoidPadding: Let [VOID] Handle Padding in Masked Diffusion Language Models so that [EOS] Can Focus on Semantic Termination

이 논문은 패딩을 위한 전용 [VOID] 토큰을 도입함으로써 마스크 확산 언어 모델(Masked Diffusion Language Models)에서 패딩과 종료 역할을 분리하여 [EOS] 오버플로 문제를 해결하고, 지시어 튜닝된 모델의 성능과 디코딩 효율성을 크게 향상시키는 방법인 VoidPadding을 제안한다.

원저자: Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

게시일 2026-06-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 예전 방식(자기회귀 모델, Autoregressive models)에서 로봇은 사람이 타이핑하는 것처럼 왼쪽에서 오른쪽으로 한 번에 한 단어씩 글을 씁니다. 하지만 **마스크 확산 모델(Masked Diffusion)**이라는 이 새로운 방식에서, 로봇은 물음표로 가득 찬 빈 페이지에서 시작하여 한꺼번에 모든 단어를 추측하고, 이야기가 말이 될 때까지 그 추측을 반복해서 정교하게 다듬습니다.

문제는 이 로봇을 가르칠 때, 연습용 예시를 제공해야 한다는 점입니다. 연습을 효율적으로 하기 위해, 연구자들은 짧은 이야기들을 가져와서 모든 이야기가 동일한 크기의 페이지에 들어갈 수 있도록 "더미 단어(dummy words)"로 채워 넣습니다(padding).

문제점: 혼란스러운 "정지" 표지판

과거에 연구자들은 [EOS](문장 끝)라고 불리는 특별한 토큰을 그 "더미 단어"로 사용했습니다.

그의 역할 1: 로봇에게 "여기서 글쓰기를 멈춰라, 이야기가 끝났다"라고 알려주는 것.
그의 역할 2: 페이지의 빈 공간을 채우기 위해 공간을 차지하는 것.

논문은 [EOS] 토큰에게 이 두 가지 역할을 맡기는 것이, 마치 교통 신호등에게 정지 표지판인 동시에 공사 차단벽이 되라고 요구하는 것과 같다고 주장합니다.

로봇이 연습할 때, 로봇은 [EOS]가 "이 공간을 채워라"라는 의미임을 배웁니다. 하지만 실제로 이야기를 쓸 때 로봇은 [EOS]를 마주하면 혼란에 빠집니다. 로봇은 "오, 이 공간을 더 많은 [EOS]로 채워야겠구나!"라고 생각하게 됩니다. 이로 인해 **[EOS] 오버플로([EOS] overflow)**라는 결함이 발생합니다. 로봇은 텍스트를 아주 조금 쓰다가, 나머지 페이지를 "문장 끝" 표시로 도배하며 이야기를 갑자기 끊어버립니다.

이 문제는 로봇이 긴 이야기를 큰 덩어리(large blocks)로 쓰려고 할 때 더 악화됩니다. "정지" 표지판이 너무 많은 "더미" 표지판들로 붐비게 되어, 로봇은 실제 이야기가 어디서 끝나는지 구분할 수 없게 됩니다.

해결책: 보이드 패딩(VoidPadding)

저자들은 **보이드 패딩(VoidPadding)**이라는 간단한 해결책을 제안합니다. 그들은 **[VOID]**라는 새로운 투명한 토큰을 도입했습니다.

이렇게 생각해 보세요:

**[VOID]**는 새로운 "더미 단어"입니다. 이것은 연습용 페이지의 빈 공간을 채우지만, 아무런 의미를 갖지 않습니다. 그것은 공간만 차지할 뿐 말을 하지 않는 유령과 같습니다.
**[EOS]**는 이제 오직 "정지" 표지판 역할만 수행합니다. 이는 이야기가 실제로 끝났음을 로봇에게 알리기 위해 엄격히 예약된 역할입니다.

이 역할을 분리함으로써 로봇은 명확하게 배울 수 있습니다:

[VOID] = "이것은 그냥 빈 공간이니 무시하라."
[EOS] = "이야기가 끝났으니, 이제 멈춰라."

실제 작동 방식

논문은 "추론(inference)" 단계(로봇이 실제로 작업을 수행할 때)에서 일어나는 두 가지 영리한 기술을 설명합니다.

"유령" 금지: 로봇이 이야기를 생성할 때, [VOID]를 쓰는 것은 엄격히 금지됩니다. 만약 로봇이 [VOID]를 추측하려고 하면, 시스템은 "안 돼, 그건 그냥 유령일 뿐이야"라고 말합니다. 이를 통해 로봇이 실수로 자신의 이야기에 투명한 유령들을 채워 넣는 것을 방지합니다.
조기 종료(Early Stop): [EOS]가 순수한 "정지" 표지판이 되었기 때문에, 로봇은 이제 그 신호에 귀를 기울일 수 있습니다. 명확한 [EOS] 신호를 보는 즉시 로봇은 글쓰기를 멈춥니다. 더 이상 페이지를 쓰레기 데이터로 채우며 시간을 낭비하지 않습니다. 이 덕분에 로봇은 훨씬 빨라집니다.
캔버스 확장(Canvas Expander): 때때로 로봇이 원하는 이야기보다 페이지가 너무 작을 때가 있습니다. 논문은 **보이드 확장(VoidExpansion)**이라는 기술을 소개합니다. 로봇은 학습 중에 배웠던 "유령" 신호([VOID])를 살핍니다. 만약 페이지가 너무 짧다면, [VOID] 신호들이 "불편하게(uncomfortable)" 느껴질 것입니다(마치 작은 상자 안에 억지로 끼어 있는 유령처럼 말이죠). 로봇은 이를 감지하고, 페이지를 더 큰 사이즈로 확장한 다음 이야기를 마무리합니다.

결과

저자들은 수학 및 코딩 퍼즐을 사용하여 두 가지 다른 로봇 모델(LLaDA 및 Dream)에 대해 테스트를 진행했습니다.

더 나은 품질: 로봇이 긴 답변을 작성하려고 할 때, 기존 방식은 자주 실패하여 "문장 끝"을 반복해서 내뱉곤 했습니다. 새로운 방식(VoidPadding)은 이 문제를 해결하여 답변을 길고 정확하게 유지했습니다.
더 빠른 속도: 로봇이 작업이 끝난 즉시 멈출 수 있었기 때문에(페이지를 다 채우는 대신), 평균적으로 55% 더 빠르게 작업을 완료했습니다.
강건함(Robustness): 새로운 방식은 로봇이 짧은 답변을 쓰든 매우 긴 답변을 쓰든, 혹은 작은 덩어리로 작업하든 큰 덩어리로 작업하든 상관없이 잘 작동했습니다.

요약

이 논문은 "정지" 표지판과 "빈 공간" 채우기에 서로 다른 이름을 부여함으로써, 로봇이 혼란을 겪는 것을 막을 수 있음을 보여줍니다. 이를 통해 로봇은 더 잘 쓰고, 적절한 시점에 멈추며, 훨씬 더 빠르게 작업할 수 있습니다. 로봇을 가르치는 방식의 작은 변화가 성능의 큰 개선을 이끌어낸 것입니다.

기술 요약: VoidPadding

문제: [EOS] 오버플로우가 발생하는 마스크 확산 언어 모델(Masked Diffusion Language Models)

마스크 확산 언어 모델(MDLM)은 양방향 어텐션(bidirectional attention)을 활용하여 미리 할당된, 완전히 마스킹된 응답 캔버스(canvas)를 병렬로 디노이징함으로써 텍xt를 생성합니다. 이 아키텍처는 토큰을 순차적으로 생성하는 자기회귀 언어 모델(ARLM)과 대조됩니다. MDLM의 인스트럭션 튜닝(IT) 과정에서 중요한 과제가 발생합니다. 효율적인 배칭(batching)을 촉진하기 위해 프롬프트-응답 쌍은 균일한 시퀀스 길이에 맞춰 패딩됩니다. ARLM 학습에서 물려받은 관례에 따라, 기존 MDLM은 일반적으로 반복되는 [EOS](End-of-Sequence) 토큰을 패딩으로 사용합니다.

이러한 관행은 **훈련-추론 역할 불일치(training-inference role mismatch)**를 야기하며, 이는 특히 대규모 블록 디코딩 시 [EOS] 오버플로우로 이어집니다:

[EOS]의 이중 역할: 훈련 시 [EOS]는 두 가지 기능을 수행합니다. 실제 응답의 의미론적 종결자(semantic terminator) 역할을 하는 동시에, 시퀀스의 나머지 부분을 채우는 패딩 토큰 역할을 합니다. 결과적으로 모델은 시퀀스의 꼬리 부분에서 높은 [EOS] 확률을 연관시키도록 학습되며, 사실상 [EOS]를 응답이 끝나야 하는 지점을 나타내는 "길이 신호(length signal)"로 취급하게 됩니다.
추론 실패: 추론 시 MDLM은 고정된 캔버스 위에서 작동합니다. 만약 모델이 (학습된 길이 신호에 기반하여) 캔버스의 꼬리 부분에서 높은 확신도를 가진 [EOS] 토큰을 확정(commit)하면, 이 확정된 토к은 이후의 디노이징 단계에서 양방향 컨텍스트의 일부가 됩니다. 이는 모델이 [EOS] 확률을 왼쪽으로 전파하게 만들어, 의미론적 내용이 미완성되었음에도 불구하고 조기 종료 및 반복적인 [EOS] 토큰 생성을 유발합니다. [EOS] 오버플로우라고 불리는 이 현상은 생성 품질을 저하시키고 대규모 블록 디코딩 전략의 효과를 제한합니다.

방법론: VoidPadding

저자들은 패딩 역할과 의미론적 종결 역할을 분리하는 훈련-추론 공동 설계(co-design)인 VoidPadding을 제안합니다.

1. 훈련 설계: `[VOID]` 도입

[EOS]로 패딩하는 대신, 훈련 데이터는 [prompt] [response] [EOS] [VOID]* 형태로 구성됩니다.

[EOS]: 오직 의미론적 종결자로만 예약됩니다. 각 예시마다 응답 직후에 정확히 한 번만 나타납니다.
[VOID]: 시퀀스의 나머지 부분을 패딩하기 위해서만 사용되는 새로운 토큰 유형으로 도입되었습니다.
훈련 목표: 모델은 마스킹된 위치의 원래 토큰을 예측하도록 훈련됩니다. 결정적으로, 단 하나의 [EOS] 토큰은 훈련 중에 항상 마스킹되어, 모델이 [EOS]를 패딩 아티팩트가 아닌 안정적인 의미론적 종결자로 엄격하게 학습하도록 강제합니다. [VOID] 토큰 역시 마스킹되어, 모델이 [VOID]를 캔버스의 "사용되지 않는" 부분과 연관시키도록 가르칩니다.

2. 추론 설계: 분리된 정지 및 확장

VoidPadding은 추론을 위한 두 가지 상호 보완적인 메커니즘을 도입합니다.

[EOS] 종료 ([EOS]Termination, 조기 정지):
- 표준 MDM 정지 규칙(VanillaStopping)은 전체 캔버스를 디코딩하거나 모든 마스크가 채워질 때까지 기다리는데, 이는 의미론적 종점 이후에도 불필요한 생성을 초래합니다.
- VoidPadding은 [EOS]Termination을 구현합니다: **가장 왼쪽에 보이는 [EOS]**의 왼쪽 위치들이 모두 언마스킹(unmasked)되는 즉시 디코딩을 중단합니다. 모델은 남은 캔버스( [VOID] 패딩 포함)를 폐기합니다.
- [VOID]가 출력에 나타나는 것을 방지하기 위해, 토큰 선택 시 해당 로짓(logits)을 $-\infty$ 로 설정하여 숨겨진 신호로 유지합니다.
VoidExpansion (적응형 캔버스 할당):
- MDLM은 사전 할당된 캔버스가 필요합니다. 초기 캔버스가 너무 짧으면 생성 품질이 떨어집니다.
- VoidExpansion은 학습된 [VOID] 길이 신호를 활용합니다. 디코딩 전, 모델은 현재 캔버스의 꼬리 부분을 평가합니다. 만약 꼬리 위치들이 비(non-) [VOID] 토큰에 대한 강한 선호도를 보인다면(이는 캔버스가 불충분함을 의미), 캔버스를 한 블록 크기( $B$ )만큼 확장합니다.
- 이 과정은 꼬리 선호도가 [VOID]로 전환될 때까지(충분한 길이를 의미) 또는 최대 길이에 도달할 때까지 반복됩니다. 이를 통해 모델은 취약한 [EOS] 신호에 의존하지 않고 적응적으로 캔버스 공간을 할당할 수 있습니다.

주요 기여

메커니즘 분석: 본 논문은 [EOS] 오버플로우의 근본 원인이 인스트럭션 튜닝 중 패딩과 종료를 위한 [EOS]의 이중 사용이며, 이것이 학습된 길이 사전 지식(length priors)과 양방향 컨텍스트 간의 충돌을 일으킨다는 점을 체계적으로 규명했습니다.
VoidPadding 프레임십: 패딩을 위해 [VOID]를 도입하고 [EOS]를 종료를 위해 예약하는 경량 훈련-추론 공동 설계를 제안했습니다. 이는 신뢰할 수 있는 조기 정지([EOS]Termination)와 적응형 캔버스 확장(VoidExpansion)을 가능하게 합니다.
실증적 검증: 광범위한 실험을 통해 VoidPadding이 [EOS] 오버플로우를 방지하고, 수학적 추론 및 코드 생성 벤치마크에서 생성 품질을 크게 향상시키며, 조기 종료를 통해 디코딩 계산 비용(NFE)을 줄임을 입증했습니다.

결과

실험은 LLaDA-8B-Instruct 및 Dream-7B-Instruct를 대상으로 네 가지 벤치마크(GSM8K, MATH500, HumanEval, MBPP)에서 수행되었습니다.

블록 크기에 대한 견고성:
- Dream-7B-Instruct에서, VoidPadding은 기존 모델 대비 블록 크기 평균 4개 태스크 점수를 +17.84 포인트 개선했으며, 이전 최첨단 방식인 RainbowPadding보다 +6.95 포인트 높았습니다.
- LLaDA-8B-Instruct에서, 기존 모델 대비 +7.06 포인트, RainbowPadding 대비 +3.59 포인트의 개선을 보였습니다.
- 결정적으로, 기존 모델들은 블록 크기가 커짐에 따라 심각한 성능 저하를 겪었으나(예: LLaDA의 경우 GSM8K에서 블록 크기 512일 때 ~~76%에서 ~28%로 하락), VoidPadding은 안정적인 성능(~~78%)을 유지했습니다.
디코딩 효율성:
- [EOS]Termination을 활용함으로써 VoidPadding은 전방향 평가 횟수(NFE)를 크게 줄였습니다. Dream-7B-Instruct의 경우, 표준 512-스텝 요구 사항과 비교했을 때 NFE가 평균 55.7% 감소했으며, GSM8K에서는 69.3%, MBPP에서는 **84.6%**의 감소율을 기록했습니다.
가변 길이 생성:
- VoidExpansion 전략을 통해 짧은 초기 캔버스(예: $L_0=64$ )도 효과적으로 처리할 수 있었습니다. LLaDA에서 Full VoidPadding + VoidExpansion 방식은 평균 점수 51.34를 달いて, DAEDAL(50.77) 및 $\rho$ -EOS와 같은 추론 전용 베이스라인보다 우수한 성능을 보였으며, 실제 실행 시간(wall-clock time) 측면에서도 2.12배 더 빨랐습니다.
- 대규모 블록 스트레스 테스트( $L_0=256, B=256$ ) 상황에서, 기존 [EOS] 신호에 의존하는 추론 전용 방식들은 붕괴되었으나(DAEDAL 평균 23.46으로 하락), VoidExpansion은 50.04의 견고한 평균 점수를 유지했습니다.

의의 및 주장

본 논문은 [EOS] 오버플로우가 모델 용량의 실패가 아니라, 학습된 길이 사전 지식, 양방향 컨텍스트, 그리고 표준 샘플링 규칙 사이의 상호작용에서 발생하는 구조적 실패라고 주장합니다. 패딩과 종료를 분리함으로써 VoidPadding은 이 불일치를 해결합니다.

저자들은 VoidPadding을 MDLM을 위한 필수적인 적응 과정으로 규정하며, ARLM에서 물려받은 관례(예: 패딩을 위해 [EOS] 사용)가 인과적 마스킹(causal masking) 하에서는 "대체로 무해"하지만, 양방향 디노이징 하에서는 "취약"해진다고 주장합니다. 이 방법은 확산 모델에서 대규모 블록 디코딩의 잠재력을 실현하고, 복잡한 추론 출력의 품질과 생성 프로세스의 효율성을 모두 개선할 수 있는 실질적인 경로를 제공합니다. 결론적으로, 미래의 MDLM 설계는 자기회귀적 가정에 의존하는 대신, 양방향 조건에서의 토큰 확정 타이밍, 캔버스 할당, 그리고 정지 결정에 대해 명시적으로 고려해야 합니다.