💬 NLP

VoidPadding: Let [VOID] Handle Padding in Masked Diffusion Language Models so that [EOS] Can Focus on Semantic Termination

本論文は、パディングと終了の役割を分離するために専用の[VOID]トークンを導入することで、Masked Diffusion Language Modelにおける[EOS]オーバーフローの問題を解決し、指示チューニング済みモデルにおける性能とデコーディング効率を大幅に向上させる手法であるVoidPaddingを提案している。

原著者： Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットに物語の書き方を教えていると想像してください。従来の方法（自己回帰モデル）では、ロボットは人間がタイピングするように、左から右へと一単語ずつ書いていきます。しかし、この新しい手法である**マスク付き拡散モデル（Masked Diffusion）**では、ロボットは疑問符でいっぱいの白紙の状態からスタートし、一度にすべての単語を推測しようとし、物語が意味を成すまで何度も推測を洗練させていきます。

問題は、このロボットを訓練する際、練習用の例を与える必要があることです。効率的に練習させるために、短い物語を取り、それらがすべて同じサイズのページに収まるように「ダミー単語」でパディング（穴埋め）を行います。

問題点：混乱した「止まれ」の標識

かつて、研究者たちは**[EOS]**（文末）と呼ばれる特別なトークンを、その「ダミー単語」として使用していました。

役割1： ロボットに対し、「ここで書き終えてください、物語は終了しました」と伝えること。
役割2： 練習中に、ページの空いているスペースを埋めること。

この論文は、[EOS]トークンにこれら2つの役割を与えることは、交通信号に「止まれ」の標識と「工事用のバリケード」の両方を兼ねるよう求めるようなものだと主張しています。

ロボットが練習しているとき、[EOS]は「このスペースを埋める」という意味であることを学習します。しかし、実際に物語を書いているとき、ロボットは[EOS]を見ると混乱します。「おや、このスペースをさらに多くの[EOS]で埋めなければならないのだな！」と考えてしまうのです。これが**[EOS]オーバーフロー**と呼ばれる不具合を引き起こします。ロボットは少しだけテキストを書いた後、残りのページを「文末」マーカーでスパムのように埋め尽くし、物語を途中で切り上げてしまいます。

この問題は、ロボットが長い物語を大きなブロック（塊）で書こうとする際に悪化します。「止まれ」の標識が「ダミー」の標識で混雑しすぎるため、ロボットはどこで本当の物語が終わるのか判別できなくなります。

解決策：VoidPadding

著者らは、VoidPaddingと呼ばれるシンプルな修正案を提案しています。彼らは、**[VOID]**という新しい、目に見えないトークンを導入しました。

このように考えてみてください：

[VOID] は新しい「ダミー単語」です。練習用のページの空きスペースを埋めますが、意味は持ちません。それは、スペースは占有するものの、言葉を発することのない「幽霊」のようなものです。
[EOS] は、今や純粋に「止まれ」の標識となりました。物語が実際に終了したことを伝えるためだけに、厳格に予約されています。

役割を分離することで、ロボットは明確に学習します：

[VOID] ＝「これはただの空きスペースなので、無視してください。」
[EOS] ＝「物語は終了しました。ここで止まってください。」

実践における仕組み

論文では、「推論」（ロボットが実際に作業を行っているとき）において行われる2つの巧妙なトリックについて説明しています。

「幽霊」の禁止： ロボットが物語を生成しているとき、[VOID]を書くことは厳格に禁止されます。もしロボットが[VOID]を推測しようとすると、システムは「ダメです、それはただの幽霊です」と告げます。これにより、ロボットが誤って物語を不可視の幽霊で埋め尽くしてしまうのを防ぎます。
早期停止： [EOS]は純粋な「止まれ」の標識になったため、ロボットはそれに従うことができます。明確な[EOS]の信号が見えた瞬間に、ロボットは即座に書き終えます。ゴミでページを埋めるために時間を浪費することはありません。これにより、ロボットは非常に高速になります。
キャンバス拡張： 時には、ロボットが書きたい物語に対してページが小さすぎる場合があります。論文では、VoidExpansionというトリックを紹介しています。ロボットは、訓練中に学んだ「幽霊」の信号（[VOID]）を見ます。もしページが短すぎる場合、[VOID]の信号は「窮屈そう（小さな箱に押し込まれた幽霊のように）」に見えます。ロボットはこれを察知し、ページをより大きなサイズに拡張してから、物語を完成させます。

結果

著者らは、数学やコーディングのパズルを用いて、2つの異なるロボットモデル（LLaDAとDream）でテストを行いました。

品質の向上： ロボットが長い回答を書こうとしたとき、旧来の手法では失敗して「文末」を何度も出力してしまうことがよくありました。新しい手法（VoidPadding）はこの問題を解決し、回答を長く正確に保つことに成功しました。
高速化： ロボットが（ページを埋めるのではなく）終わった瞬間に停止できるため、平均して55%高速にタスクを完了しました。
堅牢性： 新しい手法は、ロボットが短い回答を書いているときでも非常に長い回答を書いているときでも、また小さな塊で作業しているときでも大きな塊で作業しているときでも、うまく機能しました。

まとめ

この論文は、「止まれ」の標識と「空きスペース」の埋め合わせに異なる名前を与えることで、ロボットの混乱を防げることを示しています。これにより、ロボットはより良く書き、適切なタイミングで停止し、より高速に動作できるようになります。ロボットへの教え方におけるこの小さな変更が、そのパフォーマンスにおける大きな改善につながっています。

技術要約: VoidPadding

問題: マスク型拡散言語モデルにおける [EOS] オーバーフロー

マスク型拡散言語モデル（MDLM）は、双方向アテンションを利用して、事前に割り当てられた完全にマスクされたレスポンス・キャンバスを並列にデノイジング（除去）することでテキストを生成します。このアーキテクチャは、トークンを逐次的に生成する自己回帰型言語モデル（ARLM）とは対照的です。MDLMの指示チューニング（IT）において、重要な課題が生じます。効率的なバッチ処理を促進するために、プロンプトとレスポンスのペアは一律のシーケンス長にパディングされます。ARLMのトレーニングから継承された慣習に従い、既存のMDLMは通常、繰り返し使用される [EOS]（End-of-Sequence）トークンをパディングとして使用します。

この慣行は、トレーニングと推論における役割のミスマッチを引き起こし、特にラージブロック・デコーディングにおいて [EOS] オーバーフローを誘発します：

[EOS] の二重の役割: トレーニング時、[EOS] は二つの機能を果たします。一つは実際のレスポンスのセマンティックな終止符としての機能、もう一つはシーケンスの残りの部分に対するパディング・トークンとしての機能です。その結果、モデルはシーケンスの末尾に対して高い [EOS] 確率を関連付けることを学習し、実質的に [EOS] をレスポンスが「終わるべき」場所を示す「長さ信号」として扱います。
推論における失敗: 推論中、MDLMは固定されたキャンバス上で動作します。モデルが（学習された長さ信号に基づいて）キャンバスの末尾に対して高確信度の [EOS] トークンを確定させると、これらの確定したトークンが後続のデノイジング・ステップの双方向コンテキストの一部となります。これにより、モデルは [EOS] の確率を左方向へと伝播させ、セマンティックな内容が不完全である場合でも、早期終了や [EOS] トークンの連続発生を引き起こします。この現象は [EOS] オーバーフローと呼ばれ、生成品質を低下させ、ラージブロック・デコーディング戦略の有効性を制限します。

手法: VoidPadding

著者らは、セマンティックな終止役割とパディングの役割を分離する、トレーニングと推論の共同設計である VoidPadding を提案しています。

1. トレーニング設計: `[VOID]` の導入

[EOS] でパディングする代わりに、トレーニングデータは [prompt] [response] [EOS] [VOID]* という形式で構成されます。

[EOS]: セマンティックな終止符としてのみ予約されます。これは各例において、レスポンスの直後に正確に一度だけ現れます。
[VOID]: シーケンスの残りの部分をパディングするためだけに用いられる、新しいトークンタイプとして導入されます。
トレーニング目的: モデルは、マスクされた位置にある元のトークンを予測するように訓練されます。極めて重要な点は、単一の [EOS] トークンは常にトレーニング中にマスクされることで、モデルが [EOS] をパディングのアーティファクトとしてではなく、厳密に安定したセマンティックな終止符として学習するように強制することです。[VOID] トークンも同様にマスクされ、モデルに [VOID] をキャンバスの「未使用」部分に関連付けるよう教えます。

2. 推論設計: 分離された停止と拡張

VoidPaddingは、推論のために2つの補完的なメカニズムを導入しています。

[EOS] 終了 (Early Stopping):
- 標準的なMDLMの停止ルール（VanillaStopping）は、キャンバス全体またはすべてのマスクが埋まるまでデコーディングを継続するため、セマンティックな終止点の後も冗長な生成が行われることがよくあります。
- VoidPaddingは [EOS] 終了を実装します。これは、最も左側に見える [EOS] の左側にあるすべての位置がアンマスクされた時点でデコーディングを停止します。モデルは残りのキャンバス（[VOID] パディングを含む）を破棄します。
- [VOID] が出力に現れるのを防ぐため、トークン選択中にそのロジットを $-\infty$ に設定し、それが隠れた信号であり続けるようにします。
VoidExpansion (適応型キャンバス割り当て):
- MDLMには、事前に割り当てられたキャンバスが必要です。初期キャンバスが短すぎると、生成品質が低下します。
- VoidExpansion は、学習された [VOID] 長さ信号を活用します。デコーディングの前に、モデルは現在のキャンバスの末尾を評価します。末尾の位置が非 [VOID] トークンに対して強い選好を示している場合（キャンバスが不十分であることを示す）、キャンバスを1ブロックサイズ ( $B$ ) 分拡張します。
- このプロセスは、末尾の選好が [VOID] へとシフトする（十分な長さであることを示す）か、最大長に達するまで繰り返されます。これにより、脆弱な [EOS] 信号に頼ることなく、適応的にキャンバス空間を割り当てることが可能になります。

主な貢献

メカニズム分析: 本論文は、[EOS] オーバーフローの根本原因が、指示チューニングにおけるパディングと終止の両方への [EOS] の二重使用であり、それが推論時の双方向コンテキストと衝突する学習された長さの事前分布を生み出していることを体系的に特定しました。
VoidPadding フレームワーク: パディングに [VOID] を導入し、[EOS] を終止のために予約するという、軽量なトレーニング・推論共同設計を提案しました。これにより、信頼性の高い早期停止（[EOS] 終了）と適応的なキャンバス拡張（VoidExpansion）が可能になります。
実証的検証: 広範な実験により、VoidPaddingが [EOS] オーバーフローを防ぎ、数学的推論およびコード生成のベンチマークにおいて生成品質を大幅に向上させ、早期終了を可能にすることでデコーディングの計算コスト（NFE）を削減することを実証しました。

結果

実験は LLaDA-8B-Instruct および Dream-7B-Instruct を用い、GSM8K、MATH500、HumanEval、MBPP の4つのベンチマークに対して行われました。

ブロックサイズに対する堅牢性:
- Dream-7B-Instruct において、VoidPadding は、元のモデルに対して +17.84 ポイント、前述の最先端手法である RainbowPadding に対して +6.95 ポイント、ブロックサイズ平均の4タスク平均スコアを向上させました。
- LLaDA-8B-Instruct において、向上幅は元のモデルに対して +7.06 ポイント、RainbowPadding に対して +3.59 ポイント でした。
- 決定的なことに、元のモデルはブロックサイズが増加するにつれて深刻な性能低下（例：LLaDAのGSM8Kにおいて、ブロックサイズ512で約76%から約28%へ低下）に見舞われましたが、VoidPadding は安定した性能（~78%）を維持しました。
デコーディング効率:
- [EOS] 終了を利用することで、VoidPadding は前進評価回数（NFE）を大幅に削減しました。Dream-7B-Instruct では、NFE が平均で 55.7% 削減され、標準的な512ステップの要件と比較して、GSM8K では 69.3%、MBPP では 84.6% の削減を達成しました。
可変長生成:
- VoidExpansion 戦略により、短い初期キャンバス（例： $L_0=64$ ）を効果的に扱うことができました。LLaDA において、フル VoidPadding + VoidExpansion メソッドは、DAEDAL (50.77) や $\rho$ -[EOS] (45.50) といった推論のみのベースラインを上回る 51.34 の平均スコアを達成し、かつ実時間で 2.12倍高速 に動作しました。
- 大規模ブロックのストレス・テスト（ $L_0=256, B=256$ ）の下では、元の [EOS] 信号に依存する推論のみの手法は崩壊しましたが（DAEDAL は平均 23.46 まで低下）、VoidExpansion は堅牢な 50.04 の平均スコアを維持しました。

意義と主張

本論文は、[EOS] オーバーフローはモデルの容量の失敗ではなく、学習された長さの事前分布、双方向コンテキスト、および標準的なサンプリング・ルールの相互作用から生じる構造的な失敗であると主張しています。パディングを終止から切り離すことで、VoidPadding はこのミスマッチを解決します。

著者らは、VoidPadding を MDLM への必要な適応策として位置づけており、ARLM から継承された慣習（例：パディングに [EOS] を使用すること）は、因果的マスキング下では「概ね無害」ですが、双方向デノイジング下では「脆弱」になると論じています。この手法は、拡散モデルにおける大規模ブロック・デコーディングの全潜在能力を解き放つための実用的な道筋を提供し、複雑な推論出力の品質と生成プロセスの効率性の両方を向上させます。論文は、今後の MDLM 設計においては、自己回帰的な仮定に頼るのではなく、トークンの確定タイミング、キャンバス割り当て、および停止決定を、双方向条件下で明示的に考慮しなければならないと結論付けています。