💬 NLP

DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

DreamOnは、動的な長さ制御状態を導入することで既存の拡散言語モデルの固定長生成の制限を克服し、アーキテクチャの変更を必要とせずに、最先端の自己回帰モデルに匹敵する性能を実現する柔軟で可変長のコードインフィリングを可能にする新しい拡散フレームワークである。

原著者： Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

物語やコードの空白を埋める場面を想像してみてください。あなたには「始まり（接頭辞）」と「終わり（接尾辞）」があり、その間の部分を書き込む必要があります。

長い間、最も賢いコンピュータプログラム（**自己回帰モデル（Autoregressive Models）**と呼ばれます）は、人間が文章をタイピングするように、左から右へと一単語ずつ書いていくことでこれを行ってきました。彼らはこの作業が非常に得意です。

その後、**拡散言語モデル（Diffusion Language Model: DLM）**と呼ばれる新しいタイプのプログラムが登場しました。これは、彫刻家のようなものだと考えてください。言葉を一つずつ書いていくのではなく、彼らは真ん中の部分が完全に隠された（マスクされた）粘土の塊からスタートします。そして、隠された部分を削り取り、形を整えていくことで、完璧な言葉を浮かび上がらせます。これは、左から右へという順番に縛られず、あらゆる順序で間違いを修正できるため、非常に優れた手法です。

問題点：「固定サイズ・キャンバス」の罠
しかし、これらの彫刻家には大きな欠陥がありました。彼らは、あなたが指定した通りの正確なサイズの粘土の塊でしか作業ができなかったのです。

もし、答えに20単語必要であるのに、小さなブロック（例えば隠された部分が4単語分）を与えてしまったら、スペースが足りなくなり、壊れた不完全な答えを出してしまいます。
もし、答えがわずか4単語しかないのに、巨大なブロック（例えば64単語分）を与えてしまったら、モデルは混乱し、余ったスペースを無意味な内容や繰り返しのゴミで埋めてしまいます。

論文では、これを**「固定サイズ・キャンバス（Fixed-Size Canvas）」**問題と呼んでいます。モデルは、穴の正確なサイズをあなたが予測してくれるのを、じっと待っている状態なのです。もし予測を間違えると、結果は悪くなります。

解決策：DREAMON
著者らは、彫刻家に作業中に粘土の塊のサイズを変更する方法を教える新しい手法、DREAMONを導入しました。

彼らは、モデルの語彙に2つの特別な「魔法のコマンド」を追加しました。

[expand]：「もっとスペースが必要だ！この一つの隠された場所を、二つの隠された場所に変換せよ。」
[delete]：「スペースが多すぎる！この隠された場所を完全に削除せよ。」

仕組み（比喩）
モデルがフレームの中で絵を描いている場面を想像してください。

従来の方法： あなたはモデルに「10x10の正方形の中に描いて」と指示します。もし絵が20x20必要なら、モデルは押しつぶされてしまいます。もし絵が2x2で済むなら、スペースが無駄になります。
DREAMONの方法： あなたはモデルにフレームを与えますが、同時にリモコンも持たせます。描いている最中に、もし絵がフレームに対して大きすぎると気づいたら、モデルは**[expand]を押し、フレームは魔法のように大きくなります。もし絵が小さすぎてフレームが大きすぎると気づいたら、モデルは[delete]**を押し、フレームは縮小します。

モデルは、答えがどのような形であるべきかを自身で判断し、これらを完全に自律的に行います。事前に長さ（サイズ）を伝える必要はありません。

結果
研究者らは、コーディングタスク（コンピュータプログラムの欠落部分を埋める作業）でテストを行いました。

DREAMON以前： 拡散モデルは、「穴」のサイズが完璧に一致しない場合、非常に性能が低い状態でした。「穴」のサイズがわずかにずれるだけで、パフォーマンスは約38%も低下しました。
DREAMON以後： モデルは、最高の「一単語ずつ書く」書き手（自己回帰モデル）と同等のレベルに達しました。彼らはどんなサイズの穴でも扱うことができ、答えがちょうど良くなるまで、答えを成長させたり縮小させたりすることができました。
効率性： 彼らはまた、「削除ブロードキャスト（Deletion Broadcasting）」というテクニックも追加しました。モデルが大きな塊のフレームを削除すると決めたとき、一つずつ細かく削除するのではなく、塊全体を一瞬で削除するため、プロセスが非常に高速化されます。

まとめ
DREAMONは、強力ではあるものの硬直的だったツール（拡散モデル）に、出力を引き伸ばしたり縮小したりする柔軟性を与えました。これにより、人間が完璧な答えの長さを予測する必要がなくなり、これらのモデルは、あらゆる順序で修正できるという利点を持ちながら、現在存在する最高のコード作成AIと肩を並べることができるようになったのです。

技術要約: DREAMON – 固定サイズ・キャンバスを超えたコード・インフィリングのための拡散言語モデル

1. 問題提起

拡散言語モデル（DLM）は、柔軟な任意の順序での生成を可能にするため、オートレグレッシブ（自己回帰型）モデルに代わる有望な選択肢であり、理論的にはコード・インフィリング（接頭辞と接尾辞の間でコンテンツを生成するタスク）に理想的です。しかし、現在のDLMには、生成において事前指定された固定長のマスク・シーケンスを必要とするという決定的な制限があります。

この制約は、「固定サイズ・キャンバス」というボトルネックを生み出します。コード・インフィリングにおいて、理想的な補完の長さは例によって大きく異なります。あらかじめ定義されたマスクの長さが正解の長さと一致しない場合、性能は劇的に低下します。論文によれば、Dream-Coder-7Bは、マスクの長さがターゲットと不一致の場合、HumanEval-Infillingベンチマークにおいて平均**38%**の性能低下を記録しています。具体的には以下の通りです：

マスクが少なすぎる場合： モデルが意味のあるコードを生成するための十分なスペースを確保できず、不完全な解法につながります。
マスクが多すぎる場合： モデルは余剰なスペースを埋めるために、不要または不適切なコード・スニペットを過剰に生成する傾向があります。

既存の解決策は、特殊なプロンプティングや回避策に依存することが多く、それらは自然な文脈構造を乱してしまいます。これまで、DLMには出力を動的に調整するネイティブなメカニズムが欠けていました。

2. 手法: DREAMON

著者らは、アーキテクチャの変更なしに、離散拡散モデルにおける動的な可変長生成を可能にするフレームワークであるDREAMONを提案しています。核心となる革新は、拡散プロセスに統合された2つの長さ制御状態の導入です。

2.1 コア・メカニズム：特殊状態

DREAMONは、2つの特殊なセンチネル・トークンを用いて語彙を拡張します：

[expand]: これが予測されると、決定論的に2つの[mask]トークンへと展開され、実質的にシーケンスの長さを増やし、生成のためのより広いスペースを提供します。
[delete]: これが予測されると、シーケンスから対応する位置を削除し、実質的に長さを短縮します。

2.2 学習手順

学習プロセスには、データ拡張と損失の再重み付けが含まれます。

拡張シーケンスの構築 ( $z_0$ )： 元の入力シーケンス ( $x_0$ ) から、拡張シーケンス $z_0$ を構築します。ランダムなトークン・スパンを[expand]トークンに結合し、[delete]トークンを挿入します。これにより、フォワード拡散プロセス中に長さ調整が必要となる状況をシミュレートします。
フォワード・プロセス： $z_0$ に対して標準的なマスク拡散が適用されます。重要な点として、[expand]と[delete]の両方の状態は、フォワード・ノイジング・プロセス中に[mask]へとマップされ、これらが学習信号に寄与することを保証します。
損失の重み付け： [delete]のターゲットは[expand]のターゲットよりも頻度が高くなるという、重大な不均衡が存在します（1つの[delete]は1つのトークンを置き換えますが、1つの[expand]は複数のトークンの結合を表すため）。[delete]の予測にオーバーフィットするのを防ぐため、損失の重み付けスキームが導入されています。すべての[delete]予測の総重力が、単一の標準的な[mask]予測の重力と等しくなるように、[delete]予測の損失寄与度がダウンスケールされます。

2.3 推論手順

推論時、モデルは標準的なデノイジングを行いますが、動的な長さ制御を伴います：

適応的トラジェトリ： モデルはすべてのマスクされた位置を予測します。もし[expand]が予測された場合、その位置は2つの[mask]トークンに置き換えられます。もし[delete]が予測された場合、そのトークンは削除されます。
削除のブロードキャスト（Deletion Broadcasting）： 初期のマスクがターゲットよりも大幅に大きい場合の効率を高めるため、著者らはヒューリスティックを導入しています。モデルが[delete]を予測した場合、それ以降のトークンがすべて[mask]であれば、それらも直ちに排除されます。これにより、トークン単位の削除プロセスが「長さ予測アクション」へと変換され、推論ステップを大幅に削減します。
制約： 無制限な増殖を防ぐため、最大出力長 ( $L_{max}$ ) が強制されます。

3. 主な貢献

動的な長さ制御： DREAMONは、既存のモデルアーキテクチャを変更することなく、わずか2つの特殊トークン（[expand]と[delete]）のみを使用して、マスク拡散モデルにおけるネイティブな可変長生成を可能にした初のフレームワークです。
最小限の学習オーバーヘッド： この手法は、学習目的関数への最小限の修正（補助状態と損失の重み付け）のみを必要とし、既存の事前学習済みDLM（例：Dream-Coder-7B, DiffuCoder-7B）に対して、無視できる程度の追加計算量（事前学習コストの0.15%）で適用可能です。
性能の回復： このアプローチにより、拡散モデルは固定長によるボトルネックを効果的に解消し、最先端のオートレグレッシブ・モデルと同等の性能を実現できます。

4. 実験結果

著者らは、HumanEval-Infilling（シングルラインおよびマルチライン）およびSantaCoder-FIM（Pythonサブセット）においてDREAMONを評価しました。

ベースラインとの比較： 標準的な拡散モデル（Dream-7B, DiffuCoder-7B, DreamCoder-7B）は、固定長制約のため、オートレグレッシブ・ベースライン（例：Qwen2.5-Coder-7B, Deepseek-Coder-6.7B）に対して大幅に遅れをとっていました。
DREAMONの性能：
- DREAMONは、拡散ベースラインに対して平均26.4%の絶対的な性能向上を達成しました。
- HumanEval-Infillingにおいて、DREAMONで強化されたモデル（例：DiffuCoder-7B + DREAMON）は、92.2 Pass@1（シングルライン）および63.1 Pass@1（マルチライン）に達し、Qwen2.5-Coder-7Bのようなトップクラスのオートレグレッシブ・モデルに匹敵または凌駕しました。
- DREAMONのバリアントは、オラクルレベルに近い性能（初期マスク長が正解と一致する場合の性能）を達成しており、初期のマスクサイズに関わらず、モデルが正解の長さに正常に適応できることを示しています。
アブレーション研究：
- [expand]または[delete]のいずれかを取り除くと、大幅な性能低下が発生し、両方のメカニズムが必要であることが確認されました。
- 損失のバランシングは極めて重要でした。これがない場合、削除へのオーバーフィットにより、性能は平均して約7%低下しました。
- 削除のブロードキャストは、品質を損なうことなく、総推論ステップ数を約50%削減しました（例：マスク長64において、122.8ステップから52.4ステップへ）。

5. 意義と主張

本論文は、DREAMONが拡散言語モデルの実用的な展開における根本的な障壁を取り除くものであると主張しています。動的な長さ調整を可能にすることで、DREAMONは、特にコード・インフィリングのような可変長生成タスクにおけるDLMの柔軟性と適用性を大幅に進化させます。

著者らは、本研究を、出力長が未知である現実世界のシナリオにおいて、DLMをオートレグレッシブ・モデルと同等のレベルに引き上げるためのステップとして位置づけています。現在の設計では単一の拡張係数（1対2）を使用していますが、将来的な課題として、効率をさらに最適化するために、より豊かな拡張語彙や明示的な長さ予測ヘッドを探索できる可能性があると述べています。本研究は、これらの利得が、基礎となるTransformerのアーキテクチャ変更なしで達成されていることを強調しており、元の拡散フレームワークのシンプルさを維持しています。