論文「BEYOND MASKS: EFFICIENT, FLEXIBLE DIFFUSION LANGUAGE MODELS VIA DELETION-INSERTION PROCESSES」の技術的サマリー

本論文は、ICLR 2026 にて発表された「Deletion-Insertion Diffusion language models (DID)」という新しい離散拡散言語モデルを提案するものです。従来のマスク拡散言語モデル（MDLM）が抱える計算効率と生成の柔軟性の課題を、トークンの「マスク/アンマスク」ではなく「削除/挿入」のプロセスに置き換えることで解決します。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

従来の離散拡散モデル、特に**マスク拡散言語モデル（MDLM）**は、順方向プロセスでトークンを <MASK> 状態に徐々に変え、逆方向プロセスでそれらを復元（アンマスク）することで生成を行います。しかし、このアプローチには以下の重大な限界がありました。

1. 計算効率の低さ:
   • 非情報的な <MASK> トークンの処理に膨大な計算リソース（FLOPs）を消費します。特にトレーニングと推論の半分以上の計算量が、意味のない <MASK> トークンに割り当てられています。
   • 可変長のシーケンスを扱う場合、固定長のパディング（<PAD> トークン）が必要となり、これも無駄な計算コストを生みます。
2. 生成の柔軟性の欠如:
   • MDLM は固定長のシーケンスを前提としています。
   • 一度トークンがアンマスクされると、その内容と位置が固定されてしまいます。これにより、生成途中での自己修正（位置の調整や誤りの訂正）が困難であり、誤差が蓄積しやすいという問題があります。

2. 提案手法：DID (Deletion-Insertion Diffusion)

DID は、MDLM の「マスク/アンマスク」プロセスを、**「削除（Deletion）」と「挿入（Insertion）」**のプロセスに根本的に置き換える新しい離散拡散パラダイムです。

2.1 フォワードプロセス（削除）

• 仕組み: 入力シーケンスからトークンを逐次的に削除し、最終的に空のシーケンス（または <BOS> のみ）まで短くします。
• 特徴: トークンレベルでの独立した削除プロセスを定義し、シーケンス長が時間とともに減少する連続時間マルコフ連鎖（CTMC）として定式化されています。これにより、可変長のデータを自然に扱えます。

2.2 バックワードプロセス（挿入）

• 仕組み: 空のシーケンス（<BOS>）から開始し、トークンを逐次的に挿入することで元のシーケンスを再構築します。
• 特徴:
  • 可変長対応: 固定長パディングを必要とせず、データそのものの長さに合わせて生成されます。
  • 自己修正メカニズム: 挿入ベースであるため、生成中にトークンの位置を動的に調整できます。早期の誤った予測であっても、後続のステップで他のトークンを挿入して文脈を修正することが可能です。

2.3 学習目標：DISE と DICE

DID を学習させるために、スコアベースのアプローチを設計しました。

• 挿入スコア（Insertion Score）: 任意の位置に任意のトークンを挿入する確率をモデル化します。
• DISE (Denoising Insertion Score Entropy): 従来の DSE（Denoising Score Entropy）を拡張し、挿入操作に対する損失関数を導出しました。これは、挿入前後の部分列（subsequence）の出現回数の比率に基づいています。
• 効率的な計算: 部分列の数を計算する問題は、従来の動的計画法（DP）では計算コストが高すぎますが、著者らは並列化された動的計画法アルゴリズムを開発しました。これにより、すべての挿入候補に対する比率を効率的に計算し、DID の実用的な学習を可能にしています。
• DICE (Denoising Insertion Cross Entropy): 固定長の設定においては、DISE をさらに簡略化した DICE 目標関数を導出しました。これにより、時間依存項が不要になり、クロスエントロピーに似た形で効率的に学習できます。

3. 主要な貢献

1. DID の提案: <MASK> と <PAD> トークンを完全に排除した、削除・挿入ベースの新しい拡散言語モデルを提案。これにより計算効率と生成柔軟性が大幅に向上しました。
2. DISE/DICE 目標関数と並列 DP アルゴリズム: 挿入プロセスを効果的に学習するためのスコアベースの学習目標と、その効率的な実装手法（並列動的計画法）を開発しました。
3. 包括的な実験検証: 固定長および可変長の設定において、MDLM ベースライン（RADD など）や既存の挿入ベースモデル（ILM など）と比較し、DID の優位性を示しました。

4. 実験結果

4.1 固定長言語モデリング（OpenWebText など）

• 性能: 計算コスト（FLOPs）を揃えた場合、DID は強力なベースラインである RADD よりも優れたゼロショットパープレキシティを達成しました。
• 推論速度: 推論時間は最大 1.58 倍高速化されました。
• 学習速度: 学習時間は最大 1.99 倍高速化されました。

4.2 可変長言語モデリング（Stories データセット）

• 性能: 生成品質（パープレキシティ）と多様性の両面で、RADD や ILM を上回りました。
• 長さ分布の一致: 生成されるテキストの長さ分布が、訓練データの分布と非常に高い一致を示しました（MDLM はパディングの影響で分布が歪む傾向がありました）。
• 推論速度: 可変長設定では、<PAD> トークンの処理が不要になるため、推論速度は最大 3.79 倍向上しました。
• 学習速度: 学習速度は最大 3.42 倍向上しました。

4.3 生成の質と自己修正

• 生成プロセスの可視化（Appendix I.3）により、DID が生成途中に文脈を修正し、より自然な文脈を構築していく様子が確認できました。これは、一度固定されてしまう MDLM とは対照的です。

5. 意義と結論

本論文が提案する DID は、拡散言語モデルの実用化における大きな障壁であった「計算効率」と「生成の柔軟性」の両方を同時に解決する画期的なアプローチです。

• 効率性: 不要な <MASK> や <PAD> トークンの計算を排除することで、トレーニングおよび推論の大幅な高速化を実現しました。
• 柔軟性: 挿入ベースのメカニズムにより、可変長の生成や、生成途中での自己修正が可能となり、より人間らしい自然な生成プロセスを模倣しています。
• 理論的基盤: 連続時間拡散プロセスとして厳密に定式化され、尤度 bound 付きの学習目標（DISE/DICE）が導出されている点も重要です。

DID は、今後の離散拡散モデルの研究において、新しい標準的なパラダイムとなり得る可能性を秘めており、大規模言語モデルの生成タスクにおける効率と品質の向上に大きく寄与すると期待されます。