技術的サマリー：GDSD：拡散言語モデルのためのガイデッドデノイザー自己蒸留としての強化学習

1. 問題定義

拡散型大規模言語モデル（dLLMs）は、複数のトークンを同時に生成し、厳密な左から右への生成順序を打破することで、自己回帰モデル（ARMs）よりも大幅な推論効率の向上をもたらします。しかし、dLLMs は現在、生成品質において最先端の ARMs に劣っており、強化学習（RL）のような効果的な微調整手法が必要とされています。

dLLMs に RL を適用する際の中心的な障壁は、方策尤度の扱いにくさです。既存の解決策は一般的に 2 つのカテゴリに分類されます：

1. 軌道尤度法：遷移確率を累積することで正確な尤度を推定します。不偏である一方で、計算コストが高く、事前学習の目的と整合していません。
2. 系列尤度（ELBO）法：ランダムにマスクされた系列から推定された証拠下限（ELBO）を、真の尤度の代理として使用します。これらは計算効率が良く、事前学習と整合しています。

核心的な問題：本論文は、ELBO ベースの RL 手法が**トレーニング - 推論ミスマッチ（TIM）**バイアスに苦しんでいると主張します。このバイアスは 2 つの要因から生じます：

• 尤度ギャップ：ELBO は真の尤度から無視できないギャップを持つ下限であるため、方策勾配（PG）または PPO 目的関数で使用される重要度サンプリング比率にバイアスと分散を導入します。
• サンプリング分布のミスマッチ：dLLM の推論は反復的な再マスクとブロック単位デコーディングを使用するため、ELBO 経由で推定されたトレーニング方策分布（$\hat{\pi}_{old}$）とは異なるサンプリング分布（$\pi^{rm}_{old}$）を生じさせます。

このミスマッチにより、重要度サンプリング補正が非効率的となり、性能の低下や、深刻な場合には壊滅的なトレーニングの崩壊を招きます。

2. 手法：ガイデッドデノイザー自己蒸留（GDSD）

著者らは、dLLMs に対する RL を、尤度推定を不要とし、TIM バイアスを回避するオフポリシー自己蒸留問題として再定義するフレームワークである**ガイデッドデノイザー自己蒸留（GDSD）**を提案します。

2.1 理論的基盤

逆 KL 正則化付き RL の下では、最適方策 $\pi^*$ は閉形式解を持ちます：
$$\pi^*(x_0) \propto \pi_{old}(x_0)^{1-\beta} \cdot \pi_{ref}(x_0)^\beta \cdot \exp(\psi A(x_0))$$
ここで、$A(x_0)$ はアドバンテージ関数、$\beta$ は正則化係数、$\psi$ はガイダンス係数です。

著者らは、この最適方策がマスク拡散モデルに対してガイデッドデノイジング分布（「教師」デノイザー $p^*$）を誘発することを示します：
$$p^*(x_0|x_t) = p^{ref}_{old}(x_0|x_t) \cdot \exp(\psi A(x_0) - A_t(x_t))$$
ここで、$p^{ref}_{old}$ は旧方策と参照方策の幾何学的混合であり、$A_t(x_t)$ は正規化定数です。

2.2 GDSD 目的関数

尤度ベースの目的関数を最適化する代わりに、GDSD は現在のデノイザー $p_\theta$ を、ロジットを一致させることで教師 $p^*$ から直接蒸留します。目的関数は、学生と教師のロジット間の二乗 $L_2$ 距離を最小化します：
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log p_\theta(x_0|x_t) - \log p^*(x_0|x_t) \right)^2 \right]$$

2.3 正規化不要な再定式化

これを実装する際の主要な課題は、教師分布における扱いにくい正規化定数 $Z_t$（または $A_t$）です。著者らはこれを排除するための 2 つの解決策を提案します：

1. 直接マッチング：Softmax 演算子の並進不変性を利用し、学生のロジットが加算定数まで正規化されていない教師ロジットと一致する場合、定数を無視できます。
2. トークンレベルロジット中央化（TLC）：反復更新中の制御不能なロジットスケールシフトを防ぐため、著者らはロジットを中央化することを提案します。各トークン位置における語彙全体の平均ロジットを減算することで、正規化定数を目的関数から完全に排除します。

最終的な実用的な目的関数（TLC 付き）は以下の通りです：
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{old}(x_0|x_t) - \psi A(x_0) \right)^2 + \beta \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{ref}(x_0|x_t) \right)^2 \right]$$
ここで、$\bar{p}$ はロジット中央化モデルを表します。

3. 主要な貢献

1. 自己蒸留への帰着：本論文は、dLLMs に対する逆 KL 正則化付き RL が、閉形式最適方策から導出された自己教師からガイデッドデノイザーを蒸留することと等価であることを確立しました。
2. GDSD フレームワーク：重要度サンプリング比率や ELBO 代理に依存しない設計により、TIM バイアスを排除する、新規かつ尤度不要の自己蒸留手法です。
3. 正規化不要な最適化：トークンレベルロジット中央化（TLC）の導入により、扱いにくい分配関数を計算することなく、効率的なオンライン RL を可能にします。
4. 理論的統合：既存の ELBO ベース手法（例：wd1、DMPO、SPG、UniGRPO）は、異なる発散尺度（前方 KL または逆 KL）を使用した蒸留の特定の事例と見なせることを示しましたが、GDSD が回避するデータ非効率性や TIM バイアスに苦しんでいることを明らかにしました。

4. 実験結果

著者らは、GDSD を LLaDA-8B および Dream-7B において、以下の 6 つのベンチマークで評価しました：

• 数学的推論：GSM8K、MATH500
• 計画：Countdown、Sudoku
• コーディング：HumanEval、MBPP

主要な知見：

• 性能向上：GDSD は、最先端の ELBO ベース手法を一貫して上回りました。Dream-7Bモデルにおいて、GDSD は計画タスク（Sudoku および Countdown）で最大 +19.6% のテスト精度向上を達成しました。LLaDA-8Bでは、計画、数学、コーディングの各ベンチマークで +0.6% から +5% の向上が見られました。
• トレーニングの安定性：GDSD は、振動や崩壊を示した ELBO ベースのベースライン（例：SPG、ESPO）と比較して、著しく安定したトレーニング報酬ダイナミクスを示しました。
• アブレーション研究：トークンレベルロジット中央化（TLC）コンポーネントは、トレーニングをさらに安定化し、場合によっては（Sudoku のように）、モデルが局所最適解から脱出してより高い最終報酬を達成するのに役立つことが示されました。

5. 意義と主張

本論文は、直接デノイザー自己蒸留が、dLLMs に対する ELBO ベースの RL に対する、より安定かつ効果的な代替手段であると主張しています。尤度代理への依存を排除することで、GDSD は重要度サンプリングアプローチに内在する構造的バイアスを回避します。結果は、観察された性能向上が単なるハイパーパラメータ調整によるものではなく、dLLM の実際の推論分布とトレーニング目的を整合させるより原理的な最適化経路に起因することを示唆しています。著者らは、dLLM における RL には ELBO は不要であり、その除去がより堅牢なアライメントと推論能力をもたらすと結論付けています。