技術サマリー：DACA-GRPO

問題定義

拡散大規模言語モデル（dLLMs）は、高スループットかつ並列なテキスト生成を可能にすることで、自己回帰モデルに対する魅力的な代替手段を提供します。しかし、強化学習（RL）、特にグループ相対方策最適化（GRPO）を dLLMs に適用する際、既存の手法では対処されていない 2 つの根本的な弱点に直面します。

1. 時間的クレジット割当の欠如: トークンが逐次生成される自己回帰モデルとは異なり、dLLMs は各ノイズ除去ステップにおいてすべてのマスクされた位置を同時に予測します。既存の RL 手法は、生成された全体に対して一様なスカラー利得を割り当て、ノイズ除去の軌道を無視します。これにより、すべてのステップが同等に重要であるかのように扱われ、「決定的」なステップ（モデルが数学における演算子やコードにおける制御フローなど、重要な構造的選択をコミットするステップ）と「日常的」なステップ（単純な埋め込み）を区別できません。その結果、モデルの進化する理解を符号化する中間予測が破棄され、非効率的な勾配更新を招きます。
2. 偏りが高く分散の大きい尤度推定: dLLMs における標準的な方策最適化は、生成されたテキストの対数尤度を推定することに依存します。支配的なアプローチは、すべての生成トークンをマスクし、トークン間の文脈をゼロ（平均場近似）として予測します。これにより、体系的な偏り（文脈なしでの予測は困難である）と高い分散（単一のランダムなマスクパターンが典型的な難易度を代表しない場合がある）が導入され、方策勾配が損なわれます。

手法：DACA-GRPO

著者は、特定された弱点に対処するために 2 つの相補的なメカニズムを統合した、軽量かつプラグアンドプレイ型のフレームワークDACA-GRPO（GRPO 向けのノイズ除去意識型クレジット割当）を提案します。

1. ノイズ除去進行スコア（DPS）

DPS は、追加のフォワードパスを必要とせずにノイズ除去ステップ全体にわたるモデルの信念の進化を定量化することで、時間的クレジット割当の欠如に対処します。

• メカニズム: 各ノイズ除去ステップ $k$ において、モデルはすべてのマスクされた位置の分布を予測します。DPS は、次のステップ（$k+1$）でマスクされ続ける位置におけるモデルの平均対数確率の変化を測定することで、「進行デルタ」（$\delta_k$）を計算します。具体的には、$\delta_k = S(k+1, k+1) - S(k, k+1)$ であり、ここで $S$ はステップ $k+1$ においてまだマスクされている位置の集合に対する平均対数確率です。
• 解釈: 大きな正の $\delta_k$ は、ステップ $k$ でのトークンの露出がモデルの理解を大幅に改善した（決定的なステップ）ことを示します。小さく、あるいは負の $\delta_k$ は、日常的な進行または混乱を示唆します。
• 実装: これらの生デルタは、非定常的なスケールに対処するためバッチ内でステップごとに正規化（z スコア）されます。正規化されたスコアは、RL 損失におけるトークンごとの利得を調整します：$\tilde{A}_i = A \cdot (1 + \lambda \cdot \bar{\delta}_{\text{birth}(i)})$。これにより、決定的な遷移中に生成されたトークンに対する学習信号が増幅され、日常的なステップに対する信号は減衰します。
• コスト: 生成中に自然に計算されるロジットを再利用するため、追加のフォワードパスはゼロです。

2. 層別マスク尤度（SML）

SML は、トークンが実質的な文脈とともに予測されることを保証することで、尤度推定における平均場バイアスに対処します。

• メカニズム: すべてのトークンをマスクする（0% 文脈）代わりに、SML は出力トークン位置を $K$ 個の互いに素な層（ストラタ）に分割します。各層 $S_k$ に対して、モデルは他のすべての層を可視化したまま、$S_k$ 内のトークンを予測します。
• 推定: シーケンスレベルの尤度は、すべての層にわたる対数確率の和となります：$\log p_{\text{SML}} = \sum_{k=1}^K \sum_{n \in S_k} \log p_\theta(o_n | o_{\setminus S_k}, q)$。
• 効果: 各トークンは、シーケンスの $(K-1)/K$ を文脈として予測されます（例：$K=4$ の場合、75% の文脈）。これにより、ゼロ文脈仮定によって導入される偏りが大幅に減少します。
• 統合:
  • 比を必要としない手法（例：wd1）の場合、SML は補助的な損失項として追加されます。
  • 比に基づく手法（例：Diffu-GRPO、GDPO）の場合、生成レジームとの整合性を保ちつつバイアスを低減するため、SML は完全にマスクされた予測と層別化された予測を平均化することで重要度比に統合されます。

主要な貢献

1. 弱点の特定: 本論文は、時間的クレジット割当の欠如と平均場尤度推定の体系的な偏りを、現在の dLLM RL 手法における主要なボトルネックとして形式的に特定しました。
2. ノイズ除去進行スコア（DPS）: 追加の計算コストなしに中間予測からトークンごとの重要度重みを取り出すための新規メカニズム。これにより、ステップレベルのクレジット割当が可能になります。
3. 層別マスク尤度（SML）: 豊富な文脈を用いてトークンを評価することで平均場バイアスを低減する位置層別化推定量。既存の分散低減技術を補完します。
4. 統合フレームワーク: DPS と SML を、さまざまな GRPO 変種（Diffu-GRPO、wd1、GDPO）と互換性のあるプラグアンドプレイ型フレームワーク（DACA-GRPO）に統合しました。

実験結果

著者は、LLaDA-8B-Instruct ベースモデルを用いて、7 つのベンチマークで DACA-GRPO を評価しました。

• 数学的推論: MATH-500、GSM8K。
• コード生成: MBPP、HumanEval。
• 制約充足: カウントダウン、数独。
• 制約付き生成: JSON スキーマ準拠。

主要な発見:

• 一貫した改善: DACA-GRPO は、すべてのベンチマークおよびベース手法において一貫した改善を達成しました。
  • 数学的推論: 最大**5.6 ポイント（pp）**の改善。
  • コード生成: 最大**7.4 ポイント（pp）**の改善。
  • 制約充足: 最大**36.3 ポイント（pp）**の改善（特に数独において、wd1 + DPS の場合、セルごとの精度が約 34% から約 70% に跳ね上がりました）。
  • JSON 準拠: 最大**5.9 ポイント（pp）**の改善。
• 相補性: DPS と SML は相補的です。DPS は、決定的なステップを特定することで、構造化された短生成タスク（数独、カウントダウンなど）で最大の改善をもたらします。SML は、トークン間の依存関係が強く平均場バイアスが深刻な長文タスク（数学、コードなど）で最大の改善をもたらします。
• 適用範囲の境界: SML は長い出力に対して有効ですが、部分的な文脈が答えを自明に決定するような、短く厳密に制約されたタスク（数独など）ではモード崩壊を引き起こします。これらの場合、DPS 単独で十分であり、非常に効果的です。

意義と主張

本論文は、拡散生成における「無駄にされた」中間予測には、適切に活用すればトレーニングを有意に改善するのに十分なシグナルが含まれていると主張しています。DACA-GRPO の主な意義は以下の点にあります。

1. 効率性: 既存の計算（ロジット）を活用してクレジット割当を改善し、大幅なオーバーヘッドを伴いません（DPS はウォールクロック時間の 1% 未満を追加；SML は $K$ に比例する modest なコストを追加）。
2. 汎用性: 欠落しているクレジット割当構造は、異なる損失定式化（比ベース対比を必要としない）およびドメイン（数学、コード、制約）全体にわたる共有のボトルネックであるように見えます。
3. 実用的影響: 数独のような構造化タスクにおける劇的な改善は、現在の一様なクレジット割当が、厳密なトークン間依存関係を有するタスクに対して著しく不十分であることを示唆しています。

著者は、DPS は普遍的な追加機能である一方、SML は、特に長文生成において尤度の質が制約条件となる手法やタスクで優先されるべきであると結論付けています。また、SML の短く制約された出力への適用性に関する限界を認め、適応的ストライド選択および層別推定の事前学習目的への拡張に関する今後の研究を提案しています。