💬 NLP

Entropy Aware Reward Guidance for Diffusion Language Model Alignment

本論文は、離散拡散言語モデルに対する効果的な報酬ガイダンスを可能にするため、予測エントロピーに基づいて連続トークン緩和とハードトークンの間で動的に補間する新規手法 EntRGi を紹介し、報酬誘導強化学習（RGRL）によるテスト時適応および事後学習の両方において最先端のアプローチに対して一貫した改善を示す。

原著者： Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に才能があるが、少し混乱気味の「Diffusion」という名のアーティストを想像してください。このアーティストは、信号のないテレビのような完全なノイズで覆われたキャンバスから始めて、ノイズをゆっくりと取り除くことで画像（または物語）を描こうとしています。

通常、このアーティストは、あらゆる青のニュアンスを混ぜ合わせることができるように、絵の具を混ぜるような「連続的」な世界で働いています。しかし、この論文では、このアーティストは離散トークン、つまり明確で個別のレゴブロックのようなもので作業しています。「赤」のブロックと「青」のブロックを混ぜて「紫」を作ることはできません。どちらか一方を選ぶ必要があります。

著者たちが取り組む問題は、報酬モデル（完成した絵を評価する批評家）を使って、このアーティストに「いいえ、その赤いブロックではない！もっと良い赤いブロックにしてください」と伝える方法です。

核心的な問題：「翻訳者」の崩壊

従来の方法（連続モデル）では、アーティストと批評家は同じ言語を話していました。批評家は「ブラシを少し左に動かして」と言うことができ、アーティストはそれを正確に理解して調整できました。

しかし、これらのレゴブロックモデルでは、批評家は完成した硬いブロックしか評価する方法を知りません。

「期待値」法： 一部の試みでは、アーティストに滑らかな指示を与えるために、批評家にブロックの「ぼやけた」バージョン（赤と青の混合）を見せようとしました。しかし、批評家は鋭い実際のブロックのみで訓練されていました。これは、食通の批評家に、にんじんとセロリを混ぜたスムージーを評価させるようなものです。彼はその味を以前に味わったことがないため、何を言えばよいか分からず、フィードバックは信頼できません。
「APS」法（以前の最高水準）： 他の試みでは、良いスコアを得るために批評家に実際の鋭いブロックを見せましたが、その後にアーティストには、そのブロックがまだぼやけていると見なして滑らかな指示を受け取るよう指示しました。これは、審査員に完璧なステーキを見せながら、シェフに「このステーキを液体のスープだと想像して指示に従え」と言うようなものです。指示が現実と一致しないため、混乱を招きます。

解決策：EntRGi（「自信メーター」）

著者たちはEntRGi（エントロピー認識型報酬ガイダンス）を導入しました。これは、アーティストのための賢い自信メーターと考えることができます。

アーティストが作業する際、どのブロックを選ぶべきか非常に確信がある場合（エントロピーが低く、自信が高い）もあれば、完全に推測している場合（エントロピーが高く、自信が低い）もあります。

アーティストが確信を持っているとき： 自信メーターは、「あなたは自分が何をしているか分かっている！批評家に実際の硬いブロックを見せて」と言います。これにより、批評家は自分が理解しているものを評価するため、信頼性が高く正確なスコアを提供できます。
アーティストが推測しているとき： 自信メーターは、「あなたは確信がない！批評家に可能性のぼやけた混合を見せて」と言います。これにより、アーティストは創造的なプロセスの流れを壊すことなく、改善のための滑らかで連続的な指示を得ることができます。

魔法： EntRGiは、アーティストがどの程度確信を持っているかに基づいて、ブロックごとに自動的にこの 2 つのモードを切り替えます。批評家からの信頼できるフィードバックと、アーティストへの滑らかで正確な指示という、両方の利点を享受できるのです。

結果：より優れた芸術と新しいトレーニング

この論文は、この方法が以下の 2 つのレベルで以前の試みよりも優れていることを示しています。

テスト時適応（「ライブ編集」）： アーティストが絵を描いている間、EntRGiはアーティストを導いてより良い最終画像を作成するのを助けます。アーティストを最初から再訓練する必要はありません。これは、セットで、いつ優しく促し、いつ俳優に即興を任せるべきかを正確に知っているディレクターがいるようなものです。
RGRL（報酬誘導強化学習）： 著者たちはまた、RGRLと呼ばれる新しいトレーニングレシピを作成しました。完成した絵を見せ、「よくやった」または「悪い仕事だ」と言うだけでは（曖昧すぎる）、アーティストに「どのように」上達するかを教えることができません。代わりに、EntRGiからの滑らかなフィードバックを使用して、プレイヤーの現在の状態に基づいてコーチが具体的で詳細なドリルを与えるように、アーティストに上達方法を教えます。単にスコアをつけるだけではありません。

結論

この論文は、この「自信メーター」（EntRGi）を使用することで、これらの離散レゴブロックモデルを、以前よりも高品質な結果を生み出すように導くことができると主張しています。彼らは大規模モデル（70 億パラメータ）でこれをテストし、生成中にモデルをガイドする場合だけでなく、モデルをより賢くするためにトレーニングする場合でも、以前の最高水準の方法を一貫して凌駕することを見出しました。

また、この方法は、アーティストと批評家がわずかに異なる「語彙」（異なるレゴブロックのセット）を使用する場合でも機能すると指摘しています。これは現実世界でよくある問題です。

要約： 彼らは、批評家を満足させ、アーティストが学習し続ける方法で、混乱したレゴアーティストと対話する方法を見出し、より良い物語と画像を生み出すことに成功しました。

技術的サマリー：拡散言語モデルのアライメントにおけるエントロピー認識報酬ガイダンス

問題定義

報酬ガイダンス（または事後サンプリング）は、報酬モデルからの微分可能なフィードバックが生成ステップの反復的洗練を可能にする連続拡散モデルにおいて、極めて効果的であることが実証されています。しかし、このパラダイムを**離散拡散大規模言語モデル（dLLM）**に適用することは、根本的な課題を呈します：dLLM は微分不可能な離散トークンを生成するためです。

既存のアプローチはこのギャップを埋めようと試みますが、報酬モデルの信頼性と勾配の精度の間に重大なトレードオフに直面しています：

連続緩和（期待値）： 報酬モデルに「ソフト」な埋め込み（トークン確率の期待値）を入力することで勾配の流れを可能にします。しかし、報酬モデルは通常ハードトークンで訓練されているため、ソフトで語彙外の入力は信頼性の低い報酬信号をもたらし、性能を低下させます。
ストレートスルー推定子（STE）： APS（Rout et al., 2025c）などの手法は、サンプリングされたハードトークン上で報酬を評価し（信頼性を確保）、入力がかつてソフトであったかのように勾配を伝播させます。これは、報酬が評価される場所と勾配が適用される場所の間に不一致を生み、特にモデルの予測エントロピーが高い場合（つまり、初期のノイズ除去ステップ中）に近似誤差を引き起こします。

手法：EntRGi

著者は、トークンごとに連続的なトークン緩和とサンプリングされたハードトークンの間で動的に補間するメカニズムであるEntRGi（エントロピー認識報酬ガイダンス）を導入します。中核的な革新は、拡散モデル自身のトークンごとの予測エントロピーを用いて補間重みを決定することです。

メカニズム

ノイズ除去プロセス中の各マスク位置 $l$ において、EntRGi は報酬モデルへの入力埋め込み $e_l^{EntRGi}$ を凸結合として構築します：
$e_l^{EntRGi} = (1 - w_l)e_l^{soft} + w_l e_l^{hard}$
ここで：

$e_l^{soft}$ はモデルの確率分布から導出された期待ソフト埋め込みです。
$e_l^{hard}$ はサンプリングされたハードトークンの埋め込みです。
$w_l$ はトークンのエントロピー $H(q_l)$ から導出された適応的重みであり、具体的には $w_l = H(q_l) / \log K$ です。

適応の論理：

低エントロピー（高信頼性）： モデルが確信を持っている場合（低エントロピー）、 $w_l \to 0$ となります。入力は主にソフト埋め込みとなり、ソフトとハードの埋め込みが近いため、重大な近似誤差なしにクリーンな勾配の流れを可能にします。
高エントロピー（高不確実性）： モデルが不確実な場合（高エントロピー）、 $w_l \to 1$ となります。入力はハードトークン埋め込みへとシフトします。これにより、報酬モデルは現実的で分布内の入力を受け取り、勾配近似誤差が大きい場合でも報酬の信頼性を維持します。

このアプローチは、モデルが確信を持っているときはソフト埋め込みを信頼し、不確実性が高いときは離散トークンに戻すことで、その緊張関係を解決します。

事後学習：RGRL

本論文ではまた、EntRGi（または APS）を活用して報酬ガイダンス付きの完成文を生成する事後学習レシピである**RGRL（報酬ガイダンス強化学習）**を提案しています。これらの完成文は、自己蒸留を通じて dLLM を微調整するために使用され、diffu-GRPO などの標準的な RL 手法で用いられるスカラー報酬のみに依存するのではなく、密な報酬 - 勾配フィードバックループを構築します。

主要な貢献

EntRGi： 勾配精度と報酬モデルの信頼性を適応的にバランスさせる、離散拡散 LLM 向けの新しいエントロピー認識報酬ガイダンスメカニズム。
テスト時適応の優位性： 複数のベンチマーク、特にエントロピーが高いより高いサンプリング温度において、EntRGi が先行する最先端手法（APS）や他のベースライン（期待値、Best-of-N）を上回ることを示す実証的検証。
RGRL 事後学習： 報酬ガイダンス付きサンプルを微調整に利用する新しい学習レシピ。著者は、RGRL-EntRGi が広く採用されている dLLM 用 RL アルゴリズムである diffu-GRPO を大幅に上回り、特定のデータセットで報酬スコアが最大70% 相対的に改善されることを実証しています。
トークナイザーの不一致に対する頑健性： この手法は、dLLM と報酬モデルのトークナイザーが不一致である場合（例：LLaDA 対 Qwen/Llama）でも有効であり、既存の勾配ベース手法がしばしば困難に直面する一般的な現実世界のシナリオにおいて機能します。

実験結果

著者は、5 つのマルチスキルデータセットと 4 つの報酬モデルを用いて、70 億パラメータモデル（Dream-v0-Instruct-7B および LLaDA-8B-Instruct）上で EntRGi を評価しました。

推論時性能： EntRGi は、APS や期待値と比較して、一貫して高い Top@1 および Avg@4 報酬スコアを達成しました。特に、APS の性能がより高い温度（ $\tau=0.7$ ）で著しく低下するのに対し、EntRGi は性能を維持または向上させ、高エントロピー状態を効果的に処理する能力を実証しました。
事後学習の効率性： RGRL-EntRGi は、diffu-GRPO と比較してより速い収束とより高い最終報酬スコアを示しました。これらの改善は、初期報酬が低いデータセット（例：WildChat-IF）で最も顕著であり、この手法が困難なアライメントタスクに特に効果的であることを示唆しています。
アブレーション研究： 分析により、エントロピーに基づく重み付けが L2 ノルム距離などの代替ヒューリスティックよりも優れており、エントロピーが最も高い初期のノイズ除去ステップ中の近似誤差を軽減することが確認されました。

意義

本論文は、EntRGi が拡散言語モデルにおける「離散対微分可能」という対立に対する原理的な解決策を提供すると主張しています。モデルの不確実性をフィードバックの取り込みを調節するシグナルとして活用することで、EntRGi は以下のことを可能にします：

強力な推論時ステアリング： 再学習なしでタスク固有の目的を最適化する dLLM を可能にし、連続拡散モデルと同等の信頼性を実現します。
実行可能な事後学習の代替手段： 密な報酬 - 勾配フィードバックを、dLLM に対する教師あり微調整やスカラー報酬 RL よりも効果的な代替手段として開拓します。

著者は、この研究を、新興の離散拡散言語モデルクラスに対して、報酬ガイダンス適応と事後学習を堅牢かつスケーラブルにするための必要な一歩として位置付けています。