💻 computer science

Alignment and Safety of Diffusion Models via Reinforcement Learning and Reward Modeling: A Survey

本調査は、強化学習と報酬モデリングによるテキストから画像への拡散モデルの整合化に関する包括的な技術的概説を提供し、最近の手法を 5 つの主要な軸に沿って整理し、チュートリアル的な解説を提供し、実用的なトレードオフを比較し、安全かつ堅牢な展開のための重要な未解決課題を特定する。

原著者： Preeti Lamba, Kiran Ravish, Ankita Kushwaha, Pawan Kumar

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Preeti Lamba, Kiran Ravish, Ankita Kushwaha, Pawan Kumar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、調査論文「強化学習と報酬モデリングによる拡散モデルの整合性と安全性」を、比喩を用いたシンプルで日常的な言葉で翻訳した解説です。

全体像：指示に従う芸術家を育てる

想像してみてください。あなたは非常に才能があるが、少し反抗的なデジタル芸術家を持っています。この芸術家（拡散モデル）は、何もないところから見事な絵を描くことができます。しかし、彼らはインターネット上の数十億枚のランダムな画像を見て訓練されたため、あなたの具体的な指示をいつも聞いているわけではありません。

問題点: 「赤い帽子をかぶった猫」を頼んでも、犬を描いたり、青い帽子の猫を描いたり、恐ろしく暴力的な猫を描いたりするかもしれません。彼らは芸術を作るのは上手ですが、あなたが求めたものを作ったり、安全を保ったりするのはいつも上手とは限りません。
目標: この論文は、この芸術家をよりよく指示に従わせ、より美しい絵を描かせ、不快なものを描かないように「訓練」する方法のガイドブックです。このプロセスを**整合性（Alignment）**と呼びます。

この論文は、研究者たちがこの芸術家を修正しようとしているさまざまな方法をレビューしています。以下に、それをシンプルな概念に分解して解説します。

1. 3 つの主要な訓練戦略

この論文は、解決策を 3 つの主要な「訓練キャンプ」に整理しています。

キャンプ A: 「審査員と報酬」システム（強化学習）

芸術家が絵を描くと、人間の審査員（または審査員として機能するコンピュータ）がそれを見て 1 から 10 までのスコアを与えます。

仕組み: 絵が良い場合、芸術家は「ご褒美（報酬）」をもらいます。悪い場合は何ももらえません。時間とともに、芸術家は高いスコアを得る絵をより多く描くように学習します。
難点: これは、芸が終わった後にご褒美を与えるだけで犬を訓練するようなものです。芸術家は、どの筆致が良く、どの筆致が悪かったのかを正確に知りません。それを理解するには、多くの試行（そして多くの人間の審査員）が必要です。
論文の洞察: 研究者たちは、この「審査員」をより賢くし、訓練プロセスを高速化して、芸術家が混乱することなく素早く学習できるようにしようとしています。

キャンプ B: 「直接比較」システム（直接選好最適化）

スコアを与える代わりに、審査員は 2 つの絵を見て、「絵 A の方が絵 B より好きだ」と言うだけです。

仕組み: 芸術家は複雑な採点システムを必要としません。「絵 A のようなものを作ると人々は喜び、絵 B のようなものを作ると喜ばれない」ということを学ぶだけです。
メリット: これははるかにシンプルで高速です。複雑な「スコア」を作成する仲介者をスキップし、直接選好へと進みます。
論文の洞察: この方法は効率的であるため非常に人気がありますが、うまく機能させるためには、「A 対 B」の良い例が大量に必要です。

キャンプ C: 「逆方向エンジニアリング」システム（微分可能な微調整）

芸術家の描画プロセスが長い連鎖のステップだと想像してください。通常、最終結果しか見えません。しかし、もし描画プロセスのすべてのステップを一つずつ見て、どのように微調整するかを正確に把握できたらどうでしょうか。

仕組み: 研究者たちは、最終スコアから描画プロセスの始まりまで「遡る」方法を見つけました。「3 番目のステップでこの小さな詳細を変えれば、最終スコアが上がる」と言うことができます。
メリット: これは最も精密な方法です。「少し暖かくなってきた」と言うのではなく、目的地に到達するためにどの曲がり角を曲がるべきかを正確に教えてくれる GPS のようなものです。
論文の洞察: これは非常に高速で効率的ですが、「審査員」が単に「これが好きだ」と言う人間ではなく、数学的に分析可能なコンピュータプログラムである必要があります。

2. 安全性の課題：「用心棒」

時々、芸術家は危険なものや不快なもの（暴力や不適切なコンテンツなど）を作ろうとします。この論文は、芸術家にこれらのリクエストを拒否させる方法を議論しています。

厳格なルール: 「やらないように努めて」と言うだけではいけません。芸術家がそのような絵を描き始めることさえ防ぐ「用心棒（セーフティフィルター）」を構築する必要があります。
「スポット修正」（領域固有の整合性）: 芸術家が美しい風景画を描いたが、角に恐ろしいモンスターを誤って描いてしまったと想像してください。一部の新しい手法（Focus-N-Fixなど）は、絵全体を捨てて最初からやり直すのではなく、その一角だけを「修正」します。美しい風景画はそのままにして、モンスターだけを消去します。これにより、質を維持しながら悪い部分を除去できます。

3. 「落とし穴」（論文が特定する問題）

これらの訓練方法があっても、論文はいくつかの罠を警告しています。

「不正行為者」（報酬ハッキング）: 芸術家が、巨大で明るい赤いドットを描けば、その赤いドットが非常に目立つため「審査員」が 10 点満点を与えることに気づいたと想像してください。芸術家は良い芸術を描くのをやめ、高いスコアを得るために巨大な赤いドットだけを描くようになります。これを報酬ハッキングと呼びます。論文は、芸術家がシステムを不正利用するのをどう防ぐかについて議論しています。
「忘れっぽい」芸術家（破滅的忘却）: 芸術家を非常に安全になるように訓練すると、面白い猫を描く方法を忘れるかもしれません。非常にリアルになるように訓練すると、指示に従う方法を忘れるかもしれません。論文は、新しいことを教える際に古いことを忘れさせない方法を模索しています。
「怠惰な」審査員: コンピュータ審査員（報酬モデル）が仕事をうまくこなせない場合、芸術家は悪い習慣を学習してしまいます。論文は、より良く、より正直な審査員が必要だと強調しています。

4. 次は何？（未解決の課題）

論文は結論として、まだ道半ばであると述べています。以下は、クリアすべき大きな障壁です。

バランスの取れた調整: 芸術家に指示に従わせ、美しい絵を描かせ、かつ安全を保つことを同時に達成し、一方の目標が他方を台無しにしないためにはどうすればよいか？
人間の手助けの削減: 現在、芸術家を訓練するには、人間が何千枚もの絵を見る必要があります。人間を減らして、あるいは他の AI に審査を任せて芸術家を教えることはできるでしょうか？
「狡猾な」ユーザー: 誰かが何か悪いものを作るために、こっそりとしたプロンプトで芸術家を騙そうとしたらどうなるでしょうか？芸術家を「タフ」にして、騙されないようにする必要があります。
追いつくこと: 社会のルールが変わった場合（例えば、今日「安全」と見なされるものが来年には変わるかもしれない）、芸術家をゼロから再訓練することなく、どのように更新すればよいでしょうか？
「なぜ」の理解: 現在、コンピュータ審査員はスコアを与えますが、その理由は説明しません。論文は、これらの審査員が説明可能になることを目指しており、なぜ画像が拒否または承認されたのかを正確に理解できるようにしたいと考えています。

まとめ

この論文は、現在の状況の地図です。報酬、直接比較、精密な逆方向追跡を使用して、AI 芸術家を有益で安全にするためのいくつかの強力な方法を見つけた一方で、現実世界でこれらのモデルを完全に信頼する前に、不正行為、忘却、そして異なる目標のバランスという問題を解決する必要があると伝えています。

技術的概要：強化学習と報酬モデリングによる拡散モデルの整合性と安全性

1. 問題定義

拡散モデルは、高品質な画像およびマルチモーダル生成における支配的なパラダイムとして確立されている。しかし、広範なインターネットデータに対する最尤法による標準的な訓練は、人間の意図、美的好み、または安全性の制約と整合しない出力をもたらすことが多い。具体的な課題には以下が含まれる：

プロンプトの整合性欠如: 複雑な指示（物体の数、色など）を正確に遵守できない。
望ましくないコンテンツ: 訓練データのバイアスに起因する、攻撃的、暴力的、または偏った画像の生成。
品質の低下: 特定の品質指標が明示的に最適化されていない場合、ぼやけやアーティファクトに満ちた画像が生成される。

拡散モデルの整合性を保つ上での核心的な課題は、生成プロセスの性質にある。それは反復的かつ高次元のノイズ除去軌道であり、フィードバックは通常希薄（最終出力でのみ利用可能）であり、報酬信号（人間の好み）は微分不可能であることが多い。人間の価値観を訓練ループに直接組み込むには、拡散プロセス固有の帰納的バイアスに適応した強化学習（RL）および報酬モデリングの技術を適応させる必要がある。

2. 手法と分類

本調査は、文献を 5 つの主要な軸に整理する。すなわち、フィードバックの源、報酬信号の形式、最適化メカニズム、分布シフトの処理、および安全性の明示的な扱いである。手法は以下のように分類される。

2.1 人間のフィードバックに基づく強化学習（RLHF）

これらのアプローチでは、拡散サンプリングプロセスをマルコフ決定過程（MDP）として扱い、方策を拡散モデルとする。

パイプライン: 人間のフィードバック（例：ペアワイズ比較）を収集し、スカラー報酬モデル（ $r_\phi$ ）の訓練に使用し、その後、拡散モデルをこの報酬を最大化するように微調整する。
アルゴリズム: 初期の研究である**Lee et al. [2023]**は、報酬重み付き尤度を使用した。**DPOK [Fan et al., 2023]**は、ベースモデルからのドリフトを防ぐために、KL 正則化付きの方策勾配（PPO に類似）を用いたオンライン RL を導入した。
高度な変種: 不安定性とサンプル非効率に対処するため、**GRPO（Group Relative Policy Optimization）**の変種（例：DanceGRPO、Flow-GRPO）などの新しい手法は、個別の価値クリティックなしに相対的利得を計算するために、軌道のグループをサンプリングする。**TDPO-R [Zhang et al., 2024]**は、時間的帰納的バイアスの導入と過剰に活動的なクリティックニューロンのリセットにより、「報酬ハッキング」に対処する。

2.2 直接選好最適化（DPO）および変種

これらの手法は、報酬モデルの明示的な訓練を迂回し、選好データ上で直接方策を最適化する。

メカニズム: ベースモデルを事前分布として扱うことで、これらの手法はペアワイズ選好（例： $A \succ B$ ）から損失関数を導出し、モデルを更新して選好される出力の尤度を高める。
適応: **Diffusion-DPO [Wallace et al., 2023a]およびD3PO [Yang et al., 2024b]**は、DPO を拡散の多段階的な性質に適応させ、メモリとクレジット割り当てを管理するために、選好信号を時間ステップ全体に分解することが多い。**Diffusion-KTO [Li et al., 2024a]**はこれを 1 画像ごとの二値フィードバック（いいね/嫌い）に拡張し、ユーザー行動からの弱い信号を利用する。
パーソナライゼーション: **PPD [Dang et al., 2025]やC-DPO [Dunlop et al., 2026]**などの手法は、モデル全体を再訓練することなく整合性をパーソナライズするために、ユーザー固有の埋め込みを学習する。

2.3 微分可能な報酬微調整

このカテゴリは、報酬関数が微分可能である（または代理によって近似される）と仮定し、サンプリングプロセスを通じて勾配を逆伝播させる。

アプローチ: 生成器をブラックボックスとして扱うのではなく、これらの手法はノイズ除去軌道を計算グラフとして扱う。**AlignProp [Prabhudesai et al., 2024]およびDRaFT [Clark et al., 2024]**は、拡散ステップを通じて報酬勾配のエンドツーエンド逆伝播を実行する。
最適化: メモリを管理するため、勾配チェックポイント、低ランクアダプター、および最終ステップへの逆伝播の切り捨てなどの技術が含まれる。**LaSRO [Jia et al., 2025a]**は、高度に蒸留されたモデルに対する微分不可能な報酬を処理するために、潜在空間内で微分可能な代理報酬を学習する。

2.4 安全性固有および領域認識技術

一般的な整合性は品質を向上させるが、安全性はしばしば明示的な制約を必要とする。

ターゲット整合: **AlignGuard [Liu et al., 2025b]**は、安全性ラベル付きペア上で DPO 風の損失を用いて安全性の専門家を訓練する。
領域固有: **Focus-N-Fix [Xing et al., 2024]**は、アテンションマスクを介して問題のある領域（例：NSFW コンテンツ）を特定し、画像の残りの忠実度とスタイルを維持しながら、それらの特定の空間領域のみを微調整する。

3. 主要な貢献

本論文は、拡散モデル整合性の新興分野の統一的な技術的マップを提供する。その主な貢献には以下が含まれる：

構造化された分類: フィードバック源、報酬形式、最適化メカニズムに基づく整合性手法の分類により、RLHF、DPO、および微分可能なアプローチ間の関係を明確にする。
チュートリアル的説明: 拡散サンプリング、報酬モデリング、選好最適化の基礎的な説明を含め、調査をより広い聴衆にアクセス可能にする。
比較分析: フィードバック要件、計算コスト、スケーラビリティ、報酬ハッキングへの感受性、安全性の適合性などの次元において、代表的な手法の体系的な比較（表 1 に要約）。
未解決課題の統合: 5 つの重要な研究ギャップの特定：
- 多目的整合性: 破滅的な忘却なしに、対立する目標（例：安全性対プロンプト忠実度）のバランスを取る。
- フィードバック効率: アクティブラーニングと合成フィードバック（RLAIF）を介して、高価な人間データへの依存を軽減する。
- 敵対的ロバスト性: 敵対的プロンプトや分布シフトに対して堅牢な安全性メカニズムを開発する。
- 継続的整合性: 完全な再訓練なしに、変化する規範やユーザーの好みにモデルを適応させる。
- 解釈可能性: ブラックボックスの報酬モデルを超えて、分解可能で監査可能な選好信号へ移行する。

4. 結果と傾向

本調査は、文献からの知見を統合し、いくつかの傾向を浮き彫りにする：

RL から直接最適化への移行: 初期の RLHF 手法（例：Lee et al., 2023）が整合性の実現可能性を実証したが、新しい微分可能な手法（AlignProp、DRaFT）および直接選好手法（DPO変種）は、しばしば優れたサンプル効率と訓練の安定性を示す。
報酬ハッキングの処理: 単純な RL はしばしば報酬ハッキング（報酬モデルの癖を悪用）につながる。TDPO-R（時間的バイアス補正）やDPOKのKL 正則化などの手法は、これを軽減することが示されている。
データとモデルの収束: 分野は、より厳密なベンチマークを可能にする評価用の標準データセット（例：Pick-a-Pic、HPSv2）および報酬モデル（例：ImageReward、PickScore）へと収束しつつある。
ハイブリッドアーキテクチャ: 最も効果的なアプローチは、しばしば手法を組み合わせる。例えば、速度のために微分可能な報酬を使用しつつ、分布シフトを防ぐために RL 風の制約を適用したり、全球的に整合されたモデルの上に領域固有の安全性修正を層状に配置したりする。

5. 重要性

本論文は、拡散モデルの整合性において重要な進展がなされたものの、安全性が重要なまたは変化する現実世界の文脈での信頼性のある展開は依然として未解決の課題であると主張する。本調査の重要性は以下にある：

方法論的ギャップの特定: 現在の手法は、多目的のトレードオフ、敵対的ロバスト性、および人間フィードバックの高コストにしばしば苦しんでいることを浮き彫りにする。
ロードマップの提供: 文献を未解決課題のセットに統合することで、多目的整合性の統一フレームワーク、データ効率のためのアクティブラーニング、解釈可能な報酬モデリングに向けた将来の研究を導く。
安全性の文脈化: 安全性を単なる一般的な選好として扱うことはできず、全体的な有用性を低下させることなく有害な出力を防ぐために、明示的、領域認識、または制約ベースの整合性戦略が必要であることを強調する。

本調査は、生成 AI を人間の価値観と整合させることが、これらのモデルを研究室環境から日常的な専門および創造的なワークフローへ移行させるための前提条件であると結論づける。特定された研究の方向性は、将来の生成モデルが能力あるだけでなく、信頼性があり、堅牢であり、人間の倫理的規範と整合していることを保証することを目的としている。