🤖 machine learning

ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control

本論文は、複数の生成目標間のトレードオフを推論時に柔軟に制御できるよう、単一の拡散モデルを連続的な報酬重み条件付きで学習し、パレート最適解の全体を近似する新しい多目的強化学習フレームワーク「ParetoSlider」を提案するものである。

原著者： Shelly Golan, Michael Finkelson, Ariel Bereslavsky, Yotam Nitzan, Or Patashnik

公開日 2026-04-23

📖 1 分で読めます☕ さくっと読める

原著者： Shelly Golan, Michael Finkelson, Ariel Bereslavsky, Yotam Nitzan, Or Patashnik

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

パレオスライダー（ParetoSlider）：AI 絵画の「味付け」を自由自在に操る新技術

この論文は、AI が絵を描くときに「写真のようなリアルさ」と「スケッチ風のタッチ」のように、相反する二つの要望をどう両立させるかという難しい問題を、とてもスマートに解決する方法を紹介しています。

従来の方法では「どちらかを優先するか」を AI に学習させる際、「写真 7 割、スケッチ 3 割」という固定のレシピを決めてしまうのが普通でした。しかし、ユーザーは「今日はもっとリアルにしたい」「次はもっと絵画的にしたい」と、その都度好みを変えたいはずです。

この論文の「パレオスライダー」は、**「1 つの AI 模型で、すべての好みのバランスをカバーできる」**という画期的な仕組みを作りました。

🎨 具体的なイメージ：料理の味付けスライダー

この技術を理解するための最も簡単な例えは、**「料理の味付けスライダー」**です。

❌ 従来の方法（固定レシピ）

昔の AI は、料理を作るたびに「味付け」を決める必要があります。

モデル A：「塩味 100%」の料理を作るように訓練された。
モデル B：「甘味 100%」の料理を作るように訓練された。
モデル C：「塩 50%、甘 50%」の料理を作るように訓練された。

もしあなたが「塩 30%、甘 70%」の味が欲しい場合、新しいモデルをゼロから作らなければなりません。あるいは、既存のモデル A と B を混ぜて、味を調整しようとしても、味が崩れておいしくなってしまう（品質が落ちる）ことがありました。

✅ 新しい方法：パレオスライダー

パレオスライダーは、**「万能な味付けスライダー」**を備えた 1 つの天才シェフです。

このシェフは、「塩」と「甘」のバランスを指示するスライダーを持っています。
スライダーを左に倒せば「塩味 100%」の料理が、右に倒せば「甘味 100%」の料理が作れます。
真ん中に置けば、完璧なバランスの料理が作れます。
0.1 刻みで動かしても、その瞬間の味に合わせた最高の料理が作れます。

しかも、このシェフは**「塩味用」「甘味用」の別々の厨房（モデル）を何十個も持つ必要はありません**。たった1 つの厨房で、すべての味を完璧に再現できるのです。

🔍 なぜこれがすごいのか？

1. 「トレードオフ（引き換え）」の魔法

AI が絵を描くとき、よくあるのが**「指示通りに描くこと」と「元の画像の顔や形を壊さないこと」**の間の葛藤です。

「この人を戦士に変えて！」と指示すると、元の顔が崩れてしまう。
「元の顔を絶対に守って！」とすると、指示された変化が反映されない。

パレオスライダーは、この**「引き換えの境界線（パレートフロンティア）」**をすべて学習しています。ユーザーが「戦士っぽさ 80%、元の顔 20%」とスライダーを動かすだけで、AI はその瞬間のベストな絵を描き出します。

2. 複数のモデルを並べなくていい

これまでは、好みのバランスごとに「モデル 1 号」「モデル 2 号」といったように、何十個もの AI モデルを保存・管理する必要がありました。それはまるで、「塩味用」「甘味用」「酸味用」の鍋を何百個も厨房に並べておくようなもので、非常に非効率でした。
パレオスライダーは、1 つの鍋（モデル）で全てを賄えるため、計算資源もメモリも節約できます。

3. 学習中の「味見」の工夫

この技術の裏側には、面白い工夫があります。
AI が学習する際、通常は「塩味」と「甘味」のスコアを足し合わせて「総合点」を出します。しかし、これだと「塩のスコアが元々高い」場合、AI は「甘味」を無視して「塩」ばかり追求してしまいます（これを「報酬の乗っ取り」と呼びます）。

パレオスライダーは、「塩のスコア」と「甘のスコア」をそれぞれ独立して評価し、最後にユーザーの指示（スライダーの位置）に合わせて混ぜ合わせるという「遅延スカラー化」という手法を使います。
これにより、「ユーザーが何を望んでいるか（スライダーの位置）」が、AI の学習の方向性を正しく決めることができます。

🚀 実際の応用例

この技術は、すでに以下の分野で実証されています。

写真生成（Text-to-Image）
- 「写真のようなリアルさ」と「スケッチ風」の間を、スライダーで滑らかに移動できます。
- 「アニメ風」「水彩画風」「3D レンダリング」など、複数のスタイルの間を行き来することも可能です。
画像編集（Image Editing）
- 「元の画像の保存（Preservation）」と「指示への忠実度（Adherence）」のバランスを調整できます。
- 「顔はそのままに、服だけ変える」から「顔もスタイルも大きく変える」まで、滑らかに操作できます。
動画生成（Text-to-Video）
- 「リアルな映像」と「アニメーション風」の間を、動画のスタイルとして滑らかに切り替えられます。

🌟 まとめ

パレオスライダーは、AI 絵画の世界に**「連続的な自由」**をもたらしました。

昔：「A か B か」の二択で、固定された結果しか出せなかった。
今：「A と B の間を、好きな割合で」自由に選べるようになった。

まるで、**「写真と絵画の間の無限のグラデーション」**を、たった一つのモデルで操れるようになったようなものです。これにより、専門知識がなくても、ユーザーは直感的に「もっとリアルに」「もっと絵画的に」という微調整を、スライダーを動かすだけで実現できるようになります。

これは、AI が単に「指示された通り」動くだけでなく、**「人間の繊細な好みに合わせて、絶妙なバランスを取れる」**ようになった大きな一歩と言えるでしょう。

ParetoSlider: 連続的な報酬制御のための拡散モデル事後学習

1. 概要と背景

本論文「ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control」は、生成 AI（特に拡散モデルやフローマッチングモデル）の事後学習（Post-Training）における多目的最適化（Multi-Objective Optimization, MOO）の課題を解決する新しいフレームワークを提案しています。

現在の生成モデルの RL（強化学習）による微調整は、人間の意図に合わせるために不可欠ですが、既存の手法の多くは単一のスカラー報酬に依存しています。複数の評価基準（例：画像編集における「指示への忠実度」と「元画像の保存性」）が存在する場合、従来のアプローチでは「早期スカラー化（Early Scalarization）」と呼ばれる手法で、複数の報酬を固定された重み付けの和に単純化していました。

この固定された重み付けには以下の重大な欠点があります：

推論時の制御欠如: 訓練時に決定されたトレードオフの一点にモデルが固定され、推論時にユーザーが好みのバランスを動的に変更することができません。
リソースの非効率性: 異なるトレードオフ点に対応させるために、複数のモデル（チェックポイント）を個別に訓練・保存する必要があり、コストが目的の数に比例して増加します。

2. 提案手法：ParetoSlider

ParetoSlider は、単一のモデルでパレート前線（Pareto Front）全体を近似し、推論時にユーザーが連続的にトレードオフを制御できるようにする多目的強化学習（MORL）フレームワークです。

2.1. 核心となるアイデア

条件付きポリシー学習: モデルに**「選好ベクトル**（Preference Vector, $\omega$ ）を入力条件として与えます。このベクトルは、各目的関数間の相対的な重要度（重み）を指定します。
連続的な制御: 推論時に $\omega$ を連続的に変化させることで、単一のモデルから最適なトレードオフの連続的なスライダー操作が可能になります。

2.2. 技術的革新

既存の DiffusionNFT（フローマッチングモデル向けの RL 微調整手法）を多目的設定に拡張し、以下の 2 つの重要な改良を加えています。

遅延スカラー化（Late Scalarization）:
- 従来の「早期スカラー化」では、報酬を重み付けして足し合わせた後に Advantage（優位性）を計算します。これにより、数値スケールの大きい報酬が学習を支配し、選好ベクトル $\omega$ の意図が反映されにくくなる問題（Reward Hijacking）がありました。
- ParetoSlider では、各報酬ごとに独立して Advantage を正規化（標準化）し、その後に選好ベクトル $\omega$ で重み付けして損失関数を統合します。これにより、各報酬のスケール差に左右されず、ユーザーが指定した選好通りに最適化が行われます。
選好条件付きアーキテクチャ:
- 選好ベクトル $\omega$ をモデルに注入するための軽量な条件付けモジュールを設計しました。
- **Text-to-Image **(SD3.5): タイムステップ埋め込みへの注入と、Transformer ブロック全体への共有残差モジュレーション。
- **Image-to-Image **(FluxKontext): コンテキスト（テキスト）ストリームの AdaLN パラメータ（スケールとシフト）への注入。
- **Text-to-Video **(LTX-2): ビデオストリームへの共有ブロック残差機構の適用。
- これらのモジュールは LoRA と併用され、事前学習済みモデルの重みを凍結したまま効率的に学習可能です。

2.3. 学習プロセス

生成: 現在のポリシーで、特定の選好 $\omega$ とプロンプトに対して $K$ 個のサンプルを生成。
評価: $M$ 個の報酬モデルで各サンプルを評価し、報酬ベクトルを得る。
Advantage 計算: 各報酬チャネルごとにグループ内で独立して正規化（標準化）を行い、Advantage ベクトルを算出。
損失計算: 各報酬ごとに DiffusionNFT 損失を計算し、最後に選好ベクトル $\omega$ で重み付けして統合。
更新: 統合された損失でモデルを微調整。

3. 実験結果

ParetoSlider は、以下の 3 つの最先端フローマッチング基盤モデルで評価されました。

**Text-to-Image **(Stable Diffusion 3.5): 写真調（Photorealism）とスケッチ（Sketch）のトレードオフ。
**Image-to-Image **(FluxKontext): 指示への忠実度（Editing）と元画像の保存性（Preservation）のトレードオフ。
**Text-to-Video **(LTX-2): 写真調とアニメーション調（Disney Pixar 風）のトレードオフ。

主要な発見

性能: 単一の選好条件付きモデルは、固定重みで個別に訓練された複数のベースラインモデル（Fixed-Weights）と同等か、それ以上の性能を発揮しました。
連続的な制御: 推論時に選好ベクトルを滑らかに変化させることで、極端な状態（例：完全な写真調から完全なスケッチまで）の間を連続的かつ高品質に遷移させることができました。
比較優位性:
- Prompt Rewriting（プロンプト書き換え）や CFG スケール調整などの推論時の制御手法よりも、より滑らかで忠実なトレードオフ曲線を実現。
- Flow-Multi（パレート非支配選択に基づく手法）や Rewarded Soups（モデル重みの補間）と比較し、推論時のオーバーヘッドが少なく、より広範なパレート前線をカバー。
アブレーション: 「遅延スカラー化」を採用することで、中間的な選好設定でも報酬が片方に偏って崩壊（Collapse）する現象が抑制され、滑らかな遷移が得られることが確認されました。

4. 貢献と意義

実用的な制御インターフェースの提供: 非専門家ユーザーも、複数の競合する生成目標（例：「忠実度 vs 創造性」）の間で直感的にバランスを調整できる「スライダー」のようなインタフェースを実現しました。
スケーラビリティ: 目的の数が増加しても、モデルの数を増やす必要がなく、単一のモデルで多様な選好をカバーできるため、計算コストとストレージコストを大幅に削減します。
理論的貢献: 多目的 RL における「遅延スカラー化」の重要性を実証し、報酬のスケール差による学習の偏りを防ぐ有効な手法を示しました。

5. 結論

ParetoSlider は、生成モデルの多目的アライメントにおいて、固定されたトレードオフ点に縛られる従来の限界を打破しました。単一のモデルでパレート前線全体を近似し、推論時に連続的な制御を可能にするこのアプローチは、より柔軟でユーザーフレンドリーな生成 AI システムの実現に向けた重要な一歩となります。