🤖 machine learning

Analytic Distribution of Classifier-Free Guidance for Schedule Design

本論文は、Classifier-Free Guidance分布の厳密な解析的パス積分表現を導出することで、ガイダンス・スケジュールがサンプリングにどのように影響するかを明らかにし、拡散モデルにおける多様性と忠実度のトレードオフおよびサンプリング効率を大幅に向上させる提案手法であるDistribution-Guided CFG (DG-CFG) スケジュールを提示する。

原著者： Enze Jiang, Zheng Ma

公開日 2026-07-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Enze Jiang, Zheng Ma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに「帽子をかぶった猫」のような説明を与えて絵を描かせる方法を教えようとしていると想像してください。ロボットは白紙のキャンバスから始めるのではありません。テレビの砂嵐のように、混沌としたノイズの嵐からスタートします。そのノイズを鮮明な画像に変えるために、ロボットは「拡散モデル（diffusion model）」と呼ばれる巧妙なトリックを使用します。このプロセスは、スローモーションの映画を逆再生しているようなものだと考えてください。ロボットは、画像を鮮明にするために、ステップごとに少しずつノイズを取り除いていきます。

しかし、ここが難しいところです。ロボットは、あなたの説明に合わせるために、「何を」取り除き、「何を」残すべきかを知る必要があります。ただ単にノイズを取り除くよう指示するだけでは、ランダムな猫やランダムな帽子ができてしまうかもしれません。これを解決するために、「Classifier-Free Guidance (CFG)」というテクニックを使用します。CFGを、ロボットの中に二つの「内なる声」があると想像してみてください。一つは、猫が帽子をかぶっているのがどのような姿かを正確に知っている「専門家（Expert）」の声です。もう一つは、猫と帽子をそれぞれ別々に知ってはいるものの、その組み合わせについては知らない「ジェネラリスト（Generalist）」の声です。CFGは、ロボットに対して、専門家の声にもっと耳を傾け、ジェネラリストの声にはあまり耳を傾けないように指示する仕組みです。この「音量」を上げれば上げるほど、画像はあなたの説明に一致していきますが、上げすぎると、画像が奇妙になったり、彩度が強すぎたり、多様性が失われたりします。

長い間、科学者たちはこの音量つまみがどのように機能するかを理解していると考えてきました。彼らは、もし特定のレベルに設定すれば、ロボットは最後に二つの声を固定された比率で混ぜ合わせるだけだと信じていました。しかし、上海交通大学のEnze JiangとZheng Maによる新しい論文は、この単純な「混合」という考え方自体が、実は少しの嘘であることを示唆しています。彼らは、ロボットは単に最後まで一度だけ声を混ぜるのではなく、ノイズが取り除かれるにつれて、聞き方（注視の仕方）が絶えず変化しており、「音量」が各ステップで複雑かつ隠れた形で蓄積されていくことを発見しました。

隠れた旅と新しい地図

著者たちは、従来のCFGの考え方は、出発点と目的地だけを見て、その間の曲がり角や紆余曲折を無視してロードトリップを理解しようとするようなものだと気づきました。彼らは、高度な数学（具体的には「確率流ODE（probability flow ODEs）」と呼ばれるもの）を使用して、ロボットがノイズを浄化していく過程で辿る正確な旅路をマッピングしました。

彼らが発見したことは驚くべきことでした。彼らは、最終的な画像は単なる二つの声の単純なブレンドではないという精密な数学的公式を導き出しました。むしろ、最終的な結果は、ターゲットとなる画像に「補正係数」を掛け合わせたものです。この係数は、ロボットが辿る長く曲がりくねった道のようです。この道に沿って、ロボットは専門家が望むものとジェネラリストが望むものの違いを常にチェックしています。もし、道の途中のどの時点においても二つの声が強く食い違っている場合、ロボットは最終的な絵に影響を与える「ペナルティ」を支払うことになります。

この論文は、単に一定の音量を設定する（例えば、ずっとつまみを「5」に保つ）という従来の方法は、実は非効率的であると主張しています。なぜでしょうか？それは、ロボットの脳内にある「ノイズ」が均一ではないからです。プロセスの初期段階では、画像はほとんど静止画（スタティック）であり、ノイズは大きいです。終盤になると、画像はクリアになり、ノイズは静かになります。著者たちは、一定の音量つまみを使うと、ノイズが大きいとき（旅の始まり）には音量が上がりすぎてしまい、ノイズが静かなとき（旅の終わり）には音量が低くなりすぎてしまうという、不均衡が生じることを示しました。この不均衡によって、ロボットは奇妙に明るすぎる色に陥ったり、画像の細部が失われたりしてしまうのです。

解決策：スマートな変化する音量

これに対処するため、著者たちは、よりスマートな音量調整の方法を設計しました。彼らはこれを DG-CFG (Distribution-Guided Classifier-Free Guidance) と呼んでいます。音量を一定に保つ代わりに、この手法は、画像のクリーンアップ工程におけるあらゆるステップにおいて、自動的に音量を調整します。

これは、車のスマート・クルーズ・コントロールのようなものです。道がデコボコしている（ノイズが高い）ときは、車は速度を落とし、サスペンションを調整します。道が滑らかな（ノイズが低い）ときは、加速して細部に集中します。DG-CFGも、画像生成器に対して同じことを行います：

ノイズのバランスを取る： ノイズが大きいときは音量を下げ、ロボットが圧倒されないようにします。
信号（シグナル）に集中する： 実際の画像が現れ始めると、音量を上げて、ロボットが細部に注意を払えるようにします。
エラーを防ぐ： 画像がほぼ完璧に近づいたとき、数学的な処理が難しくなるため、最後に音量をわずかに下げて、ロボットがミスを犯すのを防ぎます。

それは本当に機能するのか？

著者たちは単に数学的な計算をしただけではありません。彼らは実際にテストを行いました。まず、正確な答えを計算できる、非常にシンプルで小さな「トイ（玩具）」モデルを構築しました。このトイモデルで彼らの新手法を実行したところ、結果は彼らの複雑な数学公式と完璧に一致し、彼らの理論が健全であることを証明しました。

次に、彼らは Stable Diffusion 1.5 という強力な画像生成器を用いてテストを行いました。彼らは、緩やかなものから極端なものまで、異なる音量設定でロボットに絵を描かせました。

従来の方法（一定のCFG）： 細部を出すために音量を高く設定すると、画像はしばしば醜くなり、ネオンのような鮮やかすぎる色や、奇妙で色あせた質感になってしまいました。
新しい方法（DG-CFG）： 同じ高い音量設定であっても、画像は自然なままでした。色は飽和せず、細部はシャープで、画像はより現実的に見えました。

彼らはまた、ロボットが質の高い画像を得るために必要なステップ数も測定しました。DG-CFGを使用すると、従来のメソッドよりも少ないステップで高品質な結果に到達できることが分かりました。つまり、この新手法は、より美しい画像を作るだけでなく、より速く、より安価に実行できるのです。

結論

この論文は、単に「つまみの回し方を変えてみて」と言っているだけではありません。従来のやり方がなぜ壊れていたのか、そしてどうやって直すべきかを示す数学的な地図を提供しています。ロボットのノイズの中を通る旅は、変化が蓄積されていく経路であるということを理解することで、著者たちはロボットをより注意深く導くためのスケジュールを作成しました。その結果、より多様で、色のエラーが少なく、コンピューティング・パワーを必要としない高品質な画像を生成する方法を生み出したのです。これは、AIの世界において、時には単に一生懸命働くことではなく、正しい時に正しい声に耳を傾けるという「賢く働く」ことこそが秘訣であるということを思い出させてくれます。

技術要約：スケジュールの設計に向けたClassifier-Free Guidanceの解析的分布

問題提起
Classifier-Free Guidance (CFG) は、ガイダンス強度パラメータ $\omega$ を介して条件付きスコア関数と無条件スコア関数を混合する、拡散モデルにおける条件付き生成の標準的なメカニズムである。経験的には成功しているものの、根本的な理論的問いが未解決のまま残されている。すなわち、「決定論的なCFG逆プロセスは、実際にどのような分布からサンプリングしているのか？」という点である。一般的なヒューリスティックでは、CFGは正規化された積分布 $\tilde{r}_0 \propto p_0^\omega q_0^{1-\omega}$ からサンプリングされると仮定されている。しかし、この点（pointwise）での解釈は、サンプリング・トラジェトリ全体にわたる時間依存的なスコア摂動の累積効果を捉えることができない。既存の理論的研究は、特定の失敗モード（例：モード崩壊、過飽和）を説明したりヒューリスティックを提案したりしているが、決定論的な確率フローODEの下で誘導される分布の正確な特性付けは提供していない。この厳密な解析形式の欠如が、時間依存のガイダンス・スケジュールの原理的な設計を妨げている。

手法
著者らは、決定論的な確率フロー常微分方程式（ODE）の枠組みの中でCFGを分析している。彼らのアプローチは、主に以下の3つの段階で構成される：

理論的導出:
- 彼らは、誘導された逆プロセスを、スコアがアフィン結合 $s_\omega^t(x) = \omega \nabla \log p_t(x) + (1-\omega) \nabla \log q_t(x)$ に置き換えられたODEとして定式化する。
- 正規化された積参照分布 $\tilde{r}_t$ に対するフォッカー・プランク方程式を導出することで、条件付きスコアと参照スコアの不一致から生じる「相互作用ポテンシャル」項を特定する。
- 特性ベースの分析を用いて、停止時刻 $t_0$ における誘導分布 $\hat{r}_{t_0}$ の正確な解析的パス積分表現を解く。この導出は、一定のガイダンス（ $\omega(t) \equiv \omega$ ）と時間依存のガイダンス（ $\omega(t)$ ）の両方をカバーしている。
スケジュールの設計 (DG-CFG):
- 導出されたパス積分公式を分析することで、著者らは、各タイムステップにおけるガイダンスの実効的な重みが、ノイズ・スケジュールの係数 $\beta(t)$ （VPSDEの設定において）およびガイダンス偏差 $\omega(t)-1$ によって変調されることを観察している。
- 標準的な一定CFGは、 $\beta(t)$ が数オーダーで変化するため、高ノイズ領域を過剰に重み付けしてしまうことを特定した。これが飽和と多様性の喪失を招く。
- これを修正するために、著者らはDistribution-Guided CFG (DG-CFG) を提案する。これは、パス積分の寄与をバランスさせるように設計されたスケジュールである。このスケジュールは以下のように構築される：
  - $\beta(t)$ の非一様性を補償する。
  - 有意義な信号が存在するタイムステップに焦点を当てるため、信号内容（ $\sqrt{\bar{\alpha}_t}$ ）によって重み付けを行う。
  - 低ノイズ領域（ $\sigma_t \to 0$ ）におけるスコア近似誤差の増幅を軽減するため、 $(1-\bar{\alpha}_t)$ でスケーリングする。
- 結果として得られる公式は、 $\omega(t) = 1 + C \cdot (\bar{\omega} - 1) \cdot \frac{(1-\bar{\alpha}_t)\sqrt{\bar{\alpha}_t}}{\beta(t)}$ である。
実験的検証:
- トイモデル: 解析的なスコアを持つ円周上の離散分布を用いて理論を検証し、経験的なサンプルと理論的なパス積分予測を比較する。
- 大規模評価: Stable Diffusion 1.5 (SD1.5) を用いて、MS-COCO 2017検証セットに対して、一定CFGおよびヒューリスティックなベースライン（Interval CFG, $\beta$ -CFG）と比較しながら、様々なガイダンス強度とサンプリング・ステップ予算の下でDG-CFGを評価する。

主な貢献

正確な解析的分布: 本論文は、一定および時間依存のガイダンスの両方において、決定論的CFGによって誘導される分布に関する初の正確な解析的パス積分表現を導出している（定理4.3および4.4）。これらの公式は、CFGが単に積分布からサンプリングするのではなく、 $\omega(t)-1$ によって重み付けされた指数的なパス積分補正を介してターゲット分布を修正することを明らかにしている。
原理に基づいたスケジュール設計: パス積分による特性付けに基づき、著者らはDG-CFGを提案している。このスケジュールは、ノイズ・スケジュールの非一様性、信号内容の変動、および低ノイズ時の誤差増幅を明示的に補正し、ガイダンスの時系列的寄与をバランスさせるものである。
経験的検証: 理論は、予測された分布が経験的なサンプルと一致するトイモデルにおいて厳密に検証されている。SD1.5において、DG-CFGは、特にベースラインが劣化する高いガイダンス強度において、優れた堅牢性、色の飽和に対する優れた制御、および優れた多様性・忠実度のトレードオフを示した。

結果

トイモデル: DDIMサンプリングによる経験的分布は、理論的予測と密接に一致した（全変動距離 $\approx 1-2\%$ ）。時間依存のガイダンスは、一定のCFGと比較して、特に高いガイダンス強度（ $\omega=9$ ）において、モードのバランス（Min-Max比）を大幅に改善し、周辺モードの崩壊を防いだ。
Stable Diffusion 1.5:
- 高ガイダンス性能: 高いガイダンス強度（ $\bar{\omega} \ge 15$ ）において、一定およびヒューリスティックなベースラインは、深刻な色の過飽和と品質の低下（負のImageRewardスコア）を示した。DG-CFGは、正のImageRewardスコアと競争力のあるFID/CLIPスコアを維持した。
- 飽和制御: DG-CFFは、参照画像よりも大幅に超過することが多いベースラインと比較して、飽和指標を実画像の参照値に極めて近く保った。
- 効率性: 固定品質の分析において、DG-CFGは、特定のImageReward、CLIP、およびFIDターゲットに到達するために、すべてのベースラインと比較してより少ないサンプリングステップ（NFE）を必要とした。例えば、 $\bar{\omega}=23$ においてImageReward $\ge 0.2$ を達成するために、最も強力なベースラインが16ステップを必要としたのに対し、DG-CFGは12ステップを必要とした。

意義と主張
本論文の主要な意義は、CFGを理解するための理論的基礎を提供することにあると著者らは主張している。「積分布のヒューリスティック」を超えて、正確なパス積分による特性付けへと移行することで、著者らはなぜ一定のガイダンスが失敗するのか（パス積分の時間的不均衡）、そしてどのように修正すべきかを明確にしている。

著者らは、DG-CFGは単なるヒューリスティックではなく、誘導された分布表現から直接導出されたスケジュールであると述べている。結果は、この原理的なアプローチにより、典型的なトレードオフである飽和や多様性の喪失を伴うことなく、より強いガイダンス強度を実現できることを示唆しており、高品質な条件付き生成を実現するために必要な計算コスト（サンプリングステップ）を実質的に削減している。本研究は、失敗モードに関する既存の研究を補完するものとして位置づけられ、スコアの不一致の蓄積を説明し、スケジュールの設計を導く統一的な解析フレームワークを提供している。

関連論文