📊 statistics

Variance-Tilted Diffusion Models for Diverse Sampling

本論文は、Doob $h$ 変換を利用して、事後的なデノイズ後の平均を明示的に反発させ、粒子を高次元特徴量の分散が大きい領域へと誘導することにより、多様な候補集合を生成する分散傾斜型拡散サンプリング手法を導入するものである。

原著者： Iskander Azangulov, Leo Zhang, Kianoosh Ashouritaklimi

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

原著者： Iskander Azangulov, Leo Zhang, Kianoosh Ashouritaklimi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、魔法のアーティスト（「拡散モデル」）を雇いました。このアーティストは、「ガラス製のカエル」といった説明をもとに絵を描くのが驚くほど得意です。通常、もしあなたがこのアーティストに100羽のカエルを描くよう頼んだら、彼らは完璧な1羽の「同じような」カエルを、わずかに異なるバリエーションで100枚描くだけでしょう。それらはすべて、同じポーズ、同じ照明で、非常によく似た姿になります。

これは、最高の一枚が欲しい場合には素晴らしいことです。しかし、もしあなたがゲームのために、全く異なる種類のカエルのコレクションが必要だとしたらどうでしょう？例えば、一羽は泳いでいて、一羽は飛んでいて、別のものは緑色のガラスで、また別のものは青いガラスでできている、といった具合に。

この方法でアーティストに頼むと、通常は失敗します。それはまるで、シェフに100種類の異なるケーキを作ってほしいのに、シェフがお気に入りのレシピに従って、ただ100個の全く同じチョコレートケーキを作ってしまうようなものです。

問題点：「同調圧力」に屈するアーティスト

この論文は、現在のAIモデルが「グループシンク（集団思考）」に陥りすぎていると主張しています。彼らは最も確率が高く、安全な答えを見つけ出すように訓練されています。そのため、バッチ（一括）でサンプルを求めると、彼らは同じ安全な答えを何度も繰り返してしまうのです。

解決策：「分散傾斜（Variance-Tilted）」法

著者たちは、アーティストへの新しい話し方を提案しています。単に「カエルを描いて」と言うのではなく、特別なルールを追加します。**「100羽のカエルを描いて。ただし、それらを一目見たときに、それらができるだけ広く分散しているようにして」**というルールです。

彼らはこれを**「分散傾斜拡散（Variance-Tilted Diffusion）」**と呼んでいます。

仕組みは以下の通りです。

1. 特徴マップ（「メジャー」）

まず、「違い」を測定する方法が必要です。著者らは**線形演算子（A）**というツールを使用しています。これは特別なメジャーのようなものです。

それは、カエルの「形」を測るかもしれません。
「色」を測るかもしれません。
「背景」を測るかもしれません。
あるいは、「左の翼」だけを測ることもできます。

このツールは、カエルの複雑な画像を、そのカエルをユニークにしている要素を表す単純な数字のリスト（特徴量）へと変換します。

2. 分散の目標（「広がり」のルール）

目標は**「分散（Variance）」**を最大化することです。日常的な言葉で言えば、分散とは単に「広がり」のことです。

もし100羽のカエルが一直線上に並んでいたら、分散は低くなります（密集しています）。
もしカエルが部屋中に散らばっていたら、分散は高くなります。

論文では、「最終的なバッチのカエルが、私たちのメジャーに従って最大の広がりを持つようにしたい」という数学的なルールを作成しています。

3. ドーブのh変換（「幽霊のガイド」）

ここが数学的に難しい部分ですが、簡単に説明するとこうなります。
通常、AIは画像を一つずつ、独立して生成します。多様性を生み出すために、著者らはゲームのルールを変更しました。AIが単に一羽のカエルを描いているのではなく、一団のグループを「同時に」描いており、そのグループが互いに「会話」していると想定するのです。

彼らは**「ドーブのh変換（Doob h-transform）」と呼ばれる数学的なトリックを使用しています。これは、アーティストに「幽霊のガイド」**を耳元でささやかせるようなものです。

ささやき： 「おい、今描いているそのカエルは、5秒前に描いたものとよく似ているぞ。少し動かせ！二本足ではなく、片足立ちにしてみろ！」
反発： ガイドは、新しいカエルを他のカエルから遠ざけます（同じ極同士の磁石のように）。
曲率： ガイドはまた、カエルを「広がり」が自然に高くなる領域へと押しやり、単に変な隅っこに集まってしまうのを防ぎます。

二つの力が働いている

論文では、この「幽霊のガイド」を2つの単純な力に分解しています。

「真似するな」という力： これはカエルたちを互いに押し離します。もしAIが、グループの平均に似すぎたカエルを描こうとした場合、この力がそれを押し戻します。これにより、彼らが皆、同じ「平均的な」カエルのようになってしまうのを防ぎます。
「境界を探索せよ」という力： これはカエルたちを、起こりうる世界の「端」へと押しやります。これは、AIが退屈で安全な中心部に留まるのではなく、少し珍しい、あるいは稀なことを試みるよう促します。

結果

著者らが画像（「ガラスのカエル」や「ボールを持ったコーギー」など）でテストしたところ、結果は驚くべきものでした。

標準的なAI (CFG)： すべてが非常によく似た見た目のカエルのグループを生み出しました。
彼らの手法 (Variance-Tilted)： ポーズ、背景、スタイルが劇的に異なるカエルのグループを生み出しました。泳いでいるもの、飛んでいるもの、雨の中にいるもの、太陽の下にいるものなどが現れました。

なぜこれが重要なのか（論文による主張）

論文は、これが従来の方法よりも優れている理由として、以下を挙げています。

正確であること： 彼らは単に多様性を生み出すためのルールを推測したわけではありません。彼らは「広がりを最大化する」という目標から出発し、そこに到達するための正確なステップを数学的に導き出したのです。
透明であること： 「幽霊のガイド」が何をしているのかを明確に目にすることができます。それはブラックボックスではなく、個々のカエルとグループとの間の、明確な押し引きのプロセスなのです。

要約すると： この論文は、AIに対して「模倣者」であることをやめ、「クリエイティブ・ディレクター」になるよう教えています。これにより、バッチとしてアイデアを求めたときに、単なる100個のコピーではなく、豊かで多様なコレクションが得られるようになるのです。

技術要約：多様なサンプリングのための分散傾斜型拡散モデル

問題提起
拡散モデルは、高解像度画像合成から科学的発見（タンパク質の折り畳みや分子ドッキングなど）に至るまで、あらゆる領域において生成モデリングの標準となっています。しかし、標準的なサンプリング・パラダイムは、独立同一分布（i.i.d.）からのサンプリングに依存しています。このアプローチは、創薬における構造的に多様なリガンドの生成や、ロボットの動作計画における堅牢な軌跡提案など、データの多様な領域をカバーする一連の候補を必要とするダウンストリーム・タスクにおいては、しばしば最適とは言えません。

粒子ガイダンス（particle guidance）のような、多様性を強制するための既存の手法は、サンプリングのダイナミクスに反発ポテンシャルを導入します。これらは効果的ではあるものの、ドリフトをヒューリスティックに修正するため、計算上、正確な評価や制御が困難な暗黙的なターゲット分布をもたらします。

手法
著者らは、正確なサンプラーを導出する前に、バッチのターゲット分布を明示的に定義するという「ターゲット・ファースト」の定式化を提案しています。核心となる革新は、指定された線形特徴写像の後に大きな経験的広がりを持つサンプルの集合を優先する、**分散加重バッチ分布（variance-weighted batch distribution）**です。

$n$ 個のサンプル $\mathbf{x} = (x^{(1)}, \dots, x^{(n)})$ のバッチに対して、ターゲット分布 $\pi^A_0(\mathbf{x})$ は次のように定義されます：
$\pi^A_0(\mathbf{x}) \propto \text{Var}^A_n(\mathbf{x}) \prod_{i=1}^n p_0(x^{(i)})$
ここで、 $p_0$ は元のデータ分布であり、 $A: \mathbb{R}^d \to \mathbb{R}^k$ はサンプルをタスク固有の特徴空間へと写像する線形演算子、 $\text{Var}^A_n(\mathbf{x})$ は特徴量 $A(x^{(i)})$ の経験分散です。

この分布からサンプリングするために、著者らは独立した拡散ダイナミクスの正確な Doob $h$ -変換（Doob $h$ -transform） を導出します。これには、ノイズを含む状態 $\mathbf{x}_t$ が与えられたときのバッチ分散の条件付き期待値の計算が含まれます：
$h^A_t(\mathbf{x}_t) := \mathbb{E}[\text{Var}^A_n(\mathbf{X}_0) \mid \mathbf{X}_t = \mathbf{x}_t]$

ツイディの恒等式（Tweedie's identities）とバイアス・分散分解を用いることで、著者らはスコア補正 $\nabla_{\mathbf{x}_t} \log h^A_t(\mathbf{x}_t)$ の閉形式の表現を導出しています。この補正は、以下の2つの明確な項で構成されます：

相互作用項（反発項）： 特徴空間における粒子の事後デノイズ平均（ $\mu_t$ ）を互いに反発させる項。これは、デノイザーを通じたベクトル・ヤコビアン積（VJP）を用いて効率的に計算されます。
曲率項： 粒子をより高い特徴分散を持つ領域へと移動させる項。これには、スコア関数のダイバージェンス（具体的には $\text{div}(A^\top A \nabla s_t)$ ）が含まれます。これは、有限差分または確率的トレース推定器（例：Hutchinson 推定器）を介して推定されます。

結果として得られるサンプラーは、標準的なスコアと導出された Doob 補正の和を各粒子のスコアとする、相互作用粒子プロセスとなります。

主な貢献

ターゲット・ファーストの定式化： 本論文は、多様な生成を、制御不能な反発力を伴うヒューリスティックな手法を避け、明示的なバッチターゲット分布からの正確なサンプリング問題として定式化しています。
閉形式の Doob 補正： 著者らは、一般的な線形演算子 $A$ に対するスコア補正の解析的な導出を提供し、それを事後平均に対する反発項と特徴分散に対する曲率項へと分解しています。
実行可能なサンプリングアルゴリズム： 離散化された相互作用粒子サンプラーが導入されています。主要な相互作用項は効率的な VJP 計算を活用しており、一方で曲率項は数値的な推定によって処理されるため、既存の拡散モデルへの適用が実用的です。

結果
著者らは、様々なプロンプトを用いた Stable Diffusion v1.5 (512x512) による画像生成において、本手法を評価しました。彼らは以下の3つの構成を比較しました：

標準的な Classifier-Free Guidance (CFG)。
ダイバージェンス項なしの Variance-Tilted (VT)。
Variance-Tilted + Divergence (VT + Divergence)。

定性的な結果（図1–5）は、提案手法が標準的な CFG と比較して、より多様なサンプルを生成することを示しています。生成された画像は、単に高確率なモードの微小なバリエーションを生み出すのではなく、より幅広いポーズ、背景、および視覚的スタイルをカバーしています。ダイバージェンス項の導入は多様性をさらに洗練させますが、著者らは、完全な手法が画像品質をわずかに低下させ、計算コストを増加させる可能性があることも指摘しています。

意義と主張
本論文は、ヒューリスティックな粒子反発に対する確率論的な代替案を提示すると主張しています。分散加重ターゲットに対する正確なサンプラーを導出することで、本手法は、暗黙的な目的関数ではなく、透明性の高い確率論的な目的関数を提供します。著者らは、これを多様なサンプリングに対する厳密なアプローチであり、実用的な実装経路を維持するものであると位置付けています。

著者らは限界についても謙虚であり、本手法が定性的に多様性を向上させる一方で、画像品質をわずかに低下させる可能性があり、二階微分（ダイバージェンス）の推定により計算コストが高くなることを認めています。彼らは、今後の課題として、品質の問題を軽減するための Doob 補正のアニーリングや、曲率項のためのより効率的な推定器の開発を挙げています。