🤖 machine learning

Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion

本論文は、モデル固有の密度ではなく現実世界の意味的希少性に基づいて少数サンプルを定義・生成するために、結合埋め込み予測アーキテクチャ（JEPA）の世界モデルを活用する拡散サンプリングフレームワークであるJEPAガイダンスを導入し、これにより多様な生成タスクにおいて低密度インスタンスの忠実性と妥当性を向上させる。

原著者： Sol Park, Soobin Um

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sol Park, Soobin Um

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion」の解説を、平易な言葉と創造的な比喩を用いて説明したものです。

大きな問題：AI アートの「エコーチェンバー」

AI 芸術家に「珍しい動物」の絵を描いてと頼んだと想像してください。現在のほとんどの AI モデルはエコーチェンバーのようです。これらはインターネット上の何百万もの写真で訓練されています。もし 1,000 枚の白い背景に描かれた犬の写真を見ていれば、それが犬の「普通」の姿だと考えます。「珍しい」犬を頼んでも、AI は奇妙な色や奇妙なポーズの犬を描くかもしれませんが、それでも白い背景の犬に過ぎません。

この論文は、現在の「珍しい」ものを見つけるための AI 手法は、AI 自身の記憶の中だけで「珍しい」ものを探しているため制限されていると主張しています。それらは現実世界で実際に何が珍しいのかを理解していません。例えば、「ステルス航空機」は現実世界では真に稀ですが、AI が一度も見たことがなければ、それを「珍しい」として描く方法を知らず、代わりに非常にぼやけた犬を描いてしまうかもしれません。

解決策：新しいガイド（JEPA）

著者たちは、AI に「珍しい」ものの真の意味を教える新しい方法を提案しています。彼らはJEPA（Joint-Embedding Predictive Architecture：結合埋め込み予測アーキテクチャ）と呼ばれる新しいガイドを導入します。

AI の描画プロセス（拡散モデル）を、広大で霧のかかった山脈に隠された洞窟を見つけようとするハイカーだと考えてください。

従来の方法: ハイカーには、自分が歩いたばかりのエリアの地図（訓練データ）しかありません。彼らは、自分が歩いた道に対して「隠れている」洞窟を探します。彼らは慣れ親しんだ岩の小さな穴を見つけるかもしれませんが、世界の別の場所に存在する壮大でユニークな洞窟システムを見逃してしまいます。
新しい方法（JEPA ガイダンス）: ハイカーには、今や惑星全体を俯瞰する衛星画像（「ワールド・プライヤー」）が与えられます。この衛星画像は、何十億もの画像を見て世界の真の地理を理解している超スマートな観察者（JEPA）によって構築されました。このガイドはハイカーにこう伝えます。「あなたが立っている岩の穴を探さないでください。空に鳥が溢れる中でステルス航空機があるように、地形が真にユニークで手つかずの場所を探してください」と。

仕組み：「低密度」の狩り

AI の世界において、「高密度」の領域とは、ほとんどのものが存在する場所（混雑した都市の広場など）です。「低密度」の領域とは、空っぽで静かな場所（砂漠や秘密基地など）です。

目標: この論文は、AI が訓練セットの中で単に「稀」なだけでなく、現実世界で真に稀なこれらの「低密度」領域から画像を生成することを望んでいます。
トリック: AI は描画中に JEPA ガイドを使って自分の作業を確認します。描画プロセスの各段階で、JEPA ガイドに「この画像は現実世界で一般的ですか、それとも稀ですか？」と尋ねます。
操縦: 画像があまりにも「一般的」（標準的な犬など）になりつつある場合、ガイドは描画を「稀」な方向（翼のある犬やステルス機など）へ押しやります。それは AI を混雑した都市の広場から離れ、世界の静かでユニークな隅々へと導きます。

高速化：「ショートカット」

この「現実世界の希少性」を計算するのは通常、非常に遅く重く、特定の砂粒を見つけるために砂浜のすべての砂粒を数えようとするようなものです。この論文は、ランダム化 SVDとエンベロープ定理と呼ばれるものを用いた数学的なショートカットを導入しています。

巨大な岩の重さを測る必要があると想像してください。全体を持ち上げる代わりに、表面のいくつかの賢明な測定値を取り、数式を使って驚くほど正確に重さを推定します。これにより、AI は描画プロセスを大幅に遅らせることなく「ワールド・プライヤー」ガイドを使用できるようになります。

結果：より良く、より奇妙で、よりリアル

この論文は、いくつかのタスクでこれをテストしました。

顔の描画: 単に奇妙に見える顔を作るのではなく、単に乱雑なものではなく、真にユニークな（特定の稀な特徴を持つなど）顔を生成しました。
動物の描画: 他の手法が奇妙に見える犬を作るのに対し、現実世界で稀な「ステルス航空機」や「ダチョウ」などを正常に生成しました。
テキストから画像へ: 特定のシーンの描画を求められたとき、テキストに正確でありながら驚くほどユニークな画像を作成し、「退屈な平均的」な外観を回避しました。

なぜこれが重要なのか

著者たちは、「AI の記憶」（生成事前分布）だけでなく、「ワールド・プライヤー」（JEPA）を使用することで、より驚きと真正性を感じさせる AI アートを作成できることを示しています。それは、過去に見たものしか知らない AI と、世界のより広大で奇妙な現実を理解する AI との違いです。

要約すると: この論文は、AI に自らの裏庭で珍しいものを探すのをやめ、真にユニークで興味深い画像を見つけるために世界全体を探求することを教えるものです。

以下は、論文「Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion」の詳細な技術的サマリーです。

問題定義

マイノリティサンプリングは、データ多様体上の低密度インスタンスを生成することを目的としており、医療診断、異常検知、創造的 AI などの応用において重要です。しかし、既存のアプローチは、モデル自身が学習した生成事前分布（すなわち、訓練データの分布）に対して「マイノリティ」を定義しています。これにより根本的な限界が生じます。「希少」として特定されたサンプルは、しばしば特定の訓練セットの産物やモデルの帰納的バイアスに過ぎず、現実世界で真に非典型的なインスタンスではないという点です。例えば、標準的なデータセットで訓練されたモデルは、白い背景の犬を「希少」とみなすかもしれませんが、それは訓練データで過小表現されているためであり、一方、ステルス戦闘機は現実世界で真に希少であっても、モデルの事前分布が狭い場合、そのように捉えられない可能性があります。本論文は、現在の手法が真のセマンティックな希少性を捉えるために必要な現実世界の事前分布と整合していないと主張しています。

手法：JEPA ガイダンス

著者らは、マイノリティサンプリングを生成器中心の視点から世界中心の視点へと移行させるフレームワークであるJEPA ガイダンスを提案します。これは、広範で意味的に豊かな表現を符号化することで知られる世界モデル（例：DINOv2）のクラスである Joint-Embedding Predictive Architecture（JEPA）の潜在的な密度を用いて拡散モデルをガイダンスすることにより実現されます。

中核メカニズム：

世界中心の定義： 拡散モデルの密度 $p_\theta(x)$ における確率を最小化するのではなく、JEPA 誘発密度 $p_\phi(x)$ における確率を最小化することを目指します。マイノリティサンプルは、JEPA 表現空間の低密度領域に位置するものとして定義されます。
JEPA-SCORE： この手法は、事前学習済みの JEPA エンコーダ $f_\phi$ のヤコビアンから導出された密度指標であるJEPA-SCOREを利用します。具体的には、ヤコビアン $J_f(x)$ の特異値の対数の和です。JEPA-SCORE の値が低いほど、世界事前分布における密度が低く（非典型性が高い）なります。
ランダム化 SVD による近似： 各拡散ステップで完全なヤコビアンとその特異値分解（SVD）を計算することは計算量的に不可能です。著者らは、圧縮されたヤコビアンの上位 $k$ 個の特異値を効率的に近似するためにランダム化 SVDを採用しています。また、近似誤差の理論的上限を提供し、それをランダム化 SVD 推定誤差と切り捨て誤差に分解しています。
効率化のための包絡線定理： 入力 $x_t$ に依存するランダム化 SVD の内部最適化ループを通じた逆伝播を回避するために、著者らは包絡線定理を援用します。これにより、勾配計算中に最適射影行列 $Q^*$ を定数として扱うことができ、正しい 1 次勾配を維持しつつ、メモリ使用量と計算オーバーヘッドを大幅に削減できます。
遅延ガイダンス： 拡散モデルのノイズ混じりの中間潜在変数と、JEPA エンコーダが期待するクリーンな入力との間のドメインギャップに対処するため、著者らは遅延ガイダンスを導入します。JEPA ガイダンスは、中間タイムステップ $\tau T$ （例： $t=0.8T$ ）以降にのみ適用され、JEPA エンコーダが効果的に評価できるほどノイズ除去推定値 $\hat{x}_{0|t}$ が明確になることを保証します。これにより、条件が世界中心ガイダンス開始前に確立されるため、条件付き生成（テキストから画像など）への拡張も可能になります。

主な貢献

世界中心のマイノリティサンプリング： 生成モデルの狭い事前分布ではなく、JEPA 経由の現実世界の事前分布に基づいてマイノリティサンプルを再定義するパラダイムシフト。
JEPA ガイダンスフレームワーク： JEPA 誘発事前分布の下で低密度領域へ軌道を誘導する、原理的な拡散サンプリング手法。
効率的な計算： 原理的な近似戦略（ランダム化 SVD）の開発と、包絡線定理の適用による JEPA ガイダンスの計算実用化、ならびに理論的誤差限界の提示。
トレーニングフリーの統合： このアプローチは完全にトレーニングフリーであり、事前学習済みの拡散モデルと JEPA モデルのみを必要とし、基盤モデルを変更することなく推論時に統合可能です。

実験結果

著者らは、CelebA、ImageNet、Stable Diffusion 1.5、SDXL-Lightning を使用した、無条件、クラス条件付き、テキストから画像の生成タスクにおいて JEPA ガイダンスを評価しました。

非典型性： JEPA ガイダンスは、Sehwag ら（2022）、MG、SGMS、MinorityPrompt などのベースラインと比較して、一貫して最低のJEPA-SCORE（世界事前分布におけるより高い非典型性を示す）を達成しました。
忠実度と妥当性： 稀な領域をターゲットにしているにもかかわらず、この手法は高い忠実度を維持しています。テキストから画像のタスクでは、競合するテキスト整合性スコア（CLIPScore、PickScore、ImageReward）を達成しつつ、他の手法では生成できない意味的に明確なサンプル（高齢の軍人、アフリカ系アメリカ人の野球選手など）を生成しています。
定性的比較： 可視化により、生成器中心の手法はしばしば非典型的な文脈（クレーンの近くにいるワシなど）を持つサンプルを生成するのに対し、JEPA ガイダンスは現実世界の希少性とより整合する、非典型的な意味や行動（交尾するワシ、奇妙な動物の形状など）を持つサンプルを生成することが示されました。
下流タスクでの有用性： 分類器訓練のためのデータ拡張タスクにおいて、JEPA ガイダンス付きのマイノリティサンプルで拡張することで、他の手法よりも少ないサンプル数で同等以上の性能が得られ、これらのサンプルがより情報量の多い訓練信号を提供することを示唆しています。

意義と主張

本論文は、既存のマイノリティサンプリングが生成モデル自身の分布に閉じ込められているという限界に対し、JEPA ガイダンスが堅牢な解決策を提供すると主張しています。世界モデル（JEPA）を活用することで、この手法は特定のデータセットに対して希少なだけでなく、現実世界で真に希少なサンプルを生成します。

著者らは、このアプローチが以下の点に重点を置いていると強調しています：

マイノリティの概念を生成事前分布から分離すること。
人工汎用知能の追求における重要な構成要素である、生成モデリングと世界モデリングの間のギャップを架橋すること。
堅牢性テスト、公平性の向上、創造的コンテンツ生成など、多様で非典型的なデータを必要とする応用に対して、実用的でトレーニングフリーのツールを提供すること。

著者らはまた、潜在的な二重使用の懸念（ガイダンス方向を逆転させることで、世界事前分布における既存のバイアスを強化する可能性があること）を認め、責任ある使用を促しています。また、この手法は標準的なサンプリングと比較して計算オーバーヘッドを導入しますが、MinorityPrompt などの複雑なベースラインよりも高速であり、世界中心の非典型性の大幅な向上に対する妥当なトレードオフを提供していると指摘しています。