🤖 machine learning

JLT: Clean-Latent Prediction in Latent Diffusion Transformers

本論文は、低分散方向の処理を改善し、ImageNet 256x256 生成品質（FID 2.50）の向上を実現することで、潜在空間における速度予測よりもクリーン潜在予測が優れていることを示す潜在拡散トランスフォーマー JLT を紹介し、予測ターゲットは交換可能な代数的パラメータ化ではなく、表現に依存する幾何学的選択であることを示唆する。

原著者： Funing Fu, Tenghui Wang, Junyong Cen, Qichao Zhu, Guanyu Zhou

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Funing Fu, Tenghui Wang, Junyong Cen, Qichao Zhu, Guanyu Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに完璧な猫の絵を描かせることを想像してみてください。完成した写真を見せるのではなく、猫のぼやけてノイズの多いバージョンを見せ、「このすべての雑音の下にある、きれいな猫はどんな姿をしているのか？」と尋ねます。

長年、AI 研究者たちは、その問いを「どのように」立てるべきかについて議論してきました。ロボットは除去すべき「ノイズ」を推測すべきでしょうか？画像が変化する「速度」を推測すべきでしょうか？それとも、最終的なきれいな画像そのものを直接推測すべきでしょうか？

この論文「JLT」は、画像の圧縮された簡略化されたバージョン（「潜在空間」と呼ばれる）で作業している場合でも、最終的なきれいな画像を「直接推測する」ことが最善の道であると主張しています。

彼らの発見を簡単な比喩を用いて解説します：

1. 設定：「圧縮された」スケッチパッド

通常、AI モデルは生のピクセル（数百万もの小さな色付きの点）で動作します。これは、巨大な高解像度のキャンバスに傑作を描こうとするようなものです。遅く、かつ散漫です。

処理を高速化するために、研究者は画像をより小さく簡略化されたコード（「スケッチパッド」）に変換する「圧縮機」（VAE）を使用します。AI はこのスケッチパッド上で描画を学び、その後デコーダがスケッチを完全な写真に戻します。

著者たちが問いかけた大きな疑問は、「この簡略化されたスケッチパッド上で作業している場合、AI に何を予測させるかがまだ重要なのか？」というものでした。

2. 競争相手：ノイズ対きれいな画像

著者たちは、2 種類の AI モデル間で公平なレースを設定しました。彼らは全く同じ「スケッチパッド」、全く同じ脳のサイズ（トランスフォーマー構造）、そして全く同じトレーニング時間を使用しました。唯一の違いは与えられた「目標」でした。

「速度」ランナー（DiT）： このモデルには、「最終的な画像を気にするな。画像がそこに到達するために動いている「方向と速度」だけを教えてくれ」と言われました。これは運転手に「加速はどれくらいか？」と尋ねるようなものです。
「きれいな」ランナー（JLT）： このモデルには、「速度は無視せよ。今、最終的なきれいな画像がどんな姿をしているかだけを教えてくれ」と言われました。これは運転手に「目的地はどこか？」と尋ねるようなものです。

3. レースの結果

結果は明確でした：「きれいな」ランナー（JLT）が圧倒的な差で勝利しました。

「きれいな」モデルが猫を描こうとしたとき、結果は鮮明で現実的でした（スコア 2.50）。
「速度」モデルが試みたとき、結果はぼやけており、精度が低かった（スコア 6.56）。

数学的には、「速度」の答えを「きれいな画像」の答えに変換できるにもかかわらず、この結果となりました。著者たちは、AI が問いに答える「方法」が、最終的な描画の品質を変化させることを発見しました。

4. なぜ「きれいな」ランナーが勝ったのか（比喩）

この論文は、「ノイズ」と「信号」に関する巧妙な数学的説明を用いています。

「スケッチパッド」には、非常に重要な方向（猫の耳の形など）と、単なるランダムな雑音（小さなホコリのようなもの）がある方向が混在していると想像してください。

「速度」アプローチは、すべての方向を同じように扱います。すべてのものに一定の「床」ノイズを加えます。これにより、偶然、小さなランダムなホコリが増幅され、うるさく邪魔なものになってしまいます。これは、背景のヒス音を含めて「すべて」の音量を上げるマイクのようなものです。
「きれいな」アプローチは賢明です。それは、ある方向（ランダムなホコリ）には実データにおいてほとんど「信号」がないことを認識しています。そのため、それらの弱い方向に対して自然に音量を下げます。重要な部分（耳、目）にエネルギーを集中させ、雑音を無視します。

つまり、「きれいな」モデルはノイズを無視することを学び、「速度」モデルは偶然ノイズを大きくしてしまうのです。

5. 結論

著者たちは、AI 画像生成の世界において、問いを立てる「方法」は、それに応えるための「脳」と同じくらい重要であると結論付けています。

たとえ画像の圧縮された簡略化されたバージョンで作業していたとしても、AI に「変化の速度」を予測させるのではなく、「きれいな結果」を予測させるように指示することは、幾何学的に優れています。これは単に同じ数学を異なる方法で記述するだけでなく、はるかに優れた画像をもたらす、根本的に異なる学習方法なのです。

要約： 最高の AI アートを得たいなら、AI を賢くするだけでなく、AI に「そこに至る過程」ではなく「最終的な画像」を推測させるように問いかけなさい。

技術的サマリー：JLT：潜在拡散トランスフォーマーにおけるクリーン潜在予測

問題定義

デノイジング拡散モデルは伝統的に汚染プロセスを逆転させるが、ニューラルネットワークが予測するように訓練される具体的なターゲットはアーキテクチャによって異なる。一般的なターゲットには、ノイズ（ $\epsilon$ ）、速度（ $v = x - \epsilon$ ）、またはクリーンデータ（ $x$ ）が含まれる。これらターゲットは固定された汚染時間に対して代数的に変換可能であるが、最近の研究（例：JiT）は、有限のネットワーク容量と有限のデータ下では、予測ターゲットの選択が回帰問題の難易度を大幅に変化させることを示唆している。具体的には、クリーンデータの予測は、モデルが環境的なオフ多様体ノイズを再構築するのではなく、構造化された低次元多様体の変動に集中することを可能にする。

本論文が扱う中心的な問いは、モデルが生ピクセル空間ではなく圧縮された潜在空間で動作する場合、この「クリーン予測」の優位性が維持されるかどうかである。潜在拡散では、変分オートエンコーダ（VAE）がすでに生ピクセルの多くの変動を除去している。著者らは、表現空間が固定され圧縮されている場合でも、予測ターゲット（ $x$ 対 $v$ ）の幾何学的性質が依然として重要な要因となるかどうかを調査する。

手法

著者らは、固定された潜在空間内での予測ターゲットの効果を分離するために設計された制御実験フレームワークである**JLT（Joint Latent Transformer）**を導入する。

アーキテクチャと設定:
- バックボーン: JiT-B/16 の構成を模倣した、12 ブロック、隠れ次元 768、12 アテンションヘッドを持つベーススケールのトランスフォーマー（1.3 億パラメータ）。
- 表現: モデルは凍結されたFLUX.2 VAEの潜在コード上で動作する。これにより、比較されるすべての変種間で表現空間が同一であることを保証する。
- 学習: モデルは ImageNet 256 $\times$ 256 上で 25 万ステップ（200 エポック）訓練される。
- 制御変数: 本研究では、表現（FLUX.2 VAE）、アーキテクチャ規模、オプティマイザ設定、バッチサイズ、サンプリングプロトコルを厳密に一定に保つ。
実験的比較:
著者らは、同一の設定下で 2 つの主要な変種を比較する。
- JLT（クリーン潜在予測）: ネットワークはクリーンな潜在ベクトル $x$ を予測するように直接監督される。
- DiT（速度予測）: ネットワークが速度ベクトル $v = x - \epsilon$ を予測するように監督される、マッチングされたベースライン。
- 変種: 実験は 2 つの VAE グリッドパッチサイズ（/1 および /2 で表記、例：JLT-B/1 対 DiT-B/1）で行われる。
理論的解析:
論文は、経験的なギャップを説明するために局所ガウス解析を提供する。潜在データ分布の局所線形ガウス近似（ $x \sim \mathcal{N}(0, \Sigma)$ ）と独立ノイズ（ $\epsilon \sim \mathcal{N}(0, I)$ ）を仮定する。
- 共分散構造: 速度ターゲットの共分散は $Cov(y_v) = \Sigma + I$ であるのに対し、クリーンターゲットは $Cov(y_x) = \Sigma$ である。これは、速度予測がすべての方向に等方性の単位フロアを追加することを意味する。クリーンデータが分散が低い（多様体によって弱く支持されている）方向において、速度予測はモデルに単位分散のターゲットを学習させることを強制し、実質的にそれらの方向におけるノイズを増幅する。
- 条件付き曖昧性: 解析は、速度予測に対するベイズ残差分散が、クリーン予測に対して $(1-t)^2$ の因子でスケーリングされることを示す。データ共分散の固有値 $\lambda_i$ がゼロに近づくにつれて、クリーン予測の係数は 0 に収束し（その方向を減衰させる）、一方、速度の係数は $-1/(1-t)$ に収束する（その方向を増幅させる）。

主要な結果

ImageNet 256 $\times$ 256 上での実験は、クリーン潜在予測を支持する一貫したかつ有意な性能ギャップを示している。

定量的性能:
- JLT-B/1（クリーン）は、クラスターフリーガイダンス付きで FID-50K 2.50 を達成し、マッチングされたDiT-B/1（速度）の6.56と比較される。
- JLT-B/2（クリーン）は FID-50K 14.81 を達成し、DiT-B/2の28.71と比較される。
- イニシエーションスコア（IS）も大幅な改善を示す（例：/1 変種では 232.51 対 132.12）。
学習ダイナミクス: 学習曲線は、クリーン潜在モデルが早期（約 10 万ステップ）に低 FID 領域に入り、学習を通じて速度モデルに対して明確なマージンを維持することを示している。
ロバスト性: この優位性は異なるトークナイズ粒度（/1 および /2）全体で維持され、利益が特定のパッチサイズのアーティファクトではないことを示唆している。

意義と主張

本論文は、潜在拡散における予測ターゲットの選択が、単なる代数的パラメータ化ではなく、幾何学的モデリングの選択であると主張する。

圧縮よりもターゲット幾何学: 結果は、潜在圧縮のみが潜在拡散の効率を説明するという考えを否定する。性能ギャップは同一の固定された潜在空間内に存在し、「ターゲット幾何学」（教師信号の分布）が「表現幾何学」（VAE トークナイザ）とは異なる要因であることを証明する。
改善のメカニズム: 著者らは、クリーン予測が優れているのは、それが（ノイズまたは弱く支持された多様体特徴であることが多い）低分散の潜在方向を減衰させるのに対し、速度予測は等方性共分散フロアを継承することでこれらの方向を増幅するためであると論じる。
主張の範囲: 著者らは理論的主張において控えめである。彼らは、クリーン予測がすべてのトークナイザ、ノイズスケジューリング、またはサンプリャに対してグローバルに最適であると断言するわけではない。代わりに、測定された経験的ギャップと整合する局所ガウスメカニズムを提供する。本研究は、新しいバックボーンアーキテクチャの提案や、すべての拡散目的に対する普遍的な代替案の提示ではなく、ターゲット効果を分離するための制御されたアブレーションとして提示されている。

結論として、本論文は、圧縮された潜在空間であっても、クリーンな潜在状態を直接予測することが速度予測に対して幾何学的優位性を提供し、ImageNet 上での生成品質を大幅に向上させることを確立している。