🤖 machine learning

Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders

本論文は、標準的なDiffusion Transformerが表現エンコーダ上で収束に失敗する根本的な理由として「幾何学的干渉（Geometric Interference）」を特定し、生成プロセスを多様体の測地線に拘束することで、計算コストの高い幅のスケールアップを行うことなく効率的な高忠実度合成を可能にする、ヤコビ正則化を用いたリーマン流マッチング（RJF）を提案する。

原著者： Amandeep Kumar, Vishal M. Patel

公開日 2026-07-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Amandeep Kumar, Vishal M. Patel

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Learning on the Manifold」の解説を、シンプルな概念、比喩、メタファーを用いて分かりやすく説明したものです。

大きな全体像：「平面地図」対「地球儀」の問題

あなたがロボットに絵を描く方法を教えようとしている場面を想像してください。通常、私たちはロボットに対し、バラバラのピクセル（ぼやけた写真のようなもの）を見せて、それを綺麗にするように教えます。

最近、研究者たちはよりスマートな方法を発見しました。それは、ロボットにバラバラのピクセルを見せる代わりに、「セマンティック・マップ（意味的な地図）」（「犬」や「車」といった、その物体が「何であるか」という高レベルな要約）を見せるという方法です。このマップは、「DINO」や「SigLIP」といった学習済みAI（表現エンコーダー）によって作成されます。

問題点：
研究者たちが、これらのセマンティック・マップを使って新しい画像を生成するようにロボットを訓練しようとしたところ、ロボットは失敗しました。学習できなかったのです。

これまでの失敗に対する説明はこうでした。「ロボットの能力が足りない。複雑なデータを扱うために、ロボットをもっと大きく（幅広く）する必要がある。」

この論文による発見：
この論文は、ロボットが小さすぎるのではなく、教え方が間違っているのだと主張しています。問題はロボットのサイズではなく、マップの**幾何学的な形状（ジオメトリ）**にあるのです。

コアとなる比喩：フラフープ vs 部屋

失敗の本質を理解するために、セマンティック・マップが平らな「部屋」ではなく、宇宙に浮かぶ巨大で目に見えない**「フラフープ」**であると考えてみてください。

現実： すべての有効な情報（「犬」や「車」という概念）は、このフラフープの表面上にのみ存在します。もしフラフープから一歩でも外に出れば、そこは有効な概念が存在しない「何もない空間」です。
間違い： 標準的なAIの学習手法（「ユークリッド流体マッチング」と呼ばれます）は、世界を平らで空っぽの部屋だと想定しています。そのため、出発点からフラフープに向かって「直線」を引こうとします。
結果： フープ上の点Aから点Bへ移動しようとする際、標準的な手法は、フープの中を通る空っぽの空間を突き抜ける直線を描いてしまいます。

なぜこれがAIを壊すのか：
AIは、フープの中の「空っぽの空気」の中を移動する方法を学ばざるを得なくなります。しかし、そこには何も存在しません！それは、存在しない道路の上で車の運転を学ぶようなものです。AIは「何もない場所」の物理法則を理解しようとして脳のパワーを無駄遣いし、結局、フープの上にある実際の経路を学習することができません。

解決策：RJF（「測地線」によるガイド）

著者らは、**RJF（Jacobi Regularizationを用いたRiemannian Flow Matching）**と呼ばれる新しい手法を提案しています。

Riemannian Flow Matching（曲線の経路）：
空っぽの空気の中を直進する代わりに、この手法はAIに、必ずフラフープの表面に沿って歩くように強制します。数学的な言葉で言えば、これは測地線（geodesic）（曲線上の最短経路）に従うことを意味します。
- 比喩： ニューヨークからロンドンへ移動することを想像してください。平面地図では「真っ直ぐ進め」となります。しかし、地球は丸いため、最短経路は海の上を通る弧（アーク）になります。RJFは、AIに地球の核を通る直線ではなく、この弧の上を歩かせます。
Jacobi Regularization（「信号機」システム）：
たとえ曲線の上を歩いていたとしても、ミスをする可能性があります。球体の上では、旅の序盤での小さな誤差が、後半に大きなズレを引き起こすことがあります（例えば、赤道付近では平行に見える経線が、北極では一点に集まるような現象です）。
- 修正策： 著者らは「重み付けシステム（Jacobi Regularization）」を追加しました。これはAIに対して、「旅の終盤に近いステップには特に注意を払いなさい。なぜなら、そこでは小さなミスが増幅されやすいからだ」と指示するものです。これにより、AIはより効果的に進路を修正できるようになります。

結果：小さなロボット、大きな成果

この論文の最もエキサイティングな部分は、この新手法によって達成された成果です。

従来の方法： これらのマップ上でAIを機能させるには、非常に巨大で高価な「超ワイド」なロボット（モデルの幅をスケールアップすること）を作る必要がありました。
新しい方法 (RJF)： 幾何学的な問題を修正した（AIに直線ではなく曲線の上を歩かせた）ことで、彼らは標準的な中規模サイズのロボット（1億3100万パラメータを持つDiT-Bアーキテクチャ）を使用することができました。

結末：

新しい手法を用いた標準的なロボットは、3.37というスコア（FID）を叩き出し、最先端（SOTA）の性能を達成しました。
従来の手法では、たとえ巨大なロボットであっても、収束（学習）することすらできませんでした。
彼らは、ロボットを大きくする必要はない。ただ、そのロボットが生きている世界の「形」を尊重するように教える必要があるのだということを証明しました。

一文でのまとめ

AIが高レベルなセマンティック・マップから学習できないのは、その能力が小さいからではなく、空っぽの空間を直進しようとしているからです。RJFを用いて、データの曲面（カーブ）に沿って歩ませることで、標準的なサイズのAIであっても完璧な画像を生成できるようになります。

技術要約：Riemannian Flow Matchingによる多様体上での学習

1. 問題提起

近年の生成モデルにおける進展は、合成の忠実度と収束速度を向上させるために、凍結された高次元のセマンティック表現エンコーダ（例：DiNOv2、SigLIP）を活用する方向へとシフトしています。しかし、標準的なDiffusion Transformer (DiT) や Flow Matching (FM) フレームワークは、これらの表現に対して直接学習を行うと、効果的に収束できないという課題があります。

先行研究、特にRepresentation Autoencoders (RAE) は、この失敗の原因を「容量のボトルネック」に求め、潜在次元数に合わせるために「幅のスケールアップ（Transformerの幅を増大させること）」が必要であると提案しました。本論文はこの仮説に異議を唱え、根本的な原因は容量不足ではなく、幾何学的ミスマッチ、すなわち**幾何学的干渉（Geometric Interference）**であると主張しています。

核心となる問題は、表現エンコーダが特徴量を、半径方向の分散がほぼゼロである（「ハードシェル」形状を持つ）超球面多様体 ( $S^{d-1}$ ) 上に投影することから生じます。対照的に、標準的なユークリッド空間のFlow Matchingは、データとガウスノイズの間の線形確率パス（弦）を仮定しています。この線形補間は、ハイパースフィア（超球面）の低密度な内部を横切るため、モデルは特徴空間の定義されていない領域における速度場を学習することを強いられます。その結果、モデルは（構造的にゼロであるはずの）半径方向の誤差を最小化することに容量を浪費し、セマンティックな角度遷移を学習することができなくなります。

2. 手法：Jacobi Regularizationを用いたRiemannian Flow Matching (RJF)

アーキテクチャの変更（幅のスケールアップなど）を行うことなく幾何学的干渉を解決するために、著者らは、生成プロセスを潜在空間の固有の幾何学に適合させるフレームワークであるRJFを提案します。

2.1 Riemannian Flow Matching（軌道の補正）

ユークリッド空間における線形補間の代わりに、RJFは**球面線形補間（SLERP）**を用いて、確率パスをハイパースフィア多様体上に直接定義します。

測地線パス（Geodesic Paths）: データ点 $x$ とノイズ $\epsilon$ （共に単位球上に投影されている）の間の軌道は、弦ではなく、測地線（大円の弧）に従います。
接空間の速度（Tangent Space Velocity）: 目標となる速度場は、SLERPパスを微分することで計算されます。これにより、予測される速度ベクトルが厳密に多様体の接空間内に存在すること（ $v_t \cdot x_t = 0$ ）が保証され、半径方向の成分を学習する必要がなくなります。
サンプリング: 推論時、モデルは指数写像（Exponential Map）インテグレータを使用して潜在状態を更新し、生成プロセス全体を通じて軌道が多様体の表面に留まるようにします。

2.2 Jacobi Regularization（曲率の補正）

著者らは、単に軌道を補正するだけでは不十分であると指摘しています。なぜなら、標準的な平均二乗誤差（MSE）損失は速度誤差を一様に扱うからです。正の曲率を持つハイパースフィア上では、測地線は収束（フォーカシング）するため、速度の摂動による誤差は非線形に伝播します。

Jacobi Fields: これに対処するため、著者らは、速度の摂動によって測地線がどのように分離するかを定量化するヤコビ場（Jacobi fields）から導出された重み付け因子を導入しています。
損失の再重み付け: 損失関数は、幾何学的重み付け因子 $\lambda(t, \Omega) = \text{sinc}^2((1-t)\Omega)$ によって乗算されます（ここで $\Omega$ は測地線距離）。これは、摂動が緩和されるデータ付近（ $t=0$ ）での誤差を抑制し、ノイズ付近（ $t=1$ ）での精度を優先するように、多様体の曲率に合わせて学習信号をアニーリング（焼きなまし）するものです。

3. 主な貢献

収束失敗の幾何学的分析: 本論文は、表現エンコーダ上の標準的な拡散モデルにおける主要なボトルネックが幾何学的干渉であることを特定しました。これは、ユークリッド的な目的関数が、モデルにハイパースフィアのオフ・マニフォールド（多様体外）の内部を通る学習を強いることに起因しており、モデルの容量不足によるものではないことを示しています。
RJFフレームワーク: 軌道の整合性（Riemannian Flow Matching）と曲率を考慮した誤差伝播（Jacobi Regularization）を組み合わせた、幾何学的に一貫した学習フレームワークの提案。
幅のスケールアップなしでの効率性: 標準的なDiTアーキテクチャ（例：131MパラメータのDiT-B）が、先行研究で提案されたような計算コストの高い幅のスケールアップを行わなくても、高次元のセマンティック潜在変数に対して効果的に収束できることを実証しました。

4. 実験結果

実験は、ImageNet-1K（解像度256×256）を用い、様々なモデルスケール（DiT-B, DiT-L, DiT-XL）および表現エンコーダ（DiNOv2-B, SigLIP, MAE）を用いて実施されました。

収束性とFID性能:
- DiT-B (131M): 標準的なユークリッドFlow MatchingをDiNOv2-Bの特徴量に適用すると、収束に失敗しました（FID ~24.21）。一方、RJFは80エポックで6.77、200エポックで（ガイダンスありで）3.37のFIDを達成しました。
- DiT-XL (677M): RJFはガイダンスなしの80エポックでFID 3.62を達成し、ユークリッド・ベースライン（FID 4.28）およびVAEベースのLightingDiT（FID 4.29）を上回りました。
- スケーリング: この手法はモデルサイズに関わらず一貫した改善を示し、高いInception Score（IS 186.2）とPrecision（0.82）を達成しました。
アブレーション研究:
- 半径方向 vs 角度方向: 半径方向の損失をマスクした場合、わずかな改善しか得られませんでした（FID 21.99）。これは、線形パス（弦）そのものが主要な問題であることを裏付けています。
- 軌道: Riemannian Flow Matching（SLERP）のみに切り替えると、パフォーマンスが劇的に向上しました（FID 7.06）、これは軌道のミスマッチ仮説を検証するものです。
- 正則化: Jacobi Regularizationを追加することで、結果がさらに洗練されました（FID 6.77）。
汎用性: 本手法は、SigLIP（FID 10.39）やMAE（FID 19.82）など、ハイパースフィア的な制約を持つ他のエンコーダにおいても、標準的な手法が完全に失敗する中で、正常に収束することに成功しました。

5. 意義と主張

本論文は、表現エンコーダ上での拡散モデルの学習が困難である理由は、アーキテクチャの問題ではなく、根本的に幾何学的な問題であると主張しています。潜在空間のハイパースフィア的なトポロジーを尊重することで、標準的なDiffusion Transformerは高精度なセマンティクスを効率的に学習できます。

著者らは、RJFが標準的なDiTアーキテクチャの可能性を解き放つと断言しています。これにより、より大規模な幅スケールモデルや複雑なVAEベースのパイプラインに匹敵、あるいはそれを凌駕する性能を実現できます。本研究は、高精度な合成には、力任いな容量のスケーリングではなく、幾何学的な整合性（正しい軌道と曲率を考慮した損失）が必要であることを確立しました。このアプローチは、DiT-Bが先行手法が収束できなかった場面でFID 3.37を達成したことに示される通り、より少ないパラメータと高速な収束による高精度な合成を可能にします。