💻 computer science

REGLUE Your Latents with Global and Local Semantics for Entangled Diffusion

REGLUEは、VAE潜在変数と、グローバルおよびローカルに圧縮されたVision Foundation Modelのセマンティクスを単一のSiTバックボーン内で絡み合わせることで画像合成を強化する統一された潜在拡散フレームワークであり、既存のベースラインと比較して優れたサンプル品質とより速い収束を実現します。

原著者： Giorgos Petsangourakis, Christos Sgouropoulos, Bill Psomas, Theodoros Giannakopoulos, Giorgos Sfikas, Ioannis Kakogeorgiou

公開日 2026-07-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Giorgos Petsangourakis, Christos Sgouropoulos, Bill Psomas, Theodoros Giannakopoulos, Giorgos Sfikas, Ioannis Kakogeorgiou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに傑作を描く方法を教えようとしているところだと想像してください。単に写真をピクセルごとにコピーさせるのではなく、そのロボットに「何」を描いているのかを理解させたいのです。これが、現在のAI画像生成の主役である**潜在拡散モデル（Latent Diffusion Models）**の世界です。これらのモデルを、砂嵐（テレビのノイズのようなもの）で覆われたキャンバスからスタートし、一歩ずつ、一歩ずつ、クリアな絵が現れるまで少しずつ綺麗にしていくアーティストだと考えてください。通常、彼らは以前に見た画像を再構成しようとすることで学習します。しかし、ここには落とし穴があります。この「再構成」という手法は、シェフに対して完成した料理だけを見せて教えるようなものです。シェフはやがて味を理解しますが、レシピを解明するには長い時間がかかり、初期の試みは少し濁ったものになってしまうかもしれません。

スピードを上げるために、科学者たちは「専門家のアドバイザー」である、学習済みの**ビジョン基盤モデル（Vision Foundation Models: VFMs）**を導入し始めました。これらは、何百万もの絵画を研究し、写真の中に犬がいるのか、木があるのか、あるいは特定の雰囲気があるのかを即座に判断できる、非常に賢い美術評論者のようなものです。コンピュータサイエンスのこの領域における大きな疑問は、「どうすれば、私たちの絵画ロボットを混乱させることなく、これらの専門家の声を聞かせることができるか？」ということです。ある研究者は、単に専門家の最終的な判定だけをロボットに見せようとしました。また別の研究者は、キャンバスのあらゆる小さなパッチ（断片）に対する専門家のメモをロボットに流し込もうとしました。これから読む論文は、その「混沌とした中間領域」を取り上げ、ロボット自身のスケッチ技術と、専門家の詳細なパッチごとの助言をどのように最も上手く組み合わせるかを問いかけています。

問題点：ロボットは遅く、専門家は喋りすぎる

REGLUE（Representation Entanglement with Global-Local Unified Encoding）をご紹介しましょう。REGLUEが登場する前、AIアーティストには、それらの専門家アドバイザーを使うための2つの主要な方法がありました。1つ目の方法は、専門家の「全体像」の要約（例えば「これは猫である」と言うようなもの）を聞くだけという方法です。もう1つは、画像のあらゆる小さな正方形に対する専門家のメモ（例えば「このピクセルは毛、これは目」といったもの）を聞こうとする方法です。

問題は何でしょうか？「全体像」の要約は細部を助けるにはあまりにも漠しいですし、「小さな正方形」のメモは、ロボットの脳に収めるにはあまりにも乱雑で巨大すぎることが多いのです。これらのメモを簡略化しようとする以前の試みは、高精細な映画を基本的な翻訳機を使ってテキストメッセージに押し込めようとするようなものでした（線形圧縮）。それではニュアンスが失われ、ロボットは混乱してしまいます。

REGLUEの解決策：スマートな翻訳者とチームの集まり

この論文の著者たちは、新しいアートクラスの運営方法を提案しています。彼らは**軽量なセマンティック・コンプレッサー（意味圧縮器）**を導入しました。これは、専門家とロボットの間に位置する、非常にスマートで小さな翻訳者だと想像してください。この翻訳者は、専門家の複雑で多層的な観察結果を取り込み、ロボットが実際に使用できるコンパクトで整理された「カンニングペーパー」へと凝縮します。

REGLUEが実際にどのように機能するかは以下の通りです：

チームの集まり（チーム・ハドル）: ロボットは、自分のスケッチ（画像の潜在変数）や専門家のメモを別々に見るのではありません。REGLUEは、それらが手を取り合うことを強制します。ロボットのスケッチ、専門家の「全体像」の要約（グローバル・トークン）、そして専門家の詳細な「パッチレベル」のメモ（ローカル・セマンティクス）を取り込み、それらすべてを一つの情報の流れへと混ぜ合わせます。
非線形の魔法: このイノベーションの鍵は、翻訳者（コンプレッサー）が単なる単純な数学を使ってデータを縮小するのではないという点です。それは、単に材料を刻むのではなく、材料を完璧にブレンドする方法を知っているシェフのような非線形なアプローチを使用します。これにより、専門家の知識の豊かで複雑な詳細を保持しながら、ロボットが扱えるほど小さくすることができます。
ダブルチェック: ロボットが本当に耳を傾けているかを確認するために、システムは「宿題チェック」（外部アライメント損失）も追加します。トレーニング中の特定の時点で、ロボットは自身の内部的な思考を専門家の元の思考と一致させることで、専門家のメモを理解していることを証明しなければなりません。

彼らが発見したこと：スピードと明瞭さ

研究者たちは、SiT-B/2と呼ばれるモデルを用い、256×256の膨大な画像コレクションであるImageNetを用いてこの新手法をテストしました。結果は非常に印象的でした。

学習の高速化: REGLUEで訓練されたロボットは、他のモデルよりもはるかに速く学習しました。わずか300,000ステップのトレーニングで、REGLUEは14.5という品質スコア（FID）に到達しました。このスコアを上回るために、以前の最高の手法（REG）は400,000ステップを必要としました。REGLUEは400,000ステップの時点でさらに優れた12.9というスコアに到達しましたが、標準的なロボット（SiT-B/2）は、はるかに悪い33.0のまま停滞していました。
秘伝のソース: 論文は、単にデータを増やすことが助けになるという考えを明確に否定しています。もし単純な線形翻訳機（ReDiと呼ばれる以前の手法で使用されているもの）を使用した場合、結果は平凡（FID 21.4）であることを彼らは示しました。非線形圧縮こそが、その力を解き放つ鍵なのです。それなしでは、ロボットは圧倒されてしまいます。
ローカル vs グローバル: 彼らは、「パッチレベル（ローカル）」の詳細が最も重要であることを発見しました。「全体像（グローバル）」の要約だけに耳を傾けたロボットは、パフォーマンスが悪かったのです（FID 25.7）。しかし、詳細なパッチのメモを与えると、パフォーマンスは跳ね上がりました。
完璧なコンビネーション: 最良の結果は、すべてを組み合わせたときにもたらされました。強力な専門家モデルであるDINOv3-Bを使用した場合、REGLUEは驚異的なFID 12.3を達成し、標準的なDINOv2-Bを使用した場合でも12.9に達しました。

なぜこれが重要なのか

この論文は、AIアートの未来は、単に、より大きなロボットを作ったり、より多くのデータを食べさせたりすることではないことを示唆しています。それは、ロボットがすでに持っている知識と、どのように接続するかについてです。スマートな非線形翻訳機を使用して専門家の助言を整理し、ロボットに全体像と微細な詳細の両方から同時に学ぶことを強制することで、REGLUEはよりシャープで、一貫性があり、より短時間で学習された画像を作り出します。

著者たちは、これが魔法ではないことに注意を払っています。これは特定のエンジニアリング上の選択です。適切な圧縮なしに単に特徴量を積み重ねることは、実際には状況を悪化させることを彼らは証明しました。しかし、彼らの「エンタングルメント（絡み合い）」戦略を用いることで、画像品質と学習速度において大幅な改善を引き出すことに成功しました。これは、AIの脳の内部で情報をどのように構造化するかが、脳そのものと同じくらい重要であることを示唆しています。

技術要約: REGLUE — グローバルおよびローカルな意味論による潜在空間の再結合（REGLUE Your Latents with Global and Local Semantics for Entangled Diffusion）

問題提起

潜在拡散モデル（LDM）は、生成パラダイムをコンパクトなVAE潜在空間へと移行させることで、画像合成における最先端の性能を確立してきました。しかし、これらのモデルの学習には根本的な課題が存在します。標準的な再構成型のデノイジング目的関数は、間接的な意味的監督しか提供しません。その結果、高次な意味論（物体、レイアウト、関係性）の出現が学習中に遅くなり、サンプル品質と収束速度の両方を制限してしまいます。

これに対処するために、視覚基盤モデル（VFM）からの意味論を注入する最近の試みは、最適とは言えないものでした。既存のアプローチは、外部の教師としての特徴量を蒸留する「外部表現アライメント」のみに依存しているか、あるいは拡散プロセス内に意味信号を共同でモデリングしているものの、VFM特徴量の極めて限定的なスライスに制限されています。具体的には以下の通りです：

REG は、空間的な粒度に欠ける単一の画像レベルのグローバル・トークン（[CLS]）のみをモデリングしています。
ReDi はパッチレベル（ローカル）の特徴量をモデリングしていますが、線形PCA投影に依存しており、表現を低次元の線形部分空間に制約し、豊かな非線形および多層的な空間情報を破棄してしまっています。

著者らは、VFMの特徴を効果的に活用するには、コンパクトで学習された表現を通じて、非線形かつ多層的な情報を保持しながら、拡散モデル内で空間的な意味論を共同でモデリングする必要があると主張しています。

手法: REGLUE

本論文では、単一のSiT（Scalable Interpolant Transformer）バックボーン内で3つのモダリティを共同でモデリングする、統一された潜在拡散フレームワークであるREGLUE（Representation Entanglement with Global–Local Unified Encoding）を紹介します。

VAE画像潜在変数: 標準的な再構成に最適化された潜在空間。
ローカル（パッチレベル）意味論: 圧縮され、空間的に構造化されたVFM特徴量。
グローバル（画像レベル）意味論: VFMの[CLS]トークン。

主要コンポーネント

1. 軽量な意味論コンプレッサー（Lightweight Semantic Compressor）
高次元のVFM特徴量（ $D_f \gg D_z$ ）とVAE潜在変数の間の次元の不一致に対処するため、REGLUEは軽量で非線形な畳み込み意味論コンプレッサー（ $E_\psi$ ）を採用しています。

アーキテクチャ: 多層のVFM特徴量を再構成するようにオフラインで事前学習された、浅い畳み込みオートエンコーダー。
機能: 多層のパッチレベル特徴量を（チャネル方向の結合を介して）集約し、大幅に次元を削減した（ $D_s \ll \sum D_\ell$ ）コンパクトで空間的に構造化された表現（ $s^*$ ）へとマッピングします。
利点: 線形PCAとは異なり、この非線形圧縮は不可欠な意味情報を保持しつつ、拡散モデルの容量のバランスを整え、意味モダリティがVAE潜在変数を支配してしまうのを防ぎます。

2. 統一された拡散モデリング（Unified Diffusion Modeling）
SiTバックボーンは、VAE潜在変数（ $z_t$ ）、圧縮されたローカル意味論（ $s_t$ ）、およびグローバル・トークン（ $cls_t$ ）を共同でモデリングします。

前方プロセス: 共有されたスケジュールを用いて、独立したノイズがこれら3つのモダリティすべてに注入されます。
トークン化: VAE潜在変数と圧縮された意味論はパッチ化され、共通のトークン次元に投影されます。これらは、シーケンスの結合による二次的なオーバーヘッドを避けるため、単一の $N$ 個のトークンのグリッドを維持するようにチャネル方向に結合されます。グローバル・トークンは独立したトークンとして扱われます。
目的関数: モデルはマルチモーダルな速度（velocity）損失を用いて学習され、3つのモダリティすべての速度を同時に予測します。

3. 外部表現アライメント（External Representation Alignment）
補助的な信号として、REGLUEは（REPAに着想を得た）特徴量アライメント損失を取り入れています。特定のTransformerブロックにおいて、隠れトークンは、コサイン類似度損失を介して凍結されたVFMターゲット（グローバルおよびローカルの両方）に一致するように投影されます。これにより、拡散モデルが生のVFM特徴量を直接生成することを必要とせずに、内部表現を教師となるVFMへと正則化します。

主な貢献

統一されたフレームワーク: REGLUEは、単一の拡散バックボーン内で、画像レベル（グローバル）およびパッチレベル（ローカル）のVFM意味論をVAE潜在変数と共に共同でモデリングする最初のフレームワークです。
非線形意味論圧縮: 多層のVFM特徴量をコンパクトで意味を保持する空間へと集約する、軽量な非線形意味論コンプレッサーの提案。これにより、パッチレベルの共同モデリングによる大幅な精度向上が可能となり、線形投影法を凌駕します。
相乗的な設計: 本論文は、パッチレベルの意味論、グローバル・トークン、および外部アライメントが相乗的に作用することを実証しています。主な性能向上は、圧縮されたパッチ特徴量の空間的な共同モデリングから得られ、グローバル・トークンとアライメントは補完的な強化として機能します。
効率性: この手法は、拡散モデルのパラメータ数や推論時の計算量を増やすことなく、生成性能を向上させ、収束を加速させます（スループットはベースラインと同等に維持されます）。

実験結果

実験は、SiT-B/2およびSiT-XL/2バックボーンを用いたImageNet 256×256生成ベンチマークで実施されました。

性能向上:

FIDの低減: REGLUEは一貫してベースラインを上回ります。400KステップにおけるSiT-B/2において、REGLUEはFID 12.9を達成しました（バニラSiTは33.0、REPAは24.4、ReDiは21.4、REGは15.2）。
収束速度: REGLUEは、ReDiおよびREGのそれぞれの学習イテレーションの30%未満、または80%未満のステップ数で、それらの1Mステップ時点の性能に到達します。例えば、SiT-XL/2+REGLUEは1MステップでFID 2.5に達し、REG（2.7）およびReDi（5.1）を上回りました。
無条件生成: 無条件設定において、REGLUEはSiT-B/2でFID 28.7を達成し、条件付きベースライン（33.0）および他のSOTA手法を上回りました。

アブレーションによる洞察:

ローカル vs グローバル: パッチレベル（ローカル）の意味論が極めて重要です。これらのみをモデリングする場合、グローバル・トークンのみをモデリングする場合よりも大きな利点が得られます。
圧縮: 非線形圧縮は不可欠です。線形PCA（ReDiで使用）は、アライメントなしの非線形圧縮（FID 14.3）に対し、劣った結果（FID 21.4）をもたらします。
層の集約: 圧縮前にVFMの最後の4層（9–12）を集約することが最良の信号を提供しますが、浅い層を含めると性能が低下します。
拡散可能性（Diffusability）: 周波数解析（DCT）により、非線形コンプレッサーが拡散モデルがモデリングに苦慮する高周波成分を抑制し、意味的な正確さを保持しながら「拡散に適した（diffusion-friendly）」表現を実現していることが明らかになりました。

意義と主張

本論文は、REGLUEが、再構成に最適化された表現と意味論に最適化された表現を効果的に「絡み合わせる（entangle）」ことにより、潜在拡散における重要な進歩を遂げたことを主張しています。著者らは、VFMを活用するための重要な設計上の選択は、単に特徴量を外部的にアライメントすることでも、単一のトークンをモデリングすることでもなく、非線形かつコンパクトな表現を用いて、拡散プロセス内で空間的な意味論を共同でモデリングすることであると断言しています。

本研究は、以下のことを実証しています：

空間的なVFM意味論は、きめ細かな構造を捉えるために極めて重要である。
非線形圧縮こそが、これらの豊かな多層的特徴の恩恵を最大限に引き出す鍵である。
グローバル・トークンと外部アライメントは、生成プロセスをさらに洗練させる補完的で軽量な強化策として機能する。

推論コストを増加させることなく、より少ない学習イテレーションで最高水準の生成品質を実現することで、REGLUEはより高品質な画像合成へのスケーラブルで効率的な道筋を提供します。