💬 NLP

How to Train Your Latent Diffusion Language Model Jointly With the Latent Space

本論文は、既存の離散および連続拡散モデルと比較して、優れたテキスト生成性能と大幅に高速な推論速度を達成するために、潜在エンコーダ、拡散モデル、デコーダを共同で学習させ、高品質な連続潜在空間を構築する潜在拡散言語モデル（LDLM）を導入する。

原著者： Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに物語を書かせることを想像してください。従来の方法（「自己回帰的」と呼ばれる）は、学生が左から右へ一語ずつ文を書くようなものです。もし早い段階で間違いを犯せば、全体を書き直すことなく修正することはできません。また、一語ずつしか書けないため、速度が遅くなります。

この論文で提案される新しい手法「LDLM」は、大理石の塊を彫刻する彫刻家に例えられます。一語ずつ彫るのではなく、彫刻家はまず粗くノイズの多い石の塊（物語の「ノイズ入り」バージョン）から始め、ノイズを徐々に削り取ることで最終的な形を現出させます。彼らは塊全体を一度に見渡しながら並行して修正を加え、物語のどこにでも瞬時に間違いを修正できます。

ただし、課題があります。効果的に彫刻するには、適切な種類の大理石が必要です。石が硬すぎたり軟らかすぎたりすると、彫刻家は仕事ができなくなります。AI の文脈では、この「大理石」は「潜在空間」と呼ばれます。これは、モデルが言葉に戻す前に扱う、テキストの隠れた数学的表現です。

問題点：「凍結」された設計図

この「彫刻」手法の以前の試みでは、大理石のために既製の設計図を用いていました。すでに言葉の組み合わせ方を理解しているスマートな事前学習済み言語モデル（辞書のようなもの）を取り出し、それを固定しました。そして、この固定された設計図を使ってテキストを彫刻しようとしました。

この論文の著者らは、これが異なる種類の石のために設計された設計図を使って像を彫ろうとするようなものだと気づきました。事前学習済みモデルは「彫刻」プロセス（拡散）に最適化されていなかったため、結果は不器用で遅く、あるいは質が低いものでした。

解決策：共同学習（「チームアップ」）

著者らは「LDLM（潜在拡散言語モデル）」と呼ばれる新しいシステムを構築しました。凍結された設計図を使う代わりに、ゼロから一緒に学習する「3 人のチーム」を作成しました：

エンコーダ：言葉を「大理石」（潜在空間）に変換する翻訳者。
彫刻家（拡散モデル）：ノイズを取り除いて物語を洗練させる部分。
デコーダ：洗練された大理石を再び読みやすい言葉に変換する翻訳者。

魔法のような点は、3 人がすべて一緒に学習することです。彫刻家がノイズ除去を得意になるにつれ、エンコーダに「ねえ、もっとうまくやるには、大理石をこのように形作る必要があるよ」と伝えます。するとエンコーダは、彫刻家を助けるためにその形を調整します。これは、チーム全体がお互いに完璧に適合するように進化していくフィードバックループです。

成功の「レシピ」

著者らは、これら 3 つを単に組み合わせただけではすぐに機能しないこと、チームは議論して学習に失敗することを発見しました。彼らが協力させるためには、特定の「レシピ」に従う必要がありました：

ウォームアップ：最初、エンコーダとデコーダに、彫刻家の干渉なしに言葉の翻訳を練習させました。これにより、彫刻家が形作りを始め前に、エンコーダが安定した基盤を築く機会が与えられます。バンドが演奏を始める前に楽器のチューニングをさせるようなものです。
「ノイズ」のトリック：訓練中、デコーダの入力に意図的にわずかなノイズ（静電雑音）を加えました。これにより、エンコーダは完全で壊れやすい信号に依存するのではなく、頑健であり情報を効率的に保存するように強制されます。これは、重いバックパックを背負ってランナーを訓練し、それを外したときに軽く速く感じさせるようなものです。
賢明なタイミング：モデルを一定の速度で訓練するのではなく、その時点でのタスクの難易度に応じて練習するタイミングを調整します。これにより、モデルは難しい部分も簡単な部分と同様に確実に学習します。

結果：より速く、より賢く

彼らがこの新しいチームをニュース記事や書籍などの大規模なテキストデータセットでテストした結果：

品質：生成された物語は、従来の手法よりも一貫性があり多様でした。
速度：モデルは巨大な辞書から各ステップで個別の単語を選ぶのではなく、「大理石」（隠れた数学）上で動作するため、競合他社に比べて2 倍から 13 倍高速です。
効率性：高品質なテキストの作成と、テキストの多様性（反復の回避）のバランスがより優れて達成されました。

まとめ

要約すると、この論文は、AI に文章を書かせる新しい方法を導入しています。それは、事前に作られた凍結されたツールを使うのではなく、「翻訳者」、「彫刻家」、「洗練者」が単一のユニットとして一緒に学習させるというものです。特定の訓練レシピに従うことで、以前よりもはるかに速く、より良いテキストを書くシステムが生まれました。

技術的サマリー：潜在拡散言語モデルを潜在空間と共に行うトレーニング方法

問題定義

現在、自己回帰モデルがテキスト生成を支配していますが、左から右への逐次的な性質に制約されており、並列生成や過去の誤りの修正が不可能です。拡散言語モデルは、並列的な反復的洗練を通じてテキストを生成することで、この代替案を提供します。しかし、既存のアプローチは重大な障壁に直面しています：

離散拡散: トークン空間で直接動作しますが、因数分解された結合分布に苦しんでおり、各ステップでトークンを独立して予測します。これにより、複数のトークンを同時に生成する能力が制限され、高品質な少数ステップ生成が困難になります。
連続拡散: 潜在空間で動作し、すべての位置の漸進的な洗練を可能にします。離散手法よりも優れていますが、現在の連続アプローチは、潜在空間を構築するために凍結された事前学習エンコーダ（Transformer ベースのエンコーダなど）に依存しています。これらのエンコーダは、次のトークン予測などの代理タスクでトレーニングされており、拡散ノイズ除去プロセスの特定のニーズに対して最適化されていません。逆に、浅いトークン埋め込み（ワンホットまたは固定ベクトル）は、拡散用に調整された場合でも、最適ではない潜在空間をもたらします。

核心的な課題は、エンコーダのトレーニングと拡散のトレーニングを分離することによって生じる不一致なしに、同時に復号可能（トークンにマッピング可能）かつ拡散に親和的（ノイズ除去が容易）な潜在空間を構築することです。

手法：LDLM

著者は、潜在エンコーダ、拡散モデル、デコーダを共に行うトレーニングを行うフレームワークである潜在拡散言語モデル（LDLM）を提案します。これにより、拡散目的が直接潜在空間を形成することを可能にします。

アーキテクチャ

2 段階エンコーディング:
- 凍結トークンエンコーダ: 入力トークン $w$ は、まず凍結された事前学習トークンエンコーダ（GPT-2）によって処理され、文脈的隠れ状態 $h$ を抽出します。
- 学習可能な潜在エンコーダ: 学習可能なエンコーダ $E_\theta^z$ が、これらの隠れ状態 $h$ を拡散潜在空間 $z_0$ にマッピングします。これにより、表現は拡散に適するように再構成されつつ、復号可能性が維持されます。
2 段階デコーディング:
- 潜在デコーダ: 学習可能なデコーダ $D_\theta^h$ が、トレーニング中にノイズで擾乱された潜在 $z_0$ を隠れ状態 $\hat{h}$ に戻してマッピングします。
- トークンデコーダ: トークンデコーダ $D_\theta^w$ が、 $\hat{h}$ をトークン $w$ に変換します。
トレーニング目的:
モデルは、結合損失 $L(\theta) = L_{diff} + L_h + L_w$ $L (θ) = L_{d i f f} + L_{h} + L_{w}$ を最小化します。
- $L_{diff}$ : 雑音のある観測からクリーンな潜在を復元するための標準的な連続拡散損失（MSE）。
- $L_h$ （隠れ状態 MSE）: 潜在空間から凍結エンコーダの隠れ状態 $h$ を再構成します。重要なのは、クロスエントロピー（CE）ではなく平均二乗誤差（MSE）を使用することです。
- $L_w$ （トークン CE）: 隠れ状態からトークンを再構成します。勾配は、潜在エンコーダへの影響を防ぐため、再構成された隠れ状態の時点で停止されます。

主要なトレーニングレシピ（「4 部構成」の解決策）

著者は、単純な共トレーニングが失敗し（低多様性の生成を生む）、それを機能させるための特定のレシピを提案していると特定しています：

MSE デコーダ損失: 以前の研究でクロスエントロピーを使用していたのとは異なり、LDLM は隠れ状態を再構成するために MSE を使用します。CE はトークンを区別するために潜在を明確に分離させることを強制しますが、これは拡散に必要な滑らかな幾何学と矛盾します。MSE は厳しくなく、基礎となる隠れ状態が類似している場合、潜在が近接することを許容し、潜在の崩壊を防ぎつつ滑らかな多様体を維持します。
拡散からエンコーダへのウォームアップ: トレーニングの開始時、再構成損失（大きな潜在の大きさを促進）と拡散損失（ノイズ除去を容易にするために小さな大きさを促進）は、エンコーダを互いに反対方向に引っ張ります。著者は、拡散勾配を係数 $\gamma(s)$ でスケーリングするウォームアップを実装しており、これは 0 に近くから始まり 1 まで増加します。これにより、エンコーダは拡散目的がそれを形成する前に、まず復号可能な潜在空間を学習することができます。
適応的タイムステップサンプリング: 潜在空間はトレーニング中に進化するため、固定されたノイズスケジューリングは最適ではありません。著者は、ノイズ除去損失がタイムステップに対して線形に増加するように、タイムステップサンプリング分布を動的に調整し、すべてのタイムステップが不確実性の低減に均等に寄与するようにします。
デコーダ入力ノイズ: トレーニング中に、潜在デコーダ入力にガウスノイズ（ $\sigma_{dec}\epsilon$ $σ_{d ec} ϵ$ ）が注入されます。これは 3 つの目的を果たします：
- エンコーダが情報を効率的に格納することを促進し（未使用の次元が信号を汚染するのを防ぐ）、
- データ拡張として機能し、デコーダを拡散エラーに対して頑健にする、
- 潜在座標の分散を安定させ、拡散のパラメータ化を改善する。

結果

著者は、LDLM をOpenWebText (OWT)およびLM1Bで評価し、最先端の離散（MDLM、Duo）および連続（CANDI、FLM）拡散ベースラインと比較しました。

品質 - 多様性のトレードオフ: LDLM は、生成パープレキシティ（Gen. PPL）とエントロピーの間の最良のパレートフロンティアを達成します。同様のエントロピーレベルにおいて、Gen. PPL においてベースラインを大幅に上回り、実際のテキストの品質に近づきます。
潜在空間の比較: 除去実験により、LDLM の共学習された潜在は、以下のものを上回ることが示されました：
- 浅い埋め込み（ゼロからトレーニングされたものまたは凍結されたもの）。
- 凍結エンコーダからの文脈的埋め込み（TEncDM スタイル）。
- 明示的な平滑化目的でトレーニングされたオートエンコーダからの潜在（COSMOS スタイル）。
  これは、潜在空間が拡散目的のために特別に調整される必要があることを確認します。
計算効率: LDLM はサンプリング中に競合する手法よりも2〜13 倍高速です。各ステップで語彙に投影するトークンレベルの拡散モデルとは異なり、LDLM は生成プロセス全体を通じて低次元の潜在空間で動作し、最後に一度だけトークンに投影します。

意義と主張

本論文は、潜在空間を共に行う学習することが、テキスト生成における拡散の競争力を高めるための、以前は未解決の重要なステップであると主張しています。

単純な共トレーニングの克服: この研究は、単にエンコーダと拡散モデルを一緒にトレーニングするだけでは不十分であることを示しています。トレーニングを安定させ、高品質を達成するには、特定の技術（MSE 損失、ウォームアップ、適応的サンプリング、デコーダノイズ）が必要です。
文脈的潜在の優位性: 結果は、高レベルのシーケンス情報（凍結された GPT-2 エンコーダによって捕捉される）が不可欠であることを示していますが、それは拡散のために特別に再構成された学習可能なエンコーダによって形作られなければなりません。
効率性: 各ステップでの語彙投影を回避することで、LDLM は大幅な高速化を提供し、拡散ベースのテキスト生成における主要なボトルネックに対処します。

著者は、ノイズ除去目的で直接潜在空間を形成することが、効果的な潜在テキスト拡散モデルを構築するために不可欠であり、最先端の生成品質を達成しつつ、優れた推論速度を維持すると結論付けています。