💬 NLP

TextLDM: Language Modeling with Continuous Latent Diffusion

本論文は、表現整合（REPA）を強化した VAE を介して離散トークンを連続潜在空間にマッピングすることにより、視覚用拡散トランスフォーマー（DiT）アーキテクチャをテキスト生成に適応させた言語モデリングフレームワーク「TextLDM」を導入し、GPT-2 と同等の性能を達成するとともに、統合されたマルチモーダル拡散モデルの目標を前進させるものである。

原著者： Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang, Jianhui Liu, Yanbing Zhang, Shenghe Zheng, Yuan Zhang, Haoyang Huang, Nan Duan, Wangmeng Zuo

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang, Jianhui Liu, Yanbing Zhang, Shenghe Zheng, Yuan Zhang, Haoyang Huang, Nan Duan, Wangmeng Zuo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに物語の書き方を教えることを想像してみてください。長らく、その標準的な方法はタイプライターのようでした。ロボットは厳密に一行ずつ、一文字、次に一文字、そして次の一文字とタイプしていきます。これは「自己回帰（AR）」モデルと呼ばれます。これはよく機能しますが、文全体を一度に書けないため、レンガを一つずつ積み上げるように構築しなければならないため、遅いという欠点があります。

一方、ロボットに絵を描くことを教える際、科学者たちは最近、より優れた方法を見つけました。一行ずつ描く代わりに、彼らはテレビの砂嵐のような静的なノイズで満たされたキャンバスから始め、明確な画像が現れるまでゆっくりと「ノイズ除去」を行います。これは**拡散（Diffusion）**と呼ばれます。

この論文、TextLDMは、単純な問いを投げかけます：絵を描く際に使う同じ「ノイズ除去」法を使って、ロボットに物語を書かせることはできるでしょうか？

彼らがどのように行ったかを、比喩を用いて説明します。

1. 問題：言葉は離散的、ノイズは連続的

最大の障壁は、言葉がレゴブロックのようなものだということです。ブロックの半分を持つことはできません。あるかないかのどちらかです。しかし、絵のための「ノイズ除去」法は、滑らかで連続的な色（絵の具を混ぜるようなもの）で動作します。

レゴブロックを直接滑らかな絵の具に変えようとすると、結果は通常、ぼやけたぐちゃぐちゃしたものになります。テキストに対してこれを行う以前の試みは失敗しました。なぜなら、彼らが作成した言葉の「滑らかなバージョン」が、ロボットがそれを良い文に戻す方法を理解するにはあまりにも乱雑だったからです。

2. 解決策：「翻訳者」（TextVAE）

著者たちは、特別な翻訳者（TextVAE と呼ばれる）を構築しました。

役割: レゴブロックでできた文（離散的な言葉）を受け取り、滑らかで連続的な液体（潜在ベクトル）に翻訳します。
工夫: 単に言葉を翻訳するだけでは不十分だと分かりました。その液体は「賢い」ものである必要がありました。そこで、彼らはメンター（Qwen3 という凍結された事前学習済み言語モデル）を追加しました。
アライメント（REPA）: 翻訳者が学生で、メンターがマスター教師だと想像してください。学生は言葉を翻訳しようとしますが、教師は絶えず確認します：「この滑らかな液体表現は、私がそうするように、言葉の真の意味を捉えていますか？」 この**表現アライメント（REPA）**と呼ばれるプロセスは、翻訳者がノイズ除去プロセスに完璧に適応した「液体言語」を作成することを強制します。

3. 生成器：「ノイズ除去の彫刻家」（TextDiT）

翻訳者が準備できたら、実際の執筆が行われます。

一語一語タイプする代わりに、ロボットはテレビの砂嵐のようなランダムなノイズのバケツから始めます。
翻訳者が作った「液体言語」に導かれ、彫刻家（拡散トランスフォーマー、または DiT）を使って、ゆっくりとノイズを削り取ります。
魔法: 滑らかで連続的な空間で作業しているため、ロボットは一つずつではなく、物語全体を一度に生成することができます。

4. これが重要な理由（結果）

この論文は、この新しい方法を 4 つの異なる執筆課題（単純な子供向け物語から複雑な百科事典の項目まで）でテストしました。

速度: 逐次的（タイプのように）ではなく並列（キャンバス全体を一度に描画するように）に物語全体を生成するため、長いテキストに対してははるかに効率的になり得ます。
品質: 新しい方法（TextLDM）は、以前のすべての「拡散」テキストモデルを凌駕しました。実際、同サイズの最高の「タイプライター」モデル（GPT-2）と同等のパフォーマンスを発揮しました。
重要な洞察: この論文は、素晴らしい AI 画像を作るために使われた正確な「レシピ」（滑らかな翻訳＋賢いメンター＋ノイズ除去の彫刻家）が、適切なアライメントで「翻訳者」を修正すれば、テキストに対しても完璧に機能することを証明しています。

まとめ

次のように考えてみてください。以前、AI による執筆は粘土を一つずつ小さな塊で成形するようなものでした。この論文は、まず粘土を完璧に滑らかで賢い液体に変えれば、全体を一度に注ぎ込むことで、同じくらい良い結果が得られ、かつより高速で柔軟である可能性があることを示しています。彼らは新しい粘土を発明したのではありません。形を作る前にそれをより良く滑らかにする方法を見つけたのです。

技術的サマリー：TextLDM

問題提起

マルチモーダルモデリングの分野は、視覚コンテンツとテキストコンテンツの両方をシームレスに生成できる統合フレームワークの確立を目指しています。VAE 潜在空間においてフローマッチングを用いて訓練された拡散トランスフォーマー（DiT）は、画像および動画生成の統合に成功しましたが、言語モデリングは依然として自己回帰（AR）パラダイムが支配的です。理解と生成の統合を試みる既存の取り組みは、離散トークンベースのパラダイムまたは離散拡散に依存することが多く、方法論的なギャップが残されています。連続潜在拡散をテキストに適用する際の中心的な課題は、拡散バックボーンそのものではなく、連続テキスト表現の品質にあります。トークン再構成のみを目的として訓練された VAE は、高い忠実度を達成しつつも、条件付きノイズ除去には不適切な潜在空間を生み出し、生成品質の最適化を阻害します。

手法：TextLDM

著者らは、視覚的な潜在拡散のレシピを最小限のアーキテクチャ変更で言語モデリングに移転するフレームワーク、TextLDMを提案します。このシステムは二段階のプロセスで動作します。

1. TextVAE：連続潜在表現

トランスフォーマーベースの変分オートエンコーダ（TextVAE）が、離散トークンを連続潜在ベクトルにマッピングします。

アーキテクチャ：トークン系列を短い潜在系列に圧縮する先行研究とは異なり、TextVAE は各トークンが連続潜在ベクトルに対応する 1 対 1 のマッピングを維持します。エンコーダ（ $E_\phi$ ）とデコーダ（ $D_\psi$ ）の両方がトランスフォーマーです。
表現アライメント（REPA）：潜在表現の有効性というボトルネックに対処するため、著者らは REPA を導入します。VAE エンコーダは、中間表現に対するコサイン類似度損失を通じて、凍結された事前学習済み言語モデル（Qwen3-1.7B）とアライメントされます。これにより、再構成忠実度を損なうことなく、拡散ベースの生成に適した潜在幾何学が形成されます。
訓練目的：VAE は、交差エントロピー再構成損失、KL 発散正則化、および REPA アライメント損失からなる複合損失を用いて訓練されます。

2. TextDiT：潜在空間におけるフローマッチング

視覚的対応物とアーキテクチャ的に同一の標準的な拡散トランスフォーマー（TextDiT）が、学習された潜在空間内でフローマッチングを実行します。

条件付き定式化：このモデルは言語生成を条件付きプロセスとして扱い、クリーンなコンテキスト潜在（ $z_c$ ）とノイズの混入したターゲット潜在（ $z_t$ ）を入力として受け取り、速度場を予測します。
フローマッチング：モデルは、ガウスノイズとターゲット潜在の間を補間する条件付きフローマッチング（CFM）損失を用いて最適化されます。
スケジューリングとガイダンス：システムは、Stable Diffusion 3 で有効性が実証された logit-normal タイムステップスケジューリングを採用し、生成品質を向上させるためにクラスラフリーガイダンス（CFG）を利用します。
推論：生成は、トークンレベルの自己回帰デコードを回避し、Euler ODE ソルバーを介して並列に行われます。これにより、系列長に関わらず一定の関数評価回数（Number of Function Evaluations）で推論が可能となり、長さに不変の推論効率が実現されます。

主要な貢献

統合アーキテクチャ：TextLDM は、視覚的拡散のレシピ（VAE + DiT + フローマッチング + CFG）を言語モデリングに成功裏に移転し、統合マルチモーダルアーキテクチャへの一歩を踏み出しました。このシステム全体は、拡散プロセスのために事前学習済みエンコーダやデコーダに依存せず、ゼロから訓練されます。
表現ボトルネックの特定：著者らは、再構成忠実度のみが高品質なテキスト拡散には不十分であることを特定しました。彼らは、**表現アライメント（REPA）**が、下流の生成品質を支援するよう潜在空間を形成するために不可欠であることを実証しました。
最先端のパフォーマンス：TextLDM は、拡散言語モデルの中で最先端の結果を達成し、同一の設定下で自己回帰ベースライン（GPT-2）と同等の性能を発揮します。
効率性：このフレームワークは、自己回帰モデルにおける関数評価の線形成長と比較して、より一定の時間生成プロファイルを提供します。

実験結果

モデルはOpenWebText2上でゼロから訓練され、One Billion Words、TinyStories、Wikipedia、WikiSourceの 4 つのベンチマークにおけるテキスト継続で評価されました。

拡散ベースラインとの比較：TextLDM は、すべての指標（ROUGE、BERTScore、MAUVE）において、先行する連続（例：SSD-LM）および離散（例：Block Diffusion）拡散言語モデルを大幅に上回ります。
自己回帰ベースラインとの比較：
- TinyStoriesおよびOne Billion Wordsにおいて、TextLDM は同サイズまたはより大型の GPT-2 モデルと同等かそれ以上の ROUGE 指標を達成します。
- 分布外ベンチマーク（Wikipedia、WikiSource）において、768M パラメータの TextLDM 変種は、すべての GPT-2 ベースラインを上回ります。
- 一部のベンチマークでは BERTScore にわずかな差が残っており、AR モデルが優位性を維持しています。
スケーリング挙動：TextLDM は一貫したスケーリング挙動を示し、DiT のサイズが 114M から 768M パラメータに増加するにつれて、性能は著しく向上します。
訓練効率：訓練のダイナミクスは、TextLDM がほとんどのベンチマークで同数の訓練ステップ内で GPT-2-medium の性能に匹敵または上回ることを示しており、これはそれ以前の連続拡散モデルが大幅に多くの計算資源を必要としたことに対する重要な改善です。
アブレーションの知見：
- REPA：REPA を除去すると生成品質が大幅に低下し、潜在空間の構造におけるその必要性が確認されます。
- 再構成対生成：すべての VAE 設定がほぼ完璧なトークン再構成（>97.5%）を達成しましたが、生成品質は REPA と潜在次元に基づいて大きく変動しました。これは、再構成ではなく、潜在幾何学が性能を駆動することを証明しています。
- ハイパーパラメータ：logit-normal タイムステップスケジューリング（std=1.5）と CFG スケール 7 が最適な結果をもたらしました。

意義と主張

本論文は、TextLDM によって「視覚的 DiT レシピ」が言語へ効果的に転移することを立証しています。統合アーキテクチャが視覚合成とテキスト生成の両方を処理できることを証明することで、この研究はマルチモーダル生成と理解のための将来の統合拡散アーキテクチャに対する具体的な基盤を提供します。著者らは、成功の鍵が拡散バックボーンそのものではなく、離散テキストを連続拡散フレームワークで効果的にモデル化することを可能にする表現アライメントによる潜在空間の具体的な適応にあったことを強調しています。

著者らは限界について率直であり、二段階の訓練パイプラインが複雑さを追加すること、および分布外データ（例：Wikipedia）における再構成精度が分布内データよりもわずかに低いこと（これが誤差を伝播させる可能性がある）を指摘しています。彼らは、より多様なデータで訓練コーパスを拡張することで、これらの問題を緩和できると提案しています。