技術的概要：埋め込み言語フロー（ELF）

問題定義

拡散モデルおよびフローベースモデルは、画像や動画などの連続データの生成において、最先端の技術として確立されています。しかし、言語モデリングへの適用（拡散言語モデル、DLM）は重大な課題に直面しています。現在の主要な DLM は、言語が本質的に離散的であるため、主に離散トークン上で動作します。連続 DLM も存在しますが、それらはしばしば離散モデルの性能に匹敵することが困難です。

既存の連続 DLM は、通常、以下の 2 つの制限のいずれかに苦しんでいます：

1. 離散空間への密結合：多くの手法（例：Diffusion-LM、CDCD）は連続埋め込み空間内でノイズ除去を行いますが、各ステップで離散トークン空間に連続軌道を結びつけるために、ステップごとの離散化損失（例：交差エントロピー）や制約（例：単体射影）に依存しています。これはフローダイナミクスの柔軟性を制限します。
2. アーキテクチャの複雑性：他のアプローチ（例：言語生成のための潜在拡散）は圧縮された潜在空間で動作し、連続表現を離散トークンに戻すために、別途訓練されたデコーダを必要とします。これにより、推論時のオーバーヘッドと複雑性が増加します。

本研究が扱う中心的な問いは、連続 DLM と離散 DLM の間の性能格差が、言語の本質的な離散性に起因するのか、それとも連続形式における最適化されていないアルゴリズム設計の選択に起因するのか、という点です。

手法：埋め込み言語フロー（ELF）

著者は、フローマッチングに基づく連続 DLM のクラスである**埋め込み言語フロー（ELF）**を提案します。これは、最終生成ステップまで離散化を遅延させ、ほぼ完全に連続埋め込み空間内で動作します。

核心的な定式化

1. 連続埋め込み空間：ELF は、事前訓練されたエンコーダ（例：T5）を使用して、離散入力トークン $s$ を連続埋め込み $x$ にマッピングします。別途デコーダを必要とする潜在拡散手法とは異なり、ELF はノイズ除去とデコーディングの両方に共有重みネットワークを使用します。
2. 整流フローを用いたフローマッチング：モデルは、ガウスノイズ $\epsilon$ からクリーンなデータ $x$ への連続フロー経路を、線形補間（整流フロー）を用いて定義します：$z_t = tx + (1-t)\epsilon$（ここで $t \in [0, 1]$）。速度場は $v = x - \epsilon$ と定義されます。
3. 予測目標（x 予測）：速度 $v$ を直接予測する代わりに、ELF はクリーンな埋め込み $x$ を予測します。この選択は高次元表現にとって決定的であり、最終的なデコーディング目標と自然に整合します。
4. 2 モード訓練：
   • ノイズ除去モード（ほとんどのステップ）：ネットワークは、平均二乗誤差（MSE）損失を使用して、ノイズ入力 $z_t$ からクリーンな埋め込み $x$ を予測します。
   • デコーディングモード（最終ステップ $t=1$）：ネットワークは「デコード」モードに切り替わります。クリーンな埋め込みの破損バージョン（非自明な訓練入力を確保するため）を受け取り、学習可能なアンエンベディング行列 $W$ を通して投影し、トークンのロジットを生成します。このステップは、トークンごとの交差エントロピー（CE）損失を通じて教師あり学習されます。
   • 重み共有：同じネットワークパラメータが、バイナリ「モード」トークンに条件付けられて、両方のモードで使用されます。

サンプリングとガイダンス

• サンプリング：ELF は、決定論的な ODE ソルバーと、各ステップで少量のノイズを再注入して誤差を修正する確率的な SDE 由来のサンプリングの両方をサポートします。
• クラスラフリーガイダンス（CFG）：ELF は連続空間で動作するため、画像生成で広く使用されているが離散 DLM ではあまり探求されていない手法である CFG を自然にサポートします。著者は、推論中の複数のフォワードパスを必要とせずに生成品質を誘導するために、訓練時 CFGと自己条件付け（前のステップの予測を条件として使用）を組み合わせて実装しています。

主要な貢献

1. 最小限の離散化戦略：ELF は、ノイズ除去軌道を完全に連続埋め込み空間に留め、離散化を最終時間ステップ（$t=1$）でのみ適用することで、連続 DLM が非常に効果的であることを実証しています。これにより、従来の連続手法が要求していた制約とステップごとの教師信号を回避します。
2. 統一されたアーキテクチャ：ノイズ除去とデコーディングの両方に共有重みネットワークを使用することで、ELF は別途デコーダを必要とせず、潜在拡散アプローチと比較してアーキテクチャを簡素化し、推論時のコンポーネントを削減します。
3. 画像ドメイン技術の適応：連続形式により、画像拡散からの高度な技術、具体的にはクラスラフリーガイダンス（CFG）と自己条件付けの直接的な適用が可能となり、生成品質と多様性が大幅に向上します。
4. データ効率：この手法は、既存のベースラインと比較して著しく少ない訓練トークン数で強力な性能を達成します。

実験結果

著者は、ELF を無条件生成（OpenWebText）、機械翻訳（WMT14 De-En）、要約（XSum）で評価しました。

• 無条件生成：ELF は、主要な離散 DLM（MDLM、Duo）および同時進行の連続 DLM（FLM、LangFlow）を上回ります。
  • 品質対ステップ数：ELF は、1024 ステップを必要とするベースラインと比較して、より少ないサンプリングステップ（例：32 ステップ）で低い生成ペレキシティ（Gen. PPL）を達成します。
  • データ効率：ELF は、ベースライン（約 500B+）と比較して10 倍少ない訓練トークン（45B）を使用し、蒸留を必要とせずにこれらの結果を達成します。
  • スケーリング：モデルサイズ（ELF-B、ELF-M、ELF-L）をスケーリングすることで、品質と多様性のフロンティアが一貫して向上します。
• 条件付き生成：ELF は、WMT14 De-En（BLEU 26.4）および XSum（ROUGE-1 36.0）において最先端の結果を達成し、同程度のパラメータ数の自己回帰モデルおよび拡散ベースのベースラインを上回ります。
• アブレーション研究：
  • 埋め込み：事前訓練された文脈埋め込み（凍結 T5）が最適なトレードオフをもたらします。
  • 予測目標：$x$ 予測は、特に高次元において、$v$ 予測または $\epsilon$ 予測よりも優れています。
  • サンプリング：SDE 由来のサンプリングは、少数ステップ領域において ODE サンプリングを一貫して上回ります。
  • ガイダンス：CFG は多様性と品質のトレードオフを効果的に実現し、中程度のスケール（例：2.0–3.0）が最適な結果をもたらします。

意義と主張

本論文は、ELF が効果的な連続 DLM への有望な道筋を提供すると主張しています。結果は、連続 DLM と離散 DLM の間の性能格差が言語の本質的な離散性に起因するのではなく、むしろ未探求のアルゴリズム設計の選択に起因することを示唆しています。

言語生成を連続埋め込み空間で定式化し、連続時間フローマッチングを採用して離散化を最終ステップまで遅延させることで、ELF は以下を実現します：

• 画像拡散からの強力な技術（CFG など）を言語へ直接転送可能にします。
• より少ないサンプリングステップと著しく小さい訓練予算で、優れた生成品質を達成します。
• 別途デコーダを必要としない、より単純で統一されたアーキテクチャを提供します。

著者は、連続 DLM が非常に競争力があり、提案されたアプローチは拡散ベースの言語モデリングにおける重要な前進であると結論付けています。