技術概要：FLUID – 自己回帰から拡散へ

1. 問題定義

自己回帰（AR）言語モデルは、論理的整合性とトレーニングの安定性により現代の NLP の基盤となっていますが、決定的なボトルネックに悩まされています：推論遅延はシーケンス長に比例して増加し、遅延に敏感なシナリオでの展開を阻害します。離散拡散モデル（DLM）は、反復的なノイズ除去による並列トークン生成を可能にすることで、有望な代替手段を提供します。しかし、標準的な拡散モデルと事前学習済みの AR バックボーンの間には、根本的な構造的ミスマッチが存在します：

• 構造的互換性の欠如：標準的な拡散モデルは、グローバルな文脈をモデル化するために双方向注意に依存していますが、これは事前学習済みの AR モデル（例：Llama、GPT）が持つ厳密な因果的（一方向）な帰納的バイアスと矛盾します。この互換性の欠如は、既存の AR チェックポイントの効率的な再利用を妨げ、計算コストが膨大になるゼロからの事前学習を必要とします。
• エントロピー - ホライズンのジレンマ：最近の「ブロック拡散」戦略は、固定サイズのブロックと半自己回帰的な設計を用いてこのギャップを埋めようと試みています。しかし、本論文は、硬直的な固定サイズウィンドウが自然言語の動的エントロピーと整合しないことを特定しています。高エントロピー領域（例：複雑な推論）では、大きな固定ブロックが「因果的ホライズン」の急速な減衰を引き起こし、並列化の利点を相殺する過激な誤り修正を必要とします。逆に、低エントロピー領域では、保守的なブロックが並列デコードの可能性を十分に活用できません。この静的なアプローチは、生成のテンポをテキストの内在的な意味リズムから切り離してしまいます。

2. 手法：FLUID フレームワーク

著者は、構造的完全性を維持しつつ、AR バックボーンを並列拡散器に効率的に適応させるためのフレームワークであるFLUID（Flexible Unidirectional Inference Diffusion：柔軟な一方向推論拡散）を提案します。この手法は、2 つの中核的な革新から構成されます：

A. 厳密な因果的整合

構造的ミスマッチを解決するため、FLUID は厳密な因果的整合メカニズムを強制します。双方向注意を使用する標準的な拡散モデルとは異なり、FLUID は拡散プロセス中に一方向（下三角）の注意マスクを課します。

• メカニズム：トランスフォーマーに構造的制約を注入し、トークン $x_i$ の復元条件付き確率が、その履歴 $x_{<i}$ のみに依存することを保証します。
• 利点：これにより、事前学習済みの AR バックボーンの帰納的バイアスが維持され、標準的な GPT 風のチェックポイントからのシームレスな初期化が可能となり、大規模な事前学習なしで実現されます。これは、非因果的な未来の位置への接続を実質的に剪定し、論理的整合性を維持します。

B. 弾性ホライズンモデリング

エントロピー - ホライズンのジレンマに対処するため、FLUID は固定ブロック境界を、リアルタイムのエントロピー推定によって駆動される弾性ホライズンに置き換えます。

• 確率的ホライズン推定器：凍結されたバックボーンに、軽量な「拡散 K-ヘッド」（2 層 MLP）が付加されます。これは、隠れ状態 $h_t$ を、可能なホライズン長さ $k \in \{1, \dots, K_{max}\}$ 上のカテゴリカル分布にマッピングします。
• 能力境界の教師あり学習：明示的なラベルが存在しない場合、モデルは高信頼度生成の最大スパンとして定義される「オラクルホライズン」$K^*_t$ を学習します。K-ヘッドは、このオラクル境界を中心としたガウス軟ターゲットとの分布を、カルバック・ライブラー（KL）ダイバージェンスを用いて整合するように訓練されます。
• 動的推論：推論中、K-ヘッドは生成ストライド $K_t$ を動的に調節します。決定論的フェーズ（低エントロピー）では、ホライズンは予測可能なセグメントを「スプリント」するために拡大します。高エントロピーの遷移（複雑な推論）では、ホライズンは微細で慎重なペースに収縮します。
• 信頼度ゲート：ホライズン内の将来予測に対して信頼度閾値 $\gamma$ が適用されます。トークンの信頼度が $\gamma$ 未満に低下した場合、チェーンは切断され、モデルは厳密な因果的正確性を確保するために微細な自己回帰に戻ります。

訓練戦略

FLUID は 2 段階のカリキュラムを採用します：

1. ステージ I（結合因果的バックボーン訓練）：K-ヘッドを凍結した状態でバックボーンを微調整します。ハイブリッド損失関数は、プレフィックス用の標準的自己回帰損失（$L_{AR}$）と、ターゲットスパン用のマスクドノイズ除去損失（$L_{Diff}$）を組み合わせ、確率的復元（10% のノイズ注入）によって強化されます。
2. ステージ II（確率的ホライズン訓練）：バックボーンを凍結し、K-ヘッドのみを、バックボーンの内在的不確実性から導き出された能力境界分布に一致するように最適化します。

3. 主要な貢献

1. AR と拡散の架橋：本論文は、厳密な因果的注意を強制することで、ゼロからの事前学習を回避しつつ、事前学習済みの AR モデルを拡散パラダイムに成功裡に適応させるフレームワークを導入します。
2. 弾性ホライズン：局所的な情報密度に基づいてノイズ除去ストライドを動的に調節するエントロピー駆動メカニズムを提案し、固定ブロック戦略に内在する推論速度と生成品質のトレードオフを解決します。
3. 効率的な適応：このアプローチは、堅牢な AR 事前知識が効果的に再利用可能であることを示しており、ゼロから拡散モデルを訓練する場合と比較して、訓練コストを桁違いに削減します。

4. 実験結果

実験は、2 段階のプロセスを通じて適応されたOpenPangu-7Bチェックポイントを用いて行われました。モデルは、一般理解（MMLU、IFEVAL）、数学的推論（GSM8K、MATH500）、コード生成（HumanEval、MBPP）において評価されました。

• 性能：FLUID-7B は、拡散モデルの中で最先端の性能を達成し、トップクラスの AR モデルと同等の性能を発揮しました。
  • 数学：GSM8K で91.9、MATH500 で61.8のスコアを記録し、Dream-7B や LLaDA-8B などの拡散ベースラインを大幅に上回りました（例：GSM8K で +10.9）。Qwen-2.5-7B（91.6）と同等の性能を達成しました。
  • コード：HumanEval で60.4を達成し、LLaMA-3-8B-Instruct や LLaDA-8B を上回りました。
• 効率性：FLUID は、反復的洗練の必要性を減らすことで、標準的な拡散ベースライン（LLaDA、Dream）と比較して約2 倍の高速化を達成しました。高エントロピー誤差に伴う「待機コスト」を回避することで、攻撃的な固定ブロックベースラインよりも高いスループット（18.82 トークン/秒）を示しました。
• アブレーション研究：
  • 因果的マスキングを除去（双方向注意を使用）すると、GSM8K の性能が9.4% 低下し、論理的整合性のために因果的整合が必要であることが確認されました。
  • 弾性ホライズンを固定ブロックに置き換えると、HumanEval で5.5% の不足が生じ、構造的完全性のために動的ホライズン調節が重要であることを裏付けました。
• 意味的品質：Skywork-Reward-V2 選好モデルを使用すると、FLUID はすべてのドメインで最高報酬スコアを達成し、特に推論集約型タスクにおいて、人間の意図との整合性と論理的整合性の優位性を確認しました。

5. 意義と主張

本論文は、FLUID が構造的完全性や論理的整合性を損なうことなく、確立された AR 基盤を効率的な並列拡散器に変換するためのスケーラブルな基盤を確立すると主張しています。

• パラダイムシフト：「厳密な因果的拡散」が、訓練効率、推論遅延、論理的整合性を優れてバランスさせるパラダイムであることを実証しています。
• コスト削減：標準的な GPT 風のチェックポイントからのシームレスな初期化を可能にすることで、訓練コストを桁違いに削減します（適応に 27 億トークンを使用するのに対し、事前学習には数兆トークンが必要）。
• 動的柔軟性：この研究は、因果的整合性と動的柔軟性（弾性ホライズンによる）を整合させることが、非自己回帰テキスト合成の潜在能力を解き放つ鍵であり、固定サイズ戦略に内在する「意味的断裂」を効果的に緩和することを示しています。

著者は、性能はソース AR モデルの能力に本質的に制限されており、高度に専門化されたドメインや異なるアーキテクチャ（例：MoE モデル）についてはさらなる検証が必要であると指摘しています。