💬 NLP

Masked Language Flow Models

本論文は、既存のMasked DiffusionおよびFlow Language Modelの限界を克服するために、連続的なフローベースの生成と離散的なトークンマスキングを組み合わせた新しいアーキテクチャであるMasked Language Flow Models (MLFMs)を導入し、それによって下流の言語タスクに対するスケーラブルで効率的な多段階推論能力を可能にするものである。

原著者： Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

公開日 2026-06-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Iskander Azangulov, Kianoosh Ashouritaklimi, Leo Zhang, Simon Vary, Patrick Rebeschini

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは物語を書こうとしていると想像してください。しかし、あなたには欠けている言葉を埋めることができる魔法のペンがあります。その紙は、このペンの新しい使い方を紹介しています。それは**Masked Language Flow Models (MLFMs)**と呼ばれるもので、コンピュータがテキストを書き込む際の方法における特定の課題を解決しようとする試みです。

以下に、シンプルな比喩を用いた解説をまとめます。

問題点：「一歩ずつ」対「ステップ・バイ・ステップ」のジレンマ

この新しい発明を理解するために、まずは二つの古い手法を見ておく必要があります。

古い方法（自己回帰モデル / Autoregressive Models）: 物語を左から右へと、一単語ずつ厳密に書いていく様子を想像してください。「猫が」と書き、「次は？」と考えてから「座った」と書き、また止まって……という具合です。
- 問題点: 遅いです。長い本を書きたい場合、次の単語を書く前に、すべての単語が書き終えられるのを待たなければなりません。
「並列」な方法（マスク付き拡散モデル / Masked Diffusion Models）: 白紙のページがあり、すべての単語が粘着付箋（「マスク」）で覆われている様子を想像してください。コンピュータは一度にすべての単語を推測しようとし、付箋を剥がして、結果を確認します。もしいくつかの単語が間違っていれば、再び付箋を貼り、やり直します。
- 問題点: これは一度に多くの単語を推測できるため高速です。しかし、これは文脈を見ずに一気に文章全体を推測しようとするようなものです。もし文章に複雑な論理（数学の問題など）が必要な場合、単語同士の依存関係を無視して同時に推測してしまうため、間違いが生じやすくなります。
「滑らかな流れ」の方法（フロー言語モデル / Flow Language Models）: テキストが個別の単語ではなく、滑らかで連続的な絵の具の流れであると想像してください。コンピュータはグレーのノイズのバケツから始まり、その絵の具をゆっくりと、クリアで鮮明な文章の画像へと「流し込んで」いきます。
- 問題点: これは非常に効率的で、わずか1、2ステップで完了できます。しかし、あまりにも硬直的です。コンピュータに対して、すべての単語を全く同時に決定することを強制してしまいます。そのため、「ステップごとに考える」必要があるタスク（例えば、ステップ1を書き、それを確認し、それを使ってステップ2を見つけるといった数学の問題）において苦戦します。

解決策：Masked Language Flow Models (MLFMs)

著者たちは、両者の良いところを組み合わせたハイブリッド・システムを作り上げました。これはスマートな建設現場のようなものです。

セットアップ: ある建物が建設中です。完成している部分（クリアな単語）もあれば、足場に覆われている部分（マスクされた単語）もあります。
魔法: 全体の建物を一度に建てようとする（リスクが高い）のでも、レンガを一つずつ積む（遅い）のでもなく、MLFMは足場を埋めるために**連続的な流れ（continuous flow）**を使用します。
ひねり: コンピュータが足場を埋めていく過程で、常に自分の作業をチェックします。もし特定のレンガ（単語）に対して非常に高い自信を持てたら、すぐにその足場を取り除き、そのレンガを固定します。
なぜこれが役立つのか: 一度レンガが固定されると、それは「次の部分」のための強固な基礎となります。これにより、コンピュータは複雑な多段階の推論（数学や指示に従うことなど）を行うことができます。なぜなら、最後まで結果を確認するのを待つのではなく、正しいステップを「確定」させ、それを次のステップのガイドとして利用できるからです。

どうやって構築したか（「適応」）

ゼロから新しいモデルを構築するのは、コストがかかり時間がかかります。そこで著者たちは、賢い近道を見つけました。

彼らは、単語を推測するのがすでに得意な、既存の強力なモデル（「マスク付き拡散モデル」）を採用しました。
そこに「翻訳機」（軽量なアダプター）を与え、「連続的な単語」ではなく「連続的な流れ」の言語を話せるように教え込みました。
これにより、エンジン全体を再構築することなく、古い強力なエンジンを、よりスマートな新しいエンジンへとアップグレードすることができました。

新しい「サンプラー」（建設作業員）

彼らはまた、コンピュータが書きながら「考える」ための新しい方法として、Online Token Promotionを導入しました。

古い方法: コンピュータは最後の瞬間まですべての推測を「おそらく」の山に保持しておき、最後に最終的な単語を選びます。
新しい方法: コンピュータがある単語に対して99%の確信を持った瞬間、その単語をすぐに「おそらく」の山から「完了」の山へと移動させます。
メリット: これにより、コンピュータは書き進めながらより明確な文章のイメージを持つことができ、残りの単語に対してより良い判断を下せるようになります。これは、料理人がソースを味見し、完璧だと気づいた瞬間に、料理が完成するのを待たずにすぐ鍋に加えて次の材料の風味に影響を与えるようなものです。

結果：うまくいったのか？

チームはこの新システムを2つの難しいタスクでテストしました。

数学の問題 (GSM8K): 小学校レベルの算数の文章題の解決。
指示への追従 (MT-Bench): 複雑な質問への回答や、ユーザーの指示に従うこと。

判明したこと:

指示に従うことや会話を行うことにおいて、新しいモデルは従来の「並列」モデルよりも大幅に優れており、同規模の「一単語ずつ」生成するモデルをも上回りました。
数学に関しては、まだ非常に特化した数学専用モデルには勝てていませんが、ある大きなことを初めて証明しました。それは、**「フローベースのモデルが、複雑な推論タスクを実行できるレベルまでスケールアップできる」**ということです。以前は、フローモデルは単純な一歩の生成にしか適していないと考えられていました。

まとめ

この論文は、コンピュータが「滑らかで連続的な思考」と「ステップ・バイ・ステップの論理」を融合させることでテキストを書くための新しいツールを提示しています。これにより、コンピュータは進めながら正しい答えを確定させることができ、指示に従ったり問題を解いたりといった複雑なタスクにおいて、従来のメソッドよりも高速でありながら、より優れた能力を発揮できるようになります。

技術要約：Masked Language Flow Models (MLFM)

問題提起

自己回帰モデル（ARMs）は言語生成において主流であるが、各トークンが先行するすべてのトークンに依存するため、逐次的な推論のボトルネックに直面する。一方、Masked Diffusion Models (MDMs) は、トークンを反復的にアンマスクすることで並列デコーディングの代替案を提供する。しかし、MDMは、マスクされた位置間の条件付き独立性を仮定する、因数分解された逆転移に依存している。この近似は無限ステップの極限では成立するが、並列生成が最も効率的となる数ステップのサンプリング・レジームでは著しく劣化し、トークン間の依存関係を無視することによって品質を損なう。

対照的に、Flow Language Models (FLMs) は連続的な埋め込み空間で動作し、ノイズからクリーンなシーケンスへと輸送するフローを学習する。FLMはフローマップ蒸留による効率的なシングルステップ生成をサポートできるが、通常、生成を単一の軌道へと崩壊させてしまう。この構造は、マルチステップの推論を必要とするタスクにおいて苦戦する。なぜなら、FLMは部分的に完了した中間状態を後続の洗練のためのコンテキストとして利用するのではなく、すべてのトークンを同時にデコードすることを強制されるためである。

手法：Masked Language Flow Models (MLFMs)

著者らは、MDMのマスキング機構をFLMの連続的なフロー力学に統合したフレームワークである Masked Language Flow Models (MLFMs) を提案する。

1. フレームワークと確率的補間（Stochastic Interpolant）

MLFMは、ブラウン橋（Brownian bridge）を用いた確率的補間を用いて、ユークリッド空間におけるフォワードプロセスを定義する。このブリッジは以下を接続する：

部分的にマスクされたシーケンス： アンマスクされたトークンのクリーンな埋め込みと、特定の [MASK] 埋め込みによって表される。
クリーンなシーケンス： それらのクリーンなトークン埋め込みによって表される。

シーケンス $X$ に対して、マスキング確率 $s$ およびノイズ化時間 $t$ における状態 $z_{s,t}$ は、以下のように構成される：

アンマスクされた位置 ( $U_s$ ) は、クリーンな埋め込み $E X_\ell$ に固定されたままとなる。
マスクされた位置 ( $M_s$ ) は、[MASK] 埋め込み ( $m$ ) とクリーンな埋め込み ( $E X_\ell$ ) の間のブラウン橋を通じて進化する。

この設計により、モデルは、MDMのあらゆる位置での条件付け構造を保持しながら、クリーンなトークンを生成するための結合された連続フローを学習することが可能となる。

2. 学習と適応

主要な貢献は、学習済みのMDMを用いてMLFMの学習をウォームスタートできる能力である。

理論的等価性： 端点 $t=0$ において、MLFMの確率的補間は、MDMで使用される埋め込み済み部分マスクシーケンスに正確に一致する。したがって、 $t=0$ におけるMLFMの損失はMDMの損失と一致する。
適応戦略： 著者らは、学習済みの双方向トランスフォーマー（MDMから）を以下の方法で適応させる：
1. トークン埋め込み層を固定する。
2. トランスフォーマー・ブロックを凍結し、AdaLN（連続的な時間 $t$ による条件付けのため）および LoRA アダプタ（連続的な破損埋め込みへの適応のため）を拡張する。
3. 出力ヘッドをLoRAアダプタで適応させる。
  このアプローチは、ゼロからの学習と比較して計算コストを大幅に削減する。

3. サンプリング戦略：オンライン・トークン・プロモーションを伴うCCFG

マルチステップ推論の限界に対処するため、著者らは2つのメカニズムを組み合わせた新しいサンプリング・スキームを導入する：

Context-Corrupted Classifier-Free Guidance (CCFG)： クラシファイア・フリー・ガイダンスの変種であり、参照される速度場（velocity field）はコンテキスト・トークンを破損させる（フォワード破損周辺分布を適用する）ことによって計算され、誘導される場はクリーンなコンテキストを使用する。この差分により、予測される方向に対するクリーンなコンテキストの寄与を分離する。
Online Token Promotion (OTP)： サンプリング中、マスクされたトークンの事後モードが信頼閾値 ( $1-\epsilon$ ) に達した場合、そのトークンは即座に「昇格（プロモート）」される。それはクリーンな埋め込みに固定され、以降のすべてのデノイジング・ステップにおける観測されたコンテキストとして扱われる。これにより、高信頼度の予測を即時のコンテキストとして活用することが可能となり、反復的な推論を模倣することができる。

主要な貢献

マスキングとフローの統合： MLFMは、ブラウン橋を用いることで、離散的なマスキング（MDM）と連続的なフロー（FLM）の架け橋となり、並列生成の効率性と反復的な洗練の両方をサポートする条件付き生成を可能にする。
効率的な適応： 端点 $t=0$ における等価性を利用し、軽量な適応（LoRA/AdaLN）を介して学習済みのMDMをMLFMに変換できることを示した。
新しいサンプラー： CCFGとOnline Token Promotionを組み合わせることで、潜在状態をクリーンなコンテキストへと動的に変換し、マルチステップ推論を促進する手法を提案した。
ダウンストリーム・タスクへのスケーリング： フローベースの言語モデルが、単純な無条件生成を超えて、ダウンストリームの推論（数学）や指示追従タスクへとスケールできることを示す初めての成功例である。

実験結果

著者らは、1.028BパラメータのMLFM（学習済みSMDMから適応）を GSM8K（数学的推論）および MT-Bench（指示追従）で評価した。

MT-Bench： MLFMは、SMDMのベースライン（1.60）および同規模のARベースライン（1.57）を大幅に上回る 2.27 のファーストターン・スコアを達成した。特筆すべきは、これがSMDMの256ステップの半分である128ステップのみで達成されたことである。
GSM8K： MLFMは 31.24% の精度を達成した。これは、タスク特化型にファインチューニングされたSMDM（58.5%）およびLLaMA-2（58.6%）には及ばないが、著者らはこれを、MLFMに使用された広範な指示混合ファインチューニング・プロトコルと、ベースラインに使用されたタスク特化型プロトコルの違いによるものとしている。
アブレーション研究： CCFGとOnline Token Promotionの両方が性能を大幅に向上させることが確認された。より大きなガイダンス・スケールとより多くのサンプリング・ステップは、一般的に結果を改善し、MLFMは16ステップのサンプリングにおいてもベースラインを上回る性能を示した。

意義と主張

本論文は、フローベースの言語モデルがダウンストリームの推論および指示追従タスクを解決できることを示す最初の証拠を提供すると主張している。フローモデルの並列生成の可能性と、マスクド・モデルの反復的推論能力を組み合わせることで、MLFMは複雑なマルチステップ生成をサポートする柔軟なアーキテクチャを提供する。この研究は、フローベースのモデルが、単なる無条件生成や単純な蒸留に限定されるものではなく、MDM適応による効率的な学習を通じて、実用的な条件付きダウンストリーム・アプリケーションへと適応可能であることを示している。