🤖 machine learning

BlockGen: Flexible Blockwise Sequence Modeling with Hybrid Samplers

本論文は、マスク型拡散と一様状態拡散をAR情報に基づく予測・修正サンプリングと組み合わせた柔軟なブロック単位のシーケンスモデリングフレームワークであるBlockGenを紹介し、数ステップのブロック単位生成においては一様拡散がマスク型拡散を凌駕するものの、サンプリングステップ数や特定のブロックサイズが増加するとその性能差が縮小または逆転することを示す。

原著者： Justin Deschenaux, Caglar Gulcehre

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Justin Deschenaux, Caglar Gulcehre

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

物語を書こうとしていると想像してください。しかし、あなたには2つの異なる書き方があります。

古いやり方（自己回帰型 / Autoregressive）: あなたは左から右へ、一度に1単語ずつ書いていきます。一度単語を書いたら、それを確定させて次の単語へと進みます。これは速くて信頼できますが、もし最初の文章でミスをすると、全体を書き直さない限り簡単に戻って修正することができません。また、一度に1単語ずつしか書けないため、長い物語を完成させるには時間がかかります。

新しいやり方（拡散型 / Diffusion）: ページ全体がランダムな文字の羅列（例：「xkq#z@!」）で埋め尽くされている状態を想像してください。そこに賢い編集者がいて、ページ全体を一度に見渡しながら、意味が通るようにいくつかの単語を修正しようと試みます。その後、編集者は再び全体を見渡し、さらにいくつかの単語を修正します。このプロセスを繰り返すことで、徐々に文字の羅列が物語へと変わっていきます。これは、ページ全体の全体像を把握して、どこにでも間違いを修正できるという点で優れています。しかし、この「一斉に」行う作業は通常、時間がかかることがあり、最終的な物語が古いやり方ほど完璧にならないこともあります。

最近、研究者たちは第3の道を見つけました：**ブロック・バイ・ブロック（Block-by-Block）**です。単語を一つずつ書くのでも、ページ全体を一度に修正するのでもなく、段落のような小さな塊（チャンク）ごとに物語を書いて（あるいは修正して）いきます。段落1を書き終えて確定させたら、次に段落2へと進みます。これは、古いやり方のスピード感と、新しいやり方の柔軟性の両方を備えています。

この論文が解決する問題

著者である Justin Deschenaux と Caglar Gulcehre は、人々がこの「ブロック・バイ・ブロック」モデルをテストする方法において、2つの大きな問題があることに気づきました。

「ランダムな推測」の問題: モデルが段落の中でミスをしたとき、従来の修正方法では、単にランダムな単語を選んで修正していました。それは、先生が学生に対して「エッセイの中のランダムな単語を直しなさい」と言うようなもので、どの文章が意味をなしていないのかを具体的に指摘していませんでした。
「一律（ワンサイズ・フィッツ・オール）」の問題: 以前の研究では、特定のブロックサイズ（例：常に16単語ずつ）のみを使用してモデルをテストしていました。しかし、あるタスクには4単語のブロックが適しており、別のタスクには32単語のブロックが適しているかもしれません。誰もこれらを混ぜて試そうとはしていませんでした。

解決策：BlockGen

彼らは BlockGen と呼ばれる新しいシステムを構築しました。これは、あらゆる長さの段落を扱うことができる、非常に柔軟なライターのようなものです。

サイズの混合: モデルを（例えば）16単語ずつの塊を書くようにだけ訓練するのではなく、1単語、2単語、4単語、最大16または32単語といった、さまざまなサイズの混合で訓練しました。
魔法のトリック: モデルがこれらすべての異なるサイズで書くことを学んだため、ある秘密を習得しました。それは、モデルが「古い（自己回帰的な）やり方」と同じくらい完璧に1単語を書けるだけでなく、段落全体を修正することもできるということです。これにより、モデルは自分自身の「検証器（verifier）」として機能することができます。

新しい戦略：ARPC（「スマートな編集者」）

この論文では、ARPC（Autoregressive-Informed Predictor-Corrector / 自己回帰情報を活用した予測・修正器）と呼ばれる、新しいテキスト生成手法を導入しています。

その仕組みを、創造的な比喩で説明しましょう。
あなたが「ブロック・バイ・ブロック」方式を使って段落を書いていると想像してください。まず、段落全体のドラフトを作成します。

第1パス: モデルは段落全体を素早く書き上げます。
「スマートなチェック」: 段落を確定させる前に、モデルは自分の書いたものを素早く確認します。そして、「もし自分が（あの信頼できる古いやり方で）一単語ずつ書いていたら、ここには何と書いていただろうか？」と自問します。
修正: もしモデルのその「一単語ずつ」の推測が、今書いたものと大きく異なっていた場合、モデルはその特定の単語が間違っている可能性が高いと判断します。そして、その問題のある単語だけを書き直します。

これは、単に「ランダムな単語を直しなさい」と言う古い方法よりもずっとスマートです。それは、「ランダムな単語を直しなさい」と言う先生と、「動詞の使い方が間違っているその文章を直しなさい」と言う先生の違いなのです。

彼らが発見したこと

著者らは、数学の問題（GSM8K）と一般的な文章（OpenWebText）を用いてテストを行いました。

「Uniform」対「Masked」の論争: 拡散（diffusion）の世界には、主に2種類の「編集者」が存在します。
- Masked（マスク型）: 編集者は、単語を特別な「空白（blank）」トークンに置き換えることしかできず、一度空白が埋まると、それは固定されます。
- Uniform（一様型）: 編集者は、いつでもどんな単語でも他のどんな単語にも変更できます。
- 以前の知見: ページ全体を一度に修正する場合、「Uniform」な編集者の方が優れていました。
- BlockGenの知見: ブロック・バイ・ブロックで作業する場合、単純なパスであれば依然として「Uniform」な編集者が優れています。しかし、新しい「スマートなチェック（ARPC）」を使用すると、高度な品質が求められるタスク（数学など）においては、「Masked」な編集者の方が実際にはわずかに優れていることが分かりました。これは、より精密だからです。
スピード vs 品質: 「スマートなチェック（ARPC）」を用いることで、モデルは古い、遅い「一単語ずつ」のライターの品質に極めて近づくことができますが、塊（チャンク）ごとになので、より速く実行できます。
トレードオフ: この論文は、この柔軟なモデルを訓練することは（標準的なモデルよりも）コストがかかる（より多くの計算パワーを必要とする）ことを認めています。また、彼らのモデルはまだ、今日のビッグテック企業が使用している巨大なAIモデルほど大きくはないため、これがあらゆる可能なタスクに対して有効であると主張できる段階ではありません。

要約すると

この論文は、さまざまなサイズの塊で書くことを学習する柔軟なAI、BlockGen を紹介しています。この柔軟性と、モデル自身の知識を利用して特定のミスだけを見つけて修正する「スマートなチェック（ARPC）」を組み合わせることで、彼らは「一単語ずつ書くよりも速く、かつ同等の正確さを持ち、かつ従来の『全部まとめて修正する』方法よりも賢い」手法を作り上げました。彼らは、一般的には「Uniform」なアプローチが強力であるものの、このスマートな修正メソッドを使用することで、複雑なタスクにおいて「Masked」なアプローチが驚くほど競争力を持つようになることを示しました。

技術要約: BlockGen: ハイブリッドサンプラーを用いた柔軟なブロック単位のシーケンスモデリング

問題提起

自己回帰（AR）Transformerはシーケンスモデリングを支配しているが、逐次的な生成による制限（スループット/レイテンシ）と、推論タスクに必要な双方向コンテキストを阻害する因果的アテンションの制約に直面している。離散拡散モデルは、ノイズを含むシーケンスを反復的に洗練させることで、並列的な更新を可能にする代替案を提供する。しかし、**マスク型拡散モデル（MDM）と一様状態拡散モデル（USDM）**の間の最近の比較では、サンプリング・レジームに応じて相反する知見が得られている：

祖先サンプリング（Ancestral Sampling）: USDMは、パープレキシティ（PPL）は劣るものの、ダウンストリームタスクにおいてMDMよりも優れた性能を示すことが多い。これは、USDMが誤りを自己修正できる能力（トークンが任意の状態間を遷移できる）に起因する。一方、MDMは一度マスクが解除されるとトークンが固定される。
ブロック単位の生成: 先行研究の多くはフルシーケンスの拡散を比較している。USDMの優位性が、KVキャッシュと高速な推論を可能にする設定である「ブロック単位（セミ自己回帰的）」の生成においても維持されるかどうかは、依然として不明である。
インフォームド・コレクター（情報に基づいた補正器）: 既存の比較では、ランダムな位置にノイズを再注入する「アンインフォームド（情報を利用しない）」な予測器・補正器（PC）サンプラーがよく用いられる。補助的な検証器モデルを用いない場合に、「インフォームド」なコレクター（可能性の高いエラーを標的とするもの）がMDMとUSDMのランキングにどのように影響するかは分かっていない。

手法: BlockGen

著者らは、ブロックサイズの混合体上で訓練される、ブロック単位のシーケンスモデルであるBlockGenを導入する。これは、ブロック内でマスク型または一様拡散を用いてインスタンス化される。

1. 混合定式化と訓練

BlockGenは、シーケンス密度を $M$ 個のブロックサイズ $S = \{s_1, \dots, s_M\}$ の混合体として定義する：
$p_{\theta}^{\text{BlockGen}}(x) = \sum_{i=1}^M \gamma_i p_{\theta}^{(s_i)}(x)$
ここで、 $p_{\theta}^{(s_i)}$ はブロックサイズ $s_i$ で因子化された有効な密度である。

共有デノイザー: 個別のモデルを訓練する代わりに、単一の共有デノイザー $\hat{x}_\theta$ がブロックサイズ $L'$ を入力として受け取り、それに応じてアテンション・パターンを調整する。
尤度境界: 本論文では、評価のために、よりタイトなlog-sum-exp境界を使用し、計算効率を維持するために、より緩い混合尤度境界（ブロックサイズに関する期待値）を訓練に使用する。
層化サンプリング: マルチGPU訓練中の分散を抑えるため、ブロックサイズはi.i.d.（独立同一分布）サンプリングではなく、層化サンプリングによって選択される。

2. AR-Informed Predictor-Corrector (ARPC)

主要な貢献は、補助的な検証器を用いずにインフォームドな補正を行うためにBlockGenの混合体を利用するARPCサンプラーである。

メカニズム: 生成プロセスにおいて、標準的な祖先拡散ステップの後、サンプラーは「クリーンな提案（clean proposal）」ステップを実行する。その後、提案されたトークンをスコアリングするために、同じデノイザーを使用してARモード（ $L'=1$ ）で二次フォワードパスを実行する。
スコアリング: 低いAR対数尤度を持つトークンが「可能性が低い」ものとして特定され、以前のノイズレベルへと再ノイズ化（補正）される。
利点: これにより、モデルが自身のAR予測を用いて拡散による補正をガイドすることが可能になり、単一のモデル内でARと拡散のパラダイムを効果的に交互に組み合わせることができる。

3. ブロックレベル・アテンション

BlockGenはブロック因果的アテンション（block-causal attention）を利用する。これは、ブロック内のトークンは双方向にアテンションを向けるが、ブロック自体は先行するすべてのブロックに対して因果的にアテンションを向けるものである。これにより、デコードされたブロック間でKVキャッシュが可能となり、セミ自己回帰的生成の効率性の利点が維持される。

主な結果

1. 数学的推論 (GSM8K)

TinyGSMで訓練されたモデルを用い、GSM8Kで評価を行った：

祖先サンプリング: ブロック単位の設定において、USDMはMDMよりも優れた性能を示し、特に低NFE（少ないステップ数）のレジムで顕著である。これは、フルシーケンスにおけるUSDMの優位性が、ブロック単位の生成においても引き継がれることを裏付けている。
ARPCサンプリング: ARPCを用いると、USDMとMDMの性能差は縮まり、高NFEにおいて逆転する。16トークンブロックを用いたARPCの下では、GSM8Kの精度においてMDMがUSDMをわずかに上回る。
ARPC vs. ベースライン: ARPCは、ほとんどのNFE予算において、祖先サンプリングおよびEntropy-Informed PC (EIPC) の両方を一貫して上回る。MDMを用いたARPCは、貪欲デコーディングを用いたARサンプリングの性能に迫る。

2. 言語モデリング (OpenWebText & LM1B)

尤度: ブロックサイズの混合体上で訓練することで、固定ブロックモデルと比較してパープレキシティが大幅に改善される。OpenWebTextにおけるBlockGenのマスク型拡散は、17.5 Val. PPLを達成し（ARの16.7および最高の固定ブロックBDMの21.6に対し）、拡散モデルと自己回帰モデルの差を縮めている。
サンプル品質:
- 祖先サンプリングの下では、USDMはMDMよりも低い生成パープレキシティ（Gen. PPL）を達成する。
- ARPCの下では、高NFE（例：64 NFE/block）において傾向が逆転し、マスク型ARPCは一様型ARPCよりも優れたGen. PPLのフロントIERを実現する。
- ARPCはARとの差を縮めるが、実用的な低温度域においてARのGen. PPLを上回ることはない。

意義と主張

本論文は、離散拡散に関する2つの未解決の問いを解決することを主張している：

ブロック単位の妥当性: フルシーケンス生成で見られた一様状態拡散のマスク型拡散に対する優位性は、祖先サンプリングの下でのブロック単位の生成においても引き継がれる。
インフォームド・コレクター: MDMとUSDMのランキングはレジーム依存的である。USDMは単純な祖先サンプリングやアンインフォームドなサンプラーでは優れているが、**インフォームド・コレクター（具体的にはARPC）**を用いると、この差が縮まり、計算予算（NFE）が高い場合にはマスク型拡散を支持する方向にランキングが逆転する。

著者らは、BlockGenがARと純粋な拡散の間を補完する柔軟なフレームワークを提供し、単一のモデルがブロック単位のサンプラーとしてもAR検証器としても機能できることを強調している。彼らは、自らの経験的な主張はテストされた予算とサンプラーの範囲内では堅牢であるが、実験が170Mパラメータのバックボーンに限定されているため、これらのトレードオフが大規模言語モデル（LLM）のスケールでも持続するかどうかを確立したものではないと述べている。本研究は、拡散パラダイム（マスク型か一様型か）の選択は普遍的に優れているわけではなく、サンプリング戦略と計算予算に大きく依存することを示唆している。