🤖 machine learning

CForce: Boosting Parallel Decoding for dLLMs via Consistency Forcing

本論文は、新たな信頼度適応型KLダイバージェンス目的関数を通じて、初期段階のマスク予測を後続段階の洗練プロセスと整合させることにより、拡散大規模言語モデルの速度と品質のトレードオフを改善する一貫性強制蒸留手法であるCForceを提案する。

原著者： Yuji Ren, Chenkai Xu, Zhuocheng Gong, Jianguo Li, Zhijie Deng

公開日 2026-08-17

📖 1 分で読めます☕ さくっと読める

原著者： Yuji Ren, Chenkai Xu, Zhuocheng Gong, Jianguo Li, Zhijie Deng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピュータが本をめくるように言葉を一つずつ読むのではなく、文章全体を一目で見渡し、欠けている部分を一度に推測できる世界を想像してみてください。これが**拡散大規模言語モデル（dLLMs）**の世界です。これらは、霧に覆われた犯罪現場の謎を解こうとする探偵のようなものだと考えてください。探偵は疑問符（マスク）で埋め尽くされたページからスタートし、一歩ずつ霧を取り除いて、隠された言葉を明らかにしていきます。霧を晴らすスピードが速ければ速いほど、物語を書くスピードも速くなります。

しかし、そこには落とし穴があります。もし探偵が時間を節約するために一度に多くの霧を晴らそうとしすぎると、早い段階で間違った言葉を推測してしまう可能性があります。一度間違った推測をしてしまうと、それを修正するのは難しく、物語全体が脱線してしまうかもしれません。この論文では、この特定の問題、つまり、いかにしてこれらの「霧を晴らす」探偵を、不注意になることなく超高速にするかという問題に取り組んでいます。著者らは、モデルが急いでいる時でも初期の推測をより信頼できるようにするための、**コンシステンシー・フォーシング（Consistency Forcing: 一貫性強制）**と呼ばれる新しい学習テクニックを紹介しています。

問題点：ラッシュアワーのミス

一緒に壁画を描こうとしているアーティストのグループを想像してみてください。伝統的なセットアップでは、彼らは小さなセクションを一つ描き、それが乾くのを待ってから次のセクションへと進みます。これは遅いですが安全です。拡散モデルは、一度に10個のセクションを塗ろうとするチームのようなものです。これはスピード面では素晴らしいことですが、もしアーティストたちが急いでいたために最初の数個のセクションが間違った色で塗られてしまったら、残りの壁画は奇妙なものになり、後で修正するのは悪夢となります。

論文は、これらのモデルが超高速化しようとする時（「積極的な並列化」を使用する時）、初期段階で信頼性の低い推測を頻繁に行うことを指摘しています。これらの初期のミスは悪い噂のように広がり、最終的な結果を台無しにします。目標は単にモデルを速くすることではなく、そのスピードに耐えうるほど「初期の」推測を信頼できるものにすることでした。

解決策：「タイムトラベル」コーチ

ここで登場するのが、**コンシステンシー・フォーシング（CForce）**です。学生アスリートが練習しているのを見守るコーチを想像してください。通常、コーチは単に「もう一度やりなさい」と言うだけかもしれません。しかし、CForceは「タイムトラベル」のトリックを使う特別な種類のコーチです。

仕組みは以下の通りです：

セルフプレイ（自己対戦）： モデルに対し、空白のページから完成した文章に至るまでの完全な経路を作成しながら、自力で物語を生成させます。これが「セルフ・ロールアウト」です。
ステージ（段階）： すべての微細なステップを見る代わりに、コーチはこの経路を「ステージ」に分割します。これは、映画を早送りで観ているようなものですが、プロットの重要な塊が明らかになるたびに一時停止するようなものです。
レッスン： コーチは、物語がまだ霧に包まれ不確実な「初期ステージ」を取り出し、それをより明確で完成度の高い「後期のステージ」と比較します。そしてコーチはモデルにこう伝えます。「おい、物語が霧に包まれていた時に君がした推測は、物語がクリアになった時の推測とよく似ていなければならないぞ」。

モデルは、初期の不安定な予測を、後期の自信に満ちた予測に一致させるように訓練されます。それは学生に対して、「エッセイの初稿には、すでに主要なアイデアが含まれていなければならない。なぜなら、最終稿には間違いなくそれらが含まれているのだから」と教えるようなものです。

秘伝のソース：自信とアンカー

この学習を完璧に機能させるために、著者らは2つの巧妙なツールを追加しました。

信頼度適応型KLダイバージェンス（Confidence Adaptive KL Divergence）： これは、「確信がある時はもっと真剣に聞きなさい」ということを洗練された言葉で表現したものです。物語の後期ステージがある言葉に対して非常に自信を持っている場合、モデルは予測を一致させるよう強く促されます。後期ステージがまだ確信を持てていない場合は、モデルにある程度の柔軟性が許されます。これは、いつ厳しく、いつ寛大になるべきかを知っている動的な教師です。
CEアンカー（CE Anchor）： これはセーフティネットとして機能します。言葉がようやく明らかになった（壁画に描かれた）とき、モデルが正確であることを確実にするために、少しだけ追加の押し（ナッジ）を与えます。これにより、言葉が確定する決定的な瞬間に、モデルがコースから外れてしまうのを防ぎます。

分かったこと：クラッシュのないスピード

チームは、2種類のモデル（新しいテキストを書くだけの「非編集型」と、間違いに戻って修正することもできる「編集可能型」）でこの方法をテストしました。

「修正型」モデルの場合： 結果は印象的でした。CForceを使用することで、モデルは精度を向上させつつ（85.57%から86.41%へ上昇）、1回のフォワードパスあたり6.94トークンから9.08トークンを生成できるようになりました。より速く、かつより賢くなりました。
「執筆型」モデルの場合： ここではトレードオフがありましたが、良いトレードオフでした。モデルは1パスあたり3.60から6.42トークンを生成できるようになり、これは巨大なスピードアップです。精度は低速で慎重なバージョンと比較してわずかに低下しましたが、他の高速な手法と比較して依然として非常に優れたものでした。

この論文は、この手法がモデルに「自分自身との一貫性」を教えることで機能していることを示唆しています。初期の、コンテキストの少ない推測を、後期の、コンテキストの高い現実と一致させるように強制することで、モデルは最初からより良い判断を下せるようになるのです。

結論

この論文は、AIの速度に関するすべての問題を解決したと主張しているわけではありませんが、テキスト生成の「ラッシュアワー」に対処するための、非常に有望な新しい方法を提示しています。モデル自身の未来の姿を使って現在の自分を導くことで、コンシステンシー・フォーシングは、拡散モデルが足をもつれさせることなく、より速く動作することを助けます。これは、時には、最も速く前進する方法は、将来の自分と同じ方向を見ていることを確認することである、ということを思い出させてくれます。

技術要約: CForce: 一貫性強制による dLLM の並列デコーディングの強化

1. 問題提起

拡散大規模言語モデル（dLLM）は、一度のフォワードパスで複数のマスクされたトークンを予測することで、テキスト生成を加速させ、高い並列性を実現します。しかし、アグレッシブな並列デコーディング戦略（信頼度の閾値に基づいて多くのトークンを同時に確定させる戦略）の下では、初期のデノイジング段階において、コンテキストが限定的であるために予測が信頼できない状態に陥ることがよくあります。これらの初期段階のエラーは後続の段階へと伝播し、生成全体の品質を低下させます。

既存の加速手法には、主に2つの限界があります：

推論時のアプローチ（例：キャッシュ、投機的デコーディング）は、予測の固有の信頼性を向上させるためにモデルのパラメータを変更することはありません。
学習ベースのアプローチは、多くの場合、構築された教師生成、あるいは特権的な軌道（privileged trajectories）に依存しています。これらのターゲットは、学生モデルの実際の推論状態（低コンテキスト、閾値決定によるパス）とは異なります。これは、学習と推論の間のミスマッチを引き起こします。

核心となる課題は、外部の教師に頼ったり、根本的なデコーディングアルゴリズムを変更したりすることなく、高並列デコーディング下における初期段階の予測の信頼性を向上させることです。

2. 手法: 一貫性強制 (Consistency Forcing: CForce)

CForceは、モデル自身のデコーディング軌道内において、初期の（コンテキストが少ない）デノイジング段階の予測を、より情報量の多い後続の段階の予測に整合させるために設計された蒸留手法です。

2.1 ステージ化された軌道の構築

Cفرضは、すべてのネイティブなデコーディングステップに対して学習を行うのではなく、学習済みのdLLMの自己ロールアウトから「ステージ化された」軌道を構築します：

自己ロールアウト (Self-Rollout): モデルは、信頼度に基づく並列デコーディング（閾値 $\tau$ を超えたトークンを明らかにする）を使用して軌道を生成します。
ステージ分割 (Stage Partitioning): 軌道は、ネイティブのステップ数ではなく、新たに明らかになったトークンの累積数（ステージサイズ $S$ ）に基づいてステージへとダウンサンプリングされます。これにより、隣接するステージが重要なコンテキストの変化を表すことが保証されます。
隣接ペア (Adjacent Pairs): 学習ペアは、初期ステージ ( $\bar{s}_i$ ) と後続ステージ ( $\bar{s}_{i+1}$ ) で構成されます。後続ステージは、初期ステージに対するストップグラジエント（勾配停止）ターゲットとして機能します。

2.2 学習目的関数

本手法は、一貫性を強制するために複合的な損失関数を採用しています：

信頼度適応型 KL ダイバージェンス (Confidence Adaptive KL Divergence: CAD):
- 両方のステージでマスクされたままの状態にある位置 ( $U_i$ ) に適用されます。
- 後続ステージの予測の信頼度 ( $c_j$ ) に基づいて、Forward KL と Reverse KL の間を動的に補間します。
- Forward KL: 分布のドリフトを最小化します（安定）。
- Reverse KL: モード探索（予測のシャープ化）を促進しますが、不確実なターゲットに対する崩壊を避けるため、信頼度によって重み付けされます。
- 数式: $L_{CAD} = \frac{1}{|U_i|} \sum_{j \in U_i} [D_{KL}(p^{tar}_j \| p^{stu}_j) + c_j D_{KL}(p^{stu}_j \| p^{tar}_j)]$
クロスエントロピー (CE) アンカー:
- ステージ間で新たに明らかになった位置 ( $\Delta_i$ ) に適用されます。
- 学生の予測を、確定直前のクリーンなターゲット・トークンに固定（アンカー）し、マスク状態から明示状態への遷移を安定させます。
カリキュラム学習:
- 前方のトークンを予測することの困難さを扱うため、モデルはステージ間の全ギャップに対して徐々に露出されるようになります。ターゲットとして使用される明らかになったトークンの割合は、学習ステップを通じて10%から100%へと増加します。

2.3 編集可能モデルへの拡張

Token-to-Token (T2T) 精緻化をサポートするモデル（例：LLaDA 2.1）に対して、CForceは後続ステージによる修正を活用します：

編集信号 (Edit Signals): 後続ステージでトークンが修正された位置 ( $\bar{E}_i$ ) は、CADのドメインに含まれます。
教師あり学習: これらのT2Tによる修正は、より豊かな教師信号を初期の Mask-to-Token (M2T) 予測に提供し、モデルが自身の自己修正能力から学習することを可能にします。

2.4 理論的正当化

本論文では、初期段階の予測誤差が、隣接するステージ間の分布ドリフトと、開示境界におけるトークン誤差の和によって上限が抑えられることを示す理論的境界を提示しています。CAD項はドリフトを最小化し、CEアンカーは境界誤差を最小化することで、初期段階の予測誤差を近似的に最小化します。

3. 主な貢献

再定義された加速: dLLMの加速の焦点を、単なるサンプリングステップの削減から、アグレッシブな閾値デコーディング下における初期段階の予測の信頼性向上へとシフトさせました。
一の一貫性強制 (Consistency Forcing): 外部の凍結された教師なしで、同じモデルのストップグラジエント・ターゲットを用いて、隣接するステージを自身のデコーディング軌道上で整合させる蒸留手法を導入しました。
新しい目的関数: 分布の安定性とモード探索のバランスを取るための Confidence Adaptive KL Divergence (CAD) と、トークンの確定のための CE アンカーを提案しました。
編集可能モデルへの統合: T2T 精緻化信号がどのように初期の M2T ドラフティングを教師あり学習できるかを示し、編集および非編集の両方の設定において性能を向上させました。

4. 実験結果

LLaDA 2.0 (非編集) および LLaDA 2.1 (編集可能) のバリアントを用い、GSM8K, MATH500, MBPP, HumanEval の4つのベンチマークで実験を行いました。

編集可能モデル (LLaDA 2.1-mini):
- CForce により、平均 Tokens Per Forward (TPF) が 6.94 から 9.08 に増加しました。
- 平均精度は 85.57% から 86.41% に向上しました。
- ゲインは、特にコード生成ベンチマーク (MBPP, HumanEval) で顕著でした。
非編集モデル (LLaDA 2.0-mini):
- CForce により、モデルが高並列動作点へとシフトし、平均 TPF が 3.60 から 6.42 に増加しました。
- 平均精度は（固有の速度と品質のトレードオフにより）ベースモデルよりわずかに低いものの、高並列時において CAP ベースラインを大幅に上回りました。
- 固定されたアグレッシブな TPF バジェット（例：TPF=8）の下では、CForce がすべてのバリアントの中で最高の精度を達成しました。
スループット:
- CForce は、ベースの LLaDA 2.0-mini に対して 42.82%、ベースの LLaDA 2.1-mini に対して 22.84% のウォールクロック・スループット向上を達成しました。
アブレーション研究:
- ステージサイズ: $S=8$ が、並列性と精度の間で最良のバランスを提供しました。
- ターゲットの種類: 同一モデルのストップグラジエント・ターゲットは、凍結された教師ベースラインよりも優れた性能を示しました。
- KL の形式: CAD は、純粋な Forward KL (高い並列性) と純粋な Reverse KL (高い精度) の両方を上回り、優れたトレードオフを実現しました。

5. 意義と主張

本論文は、Consistency Forcing が高並列 dLLM デコーディングにおける信頼性のボトルネックを効果的に解決することを主張しています。初期段階の予測を、自身の軌道から得られる、より情報量の多い後続の状態に整合させることで、CForce は以下を可能にします：

より高い並列性: 壊滅的なエラー伝播を起こすことなく、一度のフォワードパスでより多くのトークンを確定できます。
速度と品質のトレードオフの改善: 方法論は動作の最前線を押し上げ、特に自己修正信号が利用可能な編集可能シナリオにおいて、品質を維持または向上させながら、より高速な生成を可能にします。
汎用的な適用可能性: このアプローチは、標準的なマスク拡散および編集可能モデルの両方に有効であり、それぞれの強み（M2T ドラフティングおよび T2T 精緻化）を活用します。

著者らは、本手法が現時点では固定された初期化からの事前収集された軌道に依存しており、学習が進むにつれて学生の分布から乖離する可能性があると指摘しています。今後の課題として、強制的な目的関数を進化するモデルに適応させるための、オンライン・トラジェクタリ収集の探索が示唆されています。