技術要約：拡散言語モデルのための候補認識型デコーディング（Candidate-Aware Decoding）

1. 問題提起

拡散言語モデル（DLM）は、完全にマスクされたシーケンスを反復的にデノイジング（ノイズ除去）することでテキストを生成する。自己回帰型モデルとは異なり、DLMは各中間ステップにおいて、すべてのポジションに対して暫定的な予測を保持している。これにより、以下の2つの異なる軸に沿ったトレーニングフリーの加速の機会が生まれる：

1. 適応型サンプリング（Adaptive Sampling）: デコーディングが継続している間、個々のポジションがいつトークンを確定させるか（決定する）を判断する（例：Fast-dLLM, SlowFast, KLASS）。
2. 生成時の早期終了（Generation-Time Early Exit）: シーケンス全体をいつ停止し、全ポジションを埋めて終了するかを判断する（例：Prophet, SchED）。

既存の手法は、意思決定のスコープに対して不適切なエビデンスに依存しているため、これら2つの軸を効果的にバランスさせることができていない：

• 時期尚早な終了（Premature Termination）: 既存の早期終了ゲート（Prophetなど）は、固定領域の信頼度統計やスケジュール依存のルールに依存していることが多い。これらはポジションレベルの信号を集計するが、基礎となる候補の回答が依然として変動している最中であっても、信号が安定しているように見えることがある。その結果、これらのゲートは思考連鎖（CoT）タスクにおいて時期尚早に作動してしまい、シーケンスを確定させてしまうため、大幅な精度低下（一部の設定では最大69ポイント）を招く。
• 非効率なサンプリング: 適応型サンプラーはトークンの確定ペースを調整するが、シーケンス自体が完了したかどうかを検証することはない。回答がすでに安定している場合でも、残りのすべてのトークンのデコーディングを継続するため、グローバルな停止による節約の可能性を逃している。
• タスク依存性: 候補の安定化のタイミングはタスクに強く依存する。短答タスクはデコーディング工程の約4%で安定する場合がある一方、長い推論タスクでは最後の4%まで安定しないことが多い。単一の「進捗ベース」のルールでは、両方に対応することはできない。

2. 手法：LATCH

著者らは、2つの加速軸を分離し、それぞれの意思決定のスコープに適合した特定のゲートを適用する、トレーニングフリーのフレームワークであるLATCH（Localized Acceleration with Tracked-Candidate Halting）を提案する。

A. 信頼性検証付きコミット（CVC）：いつ停止するかを決定する

CVCは、グローバルな終了決定（フィル・アンド・ストップ）を制御する。固定領域を監視する従来の手法とは異なり、CVCは動的に抽出された候補スパンに基づいて動作する。

• メカニズム: 各ステップにおいて、CVCはタスクの出力形式（例：数学タスクにおける末尾部分）に基づき、バッファから候補回答を再抽出する。
• 結合収束基準: このゲートは、抽出されたスパンにおいて以下の2つの条件が同時に満たされた場合にのみ、終了を許可する：
  1. 信頼性（Confidence）: 候補の平均ソフトマックス信頼度（$c_t$）が閾値（$\tau_{CVC}$）を超えること。
  2. 安定性（Stability）: 候補の値が一定のステップ数（$run_t$）にわたって変化しないこと。このカウンターは、抽出された値が前ステップと同一である場合にのみインクリメントされ、候補が抽出できない場合は一時停止する。必要なランレングスは動的であり、$run_t \ge \max(p_{min}, \lceil \gamma \cdot changes_t \rceil)$ となる（ここで $changes_t$ は値の反転回数を示す）。
• 利点: これにより、中間的な推論プロセスが安定しているように見えても最終的な回答がまだ修正されている可能性がある長い推論タスクにおいて、シーケンスが早期に終了してしまうことを防ぎ、回答そのものが安定したときにのみシーケンスを停止させる。

B. ブロック単位の早期コミット（BWEC）：どこを加速させるかを決定する

BWECは、非最終ブロックにおけるコミットのローカルなペースを制御する。

• メカニズム: $B_0$ から $B_{N-2}$ までのブロックに対して、より軽量なローカル信頼度ルールを適用する。マスクされたポジションの信頼度が閾値（$\tau_{BWEC}$）を超えた場合、スケジュールされたトップ-$k$ 再マスキングをバイパスして即座にコミットする。
• 保護: 最終ブロック（$B_{N-1}$）はBWECから除外される。これは、ローカルなルールによって最終的な回答が時期尚早に確定されるリスクを防ぐためである。グローバルな終了は、厳密にCVCの制御下に置かれる。
• 利点: 最終的な回答の整合性を損なうことなく、中間的な推論ステップ（早期に安定することが多い）を加速させる。

3. 主な貢献

1. タスク依存の安定化分析: 候補の安定化タイミングはタスク間で劇的に異なること（デコーディング進捗の4%から96%まで）を実証し、進捗のみに基づく早期コミットの信頼性の低さを明らかにした。
2. LATCHフレームワーク: 「どこを（非最終ブロックに対するBWEC）」と「いつ（グローバルな終了に対するCVC）」を分離したデュアルゲートシステム。
   • CVCは、停止前に動的に抽出された候補の同一性と安定性を検証する。
   • BWECは、ローカルな信頼度信号を用いて非最終ブロックを加速させる。
3. ゼロショット、クロスバックボーン転移性: LATCHは、単一のバックボーン（LLaDA）で一度キャリブレーションされた、1組の凍結されたハイパーパラメータ（$\tau_{CVC}=0.7, \gamma=2.0, p_{min}=3, \tau_{BWEC}=0.9$）のみを必要とする。これは、チューニングなしで異なるバックボーン（Dream）へ、また11の多様なタスクへと転移可能である。

4. 実験結果

LLaDA-8B-Instruct および Dream-7B-Instruct を用い、11のタスク（短答式6、長文推論式5）においてゼロショット設定で評価した：

• 精度（Accuracy）: LATCHは、すべての22の評価設定において、フルデコーディング精度から2.0パーセントポイント以内に収まっている。
  • 対照的に、既存の終了ゲート（Prophet, SchED）やサンプラー（SlowFast）は、長文推論タスクにおいてこの許容範囲を頻繁に超え、精度低下が5〜69ポイントに及ぶこともある。
  • LATCHは、従来の研究が持つ「サフィックスプロンプト（接尾辞プロンプト）」への依存を回避し、自由形式のプロンプトに対しても堅牢に動作する。
• 速度向上（TPS）:
  • 短答タスク: 9.3倍 ～ 17.8倍の高速化を実現。
  • 長文推論タスク: 2.0倍 ～ 3.3倍の高速化を実現。
• 効率性: 長文推論タスクにおける高速化は、主にBWEC（中間ブロックの加速）によって駆動されており、短答タスクにおける大幅な利得は、早期のグローバル終了を可能にするCVCによってもたらされている。

5. 意義と主張

本論文は、既存のDLM加速における主な失敗モードは、使用されるエビデンス（集約されたポジションレベルの信号）と、意思決定のスコープ（グローバルなシーケンス終了）との間のミスマッチであると主張している。

• プロキシ（代理指標）から検証へ: LATCHは、検証の対象をプロキシ（固定領域の信頼度）から、オブジェクトそのもの（動的に抽出された候補）へとシフトさせている。これにより、一時的な安定した推測と、真に収束した回答を区別することが可能になる。
• 構成可能性（Composability）: 適応型サンプリング（ローカルなコミット）と早期終了（グローバルな停止）による節約は、競合するのではなく、組み合わさることが示されている。最終ブロックをCVCで保護しながら、それより前のブロックをBWECで加速することにより、LATCHは、どちらか一方の軸だけでは精度を犠牲にせずには達成できなかった速度向上を実現している。
• 実用性: 本フレームワークは完全にトレーニングフリーであり、サフィックスプロンプトのエンジニアリングを必要とせず、単一のハイパーパラメータセットで異なるモデルアーキテクチャ間を転移できるため、DLMを効率的にデプロイするための実用的なソリューションとなっている。