技術的概要：コアへの焦点（FoCore）

1. 問題定義

拡散大規模言語モデル（DLM）は、反復的なノイズ除去パラダイムを通じてグローバルな文脈モデリングを可能にすることで、自己回帰（AR）モデルに対して明確な利点を提供します。しかし、現在のデコーディング戦略は、この能力を十分に活用できず、すでにノイズが除去された位置に近いトークンが不釣り合いに高い信頼度スコアを受ける「局所的バイアス」の傾向を示しています。この局所的バイアスは、自然言語に内在する不均質な情報密度を無視しています。

本論文は、自然言語の文脈には以下の混合が含まれていると主張します：

• 低情報密度（LD）トークン: 冗長な背景パディング（例：「for」、「she」などの構造的な単語）。
• 高情報密度（HD）トークン: 生成軌道を誘導する中核的な推論単位または論理的なアンカー（例：実体、数値、特定の制約）。

現在の戦略は、これらの HD トークンを見過ごしがちであり、特に数学やコード生成のような複雑な推論タスクにおいて、生成品質の低下を招いています。さらに、標準的なデコーディングプロセスは、HD トークンが周囲のトークンよりも早期に収束（安定化）する傾向があるという観察結果を十分に活用しておらず、推論加速の機会を逃しています。

2. 手法

本論文は、トレーニング不要のデコーディング戦略であるFoCore（Focus on the Core）と、その効率的な変種FoCore_Aを提案します。この手法は、HD トークンに関する 3 つの重要な経験的知見に基づいています：

1. HD トークンへの明示的な条件付けは、出力品質を大幅に向上させる。
2. HD トークンは早期デコーディングの傾向を示し、周囲のトークンよりも早く最終状態に収束する。
3. HD トークンはグローバル文脈のマスクに対して極めて敏感であり、文脈が隠蔽されると信頼度が大幅に低下するのに対し、頑健な LD トークンとは対照的である。

A. HD トークンの同定

ドメイン固有のヒューリスティック（コード生成では失敗する）を避けるため、著者は分布安定性に基づく自動同定メカニズムを提案します：

• 指標: 連続するデコーディングステップ（$t$ と $t-1$）間の、トークンの予測確率分布の不安定性を測定するために、Top-K 切り捨て Jensen-Shannon（JS）ダイバージェンスを利用します。
• ロジック: HD トークンは反復を通じて分布の大きな変化を引き起こすのに対し、LD トークンは安定した分布を維持します。
• 精緻化: ステップごとのダイバージェンススコアに**指数移動平均（EMA）**を適用して、歴史的な不安定性を追跡し、一時的な変動をフィルタリングして、高い累積的不安定性（$S^{(i)}_t$）を持つトークンを特定します。

B. FoCore メカニズム（自己対照）

FoCore は、特定された HD トークンを自己対照的に利用して、再トレーニングなしで生成を誘導します：

1. 負のサンプル構築: 各反復において、最も不安定（収束）な上位 K 個の HD トークンを一時的に再マスク（[MASK] に置換）し、「無条件」の入力シーケンス（$\tilde{X}_t$）を作成します。
2. 対照的ガイダンス: モデルは、元のシーケンス（$X_t$）と再マスクされたシーケンス（$\tilde{X}_t$）の 2 つのフォワードパスを実行します。
3. ログイット調整: 最終的なログイットは、条件付き出力と無条件出力を対照させることで計算されます：
   $$\hat{L}_t = L_{cond} + \omega \cdot (L_{cond} - L_{uncond})$$
   これにより、モデルはこれらの重要なアンカーが存在する軌道からの逸脱を罰することで、コアとなる HD トークンに厳密に注意を固定させます。

C. FoCore_A（加速変種）

HD トークンが早期に収束するという知見を活用し、FoCore_Aは並列デコーディングメカニズムを導入します：

• 監視: 未デコード位置の平均不安定性スコアを継続的に監視します。
• 早期終了: 平均不安定性が閾値（$\tau$）以下に低下し、コア HD トークンが十分に収束したと判断されると、システムは並列デコーディングをトリガーします。
• 実行: 単一のステップで、$m$ 個の追加の高信頼度トークン（通常はローカル文脈ウィンドウ内の LD トークン）をデコードし、フォワードパスとデコーディングステップの総数を大幅に削減します。

3. 主要な貢献

1. HD トークンの経験的分析: 本論文は HD トークンの行動特性を体系的に調査し、それらが意味的ガイダンス（品質）に不可欠であると同時に、早期収束（効率性）を示すという二重の利点を明らかにしました。
2. FoCore デコーディング戦略: 収束した HD トークンを負のサンプルとして動的に再マスクし、生成品質を向上させる、トレーニング不要の自己対照的手法です。
3. FoCore_A 加速: HD トークンの早期デコーディング傾向を利用して並列デコーディングを可能にする効率的な変種であり、遅延を大幅に削減します。
4. 包括的な評価: 数学、コード、論理的推論のベンチマーク全体にわたる広範な実験により、最先端のベースラインに対して一貫した改善が示されました。

4. 実験結果

本手法は、6 つのベンチマーク（GSM8K、MATH500、HumanEval、MBPP、SVAMP、Countdown）において、LLaDA 8BおよびDream 7Bのバックボーンで評価されました。

• 品質の向上:

  • HumanEvalにおいて、FoCore は pass@1 を標準 CFG の39.02から42.68に向上させました。
  • MBPPにおいて、FoCore は生成長さごとに38.40/40.40/40.00のスコアを達成し、Prophet や KLASS などの競合他社を上回りました。
  • MATH500において、FoCore は43.80に達し、最良のベースライン（Confidence）の 42.60 を上回りました。
  • この手法は生成長さ（128 から 512）に対して単調なスケーリングを示したのに対し、多くのベースラインは長い長さでパフォーマンスが低下しました。

• 効率性の向上（FoCore_A）:

  • デコーディングステップ: 標準 CFG と比較して HumanEval で2.07 倍削減されました。
  • レイテンシ: HumanEval におけるサンプルあたりのレイテンシは20.76 秒から8.64 秒に低下し（**58.4%**の削減）、
  • 高速化: 最先端の効率的な手法である Prophet や KLASS と比較してタスク精度を維持または向上させながら、ベンチマーク全体で1.45 倍から 2.29 倍の高速化を達成しました。

5. 意義と主張

本論文は、Focus on the Coreが DLM デコーディングにおける根本的なボトルネック、すなわち冗長な背景情報と重要な推論アンカーとの区別の失敗に対処していると主張します。

• 理論的洞察: この研究は、条件付きエントロピーと分布的不安定性を結びつける理論的枠組みを提供し、HD トークンがデコーディング軌道を支配する情報ボトルネックとして機能することを証明しています。これらのトークンの不確実性を自己対照によって圧縮することで、FoCore は生成経路を安定化させます。
• 実用的影響: 提案された枠組みは、推論品質と推論速度を同時に向上させるトレーニング不要のソリューションを提供します。DLM の効率化はアーキテクチャの変更だけでなく、テキストにおける情報密度の不均質な性質を尊重するより賢明なデコーディング戦略によっても達成可能であることを示しています。
• 将来の方向性: 著者は、この「コアへの焦点」意識をパラメータレベルのトレーニング（例：RL ベースのポストトレーニング）に組み込むことが有望な将来の方向性であると示唆していますが、現在の研究は厳密に推論時のデコーディングに焦点を当てています。