💬 NLP

Residual Context Diffusion Language Models

本論文では、最小限の追加計算量と学習データで拡散型大規模言語モデル（dLLM）の精度と効率を大幅に向上させるために、破棄されたトークン表現をコンテキスト残差として再利用する新しいモジュールであるResidual Context Diffusion（RCD）を提案する。

原著者： Yuezhou Hu, Harman Singh, Monishwaran Maheswaran, Haocheng Xi, Coleman Hooper, Jintao Zhang, Aditya Tomar, Michael W. Mahoney, Sewon Min, Mehrdad Farajtabar, Kurt Keutzer, Amir Gholami, Chenfeng Xu

公開日 2026-06-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuezhou Hu, Harman Singh, Monishwaran Maheswaran, Haocheng Xi, Coleman Hooper, Jintao Zhang, Aditya Tomar, Michael W. Mahoney, Sewon Min, Mehrdad Farajtabar, Kurt Keutzer, Amir Gholami, Chenfeng Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは複雑なパズル、例えば数学の問題や謎解きを解こうとしていると想像してください。そこには、あなたを助けてくれる賢いアシスタント（AI）がいます。

旧来の手法：「ゴミ箱」戦略

現在の世代のこれらのAIアシスタント（**拡散大規模言語モデル（Diffusion Large Language Models）**と呼ばれます）は、答えを一度に推測しようとしますが、それはステップを踏んで行われます。

AIはパズルを見て、すべての単語に対して推測を行います。
次に、自分自身の自信を確認します。「この単語に100%自信があるか？」
問題点： もし100%確信が持てない場合、その推測を「ゴミ箱」（**リマスキング（remasking）**と呼ばれます）に投げ捨て、空白のスペースに置き換えます。AIは、自分が絶対に確信を持っている単語だけを残します。
このプロセスを、空白を埋めながら繰り返し、パズルが完了するまで続けます。

無駄： この論文は、ここにある大きな非効率性を指摘しています。たとえアシスタントがそれらの「確信が持てない」推測をゴミ箱に捨てたとしても、それらの推測には実は有用な手がかりが含まれていました！それらは文脈や文章の流れに関するヒントを持っていたのです。それらを捨て去ることは、AIが費やした脳の力をすべて無駄にしていることになります。それは、探偵が容疑者のアリバイを「100%真実だという確信がない」という理由だけで捨ててしまい、後になってそのアリバイの中に決定的な手がかりが含まれていたことに気づくようなものです。

新しい手法：「残差コンテキスト」戦略

著者らは、**残差コンテキスト拡散（Residual Context Diffusion: RCD）**と呼ばれる新しい手法を提案しています。不確かな推測を捨てる代わりに、それらを保存し、「ヒント」として次のステップで使用します。

その仕組みを、簡単な比喩を使って説明します：

「ささやくアシスタント」の比喩：
あなたが物語を書こうとしていて、アシスタントがあなたに提案をささやいていると想像してください。

旧来の手法： アシスタントが「次は『猫』という単語だと思いますが、自信はありません」とささやいた場合、あなたはそれを完全に無視し、次のラウンドで再び尋ねるまで待ちます。
RCDの手法： アシスタントはこう言います。「100%『猫』だとは言い切れませんが、60%の確率でそう思います。その『猫』というアイデアを、『残差（residual/残り香）』として記憶の片隅に留めておきましょう。」

次のラウンドでは、アシスタントはゼロから始めるわけではありません。前のラウンドの「残り香（思考の残りカス）」を見ます。そしてこう言います。「前回は『猫』に傾いていたので、それを推測を洗練させるための出発点として使いましょう。」

秘訣：「自信メーター」

この仕組みを機能させるための巧妙なトリックを、論文は紹介しています。すべての「残り香」が等価なわけではありません。

アシスタントが非常に混乱している（**エントロピー（entropy）**が高い）場合、その混乱自体が、「自分が何を知らないのか」についての多くの情報を含んでいます。これは価値のある情報です！
アシスタントが非常に自信を持っている場合、そこから得られる新しい情報は少なくなります。

RCD手法は、これらの「残り香」にどれだけの重みを与えるかを決定するために、自信メーター（数学的にはエントロピーと呼ばれます）を使用します。もしアシスタントが非常に迷っているなら、手法はこう指示します。「この残り香を注意深く聞きなさい。これは重要です！」もしアシスタントが自信を持っているなら、「今は、この残り香を無視しても構いません」と指示します。

AIへの教え方（二段階学習）

AIにこのようなことを教えるのは非常に困難です。もし一度に教えようとすると、AIはヒントを生成する方法と、そのヒントを使う方法を同時に学ぼうとして混乱してしまうからです。それは、生徒にテストを解かせると同時に、そのテストの採点もさせるようなものです。

著者らは、これを**二段階学習（Two-Stage Training）**という方法で解決しました。

教師（Teacher）： まず、小さくてシンプルな「教師」AIを訓練します。この教師の唯一の仕事は、パズルを見て、「これが私の最善の推測です。たとえ不確かなものであっても」と提示することです。
生徒（Student）： 次に、メインとなる「生徒」AIを訓練します。生徒はパズルを見つめ、教師がヒント（残差コンテキスト）をささやきます。生徒は、これらのヒントを使ってパズルをより良く解く方法を学びます。

こうすることで、生徒はヒントを生成するための数学的プロセスに混乱することなく、ヒントを使いこなす方法を学ぶことができます。

結果：より速く、より賢く

論文では、この新手法を難しい数学の問題（AIMEコンペティションのようなもの）や一般的な推論タスクでテストしました。

精度の向上： AIの正答率が大幅に向上しました。最も難しい数学テストにおいて、精度は旧来の手法と比較してほぼ倍増しました。
ステップ数の削減： AIは「残り香」を利用してより速く賢くなるため、問題を解くために必要な推測の回数が少なくなりました。これは、行き止まりに当たったことを忘れて何度も同じ場所を通り直すのではなく、当たった行き止まりを記憶しながら迷路を解くようなものです。
効率性： この結果は、スーパーコンピュータを必要とすることなく達成されています。単に、同じ計算能力をより賢い方法で利用しているだけなのです。

まとめ

この論文は、現在のAIモデルはあまりにも無駄が多いと主張しています。彼らは多くの情報を計算しながら、それを捨て去っています。**残差コンテキスト拡散（RCD）**は、それらの捨てられた思考を保存し、AIがどれほど混乱しているかに基づいて重みを付け、次のステップへのガイドとして使用する新しいシステムです。その結果、AIはより賢く、より速く、数学や論理パズルのような複雑な問題を解く能力が格段に向上しました。

技術要約：残留コンテキスト拡散言語モデル (Residual Context Diffusion Language Models)

問題提起

拡散大規模言語モデル（dLLM）は、自己回帰（AR）モデルに代わる有望な選択肢を提供し、推論をメモリ帯域制限のレジームから計算利用率のレジームへとシフトさせる可能性を秘めている。しかし、最先端のブロック単位dLLMは、ARモデルと比較して顕著な精度格差に直面している。この格差は、推論時に使用される「再マスキング（remasking）」メカニقズムによって悪化する。各デノイジング・イテレーションにおいて、モデルは最も確信度の高いトークンのみを確定させ、残りのトークンを静的なマスク・トークンへとリセットすることで破棄してしまう。

著者らは、このプロセスが、破棄された（低確信度の）トークンに対して行われた中間計算を実質的に無駄にしていることを指摘している。トークンの想起（recall）分析が示すように、これらの中間分布には、後続のデコーディング・ステップにとって極めて重要となる、グローバルなコンテキストに関する構造化され、意味的に情報豊かな信号が含まれている。標準的なdLLMはこの情報を破棄するため、トークンあたりの計算コストが高いにもかかわらず、最適な精度を得られていない。

手法：残留コンテキスト拡散 (Residual Context Diffusion: RCD)

本論文では、破棄されたトークンの潜在表現を「コンテキスト残留物（contextual residuals）」として扱い、次のデノイジング・ステップに向けてモデルに再注入することで、計算を再利用するフレームワークである**残留コンテキスト拡散（RCD）**を提案している。

1. エントロピー加重残留注入

低確信度のトークンを単に破棄するのではなく、RCDはそれらの予測確率分布を連続的な埋め込みベクトル（ソフト・トークン）に変換し、次のステップの入力へと注入する。

残留物の構築: 位置 $i$ におけるステップ $t$ のトークンについて、残留情報 $\Delta_i^{(t)}$ は、予測確率分布 $p_{i,j}^{(t)}$ に基づく語彙埋め込みの加重和として計算される：
$\Delta_i^{(t)} = \sum_{j=1}^{V} p_{i,j}^{(t)} E_{j,:}$
ハイウェイ接続: 元の入力と残留物の間の大きさの不一致を防ぐため、RCDは現在のマスク・トークン埋め込みと前ステップからの残留物を補間するハイウェイ接続を使用する：
$\tilde{e}_i^{(t)} = (1 - \alpha_i^{(t-1)}) E(x_i^{(t)}) + \alpha_i^{(t-1)} \Delta_i^{(t-1)}$
（ここで $x_i^{(t)} = [M]$ はマスクされたトークンを表す）。
エントロピーに基づく加重: 寄与度となる重み $\alpha_i^{(t)}$ は、予測されたトークン分布の正規化されたシャノン・エントロピーによって動的に決定される。高エントロピーのトークン（低確信度）には、シーケンスの精緻化に不可欠な構造的情報をより多く保持しているという仮説に基づき、より高い重みが割り当てられる。

2. 分離された二段階トレーニング・パイプライン

RCDをエンドツーエンドで訓練することは、再帰的な依存関係（ステップ $t$ の入力がステップ $t-1$ の出力に依存する）により、RNNに似た長い展開計算グラフを生成するため、計算量的に極めて困難である。このメモリ・ボトルネックを回避するため、著者らは二段階のトレーニング戦略を提案している。

ステージ1（参照モデル）: 軽量で事前学習済みのdLLMを、凍結された「参照モデル（Reference Model, $M_{ref}$ ）」としてファインチューニングする。これは高品質な確率分布とエントロピー重みを生成する役割を担う。
ステージョ2（ターゲットモデルの訓練）: 「ターゲットモデル（Target Model, $M_{target}$ ）」を、凍結された $M_{ref}$ から得られた信号を用いて訓練する。訓練中、 $M_{ref}$ は確率分布とエントロピー重みを提供して残留ベクトルを構築し、それが $M_{target}$ の入力埋め込みに注入される。これにより、残留物の生成と利用が分離され、Backpropagation Through Time（BPTT）を伴わない標準的なシングルステップの教師あり学習が可能になる。

3. 推論戦略

推論時、モデルは自身で残留物を生成する自己参照ループへと移行する。訓練（プロキシ）フェーズと推論（自己生成）フェース間の分布の乖離を埋めるため、著者らは以下を導入している。

温度スケールされたエントロピー: スカラー $T_{res}$ が、エントロピー計算に使用される確率分布の「柔らかさ」を調整し、モデルの確信度を訓練時の分布に適合させる。
初期化: プロセスは、参照モデルによる初期予測を用いた「ウォームスタート」またはゼロベクトルを用いた「コールドスタート」が可能である。

主な貢献

残留コンテキスト・メカニズム: 破棄されたトークンの表現を再利用し、無駄になった計算を、ガイドとなるコンテキスト信号へと変換する、dLLMのための新しいモジュール。
エントロピー駆動型集約: 正規化されたシャノン・エントロピーに基づいて残留情報の重み付けを行う原理的な手法であり、不確実なトークンがコンテキストの精緻化により多く貢献することを保証する。
効率的なトレーニング・パイプライン: BPTTによるメモリ・ボトルネックを回避する、分離された二段階のトレーニング・アプローチ。これにより、最小限のデータ（約3億トークン）で標準的なdLLMをRCDパラダイムへ変換できる。
新たなパレート・トレードオフ: デノイジング・ステップ数と残留伝達の間の新しい制御ノブを導入し、同等のレイテンシでより高い精度を実現するか、あるいは同一の精度に対して大幅に少ないステップ数を実現することを可能にする。

実験結果

著者らは、2つの異なるdLLMファミリー（双方向グローバル・コンテキストを持つ LLaDA および半自己回帰ブロック単位の SDAR）を用いてRCDの検証を行った。

精度の向上: RCDは、GSM8K、MATH500、MinervaMathを含むベンチマークにおいて、最先端のdLLMを一貫して 4〜11パーセントポイント 向上させた。
複雑な推論: 困難なAIME24/25ベンチマークにおいて、RCDはベースラインの精度をほぼ倍増させた（例：SDAR-8B-b64はAIME24において7.08%から18.75%へ向上）。
効率性: RCDは、最小限の追加計算オーバーヘッドでこれらの利得を実現している。ベースラインのピーク精度を、4〜5倍少ないデノイジング・ステップ数で達成している。
データ効率: RCDは約3億トークンの訓練データのみで高い推論精度に到達するが、競合する潜在ベースの手法（例：Loopholing）は、同等の予算下では一貫したシーケンスを生成できない。
スケーラビリティ: RCDは、4Bから8Bパラメータのモデル、および異なるブロックサイズ（32および64トークン）にわたって堅牢にスケールする。

意義と主張

本論文は、現在のdLLMにおける主要なボトルネックは、訓練ステップやモデル容量の不足ではなく、再マスキング戦略によって引き起こされる情報の損失であると主張している。破棄されたトークンの「無駄にされた」計算を再利用することで、RCDは、並列デコーディングの利点を維持しつつ、自己回帰モデルの推論能力に匹敵、あるいはそれを凌駕するポテンシャルを拡散モデルの解放する。

著者らは、RCDを高精度な並列テキスト生成のための実用的かつスケーラブルなソリューションとして位置づけている。RCDはバックボーンモデルへのアーキテクチャ変更を必要とせず、むしろデコーディングとトレーニングのパラダイムの変更を求めるものであり、次世代の拡散言語モデルを改善するための実行可能な道筋であることを強調している。