💬 NLP

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

本論文は、固定されたTransformerバックボーンを変更したり法外な学習コストを発生させたりすることなく、ストリーム分解を通じてシーケンス長方向にトークン計算を拡張することにより、フロンティアスケールにおいて大幅な性能向上を可能にする、大規模言語モデルを強化する新しいスケーリング手法であるHidden Decodingを紹介する。

原著者： Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Sh

公開日 2026-07-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください、あなたはすでにかなり素晴らしい、超スマートなロボットの脳（大規模言語モデル）を持っています。通常、この脳をさらに賢くするために、科学者たちは脳を大きくしようとします。もっと多くの層を加え、もっと多くのニューロンを、もっと多くのすべてを追加するのです。しかし、これはスカイスクレイパーの上にさらにスカイスクレイパーを建てようとするようなものです。莫大な費用がかかり、膨大な時間がかかり、時には建設作業員（トレーニング用のコンピュータ）がその大きさに耐えられなくなってしまうこともあります。

WeChatのAIチームは、異なる問いを投げかけました。「もし、脳のサイズはまったく同じに保ったまま、各単語について考える時間を増やしたらどうなるだろうか？」

「ループ」の問題点

一部の研究者は、ロボットに思考を「ループ」させることでこれを解決しようと試みました。学生が文章を読み、次にそれをもう一度読み、また何度も読み、同じ脳細胞を何度も繰り返し使ってより良い答えを導き出す様子を想像してください。これは「ループ型」または「回帰型」モデルと呼ばれます。

しかし、ここに落とし穴があります。最大級のロボット（数千億のパラメータを持つもの）を訓練しようとすると、このループのアイデアは組み立てラインを壊してしまいます。これらのモデルを訓練するコンピュータはパイプライン方式で動作しており、脳の各部分が一度ずつ役割を果たし、バトンを渡していきます。もしロボットが同じ文章を読み直すために立ち止まってしまうと、ライン全体が停滞します。高価なコンピュータがアイドル状態（何もしていない状態）になってしまうのです。それは、工場のベルトコンベアが、作業員が同じネジを締め直すために何度も止まってしまうようなものです。工場全体の動きが止まってしまいます。

解決策：「隠れたデコーディング」（秘密の組み立てライン）

WeChatのチームは、「隠れたデコーディング（Hidden Decoding）」と呼ばれる巧妙なトリックを考案しました。ロボットに同じ単語をループの中で何度も読ませる代わりに、複数のレーンを使って、同時に、かつ秘密裏に、その単語を何度も読ませるのです。

これはレースカーのチームのようなものです。一台の車が最高のラップタイムを出すためにトラックを3周するのではなく、**4台の同一の車（ストリーム）**を同時にトラックへと送り出します。

セットアップ: ロボットが単語（例えば「apple」）を見ると、それを単一のコードに変換するだけではありません。それを4つの異なるコードに変換し、それぞれを独自の秘密のレーンへと送り込みます。
秘密の作業: これら4つのレーンは脳の層を通り抜けます。最初の3つのレーンは「隠された」状態です。彼らは重労働、思考、推論のすべてを行いますが、まだ答えを口にすることはできません。彼らはバックルームにいるブレーンストーミング・チームのようなものです。
最終決定: 4番目のレーン（最終ストリーム）だけが、次の単語を叫ぶことが許されます。脳は、この最終的な答えに対してのみ採点されます。
メモリ: 決定的なことに、脳は最初の3つのレーンが何を考えたかを記憶します。次の単語が前の単語からのブレーンストーミングのメモ（「キー・バリュー・キャッシュ」と呼ばれます）を読めるように、彼らのメモを保持し続けます。

このようにして、ロボットは単語ごとに4倍の思考力を得ることができますが、脳を大きくしたり、組み立てラインを止めたりする必要はありません。ただ、一度に処理するデータのシーケンスを長くするだけなのです。

手頃な価格にするための工夫：「ストリーム分解」のトリック

「待ってください、もし4つのレーンが互いに話し合ったら、数学的な計算はめちゃくちゃ複雑になるのではないですか？」と思うかもしれません。もしすべてのステップで、すべてのレーンが他のすべてのレーンと通信しようとしたら、コストは爆発的に増大（16倍に！）してしまうでしょう。

これを解決するために、チームは「ストリーム分解アテンション（Stream-Factorized Attention）」という手法を用いました。

ほとんどの時間: 各レーンは自分のバブルの中に留まります。レーン1はレーン1と話し、レーン2はレーン2と話します。彼らは互いに邪魔しません。
時々: ごく一部の特定の層においてのみ、レーン同士がメモを交換し、アイデアを混ぜ合わせます。

これにより、コストを低く抑えることができます。コストが16倍に跳ね上がるのではなく、約4.4倍から5.1倍程度に抑えられます（これは4倍のレーン数に近い数値です）。これにより、銀行を破産させることなく、これらの超大規模モデルを訓練することが可能になります。

効果はあったのか？

チームは、800億パラメータを持つモデルと、6170億という巨大なモデルの2つでテストを行いました。彼らは脳のサイズを変えていません。ただ「4レーン・モード」をオンにしただけです。

結果: モデルはより賢くなりました。難しい数学や科学のテストにおいて、6170億パラメータのモデルは「GPQA Diamond」テストのスコアを89.1から91.2へと向上させました。「PHYBench」物理学テストでは、75.3から76.3へと上がりました。
傾向: 彼らはまた、2レーン、4レーン、8レーンのテストも行いました。レーンを増やすにつれて、スコアは上昇し続けました。これは、より多くの「思考レーン」を追加することが、新しい大きな脳を構築することなくモデルを賢くするための現実的な方法であることを示唆しています。

彼らが否定したもの

チームは、これが単なる偶然ではないことを確認するために注意深く調査を行いました。彼らは他の方法で追加のレーンを使用することを試みました。

すべてのレーンに予測を強制する: もし最初の3つのレーンにも答えを予測させた場合（単に最後のレーンだけにさせるのではなく）、モデルの性能は実際には悪化しました。
答えを混ぜる: もし4つのレーンの思考を単に平均化したとしても、最後のレーンに決定させる方法ほどの結果は得られませんでした。
メモを共有する: もしレーンが独自のメモを持つのではなく、同じメモリ・メモを共有するようにした場合、モデルの精度はわずかに低下しました。

このことは、秘訣は、最初のレーンに静かでプライベートな思考を行わせ、彼らのメモを個別に保持させることであり、それによって最終的なレーンが最高の推測を行うための深い蓄積された知恵を利用できることにある、ということを証明しています。

結論

「隠れたデコーディング」は、賢くなるために必ずしも大きな脳が必要ではないことを示しています。時には、単に脳に並列で考える時間を与えるだけでよいのです。単語を思考の秘密の組み立てラインに変えることで、WeChatのチームは、既存のモデルを再構築することなく、フロンティア規模のモデルの知能を高める方法を見つけ出しました。これは、私たちがすでに持っているモデルから、より多くの「賢さ」を絞り出すための、実用的でエンジニアリングに適した方法なのです。

技術要約：大規模における隠れデコーディング（Hidden Decoding at Scale）

問題提起

大規模言語モデル（LLM）のスケーリングは、伝統的にTransformerバックボーンの大型化に依存してきましたが、これには多大なコストを要する事前学習が必要であり、サービングコストも増大します。すでに強力な基盤モデルに対して、バックボックンをさらに拡張することはしばしば非現実的です。近年の研究では、固定されたパラメータ数であっても、トークンあたりの計算量を増やすことで推論能力や精度を向上させられることが示唆されていますが、既存のアプローチには以下のような重大なスケーラビリティの障壁があります。

深さ再帰型（ループ型）Transformer: トークンごとに同じTransformerブロックを複数回再利用して計算量を増やします。しかし、反復的なループ計算は、最大規模のモデルで使用されるパイプライン並列性の仮定を破壊し、GPUのアイドル時間を発生させるため、フロンティアモデル（例：100B+パラメータ）へのスケールアップが困難です。
シーケンス長拡張: 単に入力を長くすることは標準的な学習パイプラインと互換性がありますが、単にコンテキストウィンドウを広げるだけでなく、同一のトークンに対して計算量を拡張する手法が必要です。

本論文は、バックボンの深さや幅を変更することなく、既存のTransformerバックボンの性能を向上させる課題に取り組んでいます。具体的には、パイプライン並列および大規模な学習インフラとの互換性を維持したまま、トークンあたりの計算量を増やす手法を提案します。

手法：隠れデコーディング（Hidden Decoding）

著者らは、継続事前学習（CPT）において適用可能なシーケンス長スケーリング手法である**隠れデコーディング（Hidden Decoding）**を提案します。その核心となるメカニズムは、単一のフォワードパス内で、各入力トークンを $n$ 個の並行するストリームへと拡張することです。

1. マルチストリーム・トークン拡張

埋め込み拡張: 単一の語彙埋め込みテーブルの代わりに、モデルは $n$ 個の独立した埋め込みテーブル（ $E_1, \dots, E_n$ ）を利用します。入力トークン $x_i$ は、 $n$ 個の表現のシーケンス $(E_1(x_i), E_2(x_i), \dots, E_n(x_i))$ へと展開されます。
シーケンス構築: これらの表現はインターリーブ（交互配置）され、長さ $nL $（$ L$ は元のシーケンス長）の拡張されたシーケンスを形成します。
学習目的: 最終ストリーム（ $E_n$ ）のみが教師あり学習の対象となります。モデルは、最終ストリームの位置の隠れ状態に基づいて次のトークン $x_{i+1}$ を予測します。最初の $n-1$ 個のストリームは「潜在的な計算状態」として機能し、直接的な損失（loss）を持たないため、最終的な予測の前に内部的に表現を洗練させることができます。

2. ストリーム分解アテンション（Stream-Factorized Attention）

拡張されたシーケンス長に伴うアテンションの計算コストが二次関数的（ $O(n^2 L^2)$ ）に増大するのを防ぐため、著者らはストリーム分解アテンションを導入しました。

イントラストリーム層（Intra-Stream Layers）: ほとんどの層は、同一ストリーム内の位置に対してのみアテンションを制限します。これにより、計算量は約 $O(nL^2)$ に抑えられます。
クロスストリーム層（Cross-Stream Layers）: 少数の層（例：ベースモデルのフルアテンションまたはスライディングウィンドウ層）において、ストリーム間の混合を許可します。
効率性: この設計により、アテンションの追加コストを $n$ に対して二次的ではなく、ほぼ線形に保つことができ、100B以上のパラメータを持つモデルでの学習を可能にしています。

3. 漸進的拡張と初期化

大きな拡張係数の学習を管理するため、著者らは漸進的拡張（例： $n=1 \to 2 \to 4 \to 8$ ）を採用しています。また、**循環複製初期化（Cyclic Replication Initialization）**を用い、新しい埋め込みテーブルを既存のテーブルをコピーすることで初期化します（例： $E_{n+k} \leftarrow E_k$ ）。これにより、モデルは初期段階でより小さな構成の挙動を再現し、その後スムーズに適応することが可能になります。

4. アーキテクチャの最適化（WeLM特有）

WeLMバックボーンにおいて、著者らは**KV-ミラー（KV-Mirror）**設計を活用しています。中間ストリームは損失を持たず、キー（Key）と値（Value）を通じてコンテキストに寄与するだけであるため、ミラーされた層（前の層からKVを計算する層）は、中間ストリームの処理を完全にスキップできます。これにより、80Bモデルの設定において、学習時間を約20%削減しました。

主な貢献

固定バックボーンによるフロンティア規模のスケーリング: 本論文は、100B+のMoEスケールにおけるシーケンス長スケーリングの初の成功例を示しました。著者らは、WeLM-HD4-80BおよびWeLM-HD4-617B（ $n=4$ ）を訓練し、Transformerバックボンのサイズを拡大することなく、非HD版を上回る性能向上を達成しました。
効率的なシーケンス長拡張: ストリーム分解アテンションの導入により、拡張されたシーケンスを用いた学習を、密な（dense）アテンションのコスト（16倍）を大幅に下回る、 $n$ に対してほぼ線形なコスト（例：4倍の拡張に対し、バッチあたり約4.4倍〜5.1倍）で実現しました。
拡張係数のスケーリング: 実験により、拡張係数 $n$ を増やすこと（1から2、4、8へ）で、言語モデリングの損失とダウンストリームの精度が一貫して向上することが示され、 $n$ が固定バックボックンのための実用的なスケーリング・ノブであることが検証されました。

実験結果

著者らは、フロンティア規模のMoEモデルおよびデンス・ベースラインを用いて、隠れデコーディングの評価を行いました。

フロンティア規模の性能（WeLM-HD4-80B & 617B）:
- WeLM-HD4-80Bは、9つの共通ハードベンチマークすべてにおいてWeLM-80Bを上回り、特にSciCode (+4.2)、PHYBench (+4.0)、FrontierMath (+3.2) で顕著な向上を見せました。
- WeLM-HD4-617Bは、GPQA Diamond (+2.1)、HLE (+1.8)、FrontierMath (+2.0) を含む9つのベンチマークすべてにおいてWeLM-617Bを改善しました。
- これらのモデルは、隠れデコーディングの効果を分離して検証するために、初期のSFTのみのポストトレーニング・レシピを使用して訓練されました。
拡張係数（ $n$ ）によるスケーリング:
- デンスモデルのQwen3-8B-Baseにおいて、 $n$ を1から8に増やすと、平均精度が単調に向上しました（例：MMLUは78.2から81.6へ向上）。
- 80B MoEにおいて、 $n$ を1から8に増やすと、MMLUは85.0から87.5に上昇し、Pile-test BPBは0.386から0.378に低下しました。
アブレーション研究:
- 教師あり学習のデザイン: 最終ストリームのみを教師あり学習の対象とすることが、すべてのストリームに損失を適用したり、ストリーム出力を合算したりする場合よりも優れた結果をもたらしました。
- KVの保持: 各ストリームに対して個別のKVキャッシュを保持すること（共有するのではなく）が精度を向上させ、中間ストリームが明確かつ有用なコンテキストを提供していることを裏付けました。
- アテンションの構成: 少数のフルクロスストリーム層（例：27層中4層）のみを持つモデルは、全層でフルクロスストリーム混合を行うモデルとほぼ同等の性能を示し、ストリーム分解アテンションの効率性が検証されました。
推論スループット:
- 隠れデコーディングは、レイテンシに敏感な小バッチのシナリオにおいて高いスループットを維持します（バッチサイズ1において、ベースラインのスループットの83〜88%を維持）。
- 長コンテキストかつ高バッチのシナリオでは、スループットは低下します（32k入力のバッチサイズ32において、約27%まで低下）。これは、トークンあたりの計算量が増加していることを反映しています。

意義と主張

本論文は、隠れデコーディングが、バックボンのさらなる拡張が困難な場合において、フロンティアLLMをスケーリングするための実用的かつエンジニアリング的に現実的な経路を提供すると主張しています。

互換性: ループ型Transformerとは異なり、隠れデコーディングは、追加の計算が反復的な深さではなく、より長いシーケンスとして現れるため、パイプライン並列および標準的な大規模モデル学習スタックに自然に適合します。
有効性: シーケンス長拡張を100B+のMoE領域で成功させた初めての手法であり、推論能力や知識ベンチマークにおいて測定可能な向上を実現しました。
スケーラビリティ: 本手法は、拡張係数 $n$ が有効なスケーリング軸であることを証明しており、新しいアーキテクチャやバックボンの大規模な再学習を必要とせずに、性能向上を得られることを示しています。

著者らは、この研究を、強力な基盤モデルが直面している「スケーリングの壁」に対する解決策として位置づけており、効率的な潜在計算を通じて、既存のパラメータからより多くの能力を引き出す方法を提示しています。