💬 NLP

Hierarchical Latent Prediction for Language Models

本論文は、高次の抽象的な潜在変数を利用することで潜在空間におけるロールアウトの誤差蓄積を軽減し、それによって言語モデルの長期的推論、コーディング性能、および投機的デコーディングの効率を向上させる新しい補助目的関数であるHierarchical Latent Prediction（HiLP）を導入する。

原著者： Chang Shi, Tim Pearce, Manan Tomar, Siddhartha Sen, John Langford

公開日 2026-08-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chang Shi, Tim Pearce, Manan Tomar, Siddhartha Sen, John Langford

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに物語の書き方を教える場面を想像してみてください。標準的な方法では「次単語予測（Next-Token Prediction）」と呼ばれます。これは、あなたが書いた最後の単語を見て、その次にくる単語を推測する「マッドリップス（穴埋め問題）」のようなゲームです。もしあなたが「猫がマットの上に（The cat sat on the）」と言えば、ロボットは「マット（mat）」と推測します。次に、あなたが「猫がマットの上に座った（The cat sat on the mat）」と入力すると、ロボットは「柔らかい（soft）」と推測します。この手法によって驚くほど賢いロボットが作られてきましたが、一つ欠点があります。ロボットは一歩先のことしか見ていないため、長い物語の中で迷子になってしまうことがあるのです。早い段階で小さなミスを犯すと、そのミスは雪玉が丘を転がり落ちるように、予測を続けるにつれてどんどん大きくなっていきます。これは「露出バイアス（exposure bias）」と呼ばれます。

これを解決するために、科学者たちはロボットに数ステップ先を見通したり、次の文字ではなく、次の数単語の「雰囲気」を推測するように教えようと試みてきました。しかし、これらの手法にはそれぞれ問題があります。つまり、未来を十分に先まで見通せないか、あるいは先読みをしようとしすぎて自分自身のミスに混乱してしまうかのどちらかです。大きな疑問は、「ロボットに、章のプロットを知りつつ同時に次の文章も理解するというように、複数のレベルで物語の構造を一度に理解させることはできるのか？ただし、ロボットを遅くしたり複雑にしたりせずに、という条件付きですが」ということです。

これこそが、Microsoft Researchとテキサス大学オースティン校の研究者たちが、新しい論文「Hierarchical Latent Prediction for Language Models（言語モデルのための階層的潜在予測）」で取り組んだ課題です。彼らは、HiLP（Hierarchical Latent Prediction）と呼ばれる巧妙な新しい学習手法を導入しました。ロボットの脳を二つの思考レイヤーと考えてみてください。第一のレイヤーは、従来のメソッドと同様に、直後の次の単語に焦点を当てる「ストリートレベル（地上レベル）」の視点です。第二のレイヤーは、段落やシーンといったより大きな全体像を理解するために、単語の塊を一度に捉える「ヘリコプター・ビュー（上空からの視点）」です。

実験において、研究者たちはロボットに、この「ヘリコプター・ビュー」を特別な学習ツールとして使うよう教えました。彼らは、直前の数単語を一つの高レベルな概念へと要約する特別な「抽象（abstract）」レイヤーを作成しました。そして、その高レベルな概念が数ステップ先でどのようになっているかを予測するようにロボットに求めたのです。これにより、ロボットは単なる単語から単語への流れだけでなく、より長い距離にわたって物語がどのように流れるべきかを学習することになりました。極めて重要なのは、この「ヘリコプター・ビュー」は学習中にのみ使用されるということです。学習が終わると、研究者は追加のレイヤーを取り除きます。ロボットが実際に物語を書くとき、それはシンプルな、高速な「ストリートレベル」の視点のみを使用します。これにより、ロボットは動作を重くしたり遅くしたりすることなく、長期的な計画を立てる能力を高めることができるのです。

結果は、このアプローチがうまく機能することを示唆しています。新しいロボットをコーディングタスクや多段階の推論パズルでテストしたところ、先読みを試みた従来のメソッドよりも優れた性能を発揮しました。例えば、HumanEvalと呼ばれるコーディング・ベンチマークにおいて、この新手法は11.33というスコアを記録し、標準的な手法（スコア8.77）や、NextLat（スコア10.58）といった最近の他の試みを上回りました。また、研究者たちは、この手法が「投機的デコーディング（speculative decoding）」をより効率的にすることも発見しました。これは、ロボットがスピードアップのために一度に複数の単語を推測する技術ですが、HiLPを用いることでロボットの推測の精度が向上し、修正による時間の浪費が減少しました。

論文は、一歩先を見るだけでは局所的な詳細は捉えられるものの、言語の長期的な構造を捉えるには不十分であると主張しています。この階層的な「ヘリコプター・ビュー」を学習時に加えることで、ロボットは長期的な目標を念頭に置くことができ、「エラーの雪玉効果」を軽減できます。著者らは、この手法が、速度や複雑さという通常のトレードオフを伴わずに、長期間の計画（long-horizon planning）の恩恵を得るための道筋を示すものであると述べています。ただし、彼らが使用した具体的な「先読み（lookahead）」の距離は手動設定であったことも指摘しており、将来の研究ではこれをより柔軟にできる可能性があるとしています。結局のところ、HiLPは、練習時には「森」と「木」の両方を見るように教えることが、たとえ本番では「木」しか使わないとしても、より優れた物語を書く助けになることを示しています。

技術要約：言語モデルのための階層的潜在表現予測（Hierarchical Latent Prediction）

問題提起

教師強制学習を用いた標準的な次トークン予測（Next-Token Prediction; NTP）は、非常に有能なトランスフォーマー言語モデルの開発を可能にしてきました。しかし、このパラダイムは「露出バイアス（exposure bias）」として知られる、訓練と推論の間のミスマッチを導入します。推論時、自己回帰的な生成は、グラウンドトゥルース（正解）ではなく、モデル自身の過去の出力に依存するため、誤差が累積し、長距離の生成品質を低下させる原因となります。

これを緩和するための最近の試みとして、マルチトークン予測（Multi-Token Prediction; MTP）や次潜在表現予測（NextLat）などが、将来のトークンや潜在状態を予測する補助的な目的関数を導入しています。しかし、これらの手法には以下の限界があります。

MTP は、マルチステップのロールアウトにおいて誤差の累積に悩まされることが多い。
NextLat は、潜在空間における自己予測を強制しますが、通常は1ステップ先のみを予測します。これは局所的な遷移の一貫性には効果的ですが、より長い時間スケールにおける構造を捉えるための間接的な勾配圧力を提供するにとどまり、逐次的なダイナミクスの展開によって長期間の依存関係が減衰してしまいます。

核心となる課題は、推論時のアーキテクチャ上のオーバーヘッドや推論レイテンシを発生させることなく、いかにして事前学習中にマルチスケールの予測構造をエンコードするように言語モデルの表現を形成するかという点にあります。

手法：階層的潜在表現予測（Hierarchical Latent Prediction; HiLP）

著者らは、潜在空間における自己予測の目的に時間的な階層性を導入する学習手法である Hierarchical Latent Prediction (HiLP) を提案しています。このアーキテクチャは、4つの結合されたパラメータ化されたマップ（出力ヘッド $p_\theta$ 、低レベル・ダイナミクス $p_\psi$ 、高レベル・ダイナミクス $p_\phi$ 、および結合されたNTPヘッド $p_\rho$ ）で構成されています。

アーキテクチャの構成要素

低レベル潜在変数 ( $h_t$ ): バックボーンとなるトランスフォーマー $G_\theta$ が、トークン接頭辞 $X_{1:t}$ から低レベルの潜在変数 $h_t$ を生成します。
高レベル抽象潜在変数 ( $u_t$ ): ウィンドウサイズ $k$ を持つスライディングウィンドウ・アテンション（SWA）モジュールが、直近 $k$ 個の低レベル状態を集約して、高レベルの抽象潜在変数 $u_t = \text{SWA}(h_{t-k+1:t})$ を生成します。
高レベル・ダイナミクス: モデル $p_\phi$ は、トークン入力を伴わずに、抽象空間において $k$ ステップ先 ( $\hat{u}_{t+k}$ ) を予測し、単一ステップの遷移を超えた先読み計画（lookahead planning）を促します。
結合されたNTPヘッド: 次のトークン予測は、低レベルの潜在変数 $h_t$ と高レベルの潜在変数 $\tilde{u}_t$ （ここで $\tilde{u}_t$ は、結合ヘッドがSWAウィンドウを通じて低レベルの潜在変数を更新することを防ぐためにストップグラディエントを含みます）の両方に条件付けられます。

学習目的関数

総損失は、5つの項の加重和です。

標準的なNTP損失 ( $L_{ntp}$ ): 次のトークン予測のための標準的なクロスエントロピー。
低レベル遷移の一貫性 ( $L_h$ ): 低レベル・ダイナミクスモデル $p_\psi$ が次の低レベル潜在状態を正確に予測することを保証するSmoothL1損失。
KLダイバージェンス ( $L_{KL}$ ): 予測された低レベル潜在変数の分布がターゲット分布と一致することを保証します。
高レベル遷移の一貫性 ( $L_u$ ): 高レベル・ダイナミクスモデル $p_\phi$ が $k$ ステップ先の抽象潜在変数を正確に予測することを保証するSmoothL1損失。
結合されたNTP損失 ( $L_{cntp}$ ): $h_t$ と $\tilde{u}_t$ の両方を利用する、結合ヘッドのためのクロスエントロピー。

推論戦略: HiLPの重要な設計上の特徴は、階層的な仕組み全体（SWAモジュール、ダイナミクスモデル、および結合ヘッド）が推論時には破棄されることです。標準的なNTPヘッドのみが使用されるため、アーキテクチャのオーバーヘッドや推論レイテンシの増加はありません。

主な貢献

階列的表現学習: スライディングウィンドウ・アテンションによる潜在変数への適用、高レベル・ダイナミクスモデル、および結合されたNTPヘッドを介して、マルチスケールの自己予測学習をトランスフォーマーの事前学習に統合するHiLPの導入。
評価: 下流タスクの精度（コーディングおよびマルチステップ推論）および投機的デコーディング（speculative decoding）の効率性について、MTPおよびNextLatと比較した包括的なベンチマーク。
純粋な学習時介入: 複雑な階層構造が純粋に補助的な学習信号として機能し、デプロイ時には標準的な自己回帰デコーディングの効率性を維持できることを実証。

実験結果

著者らは、8枚のNVIDIA B200 GPUを用いて、100Bトークンに対して1Bパラメータのモデルを訓練しました。

ベンチマーク性能

コーディング (HumanEval): HiLPはpass@1スコアで 11.33 を達成し、標準的なNTP (8.77)、MTP (9.21)、NextLat (10.58) を上回りました。
マルチステップ推論: シンボリックおよびマルチステップのベンチマーク（LLM用のDataComp）において、HiLPはマルチスケールな潜在表現予測により、性能の向上が見られました。

投機的デコーディング (Speculative Decoding)

HiLPは、投機的デコーディングのタスクにおいて優れた効率性を示しました。

Code Data: HiLPは、ドラフトステップあたり平均 3.41 個の受理されたトークンを達成しました（MTPは2.57、NextLatは3.26）。
Nemotron-ClimbMix Data: HiLPは 2.59 個のトークンを達成し、NextLat (2.57) や MTP (2.11) をわずかに上回りました。
潜在表現ロールアウトの安定性: 潜在表現のクロスエントロピー曲線の分析により、HiLPはNextLatと同等の短期的な予測損失を維持しつつ、より長いホライゾン（最大8ステップ）において誤差を大幅に減少させることが明らかになりました。これは、より安定したマルチステップの潜在表現ロールアウトを示しています。

効率性

HiLPは補助的なパラメータを追加しますが（バックボーンの1.06Bに対し合計約1.27B）、推論パスはベースラインと同一です。学習のスループットは、NTPベースラインの約 65% でした。これはMTP（約49%）よりは高いものの、NextLat（約83%）よりは低く、追加の階層的損失グラフによるコストを反映しています。

意義と主張

本論文は、HiLPが、潜在空間における自己予測の目的に直接、時間的階層性を導入することで、次トークン予測における「近視眼的なギャップ（myopic gap）」を解決することに成功したと主張しています。Large Concept ModelsやByte Latent Transformersのような、推論時に複雑さを消費する従来の階層型モデルとは異躍なり、HiLPは事前学習中にマルチスケールの予測構造をエンコードするように表現を形成し、その後、推論時にはそれを完全に除去します。

著者らは、このアプローチにより、標準的なトークンレベルの自己回帰デコーディングの速度や単純さを犠牲にすることなく、より豊かな潜在遷移ダイナミクスを学習し、より長いホライゾンの依存関係をより良く捉えることができると述べています。本研究は、NTPを超える事前学習目的、潜在空間の言語モデリング、および階層型モデルの交差点に位置しており、言語モデルの長期間の推論および計画能力を向上させるための新しい手法を提示しています。