🤖 machine learning

Fast and Expressive Multi-Byte Prediction with Probabilistic Circuits

本論文は、将来のトークンに対する結合分布をエンコードすることで表現力とレイテンシのトレードオフを最適化し、元のモデルの性能を維持しつつバイトレベルおよびサブワードレベルのLLM生成を大幅に加速させる、確率回路ベースのマルチトークン予測フレームワークであるMTPCを導入するものである。

原著者： Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

物語を書こうとしている場面を想像してみてください。しかし、あなたには非常に厳しいルールがあります。それは、「一度に一文字ずつしか書けない」というルールです。一文字入力するたびに、あなたは立ち止まり、考え、自分の超スマートな脳（AI）に「次は何が来るべきか？」と問いかけなければなりません。これが、現在のほとんどの大型言語モデル（LLM）の仕組みです。これは正確ですが、非常に低速です。特に、単語単位ではなく「バイト（テキストの構成要素）」単位で書いている場合、一つの文章を書くために何千もの文字を入力しなければならないため、極めて時間がかかります。

この論文は、品質を損なうことなく、この速度の問題を解決するための新しい手法であるMTPC（Multi-Token Prediction Circuits：マルチトークン予測回路）を紹介しています。

その仕組みを、日常的な例えを用いて説明します。

1. 問題点：「推測ゲーム」 vs 「水晶玉」

速度を上げるために、研究者たちは**マルチトークン予測（MTP）**と呼ばれるトリックを試みました。これは、一文字ずつ推測する代わりに、文字の塊（例えば、単語の次の8文字など）をまとめて推測しようとするものです。

旧来の方法（独立性の仮定）： 単語の次の8文字を推測する場合、それぞれの文字に互いの関係性がないものとして扱います。最初の文字を推測し、次に二番目、三番目……と、最初の文字が「C」であれば二番目は「Z」になる可能性が低いといったことを完全に無視して進めます。
- 結果： これは高速ですが、支離滅裂な内容になります。「Pretoria」と書くべきところを、モデルが文字同士の適合性を理解していないために「Cretoria」や「Craporia」としてしまうかもしれません。これは、パーツがうまく組み合わさるかを確認せずに、ランダムにレンガを選んで家を建てようとするようなものです。
新しい方法（MTPC）： 著者たちはこう言います。「文字をバラバラに推測するのはやめましょう。塊全体を一つのつながったグループとして推測しましょう」。彼らは、**確率的回路（Probabilistic Circuit）**という数学的ツールを使用しています。
- 例え： 旧来の方法は、人々が列を作って、それぞれがランダムな言葉をささやきながらメモを回しているようなものです。新しい方法は、オーケストラを率いる指揮者のようです。指揮者（回路）は、最初の楽器がCメジャーのコードを奏でたら、次の楽器は必ずそのコードに合う音を奏でなければならないことを知っています。つまり、文字間の依存関係を理解しているのです。

2. ツールキット：「回路の設計士」

この論文は、文字の「つながり具合」を自由に選択できる柔軟なフレームワーク（MTPC）を提案しています。彼らは、速度と知能のバランスを取るための異なる「アーキテクチャ（回路の形状）」を提供しています。

FF (Fully Factorised / 完全分解型)： 「ランダム推測」モード。高速ですが、愚かです。（オーケストラのメンバーがバラバラに演奏している状態）。
CP (Canonical Polyadic / 標準的ポリディック型)： 「グループ推測」モード。いくつかの主要なテーマを推測し、その周囲に文字を構築します。少し賢くなっています。
HMM (Hidden Markov Model / 隠れマルコフモデル)： 「連鎖反応」モード。最初の文字が二番目に影響を与え、それが三番目に影響を与える……という仕組みです。非常に賢いですが、一つの処理が終わるのを待ってから次を開始しなければならないため、低速です。
BTree (Binary Tree / 二分木)： 「チームのミーティング」モード。これが本論文の主役です。8つの文字を4つずつの2つのグループに分割することを想像してください。モデルは最初のグループと二番目のグループを同時に推測しますが、それらは「チームリーダー（隠れた変数）」によって結び付けられており、全体のテーマについて一致するように制御されています。
- なぜ優れているのか： 「連鎖反応」のような知能を持ちながら、二つのことを同時に行うため、「ランダム推測」のようなスピードを実現できます。

3. セーフティネット：「投機的デコーディング（Speculative Decoding）」

「もしAIが一度に塊で推測して、間違えたらどうするのか？」と心配になるかもしれません。

この論文では、投機的デコーディングという手法を使用しています。

例え： 速いランナー（ドラフトモデル）と、非常に正確だが遅い審判（検証器）を想像してください。
1. 速いランナーが先走り、次の8文字を猛スピードで推測します。
2. 遅い審判が、それらを一つずつチェックします。
3. もし審判がランナーの推測に同意すれば、成功です！その文字を保持します。
4. もし審判が同意しなければ、そこで即座に停止し、間違った推測を破棄して、審判が承認したものだけを保持します。

ドラフトモデル（MTPC）は、文字がどのようにつながっているかを理解する能力（BTree回路のおかげ）が高いため、審判がランナーの推測に同意する頻度が以前よりも格段に高くなっています。これにより、より多くの「速い推測」を保持できるようになり、プロセス全体の速度が向上します。

4. 結果：品質を壊さずにスピードアップ

著者たちは、これらを2つの特定のAIモデルでテストしました。

EvaByte： すでにバイト単位で記述するモデル。
Llama 3.2 3B (Byte)： バイト単位で記述するように変換された、人気の高いモデル。

調査結果：

大幅なスピードアップ： 従来の「一文字ずつ」の方法と比較して、MTPCはEvaByteを5.15倍、Llamaを2.24倍高速化しました。
「独立性」トリックよりも優れた性能： 文字を独立して推測する他の高速な手法と比較しても、MTPCは1.17倍高速でした。
品質の損失なし： 極めて重要な点として、「セーフティネット（投機的デコーディング）」のおかげで、最終的な出力の品質は、AIが一文字ずつ書いていた場合と全く同じです。速度のために精度を犠牲にすることはありません。

まとめ

この論文は、文字を孤立した文字としてではなく、つながったグループとして推測するようにAIを教えることで、AIのテキスト生成を高速化する新しい方法を提示しています。推測を整理するためのスマートな「二分木（BTree）」構造と、それを検証するための「審判」を用いることで、品質を完璧に保ったまま、劇的なスピードアップ（最大5倍）を実現しました。これは、タイピストに単語をまとめて打つ方法を教えつつ、タイポ（打ち間違い）を即座にキャッチするセーフティネットを備えさせるようなものです。

技術要約：確率的回路を用いた高速かつ表現力豊かなマルチバイト予測

問題提起

自己回帰（AR）大規模言語モデル（LLM）は、テキストを一度に1トークンずつ生成するため、高いレイテンシとエネルギーコストが発生します。このボトルネックは、バイトレベルのLLMにおいて特に深刻です。バイトレベルのモデルはトークナイザーを持ちませんが、サブワードモデルと比較して、同じ長さのテキストを生成するために大幅に多くのデコーディングステップを必要とするためです。マルチトークン予測（MTP）は、将来のトークンのウィンドウを同時に予測することで解決策を提供しますが、既存の手法は表現力と効率性の間の決定的なトレードオフに直面しています：

独立性の仮定： 現在の多くのMTP手法は、将来のトークンが独立している（完全因子化、FF）と仮定しています。これは効率的ですが、表現力を犠牲にし、「バイト・サラダ」のような継続（例：有効なバイトの組み合わせではあるが意味をなさない組み合わせ）や、投機的デコーディングにおける低い受理率を招きます。
浅い自己回帰ヘッド： 代替手法（HydraやEAGLEなど）は、予測ウィンドウ内で自己回帰的な生成を維持します。これらはより表現力に富んでいますが、真の結合MTPではなく、加速されたARデコーディングに近いものであり、依存構造を調整可能なモデリングの選択肢として公開していません。
レイテンシ vs 表現力： 完全な因子化モデルと複雑な結合分布の間をナビゲートするための、プロトタイプ的なレイテンシを課すことなく、体系的なフレームワークが不足しています。

手法：MTPCフレームワーク

著者らは、将来のトークン間の結合分布をパラメータ化するために**確率的回路（Probabilistic Circuits: PCs）を利用するフレームワークであるMTPC（Multi-Token Prediction Circuits）**を提案しています。MTPCは、結合分布を階層的な混合モデルをエンコードする計算可能なグラフとして扱い、アーキテクチャのバリアントを体系的に探索することを可能にします。

コアコンポーネント

確率的回路アーキテクチャ： MTPCは既存の手法を一般化し、将来のバイト間の依存関係をモデル化するための新しい構造を導入しています：
- MTPC-FF： 入力ユニットの積として表現される、完全因子化モデル（標準的な独立MTPと同等）。
  字
- MTPC-CP： 因子化されたコンポーネントの混合を作成するために離散潜在変数を導入する、正準CP（Canonical Polyadic）分解。これにより、いくつかの依存関係を回復します。
- MTPC-HMM： 時間依存の遷移行列を介して遠距離の依存関係を捉えるために、一連の潜在変数を使用する隠れマルコフモデル（HMM）のパラメータ化。
- MTPC-BTree： 潜在変数の階層をエンコードする新しい**バイナリツリー（二分木）**因子化。この構造により、HMMに見られる非対称性とレイテンシの問題に対処しながら、トークンと潜在変数の並列サンプリングを可能にします。
LLMによるパラメータ化：
- フレームワークは、LLMバックボーン（オプションのLoRAアダプタ付き）を使用して、入力履歴から文脈的特徴を抽出します。
- ニューラルネットワークヘッドが、これらの特徴をPC（入力ユニット分布および和ユニットの重み）のパラメータにマッピングし、ニューラル条件付き回路を作成します。
- これにより、モデルは特定の回路構造（FF、CP、HMM、BTree）を抽象化し、テンソル化されたパラメータの学習に集中することができます。
投機的デコーディングの統合：
- MTPCは、ドラフトモデル（MTPCヘッド）と検証器（AR LLM）が同じバックボーンを共有する**自己投機的デコーディング（self-speculative decoding）**を採用しています。
- ドラフトモデルは、PCからウィンドウ内のトークンを並列にサンプリングします。
- 検証器は、これらのトークンを並列に受理または拒否します。
- 保証： 本フレームワークは、貪欲デコーディングの出力がターゲットとなるAR LLMと同一であることを保証し、サンプリングは期待値においてターゲットと一致することを保証するため、生成品質の損失はありません。
トレードオフの次元：
- 回路アーキテクチャ： 依存関係のモデリングと計算コストのバランスを取るために、FF、CP、HMM、またはBTreeを選択すること。
- レイヤー共有： ドラフトモデルにおけるLoRAレイヤーの数（0から4レイヤー）を調整することで、ドラフトと検証器の表現の乖離を制御し、表現力とレイテンシのトレードオフをさらに微調整します。

主な貢献

MTPCフレームワーク： 独立性の仮定を緩和し、テンソル分解手法（CPなど）を統一されたPCフレームワークへと一般化する、高速なMTPフレームワークの導入。
体系的なトレードオフ分析： 受理されたトークン（表現力）と生成レイテンシの間のトレードオフを厳密に特定しました。論文では、最適なスループットは必ずしも最も表現力豊かなモデル（例：HMM）によって達成されるのではなく、BTreeのような、より優れた並列性を提供するアーキテクチャによって達成されることを示しています。
実証的検証： MTP機能を事前学習した2つのバイトレベルLLMにMTPCを適合させました：
- EvaByte (6.5B)： MTP能力と共に事前学習されたバイトレベルモデル。
- Llama 3.2 3B (Byte)： 人気のあるサブワードモデルをバイト化（byte-fied）した、MTP用に事前学習されていないモデル。

実験結果

著者らは、Tulu 3データセットを用いてNVIDIA L40SおよびRTX 3090 GPU上でMTPCを評価しました。

スループットの向上：
- EvaByte： MTPCは、標準的なAR生成に対して5.15倍、独立性の仮定を持つMTP（FF）に対して1.17倍の高速化を達成しました。
- Llama 3.2 3B： MTPCは、AR生成に対して2.24倍、FF MTPに対して1.17倍の高速化を達成しました。
アーキテクチャの性能：
- BTree vs. HMM： HMMは高い受理率を達成しましたが、その自己回帰的な性質がレイテンシを高め、結果として全体的なスループットを低下させました。BTreeアーキテクチャは最適なバランスを実現し、並列サンプリングを可能にし、特に大きなウィンドウサイズ（ $n=16$ ）において最高のスループットを達成しました。
- LoRAレイヤー： ドラフトモデルにLoRAアダプタを追加すると、表現力（受理されたトークン）は増加しましたが、レイテンシも増加しました。最適な構成はモデルによって異なり、EvaByteには1つのLoRAレイヤーが最適であり、Llamaには2つのLoRAレイヤーが有益でした。
ウィンドウサイズ： 予測ウィンドウを $n=16$ に拡張することは、 $n=8$ の場合と比較して、表現力豊かな回路（HMM、BTree）において、特にLoRAアダプタと組み合わせた場合にスループットを大幅に向上させました。

意義と主張

本論文は、MTPが「独立した予測」と「浅い自己回帰ヘッド」という二項対立の選択を超えて、MTPアーキテクチャのバリアントをナビゲートするための体系的な方法を提供することを主張しています。確率的回路を活用することで、本フレームワークは、計算の実行可能性を維持しながら、トークン間の依存関係を明示的にモデル化することを可能にします。

著者らは、これらのスループット向上が生成品質を損なうことなく達成されていることを強調しています。これは、投機的デコーディングプロセスがターゲットとなるAR LLMとの整合性を保証するためです。この研究は、計算オーバーヘッドによって阻害されがちなバイトレベルのLLMが、このような効率的なマルチバイト予測戦略を通じて、より主流になれる可能性を示唆しています。本フレームワークは、次世代のバイトレベルモデルの効率を最適化するための柔軟なツールとして提示されており、コードとモデルは公開されています。