💬 NLP

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs

本論文は、大規模言語モデルにおいて別個の検証器パスのオーバーヘッドなしに大幅なレイテンシ高速化と推論性能の向上を達成するために、潜在入力圧縮とマルチトークン出力予測、および軽量な信頼度に基づく受容メカニズムを統合した統一フレームワークであるペア・イン・ペア・アウト（PIPO）を提案する。

原著者： Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大言語モデル（LLM）を、1 語ずつ物語を書く、非常に賢いが非常に遅い書記として想像してみてください。難しい数学の問題を解いたり、複雑なコードを書いたりするために、この書記は最終的な答えを書く前に、長い「思考の連鎖」を声に出して考えなければなりません。問題は、1 語書いて、止まって考え、次の語を書くという行為が、信じられないほど遅く、かつ高コストだということです。

この論文は、書記がより多くの間違いを犯すことなく、はるかに速く動くための新しい手法「PIPO（Pair-In, Pair-Out）」を紹介しています。その仕組みを、簡単な比喩を使って説明しましょう。

1. 問題：「一歩ずつ」のボトルネック

現在、書記はタイプライターでタイピングする人のように動作しています。1 文字入力し、「Enter」キーを押し、機械が処理するのを待ち、次の文字を入力し、というのを繰り返します。書記がどれだけ賢くても、機械は 1 サイクルに 1 文字しか処理できないため、非常に遅いのです。

2. 解決策：「2 段バス」方式（PIPO）

PIPO は、この道路の規則を変えます。書記が 1 語ずつ処理する代わりに、PIPO は彼に2 語を同時に処理させます。

Pair-In（圧縮）： 書記が 2 文字の山（例：「T」と「h」）を受け取ると想像してください。それらを機械に個別に投入するのではなく、特別な「圧縮機」がそれらを 1 つのコンパクトなパッケージ（潜在表現）に折りたたみます。大きな地図を小さなポケットハンカチに折りたたんで、狭い扉を通るようにするのと同じです。
旅：機械はこの 1 つの「折りたたまれた」パッケージを処理します。
Pair-Out（展開）： 機械の処理が終わると、単に 1 文字を吐き出すわけではありません。特別な「展開」ヘッドが結果を受け取り、即座に2 文字を生成します。それは、期待される次の単語と、予測されたドラフト単語（例：「e」と「」）です。

結果： 書記は、1 サイクルの機械処理に対して 2 文字を書けるようになりました。これにより、執筆速度が実質的に 2 倍になります。

3. リスク：「当てっこゲーム」

しかし、落とし穴があります。2 番目の単語を予測することは当てっこに過ぎません。もしその当てっこが間違っていれば、文全体が nonsens（ nonsens）になってしまいます。

旧来の方法（推測的デコーディング）： 以前は、当てっこが正しいかどうかを確認するために、書記は立ち止まり、巨大な「検証」テスト（シニア編集者がドラフト全体を再読するようなもの）を実行し、その当てっこが良しと判断するまで待たなければなりませんでした。この検証ステップはあまりにも遅く、速度向上の効果を相殺してしまいました。
PIPO の方法（コンフィデンスヘッド）： PIPO は、書記のすぐ隣に、小さくて超高速な「信頼度メーター」を設置します。このメーターは、2 語を見て即座に「この 2 番目の単語が正しいと 95% 確信している」とか「確信が持てないからスキップしよう」と言い出すように訓練されています。
- メーターが**「Go」**と言えば、書記は 2 語とも保持します。
- メーターが**「No」**と言えば、書記は 1 番目の単語を保持し、リズムを保つために 2 番目を「空白」（パディング）に置き換えます。

4. 秘密の武器：間違いから学ぶこと（オンポリシー蒸留）

では、この「信頼度メーター」は、遅い編集者なしに、どのようにしてこれほど正確に学習できるのでしょうか？

この論文は、オンポリシー蒸留と呼ばれる巧妙な学習トリックを使用しています。

書記（生徒）が物語を書こうとすると想像してください。
超賢い先生（より大規模な事前学習済みモデル）も同じ物語を書きます。
システムは、生徒の当てっこを先生の答えと比較します。
魔法： システムは、この「先生」が、旧来の方法における「編集者」と全く同じ役割を果たしていることに気づきます。したがって、毎回遅い編集者チェックを実行する代わりに、システムは学習フェーズ中に、先生の答えを使って小さな「信頼度メーター」を訓練します。
一度訓練されれば、信頼度メーターは、実際の執筆プロセス中に遅い編集者を必要とすることなく、いつ当てっこを信頼し、いつ慎重になるべきかを正確に知っています。

5. 結果：より速く、より賢く

この論文は、AIME 数学コンペティションやコーディングベンチマークなどの難しい数学およびコーディングタスクでこれをテストしました。

速度： 2 語を同時に処理し、遅い編集者チェックをスキップするため、PIPO は標準的な方法よりも2 倍から 2.6 倍速いです。最初の単語をより早く出力し、流れを維持します。
精度： 驚くべきことに、速くなっただけでなく、より良くなりました。入力圧縮により、同じ容量により多くの「思考」を詰め込むことができるため、モデルはより長く、より完全な推論連鎖を生成できました。いくつかのテストでは、通常の手法と比較して成功率が 7 ポイント以上向上しました。

まとめ

PIPO は、単一車線の道路から 2 車線の高速道路へと配送トラックをアップグレードするようなものです。

貨物（入力）を圧縮して、2 つのパッケージを 1 つのスロットに収めます。
2 つのパッケージを同時に配送します（出力）。
すでに答えを知っている先生によって訓練された、スマートなセンサー（コンフィデンスヘッド）を使用して、2 つ目のパッケージを保持してよいかどうかを判断します。

これにより、AI はより長く考え、より速く答えを出すことができ、通常の遅延なしに複雑な問題を解決できます。

技術的サマリー：効率的な LLM 向けの Pair-In, Pair-Out (PIPO)

1. 問題定義

現代の大規模言語モデル（LLM）は、数学やコーディングなどの複雑なタスクにおいて、長い思考の連鎖（CoT）推論にますます依存しています。このパラダイムは精度を向上させますが、重大な推論ボトルネックを生み出します。標準的な自己回帰的デコーディングは、1 つのフォワードステップで 1 つのトークンのみを出力するため、トークンあたりのコストが長い推論トレースにおける支配的な遅延要因となります。

既存の解決策は、2 つの独立した方向性からこの問題に対処しています。

入力側: 潜在圧縮手法（例：CoLaR）は、複数の入力トークンを単一の連続表現にマージし、シーケンス長を短縮します。
出力側: マルチトークン予測（MTP）やスペキュレイティブデコーディング（例：EAGLE、Medusa）は、1 ステップあたり複数のトークンを出力しようとします。しかし、これらの手法は通常、ドラフトトークンを検証するために高価な「検証者」パス（大規模なバックボーンの完全なフォワードパス）を必要とし、特に長いコンテキスト長において効率性の向上を相殺してしまいます。さらに、検証されていない MTP 手法は、信頼性の低いドラフトを伝播させるリスクがあり、精度を低下させます。

現在、入力圧縮と出力マルチトークン予測を同時に活用しつつ、高価な検証者コストを回避する統一フレームワークは存在しません。

2. 手法：Pair-In, Pair-Out (PIPO)

PIPO は、潜在圧縮とマルチトークン予測を LLM バックボーンを中心とした鏡像操作として扱う統一フレームワークを提案します。

2.1 コアアーキテクチャ

このフレームワークは、単一のトークンではなくトークンペアで動作します。

Pair-In（圧縮）: 軽量な MLP コンプレッサーは、2 つの連続する入力トークン埋め込み（ $x_{2i}, x_{2i+1}$ ）を単一の潜在表現（ $z_i$ ）に折りたたみます。これにより、実効的な入力長が半分になります。
$z_i = f_\theta([x_{2i}; x_{2i+1}])$
コンプレッサーは、バックボーンの事前学習分布を維持するために、 $f_\theta([a; b]) \approx a + b$ となるように初期化されます。
Pair-Out（予測）: バックボーンは圧縮された潜在状態を処理し、隠れ状態（ $h^b_i$ $h_{i}^{b}$ ）を生成します。
1. バックボーントークン: 標準的な LM ヘッドは、次のバックボーントークン（ $x_{2i+2}$ ）を予測します。
2. ドラフトトークン: バックボーンの隠れ状態と予測されたバックボーントークンを条件としたマルチトークン予測（MTP）ヘッドが、追加のドラフトトークン（ $x_{2i+3}$ ）を予測します。
3. 信頼度ヘッド: 軽量な MLP が、ドラフトトークンに対する信頼度スコア（ $c_i$ ）を予測します。
  $c_i = g_\phi([h^b_i; h^d_i])$
- 受諾ロジック: $c_i \geq \tau_c$ の場合、ドラフトトークンは受諾され、次の入力ペアは生成された 2 つの新しいトークンで構成されます。拒否された場合、ドラフトはパディングトークン（ $x_{pad}$ ）に置き換えられ、次の入力ペアは $(x_{2i+2}, x_{pad})$ となります。これにより、受諾の有無にかかわらずインターフェースが一貫して保たれます。

2.2 学習戦略

PIPO は、学習と推論の間のギャップを埋めるために 2 段階の学習プロセスを利用します。

教師あり微調整（SFT）:
- モデルは、バックボーントークンとドラフトトークンの両方に対してクロスエントロピー（CE）損失を用いた次のペア予測目的で学習されます。
- 信頼度ヘッドは、二項クロスエントロピー（BCE）損失を用いてブートストラップされ、信頼度スコアを真のドラフトトークンの確率と整合させます。
- ランダムパディング: 学習中に、ドラフト位置の一定割合がランダムにパディングトークンに置き換えられ、モデルが拒否シナリオに曝されます。
オンポリシー蒸留（OPD）:
- PIPO は、学生モデルの現在のポリシーを使用して応答を展開することで、学習 - 推論分布のシフトに対処します。
- 重要な洞察: OPD における「教師」の役割は、機能的にスペキュレイティブデコーディングにおける「検証者」と同一です。どちらも、ドラフトの整合性をより強力な参照分布に対して判断します。
- 無料の教師信号: 信頼度ヘッドの受諾確率は、OPD 損失計算から直接導出されます： $y_c = \min(p_t(x)/p_s(x), 1)$ 。ここで、 $p_t$ は教師（バックボーン）の確率、 $p_s$ は学生（ドラフト）の確率です。
- これにより、追加のフォワードパスや個別の検証者モデルを必要とすることなく、拒否サンプリング基準をラベルとして用いて信頼度ヘッドを学習させることができます。

3. 主要な貢献

統一フレームワーク: PIPO は、入力側の潜在圧縮と出力側のマルチトークン予測を、対称的な「Pair-In/Pair-Out」インターフェースに統合し、実効的な入力長を半分に減らし、1 ステップあたりの出力を倍増させます。
検証者の排除: OPD 教師とスペキュレイティブ検証者が同じ役割を果たすという観察に基づき、PIPO は拒否サンプリング比率を無料のラベルとして用いて軽量な信頼度ヘッドを学習させます。これにより、高価なステップごとのバックボーン検証者パスが、単一の MLP フォワードパスに置き換えられます。
効率性と精度: この手法は、Time-to-First-Token (TTFT) および Time-Per-Output-Token (TPOT) において大幅な高速化を達成しつつ、複雑な推論ベンチマークにおける pass@4 精度を向上させます。

4. 実験結果

著者らは、Qwen3.5-4B および Qwen3.5-9B バックボーンを用いて、AIME 2025、GPQA-Diamond、LiveCodeBench v6、LongBench v2 の 4 つのベンチマークで PIPO を評価しました。

精度: PIPO + OPD は、すべての手法の中で最高の pass@4 スコアを達成しました。
- Qwen3.5-9B において、PIPO は通常の自己回帰的デコーディングに対して +7.15 ポイント の pass@4 向上を実現しました。
- Qwen3.5-4B において、改善は最良のベースラインに対して +3.83 ポイント でした。
- この優位性は、より長いコンテキスト予算（最大 32K スロット）において広がり、PIPO は同じ予算内でより完全な推論チェーンを収容できるためです。
効率性:
- TTFT: 圧縮されたプリフィルフェーズにより、最大 2.64 倍 の高速化（例：128K 入力長において）を達成しました。
- TPOT: バックボーンの 1 フォワードパスあたり 2 つのトークンが出力されるため、最大 2.07 倍 の高速化を達成しました。
アブレーション研究:
- 非線形コンプレッサーは不可欠であり、線形コンプレッサーは性能の大幅な低下を引き起こしました。
- コンプレッサーを加算和（ $a+b$ ）として初期化することは、安定性にとって重要です。
- 信頼度ヘッドは、信頼性の低いドラフトを効果的に拒否し、ランダムな拒否ベースラインを上回り、pass@4 を最大化する「スイートスポット」（閾値 $\tau_c \approx 0.95$ ）を見つけ出しました。

5. 意義と主張

本論文は、PIPO が効率的な LLM デコーディングへのアプローチにおいて転換点をもたらすと主張しています。

対称性: 入力圧縮と出力拡張は競合する戦略ではなく、組み合わせ可能な相補的な鏡像操作であることを実証しています。
コストの償却: 検証のコストを成功裏に償却しています。各ステップごとに高価な推論コスト（バックボーンの完全なパス）を支える代わりに、検証ロジックは軽量な学習信号（信頼度ヘッド）に蒸留され、繰り返しの推論コストが一回限りの学習信号へと転換されます。
実用性: このフレームワークは、主に市販のコンポーネント（事前学習済み MTP ヘッド、標準的なバックボーン）に依存し、コンプレッサーと信頼度ヘッドといった少量の追加モジュールのみを必要とするため、既存の強力な LLM への展開が可能です。

著者らは、ペアごとの処理（より大きな圧縮係数ではなく）への焦点、テキストのみのモデルへの制限、および主に検証可能な答えを持つタスク（数学/コーディング）への評価（オープンエンドな生成ではなく）といった限界を指摘しています。しかし、彼らは PIPO が信頼性を犠牲にすることなく、長い思考連鎖の推論コストを削減するための堅牢な道筋を提供すると主張しています。