💬 NLP

MARS: Enabling Autoregressive Models Multi-Token Generation

本論文は、既存の自己回帰モデルをアーキテクチャ変更や追加パラメータなしで微調整する軽量手法「MARS」を提案し、単一モデルで複数のトークンを一度に生成可能にすることで、精度を維持しつつスループットを 1.5〜1.7 倍に向上させ、かつデプロイ時に需要に応じてリアルタイムで速度調整を可能にすることを示しています。

原著者： Ziqi Jin, Lei Wang, Ziwei Luo, Aixin Sun

公開日 2026-04-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ziqi Jin, Lei Wang, Ziwei Luo, Aixin Sun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI が文章を書くスピードを劇的に速くする方法」**について書かれたものです。

タイトルは**「MARS」**（マーズ）。
これは、AI の新しい「書き方」を教える軽くて便利なテクニックの名前です。

🌟 今までの AI はどうだった？（「一歩一歩」の歩き方）

今までの AI（言語モデル）は、文章を書くとき、**「一文字ずつ、確実に」**しか書けませんでした。
例えば、「今日は天気がいいですね」と書くとき、

「今」
「日」
「は」
...というように、1 回計算して 1 文字だけ出すというルールでした。

これは、どんなに次の言葉が予想しやすい場合でも（例：「1+1=」の次は必ず「2」）、AI は毎回「計算機」を起動して、1 文字ずつ丁寧に確認していました。
**「次の言葉が 100% 確実な場合でも、毎回フルスロットルで計算している」**ようなもので、とても非効率です。

🚀 MARS のアイデア（「ブロックごと」の書き方）

MARS は、この「一歩一歩」のルールを壊さずに、**「自信があれば、一度に数文字まとめて書ける」**ように AI を訓練しました。

🍕 ピザの例えで説明します

従来の AI（AR モデル）：
ピザを 1 枚ずつ、丁寧にスライスして出します。「次はチーズかな？次はトマトかな？」と毎回確認しながら、1 切れずつ出します。確実ですが、時間がかかります。
MARS の AI：
「チーズとトマトの組み合わせは 100% 確実だ！」と分かっている部分は、**「3 切れまとめて」**スライスして出します。
でも、難しい料理（新しいアイデアや複雑な計算）が必要なときは、また 1 切れずつ丁寧にスライスします。

重要なのは、MARS は「特別な道具」や「追加の機械」を付けません。
既存の AI に「もっと速く書けるコツ」を少しだけ教えて（微調整して）いるだけです。

🛠️ MARS がすごい 3 つの理由

変身しない（同じ AI のまま）
他の方法だと、「ドラフト（下書き）用の AI」と「本番用の AI」を 2 つ用意したり、AI の頭（構造）を改造したりする必要がありました。
でも MARS は、**「1 つの AI」**で完結します。速く書きたいときは速く、丁寧に書きたいときは丁寧に。同じ AI が両方できます。
品質は落ちない
「速く書くと、間違えやすくなるのでは？」と心配するかもしれませんが、MARS は**「自信がある時だけまとめて書く」というルールを守っています。
難しい計算や新しいアイデアが必要な時は、無理にまとめず、1 文字ずつ丁寧に書きます。そのため、「速くても、正確さはそのまま」**という魔法のような状態を実現しました。
リアルタイムでスピード調整が可能
店に客が殺到して混雑している時（サーバーが重い時）は、「多少のリスクを許容して、まとめて出す（速くする）」設定にできます。
逆に、客が少なく、丁寧さが求められる時は、「1 文字ずつ確認する（正確にする）」設定に切り替えられます。
AI を入れ替えることなく、その場でスピードを調整できるのが最大の特徴です。

📊 結果は？

実験の結果、MARS を使った AI は：

通常の AI と同じくらい正確（むしろ、少しだけ上手くなった部分もありました）。
まとめ書きモードにすると、1.5 倍〜1.7 倍も速く文章が書けるようになりました。
大量のデータを同時に処理する時（バッチ処理）には、最大で 1.7 倍のスピードアップが実現しました。

💡 まとめ

MARS は、**「AI に『自信がある時はまとめて書け』と教える、シンプルで賢いテクニック」**です。

これまでは「速くするか、正確にするか」の二者択一でしたが、MARS は**「両方」を叶えました。
まるで、「普段は歩いているが、走れるときは全力で走れる、万能なランナー」**のような存在です。

これにより、AI の応答速度が上がり、私たちが AI と会話する時の待ち時間が短くなる未来が近づいています。

MARS: 自己回帰モデルにおけるマルチトークン生成の実現に関する技術的サマリー

本論文は、従来の自己回帰（AR）言語モデルが持つ「1 フォワードパスで 1 トークンしか生成しない」という非効率性を解決し、モデルの構造変更や追加パラメータなしにマルチトークン生成を可能にする軽量ファインチューニング手法MARS (Mask AutoRegreSsion) を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

AR モデルの非効率性: 従来の自己回帰モデルは、文脈から次のトークンが極めて予測可能であっても、1 フォワードパスで 1 トークンしか生成しません。これは計算リソースの浪費です。
既存手法の限界:
- Speculative Decoding: 別々のドラフトモデルを維持する必要があり、メモリフットプリントの増大とオーケストレーションの複雑化を招きます。
- Medusa / EAGLE などのマルチヘッド手法: 追加の予測ヘッドとパラメータが必要であり、モデル構造の変更を強います。
課題: 既存の AR モデルの構造やパラメータを変更せず、かつ元の AR モデルとしての性能を維持したまま、マルチトークン生成能力を追加することは可能でしょうか？

2. 手法：MARS (Mask AutoRegreSsion)

MARS は、ブロックマスク拡散（Block Masked Diffusion）の概念を AR モデルに適用する際、従来のアプローチが抱えていた「品質低下の原因」を特定し、それを解消する設計を採用しています。

2.1 4 つのギャップの分析と解消

AR モデルとブロックマスク予測の間には 4 つのギャップが存在しますが、MARS はそのうち 3 つを解消し、AR モデルとしての挙動を維持します。

トークンマスク（本質的ギャップ）: 複数のトークンを並列予測するため、未来のトークンを [MASK] で置き換える必要があります。これは回避できません。
アテンションパターンの解消: 従来のブロック拡散モデルはブロック内で双方向アテンションを使用しますが、MARS は厳密な因果的（左から右）アテンションを維持します。これにより、AR モデルとしての性質を保ちます。
Logits の整合性の解消: AR モデルは位置 $t$ から $t+1$ を予測する「右シフト」のロジットを使用します。MARS はこの規約を維持し、出力ヘッドの機能を壊しません。
生成順序の解消: 従来の拡散モデルは確信度に基づいてトークンを順序無視でアンマスクしますが、MARS は厳密に左から右へトークンを受理します。

2.2 学習プロセス

MARS は、既存の指示追従（Instruction-tuned）モデルから開始し、以下の戦略でファインチューニングを行います。

二重ストリーム入力: 入力シーケンスを「クリーン（元のトークン）」と「ノイズ（ブロック単位で [MASK] 化）」の 2 つのストリームに分割し、連結してモデルに入力します。
構造付きアテンションマスク: クリーンなプレフィックスからのみ因果的に注意を向け、ブロック内の [MASK] 位置も因果的にのみ相互参照できるように設計されています。
SFT ロスの重要性（鍵となる貢献）:
- 単にマスクされたトークンを予測するだけでは、ブロックサイズが大きくなるにつれて AR 的な学習信号（次トークン予測）が希薄化し、推論性能が低下します。
- MARS は、クリーンなストリームに対する通常の AR 予測ロス（SFT loss）を併用します。これにより、ブロックサイズに関わらず AR 的な信号比率を 50% 以上に維持し、推論時の品質低下を防ぎます。

2.3 推論プロセス

スライドウィンドウと自信閾値: 現在のプレフィックスの後に $B$ 個の [MASK] を追加し、1 フォワードパスで実行します。
適応的受理: 左から順に、モデルの確信度（ $max_v p(x_t=v)$ ）が閾値 $\tau$ 以上であればそのトークンを受理し、プレフィックスに追加します。
柔軟な制御: $\tau$ を調整することで、1 トークン生成（AR と同等の品質）からマルチトークン生成（高速化）までを動的に切り替えられます。

3. 主要な貢献

ギャップ分析と解消: ブロックマスク予測が AR モデルと非互換となる原因が、本質的な制約ではなく設計選択（双方向アテンション、ロジット整合性、生成順序）にあることを示し、これらを解消することでベースライン品質を維持可能であることを証明しました。
軽量なファインチューニング手法: 追加パラメータや構造変更なしに、既存の SFT データを用いてマルチトークン生成能力を付与する MARS を提案しました。
SFT ロスの必要性の立証: ブロックサイズが大きくなっても AR 性能を維持するために、クリーン入力ストリームに対する SFT ロスが不可欠であることを理論的・実験的に示しました。
バッチ推論向け KV キャッシュ戦略: ブロックレベルの KV キャッシュを導入し、バッチ推論時のウォールクロック時間（実時間）の高速化を実現しました。

4. 実験結果

Qwen2.5-0.5B および Qwen2.5-7B モデルを用いた評価において、以下の結果が得られました。

1 トークンモード（ $\tau=1.0$ ）:
- 従来の AR モデル（SFT ベースライン）と同等、あるいはそれ以上の性能を 6 つのベンチマーク（IFEval, BBH, MMLU-Pro, GPQA, GSM8K, HumanEval）で達成しました。
- 特に 7B モデルでは、GSM8K で +4.5、HumanEval で +3.0 の改善が見られました。
- 計算コストを同等にした AR 学習（10 エポック）よりも優れており、マルチトークン学習自体がデータ拡張として機能していることが示唆されました。
マルチトークンモード（ $\tau=0.95$ ）:
- スループット: 1 フォワードパスあたりのトークン数が 1.5〜1.7 倍に増加しました。
- 精度: 精度の低下は最小限（平均で 1.3 ポイント未満）に抑えられ、特に 7B モデルではベースライン AR モデルの性能を維持したまま高速化を実現しました。
- 速度と品質のトレードオフ: 閾値 $\tau$ を調整することで、遅延重視（低 $\tau$ ）と品質重視（高 $\tau$ ）を動的に制御可能です。
ウォールクロック速度向上:
- ブロックレベル KV キャッシュを適用したバッチ推論において、Qwen2.5-7B で最大 1.71 倍の速度向上（AR モデル対比）を達成しました。
- バッチサイズが小さい場合ほど、AR モデルのオーバーヘッド相対的な高速化効果は大きくなります。

5. 意義と結論

MARS は、大規模言語モデルの推論効率化において重要な転換点となるアプローチです。

実用性: 追加モデルや複雑なオーケストレーションなしに、単一のチェックポイントで「品質重視」と「速度重視」の両方のモードを動的に切り替えられるため、実運用環境での導入コストが極めて低いです。
理論的洞察: 「拡散モデル的な並列生成」と「自己回帰モデルの品質」は、適切な設計（因果的アテンションの維持、SFT ロスの併用）によって両立可能であることを示しました。
将来展望: 現在のブロック境界での同期オーバーヘッドを解消するカーソルベースのキャッシュ管理や、入力複雑度に応じた適応的ブロックサイズ選択など、さらなる高速化の可能性が開かれています。

要約すれば、MARS は「構造変更なしに、既存の AR モデルをマルチトークン生成可能なスーパーセットに変える」画期的なファインチューニング手法であり、推論コスト削減とリアルタイム応答性の向上に大きく寄与します。