Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model

本論文は、従来の画像トークン化と自己回帰モデルの方向性の不一致を解消する「AliTok」という整合性のあるトークナイザーを提案し、これにより ImageNet 上で拡散モデルを凌駕する生成品質と 10 倍の高速サンプリングを実現したことを報告しています。

要約

🎨 物語：絵を描く AI と「未来が見える」呪い

1. 従来の問題：「未来が見えてしまう」絵の具

これまでの AI が絵を描くとき（画像生成）、画像を小さなパズル（トークン）の列に変えて、**「左から右、上から下」**の順に一つずつ描いていました（これを「自己回帰モデル」と呼びます）。

しかし、ここで大きな矛盾がありました。

• AI の性質： 「前のパズルを見て、次を予想する」ことしかできません（未来は見えません）。
• 絵の性質： 絵は全体的なつながりがあります。例えば、鳥の羽を描くとき、AI は「羽の先」だけでなく「羽の根元」や「隣の羽」の情報も同時に必要とします。

従来の方法では、AI が「次を予想する」ために必要な情報が、実は**「まだ描いていない未来のパズル」**に隠れていました。

例え話：
料理人が「次の具材」を予測しようとしているのに、レシピが「未来の味」を先に教えてしまっているようなものです。
「あ、次は塩だ！」と予測しようとしても、「でも、その前に砂糖を入れたら味が決まるよ」という未来の情報が邪魔をして、AI は混乱してしまいます。
その結果、AI は「何を描けばいいか」がわからず、絵がぼやけたり、変な形になったりしていました。

2. 解決策：「AliTok（アリトック）」という新しい筆

この論文の著者たちは、AI の能力を変えるのではなく、「絵の具（データ）の作り方」を変えて、AI に合うように調整しました。これが**「AliTok」**です。

AliTok の仕組みを 3 つのステップで説明します。

• ステップ①：「未来を見ない」練習をさせる
  通常、絵の具を作る（画像を圧縮する）とき、AI は「全体を見て」きれいな絵の具を作ります。でも、これだと「未来の情報」が入ってしまいます。
  AliTok は、**「未来のパズルを見ないで、今のパズルだけで次を予測できるように」**というルールを設けます。

  例え話：
  料理人が、まだ作っていない「次の工程」を見ずに、今ある材料だけで「次は何が必要か」を完璧に推測できるように訓練するのです。これにより、絵の具（トークン）が「左から右」の流れに自然に整えられます。

• ステップ②：「最初の行」のためのヒント（プレフィックス）
  しかし、このルールだと「絵の一番上（最初の行）」を描くときに、前に描いたものが何もないため、AI が困ってしまいます（「何から始めればいいの？」状態）。
  そこで、**「最初の行のための特別なヒントカード（プレフィックストークン）」**を用意しました。

  例え話：
  物語の冒頭が書きにくいので、作者に「物語の導入文」を先に渡してあげます。これにより、AI は「あ、ここから始まるんだ！」とスムーズに描き始められます。

• ステップ③：「完璧な絵」を後から仕上げる
  最初は「左から右」の流れを重視したので、絵の細部が少し荒くなることがありました。そこで、**「2 段階目のトレーニング」**を行います。

  1. 1 段階目：AI が描きやすいように「絵の具」を整える。
  2. 2 段階目：その絵の具を使って、**「未来も全部見て」**最高にきれいな絵を描き直す。

     例え話：
     下書き（1 段階目）は、ストーリーの流れを重視してサクサク描きます。その後、プロの画家（2 段階目のデコーダー）が、その下書きを元に、細部まで丁寧に塗り直して完成品に仕上げます。

3. 結果：驚異的な速さと美しさ

この新しい方法（AliTok）を使えば、従来の複雑な AI ではなく、**「シンプルで標準的な AI」**でも、最高レベルの絵が描けるようになりました。

• 速さ： 従来の「拡散モデル（Diffusion）」という方法に比べて、10 倍も速く絵が描けます。
  • 例え話： 従来の方法は「何回も下書きを消して書き直して」完成させるのに対し、AliTok は「最初から正しい順序で、一筆書きのように」描けるので、圧倒的に速いです。
• 質： 画像の美しさ（解像度やリアルさ）も、世界最高峰の技術と同等かそれ以上になりました。

🌟 まとめ

この論文が伝えたかったことはシンプルです。

「AI が絵を描くのが苦手なのは、AI のせいではなく、絵の具（データ）の作り方が AI と合っていなかったから」

そこで、「AI が描きやすいように、絵の具の並び順を工夫した」（AliTok）ことで、**「シンプルで速い AI」が、「複雑で遅い AI」**を凌駕する絵を描けるようになった、という画期的な発見です。

これにより、将来はもっと速く、高品質な画像や動画が、もっと手軽に生成できるようになることが期待されます。

技術概要

論文「TOWARDS SEQUENCE MODELING ALIGNMENT BETWEEN TOKENIZER AND AUTOREGRESSIVE MODEL」の技術的サマリー

本論文は、ICLR 2026 にて発表された研究であり、自己回帰（Autoregressive: AR）モデルを用いた画像生成において、従来のトークナイザーと生成モデルの間の根本的な「不整合」を解決する新しいアプローチ「AliTok」を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義：トークナイザーと AR モデルの根本的な不整合

従来の自己回帰画像生成モデル（GPT 風のデコーダーのみ）は、次のトークンを過去の文脈に基づいて予測する「一方向性（Unidirectional）」の予測タスクとして機能します。しかし、画像生成における既存のトークナイザー（VQ-VAE など）には以下の問題がありました。

• 双方向依存性の存在: 画像は空間的に連続しており、効率的な圧縮と高品質な再構成を実現するために、従来のトークナイザーはすべてのトークンが双方向（過去と未来）の文脈を共有してエンコードするよう学習します。
• 予測の困難さ: これにより、特定のトークンの表現が「未来のトークン（未観測情報）」に依存するようになります。AR モデルは未来の情報を持たずに次のトークンを予測しなければならないため、この双方向依存性は学習タスクに極端な不確実性（高エントロピー）をもたらし、生成性能の限界を招きます。
• 既存手法の限界: この矛盾を解消するため、マスキング付き AR や次スケール予測など、モデル側を複雑化して双方向性を許容するアプローチが提案されてきましたが、これらは AR モデルの単純さやマルチモーダル統合の利点を損なうものでした。

核心的な問い: 「データ（トークン列）の依存構造を、強力なデコーダーのみの AR モデルの予測特性に合わせることは可能か？」

2. 提案手法：AliTok (Aligned Tokenizer)

著者らは、モデルをデータに合わせるのではなく、トークン列そのものに因果的（Causal）な依存構造を注入するという逆転の発想で「AliTok」を提案しました。

2.1 主要なアーキテクチャと仕組み

AliTok は、以下の 3 つの要素を組み合わせた 2 段階のトレーニング戦略を採用しています。

1. 因果的デコーダーによる制約（Causal Decoder Constraint）:

   • エンコーダーは双方向の Transformer（ViT）を使用し、効率的な圧縮と意味的な豊かさを確保します。
   • しかし、再構成（デコード）時には、因果的（一方向性）なデコーダーを使用します。つまり、$i$ 番目のパッチの再構成は、$i$ 番目までのトークンのみ（ラスタースキャン順）に基づいて行われます。
   • この制約により、エンコーダーは「未来の情報に依存せず、過去の文脈だけで再構成可能な表現」を学習することを強制されます。これにより、トークン列は AR モデルが予測しやすい構造に変化します。

2. プレフィックストークン（Prefix Tokens）と補助損失:

   • 因果的制約により、画像の最初の行（最初のトークン群）は過去の文脈が不足し、再構成品質が低下する問題が発生します。
   • これを解決するため、画像の最初の行に対応する 16 個の「プレフィックストークン」を導入し、専用の補助損失（Auxiliary Loss）で最適化します。これにより、最初の行に必要な文脈事前知識（Contextual Priors）を補完します。

3. 2 段階トレーニング戦略:

   • Stage 1: 上記の因果的デコーダー制約のもとで、生成に優しいエンコーダーとコードブックを学習します。
   • Stage 2: エンコーダーとコードブックを固定し、双方向のデコーダーを再学習させます。これにより、生成のしやすさを損なわずに、再構成の忠実度（Fidelity）と細部の整合性を大幅に向上させます。

3. 主要な貢献

1. 問題の解明: 従来のトークナイザーが持つ「トークン間の双方向依存性」が、AR モデルの性能を制限する主要因であることを実証的に明らかにしました。
2. AliTok の提案: 双方向エンコーダーと因果的デコーダーの組み合わせ、およびプレフィックストークンを用いることで、高忠実度な再構成と AR モデルによる高予測性を両立する新しいトークナイザーを設計しました。
3. SOTA 性能の達成: 提案されたトークナイザーを用いた標準的なデコーダーのみの AR モデルが、ImageNet ベンチマークにおいて、最先端の拡散モデル（Diffusion Models）や他の AR 手法を性能と効率の両面で上回ることを実証しました。

4. 実験結果

ImageNet-256 および 512 での評価結果は以下の通りです。

• ImageNet-256 生成性能:
  • AliTok-XL (662M パラメータ): gFID 1.28, IS 306.3 を達成。
  • 比較: 10 倍の計算量を持つ拡散モデル「LightningDiT」(gFID 1.35) や、15 億パラメータの AR モデル「RAR-XXL」(gFID 1.48) を上回りました。
  • 効率性: サンプル生成速度は、拡散モデルやマスク付き AR モデルと比較して10 倍高速でした（KV キャッシュの活用による）。
• ImageNet-512 生成性能:
  • AliTok-L (318M パラメータ): gFID 1.39 を達成し、既存の AR 手法や拡散モデルを凌駕する SOTA 性能を記録しました。
• 再構成品質:
  • 2 段階トレーニングにより、再構成用 FID (rFID) は 0.86 まで改善され、大規模なコードブックを持つ競合手法（GigaTok など）と同等の品質を、より少ないパラメータ数で達成しました。
• アブレーション研究:
  • 因果的デコーダーの導入により、AR モデルのトレーニング精度が 5.4% から 10.7% へ劇的に向上し、生成品質（gFID）も 2.96 から 1.88 へ改善することが確認されました。

5. 意義と結論

本論文は、**「データ（トークン表現）とモデル（生成アーキテクチャ）の整合性を取る」**という視点の転換によって、自己回帰画像生成の性能限界を突破したことを示しています。

• AR モデルの復権: 複雑な生成メカニズム（マスキングやランダム順序など）を必要とせず、シンプルでスケーラブルな「デコーダーのみの AR モデル」が、拡散モデルを凌駕する可能性を証明しました。
• マルチモーダル統合への道筋: 単純な AR アーキテクチャは、テキストと画像を統一的に扱うマルチモーダル基盤モデルの構築にとって理想的です。AliTok は、この統合への道を開く重要なステップとなります。
• 効率性: 高速なサンプリングと高い生成品質の両立は、実用的な画像生成アプリケーションにおいて極めて重要です。

結論として、AliTok は、トークン列の依存構造を意図的に設計することで、従来の AR モデルが抱えていた根本的な課題を解決し、画像生成分野において新たな SOTA を確立しました。