🤖 AI

Parallel Rollout Approximation for Pixel-Space Autoregressive Image Generation

本論文では、低次元の中間状態を生成することで推論時の条件を近似することにより、ピクセル空間における自己回帰的な画像生成の学習と推論のギャップを埋めるスケーラブルなフレームワークであるParallel Rollout Approximation（PRA）を導入し、これにより、従来の数十億パラメータ規模のモデルよりも大幅に少ないパラメータ数でImageNet-1Kにおいて最先端のFIDスコアを達成する。

原著者： Jiayi Xu, Di He, Guolin Ke

公開日 2026-06-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiayi Xu, Di He, Guolin Ke

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、1マスずつ色を塗って傑作を描く方法を教えていると想像してみてください。これが、ピクセル空間自己回帰（AR）画像生成が行っていることです。あらかじめ用意された「スタンプ」や「コード」を使って画像を作り上げるのではなく、ロボットは生のピクセル（実際の色彩）を見つめ、すでに塗られたマスに基づいて次のマスを予測しようとします。

この論文では、このロボットが苦戦する2つの大きな問題を解決するために、**並列ロールアウト近似（Parallel Rollout Approximation: PRA）**という新しい手法を紹介しています。

2つの大きな問題

1. 「重労働」問題（出力側）
ロボットに次のマスを予測するように頼む場面を想像してください。もしそのマスが小さくて単純な点であれば簡単です。しかし、この手法では、ロボットは一度に数百もの色を持つ画像の塊（パッチ）全体を予測しなければなりません。それは、学生に一息でエッセイを丸ごと書き上げるよう求めるようなものです。

結果： タスクが難しすぎるため、ロボットはステップごとに大きなミスをしてしまいます。

2. 「練習と本番のギャップ」問題（入力側）
学習中、先生（コンピュータ）は、ロボットに対して、これまでに塗られたマスとして「完璧な」ものを見せています。これは、学生がテストを受けているときに、先生が前の問題の正解を耳元で囁いてあげているようなものです。

現実： ロボットが実際に自分自身で絵を描くとき（推論時）、彼は自分自身の「予測」を見ることになります。そして、その予測は少し間違っているかもしれません。
結果： ロボットは完璧なデータで練習しましたが、不完全なデータで実行することになるため、小さなミスが積み重なってしまいます。一つの色の間違いが次のマスの予測を狂わせ、それがまた次のマスの予測を狂わせ、最終的に絵全体を台無しにしてしまうのです。

解決策：PRA（「スケッチと翻訳」メソッド）

著者らは、2つのステップからなる巧妙なトリックを用いて、両方の問題を同時に解決するPRAを提案しています。

ステップ1：「スケッチ」（重労働の解決）
高精細なカラーパッチを直接予測させる代わりに、PRAはまず、小さくて単純なスケッチ（低次元の中間状態）を描くようロボットに求めます。

比喩： ロボットに詳細な顔を描かせるのではなく、まずは単純な棒人間の輪郭を描かせるようなものです。
魔法： ロボトがこの単純なスケッチを描き終えると、特別な「翻訳機」（ピクセルデコーダー）が、そのスケッチを瞬時にフルカラーの詳細なパッチへと変換します。
なぜ機能するか： 単純なスケッチを予測することは、複雑な画像を予測することよりもずっと簡単であるため、ロボットは各ステップでのミスを減らすことができます。

ステップ2：「リハーサル」（練習と本番のギャップの解決）
練習と本番のミスマッチを修正するために、PRAはロボットの訓練方法を変更します。

従来の方法： ロボットは、完璧な、先生が提供した画像を見て練習していました。
PRAの方法： 学習中、ロボットは、実際にパフォーマンスを行う際に使用するのと同じ「翻訳機」によって「汚された」画像を見せられます。
比喩： ミュージシャンが練習している場面を想像してください。完璧で静かなステージで演奏するのではなく、ノイズキャンセリングヘッドホンを装着し、前の小節で自分が奏でた、わずかに音程のズレた音を再生しながら練習するようなものです。これにより、彼らはリアルタイムで自分のミスから立ち直る方法を学ぶことができます。
「並列」のトリック： これをシミュレートするには、通常、学習中にロボットにステップごとに絵を描かせる必要があり、非常に時間がかかります。しかし、PRAはスマートです。これらの一連の「不完全な練習用画像」を、すべてのステップに対して**同時に（並列に）**作成します。これは、100人の俳優が、前の俳優が終わるのを待つのではなく、全員が同時にセリフのリハーサルをしているようなものです。

結果

著者らは、有名な画像データセット（ImageNet）を用いてこのモデルをテストしました。

勝者： 彼らの新しいモデルであるPRAは、ピクセルを直接描こうとする従来のメソッドよりも、著しく鮮明でリアルな画像を作成しました。
規模： 彼らのモデルの小さなバージョン（脳細胞が1億3500万個）でさえ、他の研究者による数十億規模の巨大なモデルに打ち勝ちました。
ボーナス： モデルが生のピクセルを理解する能力を習得したため、画像の中に何があるかを認識する（分類）能力も非常に高くなりました。これは、単にコピーする方法を学んだのではなく、画像に対する深い理解を得たことを示唆しています。

まとめ

PRAは、アーティストに近道を与えるようなものです。一度にすべての詳細を完璧に描こうとして苦戦する代わりに、素早くスケッチを描き、あとは機械に細部を埋めてもらうのです。また、自分自身の不完全なスケッチを見ながら練習することで、一人で描かなければならない時に混乱しないようにしています。その結果、コンピュータがゼロから画像を生成するための、より速く、より賢く、より正確な方法を実現しました。

技術要約：ピクセル空間自己回帰画像生成における並列ロールアウト近似

1. 問題定義

ピクセル空間の自己回帰（AR）画像生成は、離散的なトークナイザーや別途学習済みのトークナイザーに依存することなく、生のピクセルパッチをシーケンスとしてモデル化することを目指している。このアプローチは概念的には単純明快であるが、歴史的に潜在空間ARや拡散モデルと比較して性能を制限してきた、2つの結合した課題に直面している：

出力側の課題（高次元予測）： 高次元の生のピクセルパッチ（例：16×16パッチの768次元ベクトル）を単一のARステップで予測することは困難であり、これが大きな単一ステップ生成誤差を引き起こす。
入力側の課題（訓練と推論のミスマッチ）： 標準的な教師強制（teacher-forcing）訓練では、モデルはクリーンな正解のプレフィックス（接頭辞）に基づいた条件付けを行う。しかし、推論時、モデルは自身が生成した（そして潜在的に誤った）ピクセルパッチに条件付けされなければならない。このミスマッチにより、エラーがARステップを通じて蓄積・伝播する現象が発生する。これは「露出バイアス（exposure bias）」として知られている。

$x$ -予測（拡散モデルにおいて効果的）や入力ノイズ注入といった既存の緩和戦略は、これらの問題の一部のみを対処している。完全なロールアウト訓練（生成されたプレフィックスにモデルを曝露させる手法）は、連続的なトークンに対して逐次的なサンプリングを必要とするため、連続トークンARにおいては計算コストが極めて高い。

2. 手法：並列ロールアウト近似 (Parallel Rollout Approximation: PRA)

著者らは、スケーラブルなフレームワークである**並列ロールアウト近似（PRA）**を提案する。これは、「ピクセル入力、ピクセル出力」のインターフェースを維持しながら、出力および入力の両方の課題を共同で解決するものである。

2.1 出力側：エンドツーエンドの中間ターゲット

単一ステップ生成の難易度を下げるため、PRAは高次元のピクセルパッチを直接予測しない。代わりに、低次元の中間状態（ $z_i \in \mathbb{R}^{d_z}$ , ここで $d_z \ll d$ ）を生成する。

ターゲットの構築: 訓練中、正解のピクセル・トークン $x_i$ と因果的プレフィックス表現 $h_{i-1}$ は、軽量な投影ネットワーク $g_\psi$ を介してターゲット中間状態 $z_i$ へとマッピングされる。このターゲットは、プレフィックスからの情報を組み込んだコンテキスト依存型のものとなる。
デコーディング: 因果的ピクセルデコーダ $D_\phi$ は、生成された中間状態 $\hat{z}_i$ （および以前の状態 $\hat{z}_{<i}$ ）をピクセル空間へと写像し、出力トークン $\hat{x}_i$ を生成する。
訓練: ARモデルは、トークンレベルの拡散ヘッド（rectified-flow目的関数）を用いて $z_i$ を予測するように訓練され、同時にデコーダは $z_i$ から $x_i$ を再構成するように訓練される。これにより、外部インターフェースはピクセル空間に留まったまま、ARバックボーンがより低次元の空間で動作することが可能になる。

2.2 入力側：並行的な推論風入力

逐次的なロールアウトなしに訓練と推論のギャップを埋めるため、PRAは推論風のピクセル入力を並列に構築する。

メカニズム: クリーンな正解ピクセルで訓練する代わりに、PRAはターゲット中間状態 $z_i$ を（rectified-flow補間を用いて）摂動させ、ノイズを含んだ状態 $\tilde{z}_t$ を作成する。これらは、推論時に使用されるものと同じピクセルデコーダを通過し、再構成されたピクセル・トークン $\bar{x}_i$ を生成する。
並列性: 各 $\bar{x}_i$ は、逐次的な自己回帰的軌跡からではなく、対応するターゲット状態から独立して構築されるため、このプロセスは完全に並列化が可能である。
訓練ループ: その後、ARモデルは、これらの再構成された推論風ピクセル $\bar{x}_{<i}$ のプレフィックスを条件として、ターゲット $z_i$ を予測するように訓練される。これにより、効率的な教師強制訓練の特性を維持しつつ、推論時のロールアウトにおけるエラー構造を近似することができる。

3. 主な貢献

統合フレームワーク: PRAは、別途学習済みのトークナイザーを必要とせずに、高次元出力エラーと訓練・推論ミスマッチの両方に同時に対処する初のスケーラブルなフレームワークである。
中間状態学習: 本論文は、VAEの凍結された潜在空間に頼るのではなく、因果的ARモデルに特化して最適化された、エンドツーエンドで学習可能な中間ターゲット空間を導入している。
並列ロールアウト近似: PRAは、非逐次的なデコード・ピクセル入力の構築を通じて、ロールアウト訓練（生成されたコンテキストにモデルを曝露させること）の利点を効果的に近似することに成功した。
ピクセル入力・ピクセル出力インターフェース: 潜在空間ARモデルとは異なり、PRAは生のピクセルパッチと直接的なインターフェースを維持しており、画像の理解と生成の統一的な適用を容易にする。

4. 実験結果

著者らは、256×256解像度のクラス条件付きImageNet-1K生成においてPRAを評価した。

最先端の性能:
- PRA-S (135M パラメータ): FID 2.58を達成し、従来の数十億パラメータ規模のピクセル空間ARモデル（例：FID 3.60のFARMER-1.9B）を上回った。
- PRA-L (511M パラメータ): FID 1.94を達成し、ピクセル空間ARモデルにおける新たな最先端（SOTA）を確立した。
アブレーション研究:
- 中間ターゲット: コンテキスト依存型ターゲット（プレフィックス表現を組み込んだもの）は、ローカルのみのターゲットや凍結されたLDMエンコーダよりも優れた性能を示した。中間次元 $d_z=16$ が最適であることが判明した。
- 入力構築: デコードされたピクセル入力（PRA）を使用することは、クリーンな正解ピクセル、正解の中間状態、または単純なノイズ注入を用いた訓練よりも大幅に優れており、推論時のピクセル・フィードバックループを一致させる必要性を裏付けた。
画像理解:
- ImageNetのリニアプロービングに適用した際、PRA-Lは68.80%のTop-1精度を達成し、潜在空間ARのベースライン（SphereAR-L: 52.19%）およびピクセル空間拡散のベースライン（JiT-L: 42.76%）の両方を上回った。これは、モデルが転移可能な視覚表現を学習していることを示唆している。

5. 意義と主張

本論文は、PRAが拡散モデルや潜在空間ARモデルとの競争を阻んでいた根本的なボトルネックを解消することを主張している。低次元の中間状態を通じて単一ステップ生成の難易度を下げ、並列ロールアウト近似を通じてエラーの蓄積を軽減することで、PRAは生のピクセルから高品質な画像を直接生成することを可能にする。

著者らは、PRAの「ピクセル入力、ピクセル出力」という性質と、リニアプロービングにおける強力な性能の組み合わせが、別途のトークナイザーやオートエンコーダを不要とする、統一的なピクセル空間モデルへの可能性を示唆していると強調している。

限界事項: 著者らは、PRAが追加のコンポーネント（中間状態エンコーダ、ピクセルデコーダ、および訓練時の追加の並列ARフォワードパス）を導入することを指摘している。これらはエンドツーエンドで訓練されるが、より広範なデータドメインや生成タスクに対して本フレームワークを検証するには、今後の研究が必要である。