技術的サマリー：生成画像の事前学習の再考

問題提起

自然言語処理における自己回帰的な次のトークン予測の成功にもかかわらず、視覚分野における次のピクセル予測のパラダイムは人気が低下しています。現代のアプローチでは、生ピクセル系列の計算負荷を軽減するため、画像トークナイザー（例：VQ-VAE、VQGAN）を用いた多段階生成やパッチレベルの学習を好む傾向にあります。しかし、根本的な問いは未解決のままです：次のピクセル予測をスケーリングアップするには、どれほど遠いのでしょうか？

本論文は、視覚のための統一フレームワークとしての自己回帰的次のピクセル予測のスケーリング特性を調査します。著者らは以下の 3 つの核心的な課題に対処します：

1. 意味的密度： ピクセルは言語トークンに比べてはるかに少ない意味情報しか持たず、異なるスケーリング則を必要とする可能性があります。
2. 空間的複雑性： ピクセルは、逐次的にモデル化することが困難な複雑な空間的依存関係を示します。
3. 解像度のスケーラビリティ： 予測の複雑さは画像解像度の二次関数的に増大するため、高解像度のモデル化は計算上禁止的です。

本研究は、生ピクセルモデルが予測可能なスケーリング則に従うかどうか、これらの法則がタスク（認識対生成）間でどのように異なるか、そして現在のおよび予測される計算予算を考慮した場合にこのアプローチが実行可能かどうかを明らかにすることを目的としています。

手法

実験設定

• モデルアーキテクチャ： 著者らは、RMSNorm、1D RoPE、ゲート付き線形ユニット（GEGLU）を備えた標準的なトランスフォーマーアーキテクチャのファミリーを利用します。1,000 万から 4 億 4,900 万パラメータまでの 5 つのモデルスケールをテストします。
• データセット： 事前学習は、より均一な ImageNet ILSVRC 2012 ではなく、オープンワールドの視覚的頻度を反映する長尾分布を持つ大規模データセットであるJFT-300Mで行われます。
• 学習目的： 自己回帰的次のピクセル予測（$Pr(x_i | x_{<i})$）のための標準的な負対数尤度。
• スケーリング戦略： 本研究は、計算最適化された構成を特定するためにIsoFLOP プロファイル（Hoffmann ら、2022 年に従う）を採用します。固定された計算予算に対して、著者らはモデルの深さと幅を変化させ、最適なトークン対パラメータ比を求めます。
• 解像度： 実験は16×16、32×32、および 64×64の解像度で行われます。計算上の扱いやすさから、32×32 の解像度が広範な実験のための主要なベースラインとして機能します。

評価指標

異なる目的におけるスケーリングの傾向を評価するために、著者らは 3 つの異なる指標を評価します：

1. 次のピクセル予測損失： 主要な学習目的。
2. ImageNet 分類精度： 表現の質を評価するために線形プロービング（バックボーンを固定し、線形ヘッドを学習する）を通じて測定されます。
3. 生成ベースの完成品質： **フレシェ距離（FD）**を使用して測定されます。画像の上半分を空間的プロンプトとして使用し、モデルが下半分を自己回帰的に予測します。

主要な発見と結果

1. テキストに比べた生ピクセルの非効率性

生ピクセルでの学習は、言語トークンでの学習に比べてはるかに非効率です。

• トークン対パラメータ比： 計算最適化された性能を達成するために、生ピクセルモデルは言語モデルに比べてパラメータあたり 10〜20 倍多いトークンを必要とします。言語モデルは通常、トークン/パラメータ比が約 20 で動作しますが、ピクセルモデルでは 400 を超える比が必要です。
• 含意： 単一のピクセルは単語（例：「猫」）に比べて最小限の意味情報しか含まないため、効果的な表現を学習するには、モデルサイズに対してはるかに大量のデータが必要です。

2. タスク依存のスケーリング戦略

最適なスケーリング戦略は普遍的ではなく、固定された解像度（32×32）であっても、目標指標に基づいて大きく異なります。

• 分類対生成：
  • 分類： 最適なスケーリングは、モデルサイズとデータサイズが同様の割合で成長するバランスを好みます（$N_{opt} \propto C^{0.56}$、$D_{opt} \propto C^{0.44}$）。
  • 生成： 画像生成のための最適なスケーリングは、データ重視のアプローチを必要とします。データセットサイズはモデルサイズよりも3〜5 倍速く成長する必要があります（$N_{opt} \propto C^{0.49}$、$D_{opt} \propto C^{0.51}$）。
• 結論： 次のピクセル損失や分類に最適化されたスケーリング戦略は、画像生成にとっては最適ではありません。生成タスクは、高次依存関係や長尾の視覚分布を捉えるために、広大で多様なデータを必要とします。

3. 解像度依存のスケーリングのシフト

画像解像度が高くなるにつれて、最適なスケーリング戦略はデータとモデルサイズのバランスから、より大きなモデルを強く支持する方向へシフトします。

• モデル対データ： より高い解像度（例：64×64）では、ピクセルあたりの最適パラメータ数が急速に増加する一方、最適画像数（データ）の増加ははるかに緩やかです。
• 理由： より高い解像度は本質的に、より低い解像度の部分系列からの情報を含んでいます。十分な量のデータが利用可能になれば、新しいデータポイントの限界価値は減少し、視覚構造の複雑さは、微細なテクスチャや大域的構造をモデル化するために、より大きなモデル容量を必要とします。
• 性能： 解像度を 32×32 から 64×64 に上げると、生成品質（フレシェ距離）は大幅に向上しますが、ImageNet 分類精度の向上は僅かです。

4. 実現可能性の予測

著者らは、データ駆動型の理論的推定を用いて、競争力のある性能（ImageNet 精度 80%、フレシェ距離 100 未満）を達成するための要件を予測します。

• 計算のボトルネック： 次のピクセル予測をスケーリングする際の主な障壁は、データの可用性ではなく計算です。インターネット上の視覚データの膨大な量を考慮すると、データ要件は制限要因ではありません。
• タイムライン： 最先端 AI モデルの学習計算が年間 4〜5 倍成長すると仮定すると、著者らはピクセルごとのモデル化が今後 5 年以内に実現可能になると予測しています。
• 予測： $10^{24}$ FLOPs において、モデルは理論上、ImageNet 精度で約 85%（64×64）、フレシェ距離で約 93 に到達でき、これは約 800 億パラメータのモデルサイズと約 5 億枚の画像（64×64）を必要とします。

意義と主張

本論文は、認識タスクと生成タスクの両方における生次のピクセル予測のスケーリング則に関する、最初の厳密かつ大規模な分析を提供すると主張しています。

• パラダイムの再評価： この研究は、次のピクセル予測が本質的にスケーリング不可能または劣っているという考えに挑戦します。その代わりに、計算予算とデータ対パラメータ比が適切に調整されれば、このパラダイムは予測可能なべき乗則のスケーリングに従うことを実証しています。
• 統一されたビジョンモデル： 発見事項は、単一のエンドツーエンドフレームワークが視覚認識と生成を統一できることを示唆していますが、2 つのタスク間では最適な計算割り当ては大きく異なります。
• 将来の妥当性： 本研究は、現在の高解像度生ピクセルモデル化の計算要件は非現実的であると結論付けていますが、計算の成長の軌道は、このアプローチが近い将来、統一されたビジョンモデルのための実行可能かつ競争力のある道となり、複雑なトークナイゼーションスキームの必要性を不要にする可能性があると示唆しています。

著者らは謙虚なトーンを維持し、彼らの予測はべき乗則の指数の安定性に依存しており、実証的検証は現在 64×64 までの解像度に限定されていることを認めています。さらに、これらの解像度を超えたスケーリングの探求や、物体検出などのより複雑なダウンストリームタスクにわたるスケーリング傾向の統一には、さらなる研究が必要であると指摘しています。