技術要約：視覚的合成のための生成型洗練ネットワーク（Generative Refinement Networks）

問題提起

視覚的生成の分野は現在、拡散モデル（Diffusion Models）によって支配されていますが、これらは高品質である一方で、計算効率の低さに課題があります。拡散モデルは、複雑さに関わらずすべてのサンプルに対して一律の計算量を割り当てるため、適応的なステップ制御能力を欠いています。対照的に、自己回帰（AR）モデルは、可変的な尤度を通じて本質的な複雑さへの認識能を備えていますが、以下の2つの決定的な欠点によって阻害されています。

1. 損失を伴う離散トークン化： 標準的なARモデルは離散トークンに依存しており、これが歴史的に、連続的な表現と比較して劣った再構成品質をもたらしてきました。
2. 誤差の蓄積： 厳密な因果的予測メカニズム（トークンごと、またはスケールごと）は、モデルによる事後的な修正を妨げます。一度トークンが生成される（あるいは、マスクされたARモデルにおいて高信頼度のトークンが固定される）と、それを洗練させることはできず、誤差の伝播を招きます。

手法

著者らは、拡散モデルの固定された計算コストと、標準的なARモデルの誤差蓄積を克服するために設計された次世代の視覚的合成パラダイムである**生成型洗練ネットワーク（GRN）**を提案しています。このフレームワークは、以下の3つのコアコンポーネントで構成されています。

1. 階層的バイナリ量子化（Hierarchical Binary Quantization: HBQ）

離散トークナイザーと連続トークナイザーの間の再構成品質のギャップに対処するため、著者らはHBQを導入しました。

• メカニズム： ハール・ウェーブレットに着想を得たHBQは、多段階の階層的バイナリ量子化を通じて、連続的なVAE特徴量を離散的なバイナリラベルへと変換します。特徴量は $(-1, +1)$ にマッピングされ、バイナリ・バケットの二分木に基づき $M$ ラウンドのバイナリ分割が行われます。
• 理論的利点： 量子化誤差はラウンド数に応じて指数関数的に減少します（ラウンド $j$ において $< 1/2^j$）。これにより、離散トークナイザーは潜在チャネルの次元を増やすことなく、連続的なものに匹敵するニアロスレス（ほぼ無損失）な再構成を実現できます。
• 実装： 著者らは、生成のための2つのバリアントを提案しています：GRNind（離散インデックス $0 \dots 2^M-1$ の予測）および GRNbit（連結されたバイナリビットの予測）。

2. グローバル洗練メカニズム（Global Refinement Mechanism）

厳密に因果的かつ不可逆的な方法でトークンを生成する従来のARモデルとは異なり、GRNは人間の描画プロセスに着想を得たグローバルな洗練ループを採用しています。

• プロセス： 生成はランダムなトークンマップから始まります。各ステップ $t$ において、モデルは複合状態 $F_t$ に基づいて新しい描画マップ $Y_{t+1}$ を予測します。
• 状態の構成： $F_t$ は、現在の描画 $Y_t$ とランダムなマップ $Y_{rand}$ の間で、バイナリ選択マップ $S_t$ に基づいて選択することによって構築されます。
• 洗練： 選択マップ $S_t$ は、前のステップから保持されるトークンの割合と、ランダムなノイズによって置き換えられるトークンの割合を制御します。プロセスが反復されるにつれ、保持される「実際の」トークンの割合は単調に増加します。決定的なのは、このメカニズムにより、より多くのコンテキストが蓄積されるにつれて、モデルが以前の誤差を消去し、修正することが可能になる点であり、これにより誤差の伝播を効果的に軽減します。

3. 複雑さ適応型サンプリング（Complexity-Aware Sampling）

GRNは、適応的なステップ生成を可能にするために、エントロピー誘導型サンプリング戦略を統合しています。

• エントロピー計算： モデルは、各ステップにおける予測分布の平均エントロピー $H(Y_t)$ を計算します。
• 適応型スケジューリング： スケジューリング関数が、保持する割合 $l_t$（保持するトークンの割合）を決定します。
  • 低エントロピー（高信頼度）： より少ない洗練ステップが割り当てられ、選択比率が急激に上昇します。
  • 高エントロピー（高複雑度）： より多くの洗練ステップが割り当てられ、さらなる修正を可能にするために選択比率が緩やかに上昇します。
• 利点： これにより計算リソースを動的に分配し、複雑なサンプルにはより多くのステップを、単純なサンプルにはより少ないステップを割り当て、視覚的品質を損なうことなく実現します。

主な貢献

1. GRNフレームワーク： グローバルな洗練メカニズムと複雑さ適応型生成を組み合わせた新しい視覚的合成フレームワークであり、堅牢かつ効率的な視覚生成を実現します。
2. 階層的バイナリ量子化（HBQ）： 離散的な画像/ビデオトークナイザーが、潜在次元を増やすことなく、かつ大幅に高い圧縮率で作動しながら、連続的なトークナイザー（例：SD-VAE）と同等の再構成品質（ImageNetで0.56 rFIDを達成）を実現することを可能にする量子化スキームです。
3. 最先端のパフォーマンス： GRNは画像再構成およびクラス条件付き生成において新記録を樹立し、拡散モデルや既存の自己回帰モデル（VARやLlamaGen）を凌駕しています。

実験結果

画像再構成およびクラス・トゥ・イメージ（C2I）

• トークナイザーの性能： ImageNet 256×256ベンチマークにおいて、HBQトークナイザーは rFID 0.56 を達成し、SD-VAE (0.87) のような連続的ベースラインや、VAR (0.85) および LlamaGen (2.19) のような離散的ベースラインを上回りました。
• 生成性能： GRN-Gモデル（2Bパラメータ）は、ImageNetにおいて gFID 1.کس 1.81 およびインセプションスコア（IS）299.0を達成しました。これは、多くのトップティアの拡散モデルよりもパラメータ数が少ないにもかかわらず、DiTやSiTなどの基礎的な拡散モデル、およびVARやLlamaGenなどの自己回帰モデルを凌駕しています。

テキスト・トゥ・イメージ（T2I）およびテキスト・トゥ・ビデオ（T2V）

• T2I： 2BパラメータまでスケールアップしたGRNは、総合GenEvalスコア 0.76 を達成しました。巨大なプロプライエタリモデル（6B–20B）よりは小さいものの、同規模のモデルであるSD3 Medium (0.62) や Infinity (0.71) を大幅に上回りました。
• T2V： GRNは480pビデオ（2〜10秒）を生成するようにスケールされました。総合VBenchスコア 82.99 を達成し、特定の指標においてHunyuanVideo (13B) や Wan 2.1 (14B) といった大規模な拡散モデルを上回り、Emu3 (8B) や Nova (0.6B) といった自己回帰型のカウンターパートを凌駕しました。

効率性

• 適応型ステップ： 複雑さ適応型サンプリングにより、C2I生成の平均推論ステップ数が削減され、固定50ステップのベースラインと比較して、FIDを3.56から3.47に改善しつつ、1.25倍の平均スピードアップ（最大2.5倍）を実現しました。
• 推論時間： 1024×1024のT2Iにおいて、GRNは平均約4秒かかります（Qwen-Imageの33秒と比較）。480pのT2Vでは、平均約125秒かかります（Wan 2.1の480秒と比較）。なお、ベースラインは最適化されたライブラリを使用していますが、GRNは生のPyTorchで実行されています。

意義と主張

本論文は、GRNが、従来の視覚的自己回帰モデルを制限してきた量子化損失と誤差の蓄積という長年の課題を解決すると主張しています。グローバルな洗練メカニズムを導入することで、GRNは標準的な因果的ARモデルには欠けている、事後的な誤差修正能力を可能にします。

さらに、著者らは、GRNが完全に離散トークンに基づいて構築されているため、大規模言語モデル（LLM）との統一学習において独自の地位にあると断言しています。この統合は、テキストと視覚的トークンを単一の離散フレームワークの下で扱うことにより、マルチモーダルな理解と生成を自然に促進する可能性があります。著者らは、GRNが現在主流となっている「Transfusion」（ハイブリッド拡散-AR）アーキテクチャに対する強力な競合相手となる可能性があり、視覚的合成へのより効率的で理論的に健全な道を提供できると考えています。