💻 computer science

Hierarchical Image Tokenization for Multi-Scale Image Super Resolution

本論文は、階層的画像トークン化（HIT）と直接選好最適化（DPO）を視覚的自己回帰フレームワーク内で統合し、外部訓練データを必要とせず、柔軟な単一パス多スケール出力生成を可能にしながら、コンパクトな 3 億パラメータモデルで最先端の性能を達成する新規のマルチスケール画像超解像手法を提案する。

原著者： Isma Hadji, Enrique Sanchez, Adrian Bulat, Brais Martinez, Georgios Tzimiropoulos

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Isma Hadji, Enrique Sanchez, Adrian Bulat, Brais Martinez, Georgios Tzimiropoulos

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ぼやけて低解像度の猫の写真を想像してみてください。それをクリスタルのようにクリアで高解像度の傑作に変えたいとします。これが**画像超解像（ISR）**の役割です。

長らく、コンピュータは欠落した詳細を推測するか（これにより猫に六つの目ができるような偽の特徴が生まれることもありました）、あるいは画像を段階的にゆっくりと「ノイズ除去」することでこれを処理してきましたが、非常に時間がかかりました。

最近、**視覚的自動回帰（VAR）**モデルと呼ばれる新しい手法が注目されています。これらは、キャンバス全体を一度に描くのではなく、層を積み重ねて描く画家のようなものです。まずラフなスケッチを描き、次に中程度の詳細版を描き、最後に高解像度の傑作を描きます。各層は前の層の上に構築されます。

しかし、共有された論文は、これらの「画家」が現在どのように機能しているかについて、2 つの大きな問題点を指摘し、それらを修正する巧妙な新しい方法を導入しています。

旧来の方法の 2 つの問題点

1. 「すべてか無か」の梯子
画家が、小さなスケッチ、中程度のスケッチ、そして最終的な大きな絵画を表す段差を持つ梯子を持っていると想像してください。

問題点: 従来の方法では、梯子が壊れていました。一番上の段（最終的な 4 倍サイズ）にしか登ることができませんでした。もし中間の段（2 倍サイズ）で止まろうとすると、画像はゴミのようになり、歪んだ無秩序なものになっていました。その間の「段差」は、実際には有効な画像として存在しておらず、頂上に到達するために必要な数学的なステップに過ぎませんでした。
論文による解決策（階層的画像トークン化）: 著者たちは、実在する頑丈な梯子を構築しました。モデルに、小さなスケッチを描き、次に中程度のスケッチを描き、そして大きな絵画を描くよう教え、すべての単一のステップが実在する一貫した画像に見えるようにしました。これで、任意のサイズ（1 倍、2 倍、または 4 倍）でプロセスを停止しても、完璧な画像が得られます。彼らはこれを**階層的画像トークン化（HIT）**と呼んでいます。

2. 巨大なライブラリの必要性

問題点: 良好な結果を得るために、従来のモデルは巨大（数十億ページもの巨大な百科事典のような）である必要がありました。あるいは、鮮明な画像がどのようなものかを学ぶために、特別にラベル付けされた「良対悪」の例の膨大なライブラリが必要でした。
論文による解決策（DPO 正則化）: 著者たちは、モデルのための新しい「コーチ」として**直接選好最適化（DPO）**を導入しました。膨大な量の例のライブラリを必要とする代わりに、このコーチは単にモデルにこう伝えます。「ねえ、高解像度版の方がぼやけた版よりも優れている。鮮明な詳細を好むようにしなさい」。
- これにより、はるかに小さなモデル（他のモデルが使用する 10 億に対して、わずか 3 億 1000 万のパラメータ）が、標準的な日常的なトレーニングデータを使用して効果的に学習できるようになりました。

結果：より賢く、より小さな画家

これらの 2 つのアイデアを組み合わせることで、著者たちは新しいシステムを構築しました。

任意のサイズで動作する: 小さな画像を取り、2 倍、4 倍、あるいは 8 倍に大きくすることができます。中間ステップで画像が崩壊することなく、すべてを一度に行います。
効率的である: 競合他社よりもはるかに小さく、高速です。他のモデルが重く、動きの鈍い戦車のようなものであるのに対し、これはレースで勝利する機敏なスポーツカーのようです。
データが少なくてもよい: 優れたパフォーマンスを発揮するために秘密の巨大なデータセットは必要ありません。標準的な公開データで非常にうまく機能します。

要約した比喩

旧来の方法は、基礎を敷くことと屋根に飛びつくことしか許されていない状態で超高層ビルを建設しようとするようなものです。途中で止めようとすれば、ただの瓦礫の山しか残らないでしょう。

この論文は、1 階を建て、次に 2 階、そして 3 階を建てる方法を紹介しています。各階は完全で居住可能なアパートです。2 階で止めても素敵な住居が手に入り、あるいは最上階まで行くこともできます。そして彼らは、都市規模の設計図のライブラリを必要とせず、どの間取りを好むべきかを正確に知っている、より小さく賢い現場監督を雇うことでこれを実現しました。

要約すると: 彼らは、画像のアップスケーリングを柔軟（任意のサイズで動作）、効率的（より小さなモデルを使用）、そして賢く（新しいトレーニングの工夫を使用）し、すべてを最高品質のままで実現しました。

技術的概要：マルチスケール画像超解像のための階層的画像トークナイゼーション

問題定義

画像超解像（ISR）は、低解像度（LR）入力から高解像度（HR）画像を生成することを目的としています。最近の視覚的自動回帰（VAR）モデルは、「次のスケール予測」というパラダイムとよく整合していることで有望視されていますが、ISR への応用には 2 つの決定的な限界が存在します：

中間スケールの生成 inability：既存の VAR ベースの ISR 手法（例：VARSR）は、残差を累積して最終的な固定解像度の画像を再構築する残差量子化（RQ）に依存しています。中間残差は、より低いスケールで意味的に意味のある再構築を保証するものではありません。その結果、これらのモデルは単一のフォワードパス中に有効な中間出力（例：2 倍アップサンプリングされた画像）を生成することができず、事前に定義された固定のスケール因子に制限されます。
大規模リソースへの依存：現在の最先端のアプローチは、競争力のある性能を達成するために、大規模なバックボーンモデル（例：10 億パラメータ以上）または広範で慎重に注釈付けられたデータセット（クラスターフリーガイダンス用の負のサンプルを含む）を必要とすることが多いです。

手法

著者らは、前述の欠点を克服するために、VAR 訓練パイプラインに 2 つの主要なコンポーネントを統合する新しいフレームワークを提案します：階層的画像トークナイゼーション（HIT）と直接選好最適化（DPO）正則化です。

1. 階層的画像トークナイゼーション（HIT）

標準的な RQVAE は、潜在特徴を残差の系列に分解することで画像をトークン化しますが、これらの残差は本質的に特定の画像スケールと整合していません。提案された HIT アプローチはこのプロセスを修正します：

逐次エンコーディング：完全解像度をトークン化してからダウンサンプリングするのではなく、入力画像をターゲットスケール（例：1 倍、2 倍、4 倍）に向けて逐次的にダウンサンプリングします。
トークンの共有：トークン化はこれらのダウンサンプリングされたバージョンに逐次的に適用されます。重要なのは、より低いスケールで生成されたトークンが、より高いスケールの残差を計算する際に再利用・共有される点です。
微調整：事前学習された RQVAE の語彙とデコーダーは、各ターゲットスケールに対するスケール固有のデコーダーと再構築損失を使用して微調整されます。これにより、語彙が異なる解像度間でも意味的に一貫していることが保証されます。
結果：これにより「強い帰納的バイアス」が生まれます。モデルは、初期のトークンが複数のスケールで有効な粗い意味構造を表すことを学習し、デコーダーが同じトークン系列から中間解像度（例：128×128、256×256、512×512）で有効な画像を再構築できるようになります。

2. DPO 正則化

外部の報酬モデルや大規模な負のデータセットに依存せずに画像品質を向上させるため、著者らは直接選好最適化（DPO）に基づく正則化項を導入します：

メカニズム：モデルは、真の HR トークンの対数尤度を最大化するように訓練される一方で、LR 入力の単純なバイリニアアップサンプリングに似たトークンの尤度にはペナルティを課されます。
定式化：損失関数は $\mathcal{L}_{DPO} = - \log \sigma \left ( \beta \log \frac {p(z_{HR})}{p(z_{LR})} \right )$ と定義されます。ここで、 $p(z_{HR})$ と $p(z_{LR})$ はそれぞれ HR と LR トークン系列の確率です。
利点：このアプローチは、モデル自身の HR と LR の系列を区別する能力を活用するため、外部の VLM や負のサンプル収集の必要性を排除します。

構造と訓練

モデルサイズ：著者らは、先行研究で使用されている 10 億パラメータ以上のモデルと比較して、比較的小さなトランスフォーマー（3 億 1000 万パラメータ、16 ブロック）を利用します。
訓練データ：モデルは、専有または大規模な外部コーパスなしで、標準的な ISR データセット（DIV2K、DIV8K、Flickr2k、OST、および FFHQ のサブセット）で訓練されます。
条件付け：ControlNet を使用する VARSR と異なり、この手法はアップサンプリングされた LR 画像の RQVAE エンコーダー特徴を直接条件付け信号として使用します。

主要な貢献

初のマルチスケール VAR ベース ISR：本論文は、スケール間での意味的一貫性を維持しながら中間スケールを画像空間にデコードできる最初の VAR ベースのアプローチを導入し、単一のフォワードパスでのマルチスケール出力を可能にします。
HIT による強い帰納的バイアス：提案された階層的画像トークナイゼーションは強い帰納的バイアスとして機能し、大規模なバックボーンを必要とせずに 3 億 1000 万パラメータの小さなモデルが最先端の結果を達成することを可能にします。
DPO による訓練の簡素化：DPO ベースの正則化項の導入は、大規模な注釈付き負のサンプルや外部報酬モデルへの依存を排除することで訓練プロセスを簡素化し、同時に卓越した鮮明さと品質をもたらします。

実験結果

提案手法（H-VAR）は、GAN ベース、拡散ベース、および AR ベースのベースラインに対して、合成データセット（DIV2K-Val）および実世界データセット（RealSR、DRealSR）で評価されました。

マルチスケール能力：中間スケール（例：256×256）で一貫性のある画像を生成できないベースライン（VARSR、Baseline）とは異なり、H-VAR は単一パスから 1 倍、2 倍、4 倍のスケールで有効な画像を正常に再構築します。
性能：
- RealSRにおいて、H-VAR は PSNR 25.55、LPIPS 0.256 を達成し、VARSR（PSNR 24.61、LPIPS 0.350）および他の拡散/GAN 手法を上回ります。
- DRealSRにおいて、H-VAR は PSNR 28.73 を達成し、VARSR（28.16）および StableSR（27.87）を上回ります。
効率性：3 億 1000 万パラメータのモデルは、10 億パラメータの VARSR モデルを大幅に上回る性能を示しつつ、より少ない計算リソースを必要とします（DIV2K-Val における推論時間は VARSR の 0.93 秒に対し 0.25 秒）。
アブレーション：HIT コンポーネントを除去すると性能が大幅に低下し、それが重要な帰納的バイアスとしての役割を確認させます。同様に、DPO 正則化を除去すると、結果がぼやけ、PSNR/LPIPS スコアが低下します。

意義と主張

本論文は、標準的な RQVAE 定式化に内在する「固定スケール」の限界を解決することで、ISR への VAR 適用のパラダイムを進展させると主張しています。階層的画像トークナイゼーションを導入することで、著者らは、大規模な専有データや複雑な外部ガイダンスメカニズムを必要とせず、標準的なデータセットで訓練されたコンパクトなモデル（3 億 1000 万パラメータ）でも最先端の超解像結果を達成可能であることを実証しています。この研究は、トークナイゼーション自体の構造（HIT）が、モデルを意味のあるマルチスケール表現へと導く強力な帰納的バイアスとして機能し、性能の強力な駆動力であることを浮き彫りにしています。