技術的サマリー：4KLSDB：4K 画像復元および生成のための大規模データセット

1. 問題提起

超解像（SR）、画像復元（ノイズ除去、ぼけ除去）、およびテキストから画像への（T2I）拡散生成におけるデータ駆動型の高解像度ビジョンの進展は、現在、公開されている大規模なネイティブ 4K データセットの不足によって妨げられています。

既存のリソースにはいくつかの決定的な限界が存在します：

• 解像度のギャップ： DIV2K や LSDIR などの著名なデータセットは HD または 2K 解像度に限定されており、DIV8K のような他のデータセットはより高い解像度を提供するものの、現代の大規模モデルに必要な規模（例：DIV8K のトレーニング画像はわずか 1,500 枚）を欠いています。
• 合成対ネイティブ： 多くの高解像度データセットは、合成されたアップスケーリングや非公開のコレクションに依存しており、再現性と公平な比較を妨げています。
• タスクの断片化： 既存のリソースはしばしば断片的です。一部は復元をサポートしますがネイティブ 4K の規模を欠き、他方は生成をサポートしますが、低解像度/高解像度（LR/HR）の対データが欠けているか、復元と生成の両方にまたがる公開ベンチマークとして設計されていません。
• 品質管理： 単に画素数が多いだけでは使用可能性を保証しません。多くの高解像度画像は、圧縮アーティファクト、ぼけ、または劣った美学に悩まされており、高忠実度モデルのトレーニングに有害です。

2. 手法：4KLSDB パイプライン

これらのギャップに対処するため、著者は129,484 枚のネイティブ 4K 画像（および 2,000 枚の検証用画像と 1,984 枚のテスト用画像）からなるキュレーションされたデータセット4KLSDBを導入します。このデータセットの構築には、厳格な多段階キュレーションパイプラインが関与します：

2.1. ソースの選択と事前フィルタリング

• ソースコーパス： 初期プールは、確立されたオープンデータセットであるLAION-2B、Photo Concept Bucket、およびPD12Mから抽出されます。
• 幾何学的制約： 画像は厳格な幾何学的基準に基づいて事前フィルタリングされます：
  • 最小寸法（高さまたは幅）$\ge$ 3840 ピクセル。
  • 総画素数 $\ge$ 3840 $\times$ 2160。
  • アスペクト比を $[0.6, 1.6]$ に制限し、極端なパノラマを除外します。

2.2. 自動コンテンツ注釈

• ビジョン言語モデル（Qwen2-VL-7B）が、保持された画像に以下の注釈を付与するために使用されます：
  • ショットスケール： ロングショット、ミディアムショット、クローズアップ、エクストリームクローズアップ。
  • コンテンツカテゴリ： 自然風景、ゲーム/CGI、アニメ、絵画など。
• これらの注釈は、データセットの分割中の多様性の監視を確保します。

2.3. 知覚品質とテクスチャフィルタリング

技術的には 4K であっても視覚的に不適切な（例：ぼやけている、平坦である、またはアーティファクトが多い）画像を除去するため、パイプラインは以下の処理を適用します：

• 美学スコアリング： Q-Alignを使用して、約 39 万枚のフェーズ 1 画像にスコアを付けます。知覚品質とデータセットサイズのトレードオフに基づき、上位 80% が保持されます。
• テクスチャの豊かさフィルタリング： 平坦またはコントラストの低い画像を抑制するために、2 つのエッジベースフィルタが適用されます：
  • ラプラシアンフィルタ： 分散を通じてグローバルなエッジ強度を測定します。分散が経験的に選択された区間から外れる画像は除去されます。
  • ソベルパッチ平坦度比率： 画像は $240 \times 240$ のパッチに分割されます。各パッチに対して勾配強度の分散が計算されます。「平坦」なパッチ（分散 $< T_{flat}$）の比率が閾値（$T_{ratio} = 65\%$）を超えた場合、その画像は拒否されます。

2.4. 人間による検証

• 2 人の人間の注釈者が、HTML ベースのツールを使用して残りの約 134,000 枚の画像を検証します。
• 668 サンプルが視覚的に魅力的でない、詳細が不十分である、または不適切であるとして手動で除去されました。
• 最終的な分割は、カテゴリとショットスケールの多様性が検証された129,484 枚のトレーニング画像、2,000 枚の検証画像、および1,984 枚のテスト画像で構成されます。

3. 主要な貢献

1. 4KLSDB データセット： 画像復元および画像生成研究の両方をサポートするように設計された、大規模で公開されているネイティブ 4K 画像データセット（129k 枚のトレーニング画像）。
2. 堅牢なフィルタリングパイプライン： 最小限の手作業でアップスケーリングされた低品質サンプルを排除するための、ルールベースのチェック、大規模マルチモーダルモデル（LMM）による美学スコアリング、および人間による審査を組み合わせた多段階の品質管理フレームワーク。
3. 包括的なベンチマーク： ピクセル回帰 SR モデルと拡散ベースの SR モデルの両方をサポートする、対 LR/HR 評価セットを備えた 4K 復元ベンチマーク。
4. 整合性の取れた画像 - テキストペア： 超高忠実度におけるテキストから画像への生成、画像キャプション、マルチモーダルモデリングの将来の研究のためのリソース。

4. 実験結果

著者は 4KLSDB を 3 つのタスクで評価し、従来の低解像度データセットでトレーニングされたモデルと、4KLSDB でファインチューニングされた同一アーキテクチャを比較しました。

4.1. 古典的超解像

• モデル： HiT-SR、SwinIR、MambaIR。
• 設定： バイキュービックダウンサンプリング係数 $\times4, \times8, \times16$。
• 発見： 4KLSDB でのファインチューニングは、ドメイン内 4KLSDB テストセットおよびクロスデータセット DIV8K ベンチマークの両方で、PSNRおよびSSIMを一貫して向上させました。
  • HiT-SR の場合、PSNR の向上は顕著でした（例：4KLSDB において $\times4$ で +4.77 dB）。
  • 利点は、より高い拡大係数（$\times8, \times16$）で特に顕著であり、ネイティブ 4K データが 1K 未満のデータセットよりも強力な高周波事前分布を提供することを示しています。

4.2. 実世界のブラインド超解像

• モデル： OSEDiff、SeeSR。
• 指標： PSNR、SSIM、LPIPS、DISTS、NIQE、FID。
• 発見： ファインチューニングは、ブラインド劣化下で歪み忠実度と知覚的リアリズムの両方を向上させました。
  • SeeSR の $\times4$ において、PSNR は 27.01 から 28.25 に増加し、FID は大幅に減少しました（38.95 から 33.88）。
  • 視覚的比較により、4KLSDB でファインチューニングされたモデルは、ベースラインと比較して、よりクリーンな構造、よりシャープなエッジ、より現実的な局所テクスチャを復元することが示されました。

4.3. 4K テキストから画像への生成

• モデル： Sana（4KLSDB 画像キャプションペアでファインチューニング）。
• 評価： パッチベースの自動指標（pCLIPScore、pNIQE）および二重盲検ペアワイズユーザー調査。
• 発見：
  • 自動指標： pCLIPScore は増加し（28.62 $\to$ 29.27）、pNIQE は減少しました（5.21 $\to$ 4.63）。これは、テキストと画像の整合性および局所的な知覚品質の向上を示しています。
  • ユーザー調査： ファインチューニングされたモデルは、ベースラインに対して**57.34%の総合選好率を達成しました。改善は、リアリズム（74.27%）、詳細（60.89%）、およびアーティファクトの削減（64.40%）**で最も顕著でした。
  • 定性的な結果は、ズームイン領域において、よりシャープな境界とより一貫性のある高周波テクスチャを実証しました。

5. 意義と主張

本論文は、4KLSDBが真の高忠実度画像合成および復元への進展を推進するための重要なリソースであると主張しています。その意義は以下の点にあります：

• 解像度ギャップの橋渡し： 復元と生成のタスクを統合し、HD/2K データセットの限界を超えて進む、最初の大規模なネイティブ 4K ベンチマークを提供します。
• ネイティブ 4K の価値の実証： 真の 4K 解像度データでのトレーニングと、微細なスケールの詳細や高周波テクスチャの再構築を必要とするタスクにおける忠実度の向上との間に正の相関があることを実験が確認しました。
• スケール依存分析の可能化： 検証およびテストサンプルをネイティブ 4K 解像度で保持することで、低解像度評価ではしばしば隠れてしまうスケール依存のアーティファクト（例：過剰な平滑化、繰り返されるテクスチャ）を研究者が評価できるようにします。
• 将来の有用性： このデータセットは、詳細なキャプション、視覚的質問応答、領域レベルの推論など、微細なテクスチャや小さな物体が低解像度データで失われがちな、将来の高解像度マルチモーダル研究をサポートする位置づけです。

著者は、4KLSDB が研究コミュニティが超解像度ビジョンシステムを進展させるための価値ある再現可能な基盤を提供すると結論付けています。